Open Source Zoekmachine

Door AirX op vrijdag 2 april 2010 15:18 - Reacties (17)
Categorie: Techniek, Views: 6.488

Van vele kanten wordt er kritiek geuit op de steeds sterker wordende positie van zoekmachines op het web. Veel gebruikers kunnen zonder Bing, Google of Yahoo niet meer goed functioneren op het web.
Doordat zoekmachines een steeds belangrijkere positie innemen zijn er ook steeds meer gevaren die op kunnen treden. Voorbeelden hiervan zijn censuur, het opslaan van alle zoekwoorden en andere vormen van profiling.

Technologische innovatie heeft webpartijen groot gemaakt je ziet steeds meer een trend om alles op een centrale plek op het internet op te slaan. Dit gaat in tegen de decentrale filosofie en opzet van het internet. Sinds enige tijd is er een stabiel alternatief dat mijn aandacht heeft getrokken en waarmee ik eens aan het prutsen ben geslagen: Yacy.

Yacy is een op Distributed Hash Tables (DHT; wel bekend van Emule en Bittorrent) gebaseerde open source zoekmachine die door een slimme en efficiŽnte uitwisseling van informatie tussen nodes een behoorlijk competente zoekmachine geworden is. Het mooie is dat iedereen op zijn eigen server de software (draait op java en alle platformen) kan draaien en zo zijn aandeel kan leveren aan het indexeren van het web. De informatie wordt uiteraard over meerdere nodes verspreid, zodat de informatie altijd vindbaar is, ook al heeft iemand toevallig zijn node uit te staan.

Wikipedia zegt er het volgende over:
YaCy (read "ya see") is a free distributed search engine, built on principles of peer-to-peer (P2P) networks. Its core is a computer program written in Java distributed on several hundred computers, as of September 2006[update], so-called YaCy-peers. Each YaCy-peer independently crawls through the Internet, analyzes and indexes found web pages, and stores indexing results in a common database (so called index) which is shared with other YaCy-peers using principles of P2P networks.

Compared to semi-distributed search engines, the YaCy-network has a decentralised architecture. All YaCy-peers are equal and no central server exists. It can be run either in a crawling mode or as a local proxy server, indexing web pages visited by the person running YaCy on his or her computer. (Several mechanisms are provided to protect the user's privacy.)

Access to the search functions is made by a locally running web server which provides a search box to enter the query and returns results of the search in form of a web page as usual on other search portals and engines


In het kort hebben we dus nu een open source zoekmachine die volledig decentraal opgezet is, waardoor censuur niet mogelijk is en waardoor het niet voor ťťn partij mogelijk is om complete profielen van internetgebruikers op te stellen. Volgens mij is dit dť ultieme vorm die past binnen de originele opzet van het internet.

Het leuke is dat je zelf je eigen zoekportal kunt optuigen. Zelf draai ik sinds kort een node: http://zoeken.mine.nu:8080
Je kunt ook via http://yacyweb.de/peer.htm met een willekeurige portal connecten.

Ik zou jullie willen vragen om het eens een testrun te geven. Als je zelf ook een installatie wilt proberen kun je terecht op http://www.yacy.net waar nog meer informatie en een paar demofilmpjes staan.

Uiteraard is het nog een stuk software dat in ontwikkeling is en als er meer nodes komen kan er ook een groter stuk van het web gecoverd worden. Overigens is www.ixquick.com als meta-search engine ook wel de moeite waard. (Die is gewoon gebaseerd op de standaard zoekmachines)