Suchmaschinensoftware

Transcrição

Suchmaschinensoftware
YaCy Installation & Betrieb
Suchmaschinensoftware
‣ freie Software für die eigene Suchmaschine
Installation
YaCy ist in Java geschrieben
und wird als debian-Package,
Mac- und Windows-Programm
kostenlos angeboten. Die
Bedienung erfolgt über die
Webseiten des eingebauten
Webserver.
Konfiguration
Die Teilnahme am dezentralen
Peer-to-Peer Netz ist
per
Standard voreingestellt. Ein
Umschalten auf den Betrieb als
Portalpeer für die Indexierung
nur eigener Daten oder als
Intranet Suchserver ist ganz
leicht.
Daten sammeln
Den Suchindex erhält YaCy
mit einen Web-Crawl oder mit
Sammelfunktionen für RSS
Feeds, Wikis oder Foren.
‣ vernetzt sich im Peer-to-Peer Verbund
‣ keine Zentrale, anonym, nicht zensierbar
YaCy Console mit Monitoring auf localhost:8090
selbstständig
skalierendes
SuchmaschinenCluster
YaCy Suchergebnis mit Navigatoren
YaCy statt kommerzielle Search Appliances:
• geringe Kosten: YaCy ist kostenlos; kommerzielle Such-Appliances (bsp. MS/
FAST oder Google/GSA) sind teuer und mit Lizenzen leistungsbeschränkt.
• geringer Aufwand: YaCy bietet viele Import- und Harvesting-Methoden und
ein konfigurierbares Suchinterface; solche Funktionen fehlen in Solr/Lucene
• hohe Performance: über 60 Millionen Dokumente in einem YaCy Peer sind
möglich. Die Suchfrequenz kann pro Peer 10 queries per second betragen.
Download http://yacy.net
Free Software - Open Source / GPL-Lizenz - Support über forum.yacy.de
Mitmachen!
★ Download von http://yacy.net
★ Ein Such-Peer betreiben ist einfach
SearchEngine
@home
★ Ein eigenes Suchportal aufbauen
★ Hacker: das XML/JSON API nutzen
YaCy Anwendungen und Anwender
P2P Websuche: Dezentralisierung
Ein bekannter Suchmaschinen-Marktführer hat über 1 Million Rechner
und betreibt diese mit einer proprietären Software. Man stelle sich vor es
wäre möglich diese Software nachzubilden und dezentral auf privaten
Rechnern zu betreiben. Wir versuchen mit YaCy eine solche Software
herzustellen und ein Suchmaschinen-Netz mit Unterstützern und User
aufzubauen. Die so entstandene dezentrale Websuche hat zur Zeit etwa
1,6 Milliarden Dokumente im Index, kennt über 800 Peer-Betreiber pro
Monat und rd. 140.000 Suchanfragen pro Tag (inkl. Metager-Requests).
Intranet- und Filesystemsuche
YaCy kann als einzelner Suchserver im (Unternehmens-) Intranet
betrieben werden um nicht-öffentlichen Webseiten, FTP- und SMBServer und (ggf. über mehrere User freigegebene) Filesysteme über eine
gemeinsame föderierte Suche zugänglich zu machen.
Beim 27C3 (Chaos Communication Congress)
diente YaCy als Intranet-Suchmaschine für 4.000
Hacker zum Finden von 1,2 Mio. Dokumenten
auf 29 FTP- und SMB-Servern mit 41 TB Daten.
Innerhalb von 4 Tagen lieferte ein YaCy Server
Suchergebnisse zu ca. 160.000 Suchanfragen aus.
Spezialisierte Suchportale mit YaCy
http://sciencenet.fzk.de
Das Karlsruhe Institut für
Technologie, 30 Rechnern,
300 Millionen wissenschaftliche Webseiten
http://fsfe.org
Free Software Foundation
Europe nutzt YaCy zur
Suche im Portal, Wikis und
Blogs der fsfe
http://metager.de
Die meta-Suchmaschine
MetaGer liest aus YaCy
und betreibt eigene Peers
http://www.loopilino.com
K i n d e r- S u c h m a s c h i n e ,
Suchportal mit YaCy
http://geoclub.de
Forum zum Thema Geocaching mit YaCy-Suche zu
600 Geocaching-Portalen
Unabhängiges Landeszentrum für Datenschutz
Schleswig-Holstein: Suche
in den Tätigkeitsberichten
http://linux-club.de
Linux-Forum, mit YaCy
Such-Widget für 150.000
Seiten zum Thema Linux
http://www.tarent.de
die tarent GmbH nutzt
YaCy für die IntranetSuche über Wikis, Blog,
und Webseiten.
http://datenschutzzentrum.de
YaCy APIs
Das Befüllen von YaCy mit Indexdaten über den eingebauten
Crawler, RSS Reader und XML Importer ist sehr einfach. YaCy hat ein
Web-Interface und jeder Input in YaCy kann gescriptet werden. Doku
unter http://yacy.net/de/API.html
Die Suchergebnisse aus YaCy stehen auch in einer RSS Ausgabe
entsprechend opensearch.org in der YaCy API zur Verfügung.
Dadurch können YaCy Suchergebnisse sehr leicht mit jeder RSS
Client Library eingelesen und weiterverarbeitet werden.