Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten

Transcrição

Freie Suchmaschinen für freie Daten:
SearchEngine
Unzensierbarkeit,
Selbstbestimmung,
erweiterte Möglichkeiten
Michael Christen, [email protected]
Summit Of New Thinking, 16.11.2012
Station Berlin, Berlin
Abstract
SearchEngine
Suchmaschinen sind durch ihre Ergebnisauswahl meinungsbildend, sie führen uns durch das
Ergebnisranking selektiv zu Informationen und beeinflussen letztendlich Normen und Werte von
Gemeinschaften. Die Nutzer sind es gewohnt, dass Suchportale für sie bereitgestellt werden, aber
welche Vorteile kann es haben, wenn die Nutzer selbst die Suchmaschine für sich und andere
bereitstellen?
Zwischen Open Data und dem Nutzer sollte eine eine freie Suche existieren und der Vortrag zeigt, u.a.
in live-Demos, wie dies jede(r) leicht selbst machen kann. So manche mögliche Anwendungen von
Suchmaschinentechnik wird von den Suchportalen nicht angeboten und das hat ggf. wirtschaftliche
und politische Gründe: eigene Relevanz-Regeln, Suchergebnisse mit themenorientierter
Ergebnisnavigation, Datei-Suche im Internet und im Intranet mit integriertem Massen-Downloader,
virtuelles Browsen auf Webservern wie auf Fileservern und der persönliche Nachrichtendienst ist
einfach zu realisieren.
Der Vortrag macht die Zuhörer mit der freien Software Solr und YaCy sowie mit Suchmaschinentechnik
im allgemeinen vertraut. YaCy ermöglicht außerdem die Peer-to-Peer Vernetzung der
Suchmaschinennutzer und erzeugt damit ein dezentrales, unzensierbares Suchmaschinennetz. Es
werden Wissensmanagement-Methoden mit Hilfe von Suchmaschinen und alternative Visualisierungen
von Suchergebnissen gezeigt.
Summit Of New Thinking, Berlin, 16.11.2012
Michael Christen
[email protected], http://yacy.net
Bürgerrechte für eine nachhaltige Wissensgesellschaft:
UNO Weltgipfel zur Informationsgesellschaft 2003
Beitrag der Heinrich-Böll-Stiftung
(a) Wissen ist Erbe und Besitz der Menschheit und
damit frei.
(b) Der Zugriff auf Wissen muss frei sein.
(c) Alle Menschen haben das Recht auf Kommunikation
und Informationsfreiheit.
(d) Das Recht auf Achtung der Privatheit ist ein
Menschenrecht und ist unabdingbar für die freie
und selbstbestimmte Entfaltung von Menschen in der
Wissensgesellschaft.
aus: http://www.worldsummit2003.de/de/web/52.htm
Michael Christen
(zentrale) Suchportale
... können Verhaltensprofile
der Benutzer anlegen
... Zensur, Verschleierung,
Verschmutzung möglich
... besitzen (genau
wie ,Clouds‘) Personendaten
Michael Christen
Zugriff auf Wissen Brücke zwischen Daten und Nutzer
freie Daten können nur dann wirklich frei sein wenn
sie mit freier Software gefunden werden können
freie Daten
Suche
Nutzer
u.a.:
Suchmaschinenmonopol:
freie Software
proprietäre und
zentralisierte Technik,
Aufzeichnung aller
Datenspuren, Zensur,
Filterung, Löschung,
Verschmutzung durch
Werbung
Der Nutzer ist auf die
Existenz und korrekte
Funktion proprietärer,
zentralisierter und
kontrollierter Suchportale
angewiesen, um freie
Inhalte finden zu können
Daten unter Creative
Commons Lizenz
Open Access Archive
Michael Christen
Zugriff auf Wissen Brücke zwischen Daten und Nutzer
freie Daten können nur dann wirklich frei sein wenn
sie mit freier Software gefunden werden können
freie Daten
Ranking
Suche
Ordnung
Nutzer
Relevanz
Gemeinschaft
In einer geschlossenen Gemeinschaft existieren bestimmte Relevanzkriterien. Ranking beeinflusst Normen und Werte einer Gemeinschaft!
Suchmaschinen haben einen kulturellen Einfluss auf Gemeinschaften!
Michael Christen
Die eigene Suchmaschine
Unabhängigkeit
...von zentralen Suchportalen: den eigenen Suchindex erstellen
und die Suchfunktionen den eigenen Anforderungen anpassen.
Privatsphäre
...Du bist der Suchmaschinenbetreiber: niemand sonst
beobachtet die Nutzung!
Informationsfreiheit
keine Zugriffsgrenzen, keine Zensur, keine Filter, keine
Beobachtung durch andere Betreiber,
keine ,Verschmutzung‘ (Werbung) und die eigene Relevanz
Michael Christen
Wissen wie Suchmaschinen funktionieren
search server
web interface
I
crawler
api
search index
opensearch gsa
robots balancer queues
schema
facets
network interfaces
ranking
moderation
file http ftp smb oai-pmh
doc
parser
document cache
pdf
xls html rss zip eml
solr
monitoring
I/O requests Disk/RAM
administration/
steering
Michael Christen
Web-Suche
Projekt- und Unternehmensdaten
Peer-to-PeerSuche
Suche für
Web-Portal
Intranet- und
Filesuche
den Suchindex
mit anderen
teilen
geteiltes Wissen
für verteilte
Systeme
Konsolidierung
der Datenablage
(ftp/smb-Suche)
Zuflucht für
gefährdete
Daten
Nachrichtendienste
SEO & WebAdmin Tools
automatisches
Suchen ohne
Suchananfrage
fremde Server
durchstöbern
und Strukturen
analysieren
z.B. torrents
Michael Christen
Peer-to-PeerSuche
vertical scaling: more performance
den Suchindex
mit anderen
teilen
A Search Engine Cluster consist of
independent search engines in
the form of a search matrix.
Search Engine Cluster
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
Search
Engine
horizontal scaling: more documents
Michael Christen
Peer-to-PeerSuche
den Suchindex
mit anderen
teilen
We want to take the search
matrix out of the data center to
your home.
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Search
Engine
Peer
Michael Christen
The YaCy Search Engine Cluster
consist of independent search
engines, but they are connected
in an efficient way using a
distributed hash table.
Peer-to-PeerSuche
den Suchindex
mit anderen
teilen
Peer
Peer
Peer
Peer
Crawl the web, create a
web index, distribute
the index
Peer
Peer
Peer
DHT
Peer
Peer
Distributed Hash Table
Peer
Search in a
Distributed Hash Table
Peer
Peer
DHT-Store
Peer
Peer
Peer
Peer
DHT-Read
Michael Christen
Peer-to-PeerSuche
den Suchindex
mit anderen
teilen
Everyone can join the network.
Eveyone can contribute to the search index.
Nobody can censor the global index.
Michael Christen
Web-Suche
Projekt- und Unternehmensdaten
Peer-to-PeerSuche
Suche für
Web-Portal
Intranet- und
Filesuche
den Suchindex
mit anderen
teilen
geteiltes Wissen
für verteilte
Systeme
Konsolidierung
der Datenablage
(ftp/smb-Suche)
Zuflucht für
gefährdete
Daten
Nachrichtendienste
SEO & WebAdmin Tools
automatisches
Suchen ohne
Suchananfrage
fremde Server
durchstöbern
und Strukturen
analysieren
z.B. torrents
Michael Christen
- Vernetzung von Wissen
Suche für
Web-Portal
- Vernetzung von Menschen
SearchEngine
geteiltes Wissen
für verteilte
Systeme
technologische Ebene (,wie setze ich Technik ein‘)
soziotechnische Ebene (,wie gehe ich mit Technik um‘)
Create and Share
Produktion
Dokumente
Versionskontrolle
(micro)Blogging
Projektsteuerung
Discussion
Bugtracker
Michael Christen
Vernetzung von Menschen
Vernetzung von Wissen
Suchmaschine
YaCy als Suchappliance mit vielfältiger Datenerfassung
Viele Datenerfassungsfunktionen
- Crawler für http(s), ftp, smb, robots.txt-compliant, Web Cache
- Netzwerkscanner für Intranet, viele Parser!
- RSS Feed Importer, OAI-PMH Importer, Import von Dublin Core
Michael Christen
YaCy als Suchappliance mit Transparenz
Crawler, Linkstrukturanalyse und Host Statistik
- Host Browser: Analyse der Ziel-Host Filesystemstruktur
- Robots Browser und Massen-Zielanalyse
- Netzwerk Graph: Link Strukture Visualisation
- Qualitätssicherungswerkzeug für Web-Adminis (dead links etc.)
Michael Christen
YaCy als Suchappliance mit aussergewöhnlicher Suche!
Eingebaute Suchinterfaces
- Solr XML + Result Writer: rss, opensearch, xslt, yjson
- GSA Result Writer für die Google Search Appliance Search API
- ,traditionelles‘ Suchinterface und Facetten (host, filetype, protocol)
- Pop-up Suchinterface
- File Suche mit Dateitypen Navigation und Download Hack
- Autocompletion API (entsprechend opensearch.org suggestions)
Michael Christen
YaCy als Suchappliance bereit für automatischen Betrieb
Produktionssteuerung
- Scheduler für wiederkehrende Prozesse
Michael Christen
YaCy Beispiele: Peer-to-Peer Netzteilnehmer
freie dezentrale Suchmaschine für alle
freeworld:
http://search.yacy.net
Suchmaschine, bestehend
aus den Peers freiwilliger
1200 Peers im Monat,
weltweit verteilt
> 1 Milliarde Dokumente
Michael Christen
YaCy Beispiele: Separates Peer-to-Peer Netz
Suchmaschine für wissenschaftliche Publikationen
Sciencenet:
http://sciencenet.kit.edu
Suchmaschine des
Karlsruhe Institut für
Technologie
35 Peers in eigenem Netz,
> 200 Mio. Dokumente
Michael Christen
YaCy Beispiele: Portalsuche - forum.yacy.de
http://yacy.net
YaCy Community
Michael Christen
YaCy Beispiele: Portalsuche - fsfe.org
http://fsfe.org
Free Software Foundation Europe
Michael Christen
YaCy Beispiele: Portalsuche - www.uni-mainz.de
http://www.uni-mainz.de/
Gutenberg-Universität Mainz
Michael Christen
YaCy Beispiele: Portalsuche - www.kit.edu
http://www.kit.edu
Karlsruhe Intitut für Technologie
Michael Christen
YaCy Beispiele: Portalsuche - metager.de
metager +
metager2
YaCy Peers werden von metager
und metager2 genutzt
http://www.metager.de
MetaGer - Meta-Suchmaschine der
Leibniz Universität Hannover
Michael Christen
Zusammenfassung
SearchEngine
1. Der Zugang zum Wissen und das Recht auf Privatheit
ist ein Menschenrecht. Gemeinschaften brauchen eigene
Bewertungsmechanismen in Suchmaschinen.
Zentrale Suchportale können diese Bedürfnisse nicht erfüllen. Es
besteht ein Bedarf für dezentrale (=persönliche) Suchmaschinen.
2. Wir haben Suchszenarien vorgeführt die von bekannten
Suchmaschinen nicht angeboten werden.
Insbesondere freie Inhalte brauchen angepasste und
angemessene Suchtechniken!
3. Wir haben ein wenig Suchmaschinentechnik erklärt.
Es ist wichtig zu wissen wie solche Software funktioniert, sonst
kann es nicht von jeder Person eingesetzt werden.
4. Bitte unterstützt die Idee der freien Suche!
Mach ein Suchportal, das ist nicht schwer! Wir unterstützen Dich!
(-> YaCy Forum)
Michael Christen
Vielen Dank fürs Zuhören!
SearchEngine
Dipl. Inf. Michael Christen,
[email protected]
http://yacy.net
Twitter @yacy_search
Download
http://yacy.net
Development
https://gitorious.org/yacy
Discussion
http://forum.yacy.de
Bugs
http://bugs.yacy.net
News
Documentation
http://twitter.com/yacy_search http://wiki.yacy.net
http://yacy-kochbuch.de
QR-Code: vCard

Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten

Transcrição

Documentos relacionados

Die Krise ist eine Wende.

322 Suchmaschinen

PDF-Dokument

Detailansicht - Personalwirtschaft

Werkstudent Personalberatung

Praktikum Online Marketing

DuckDuckGo - OER Informationskompetenz

Leistungsübersicht/Leistungsbeschreibung/Preisliste gültig ab 01.04

edv_SFB 1 netzwerke.PPT

PEER GYNT auf Henrik Ibsen