kein Eintrag vorhanden

Transcrição

Kapitel 15
Phrasen, Eigennamen,
Komposita
HHU Düsseldorf, WS 2008/09
Information Retrieval
238
15. Phrasen, Eigennamen, Komposita
Zusammengesetzte Ausdrücke
•
Phrasen: Begriffe, die aus mehr als einem Wort bestehen
–
Allgemeinbegriffe
•
häufig im Englischen: "soft ice", "high school"
•
seltener im Deutschen: "juristische Person", eher üblich: Komposita:
"Wellensittichfutter", "Staubecken"
•
in vielen Fachsprachen: "Pfeiffersches Drüsenfieber", "Frankfurter
Schule", "Braggsche Kurve"
–
Namen (named entities)
•
Personennamen: "Miranda Otto"
•
Institutionen: "Henkel KGaA"
•
Orte: "Düsseldorf-Bilk"
•
Produkte: "HP Laserjet 1300"
Namen müssen stets aus Conflation- und Übersetzungsroutine
herausgehalten werden (sonst: statt "Julia Roberts" --> "Julia Robert"
und "Heath Ledger" --> "Heide Kantholzträger")
239
Phrasenbildung
•
(1.) statistische Methode:
–
Wahrscheinlichkeit des gemeinsamen Auftretens der
Phrasenbestandteile
–
Parameter:
•
Phrasenlänge (Anzahl der Bestandteile, z.B. 2)
•
Umgebung (Textgebiet, z.B. Satz)
•
Abstand (max. Anzahl von Worten, die zwischen den Phrasengliedern unter Abzug der Stoppworte - liegen dürfen, z.B. 1)
•
Dokumenthäufigkeit der Bestandteile (Anzahl der Dokumente, in denen
das Wort min. einmal vorkommt); Definition eines Schwellenwertes, ab
dem ein Wort erster Teil einer Phrase werden darf
•
Dokumenthäufigkeit der Phrase (Anzahl der Dokumente, in den die
Phrase vorkommt); Definition von oberem und unterem Schwellenwert
Fagan, J.L. (1987): Automatic phrase indexing for document retrieval: An examination of syntactic
and non-syntactic methods. – In: Proceedings of the 10th Annual International ACM SIGIR Conference on
Research and Development in Information Retrieval. – New York: ACM, S. 91-101.
240
Phrasenbildung
•
(2.) syntaktische Methode:
–
Identifikation von Phrasenkopf (head) und Modifikator (modifyer)
–
günstig im Anschluss an statistische Methoden
Strzalkowski, T.; Vauthey, B. (1992): Information retrieval using robust natural language processing. –
In: Proceedings of the 30th Annual Meeting on Association for Computational Linguistics. –
Morristown, NJ: Association for Computational Linguistics, S. 104-111.
241
Phrasenbildung
•
(3.) Methode der "Verklumpung" von Textteilen:
–
massive Erweiterung der Stoppwortliste
–
Interpretation der Stoppworte als Textseparatoren
–
Beispieltext:
Citing what is called newly conciliatory comments by the leader of
the Irish Republican Army's political wing, the Clinton
Administration announced today that it would issue him a visa to
attend a conference on Northern Ireland in Manhattan on Tuesday.
The Administration had been leaning against issuing the visa to the
official, Gerry Adams, the head of Sinn Fein, leaving the White
House caught between the British Government and a powerful bloc
of Irish-American legislators who favored the visa.
Lu, X.A.; Miller, D.J.; Wassum, J.R. (1996): Phrase recognition method and apparatus.
Patent-Nr. US 5.819.260. – Patentinhaber: Lexis-Nexis. – Erteilt am: 6.10.1998. – (Eingereicht am 22.1.1996).
242
15. Phrasen, ...
Phrasenbildung
Textklumpenmethode
243
Phrasenbildung
•
(4.) Nutzung von Phrasenwörterbüchern
–
Vergleich von Wortfolgen im Text mit Wörterbucheinträgen
–
Voraussetzung: Wörterbuch ist vorhanden
–
günstig: sukzessiver Aufbau des Wörterbuchs durch die
Methoden (1.) bis (3.)
244
Eigennamenerkennung
•
Normdatei (z.B. Personennamendatei der deutschen
Bibliotheken)
•
intellektuell aufgebaut und gepflegt
•
Homonyme getrennt - Synonyme zusammengefügt
245
Eigennamenerkennung
•
innere Namenscharakteristika
–
Namensbestandteile beginnen mit Großbuchstaben
–
(im Englischen): Mr., Mrs. bei Personennamen
–
Indikatorworte
•
Vornamen bei Personen
–
•
Inc., GmbH usw. bei Unternehmen
–
•
bei erkannter Phrase: Bestandteil vor Indikator löschen
bei erkannter Phrase: Bestandteil hinter Indikator löschen
äußere Namenscharakteristika
–
wichtig insb. bei homonymen Namen
–
Personennamen mit "Typen", z.B. Künstler, Politiker
–
Definition typenspezifischer Worte, z.B. star or actor bei
Künstlern
246
Kompositazerlegung
•
Fugenbildung im Deutschen unregelmäßig
–
Komposition aus Singular- und aus Pluralform (Bsp.: „Hausmeister“ – „Häuser-meer“)
–
Komposition mit und ohne Fugen-S (Bsp.: „Schwein-s-blase“ –
„Schwein-e-bauch“ – „Schwein-kram“)
–
Verkürzung von Bestandteilen (Bsp.: "Schwimmverein" aus
"Schwimmen" und "Verein")
•
Zerlegung
–
Voraussetzung: Wörterbuch mit Grundformen nebst Flexionen und
ggf. Zerlegungsverboten ("Verb-rechen")
–
buchstabenweise Abtrennung von links oder rechts bis zum
"longest match"
–
Problem: „Staubecken“ führt zu „Stau-becken“ oder „Staubecken“, je nachdem, ob die Analyse links oder rechts beginnt
247
Kompositazerlegung
•
„Staubecken“ (von rechts nach links)
•
Staubecke-n
•
Staubeck-en
•
Staubec-ken
•
Staube-cken
"staube": Imperativ von "Stauben"; "cken":
•
Staub-ecken
Eintrag „Staub“ vorhanden; "ecken":
Nominativ Plural von "Ecke"
•
Stau-b
"Stau"; Grundform; "b": kein Entrag
•
Sta-ub
•
St-aub
•
S-taub
•
ERGEBNIS: Staub - Ecke
248
Kompositazerlegung
•
„Staubecken“ (von links nach rechts)
•
S-taubecken
•
St-aubecken
•
Sta-ubecken
•
Stau-becken
Eintrag „Becken“ vorhanden
Eintrag „Stau“ vorhanden
•
b-ecken
•
be-cken
•
...
•
ERGEBNIS: Stau - Becken
•
Stau-Becken oder Staub-Ecken? Kontext statistisch auswerten!
249

kein Eintrag vorhanden

Transcrição

Documentos relacionados

KINDERFLOHMARKT - Familienfreundliche Wissenschaft

Siam royal view land for sale

PR(A) = 0,15 + 0,85*(1/1)

Kabel BW Eintrag Telefonverzeichnisse

Beauftragung /Änderung eines Telefonbuch

eigennamengrossschreibung - Bund für vereinfachte rechtschreibung

Sabana del Mar - Miches Strand Grundstuck

Das waren Zeiten!

Information Retrieval (SS 2011) - Natürliche Sprache

Übung 1

Grounded Theory Final - user.phil.uni

Informationsmarkt - Heinrich-Heine