Multimedia - IR Zwei extreme Positionen: die erste Zwei extreme

Zwei extreme Positionen: die
erste ...
Multimedia - IR
A Digital Library for Education
„It is time to build the America within reach ... An America
where every child can strech a hand across a keyboard
and reach every book ever written, every painting ever
painted, every symphony ever composed.“
President Bill Clinton
IR
253
Zwei extreme Positionen: die
zweite ...
IR
254
Begriff Multimedia
„Der Mensch ist gottlob so robust, daß er alle didaktischen Experimente
unbeschädigt übersteht, auch die universitären. Wer sich dennoch von einer
Intensivierung der Hochschuldidaktik eine Modernisierung der Lehre
verspricht, der wird enttäuscht werden; nicht nur, weil Wissenschaftsprozesse
keinen didaktischen Regeln folgen, sondern weil der selbstbewußt Lernende
in seiner didaktischen Behandlung eher Formen der Entmündigung als der
zu fördernden Selbstbestimmung sieht.“
„Multimedia wird heute als Oberbegriff für eine
Vielzahl neuer bzw. neuartiger Produkte und
Dienstleistungen aus dem Computer-,
Telekommunikations- und Medienbereich verwendet.“
Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (nach
Grauer/Merten 1996,8)
Jürgen Mittelstraß (1994), Die unzeitgemaeße Universität, S. 19
IR
255
Begriff Multimedia
IR
Dimension Zeit
Multimedia ist „eine Synthese und ganzheitliche
Nutzung verschiedener Medien. Bild (Film und
Photographie), Ton und Text sind nicht mehr getrennte
Werkgrößen, sondern können dank der Digitalisierung
zu einer neuen Einheit verknüpft werden“.
• Zeitabhängige Medien
• Diskrete Medien
– Veränderung über die
Zeit hinweg
– Information steckt
nicht nur in einem
Wert, sondern auch im
Zeitpunkt des
Auftretens
– Informationen in
diesen Medien
bestehen ausschließlich
aus einer Folge
einzelner Elemente
Hoeren 1996, Multimedia-Recht
„Multimedia ist die Integration von verschiedenartigen
Medien. Voraussetzung dabei ist, daß die Medien einen
inhaltlichen Bezug zueinander haben, der didaktisch
begründbar ist.“
– Beispiele: Text, Grafik
– Beispiele: Ton,
Bewegtbild
Helmert 1992
IR
256
257
IR
258
1
Medien
Texte
Volltexte (z.B. Patente)
Medien
Diskrete Medien
(zeitunabhängig)
Textkondensate (Abstracts, Titel)
Referenzen / Metadaten:
Kontinuierliche Medien
(zeitabhängig)
Autor: Krcmar, H.
Titel: Informationsmanagement
Text
Text und Hypertext
Bild
Grafik
Foto
Video
Animation
Videofilm
Ton (Audio)
Sprache, Musik,
Geräusche
PY: 1997
Verlag: Springer
ISBN: 3-540-61846-5
IR
259
IR
Bilder
260
Video
90
80
70
60
Ost
West
Nord
50
40
30
20
10
0
1. Qrtl.
IR
2. Qrtl.
3. Qrtl.
4. Qrtl.
–
–
–
–
–
–
TITEL: Jenseits der Stille
LAND: Deutschland
JAHR: 1996
REGIE: Caroline Link
LÄNGE: 109 Minuten
EINORDNUNG: Mehrfach preisgekrönter
Erstlingsfilm
261
Audio
IR
262
Mischformen
• Für den Benutzer ist die Befriedigung des
Informationsbedürfnisses zentral, nicht das
Medium, in welchem das Wissen vorliegt.
Gesprochene Sprache:
Sprecher
Länge
Zeit
Transkription
Musik:
Sänger: Elton John
Titel: Candle in the Wind
„traurig, ruhig, melancholisch“
Schlagwörter: Diana, Tod,
Begräbnis, Symbol ...
IR
• Spielfilm
263
• Text und Graphik / Bild
• Text und Fakten
IR
264
2
Merkmale von MultimediaSystemen
Hypermedia
Text
Text
Text
Text
Text
Text
Text
Text
Bild
Bild
Text
Text
Text
Text
Text
Text
Text
Text
• Die zweckgerichtete Integration zeitinvarianter und zeitvarianter Medien
• Interaktion mit dem Benutzer
• assoziativer Zugriff auf die Informationen
• Simulation von Benutzerwünschen
• Speicherung, Übertragung und
Verarbeitung aller Medien in digitaler Form
Bild
Text
Text
Text
Text
IR
265
Memex (1945)
„Memory Extender“ (1)
266
Memex (1945) (2)
• Private Sammlung von Büchern, Aufzeichnungen, Mitteilungen
• eine Art Archiv
• schneller und gezielter Zugriff
• Speicherung auf Mikrofilm in einem
speziellen „Schreibtisch“ mit Vorführ- und
Leseeinrichtungen (auch zum parallelen
Vergleich)
IR
IR
267
• Assoziative Indizierung als Konzept von
Memex (untypisierte Verbindungen)
• spezielle typisierte Verbindungen sollten
Pfade durch das Material zur Verfügung
stellen, um Wissen über spezielles Thema
zusammenzufassen (automatische
Werkzeuge)
IR
268
As we may think
by
Vannevar Bush (1890-1974)
The Atlantic Monthly, July 1945, Vol. 176, no. 1, pp. 101-108.
http://www.theatlantic.com/unbound/flashbks/computer/bushf.htm
IR
269
IR
270
3
Aspen Movie Map (2)
Aspen Movie Map (1978) (1)
A. Lippmann / jetzt Media Lab des MIT
• Einsatz von zwei Bildschirmen
• Erstes Hypermediasystem
• simulierte Fahrt durch die Stadt
Aspen/Colorado
• Videofilme aller Straßen der Stadt
• Benutzer bewegt sich via Steuerknüppel
• kann Anhalten und Gebäude betreten
• Auswahl der Jahreszeit
IR
– Film, Überblick: Straßenkarte zum direkten
Anspringen, Orientierungspunkte
• Beispiele: pädagogische Systeme,
Reiseersatzmodelle (z.B. Flughafen
Entebbe), Manuale (Auto- / Fahrradhandbücher)
271
IR
272
Charakteristik multimedialer
Daten
Kodierung von Medientypen
nach Meyer-Wegener
1991, Grauer/Merten 1997,75
Rohdaten
Registrierungsdaten
Beschreibungsdaten
•
•
•
•
•
•
Der Medientyp TEXT
Der Medientyp BILD
Der Medientyp Graphik
Der Medientyp Analogvideo
Der Medientyp Digitalvideo
Der Medientyp SOUND
Text
Zeichenfolge
Bild
Pixelmatrix
Video Sequenz von
Pixelmatrizen
Audio Digitale
Abtastwerte
IR
273
IR
Architekturmodell
• Anforderungen:
Multimediale informations- bzw. Medienkomposition und
Integration von Metamodell und Abfrageverarbeitung
Text
Bild
AudioDBMS
Audio
IR
274
Zugriff auf MM-Objekte
Navigations- MM Abfrage- MedienInteraktive
werkzeug schnittstelle
editoren
Icons
Benutzerschnittstelle
Text-DBMS Bild-DBMS
Kodierung als ASCII Layout, logische
Struktur,
Schlüsselwörter
Höhe/Breite,
Linien, Flächen,
Kodierungsdetails
Situation
Bilder
Szenenbeschreibung
Auflösung
Kodierungsdetails
Abtastrate, Auflösung Text, Werk,
der Abtastwerte
Komponist, Interpret
VideoDBMS
–
–
–
–
–
umfassende Formatunterstützung
effiziente Speicherverwaltung
Integration von Manipulationswerkzeugen
Indexierungs- und Retrievalmechanismen
Synchronisationsmechanismen
Video
275
IR
276
4
Klasse der Fortbewegungsmittel
Browsing
Beispiel: content-based
Anfragen:
rotes Auto, Sportwagen
Metadaten: Farbe, Textur, Kontur ...
IR
277
• Über das Suchkonzept besteht eine
Vorstellung im Kopf, die nicht verbalisiert
wird
• per Ähnlichkeitsmatch wird das den
Vorstellungen am besten entsprechende
Bild ausgewählt
• Beispiel: „Clipart-Galleries“
Vorgehen:
Räumliche Anordnung der Farbbereiche
Reduktion der Anzahl der Farben auf Grundfarben
Bestimmung zusammenhängender Farbflächen
Metadaten: Größe, Position und Farbwert jedes
Farbbereichs
279
Content Extraction:
Textursegmentierung
IR
280
Content Extraction:
Konturerkennung
Vorgehen:
Räumliche Anordnung der Texturen
Einteilung in vier Rechtecke gleicher Größe
Vergleich der Rechtecke mittels statistischer Verfahren
bei Übereinstimmung Zusammenfassung, sonst weitere Unterteilung
Metadaten: Position und Größe der Rechtecke, sowie die
statistischen Werte der zugehörigen Textur
IR
278
Content Extraction:
Farbsegmentierung
Browsing
IR
IR
281
Vorgehen:
Grenzen zwischen Flächen mit großem Helligkeitsunterschied
Konvertierung in Graustufenbild
Berechnung der Helligkeitsunterschiede
Kontur an den Punkten, die bestimmte Grenzwerte überschreiten
Metadaten: Konturpunkte
IR
282
5
Content Extraction
• Bilder
Musik: Content Extraction
• Audio
– Farbe
– Textur
– Kontur
– Frequenz (Tonlage)
– Amplitude (Lautstärke)
– Frequenzübergänge
• Ein Klang besteht aus einer Grundfrequenz
und überlagerten Frequenzen
• Überlagerte Frequenzen sind zur Erkennung
eines Musikstücks irrelevant
• Analyse der Grundfrequenz führt zur
Reduktion des Musikstücks auf sein
Grundtöne (= Metadaten)
IR
283
IR
284
Heterogenität im Musik-Retrieval:
Unterschiedliche Ansätze
Musik als „formales System“ und
„kulturelles Phänomen“
• Musik-Stile nutzen versch. Methoden, um
Intentionen auszudrücken
• Ziel: formale Repräsentation für Computer
• Zwei Prinzipien:
– Klang, Noten, Pausen, Tempi, Instrumente,
Stimmen in versch. Kombinationen wie
Melodie, Thema
– Textuelle Metadaten (Komponist, Interpret,
Titel etc.)
– Content-basierte Methoden (automatische
Ableitung aus Musik-Objekten)
IR
285
Repräsentation
286
Suche
• Problem: keine Kennzeichnung
semantischer Einheiten!
• Notierte und akustische Repräsentation
• Verschiedene Perspektiven musikalischer
Kommunikation:
• Über Metadaten
• Über Ähnlichkeit
– Welcher Teil eines Liedes eignet sich zum
Vergleich?
– Wann sind zwei Musikstücke ähnlich?
– Komponist kreiert eine musikalische Struktur,
die der Sänger/Musiker etc. interpretiert (d.h.
„übersetzt“ in Klang)
IR
IR
• Ähnlicher Text, ähnlicher Titel, ähnliche Melodie,
ähnlicher Stil
287
IR
288
6
Retrievalmodelle
Anfragemodi
• Kern: Berechnung der Ähnlichkeit
zwischen Anfrage- und Objektrepräsentation
• Eigenschaftsvektoren werden abgeleitet und
verglichen
• Textuelle Metadaten
• Query-by-example (singing or humming or
whistling or MIDI-keyboard)
• Kompetenz des Benutzers spielt wichtige
Rolle für den Erfolg (professioneller
Musiker vs. „Freizeit-Musikliebhaber“)!
• Maß an Vagheit oder Fuzziness
• Klassifikationsmodelle
IR
289
Komplexität von MIR
Solution space
290
Anwendungsbeispiel
WerbefilmDatenbank
Different retrieval
models
Different
representations
IR
Gesuchtes Musikstück
„Spezi ist Spitze“
Werbefilme
(Musik)
Signatur
Different
Music styles
Grundfrequenzanalyse
Signatur
Match
Different
usage
IR
gefunden
291
Gesprochene Sprache: Content
Extraction
Nicht gefunden
IR
292
Videosegmentierung (1)
Einzelne Kameraeinstellungen, sog. Camera Shots bilden kleinste
Einheit inhaltlich zusammengehörender Bilder
• Grundlage: Spracherkennung
• Signalverarbeitung
• Zuordnung zu logischen Spracheinheiten
(Worte und Laute)
... Camera Shot
Camera Shot
Camera Shot
Szenenwechsel
Erkennung der Szenenwechsel über Histogrammvergleich
• s. im Detail Folien zur Spracherkennung
IR
293
IR
294
7
Videosegmentierung (2)
Aus speichertechnischen Gründen werden aus einer Kameraeinstellung nur einige wenige Schlüsselbilder (keyframes) ausgewählt.
Meist erstes, letztes und mittleres Bild aus der Kameraeinstellung
als keyframes
Ausführlicher am Beispiel der
Filmindexierung
Auf keyframes werden Content Extraction Methoden angewandt
dynamische Struktur:
Kamerabewegung: alle Pixel bewegen sich
Objektbewegung: nur ein Teil der Pixel bewegt sich
Bestimmung der Richtung durch Richtungsvektoren
IR
295
Schweins, K. http://www.fbi.fh-koeln.de
• spezifische Zusammenstellung für den Unterricht
(individuelles „Schulfernsehen“)
• Reiseveranstalter stellen individuelle
Dokumentation eines Urlaubsgebietes für speziellen
Kunden zusammen (Fokus wahlweise Kultur, Sport,
Natur etc.)
• interaktives Fernsehen: Zusammenstellung des
Programms, Wahl der Perspektive/bestimmte
Handlungen/Einfluß auf Protagonisten
Bild
Farbe
Textur
Kontur
räumliche Anordnung
Dynamische Komponente von Video
Kamerabewegungen
Objektbewegungen
Szenenwechsel
IR
296
Anwendungsbeispiele der
Zukunft
Video: Content Extraction
Audio
Frequenz
Amplitude
Frequenzüberlagerung
IR
297
IR
298
8