Multimedia - IR Zwei extreme Positionen: die erste Zwei extreme
Transcrição
Multimedia - IR Zwei extreme Positionen: die erste Zwei extreme
Zwei extreme Positionen: die erste ... Multimedia - IR A Digital Library for Education „It is time to build the America within reach ... An America where every child can strech a hand across a keyboard and reach every book ever written, every painting ever painted, every symphony ever composed.“ President Bill Clinton IR 253 Zwei extreme Positionen: die zweite ... IR 254 Begriff Multimedia „Der Mensch ist gottlob so robust, daß er alle didaktischen Experimente unbeschädigt übersteht, auch die universitären. Wer sich dennoch von einer Intensivierung der Hochschuldidaktik eine Modernisierung der Lehre verspricht, der wird enttäuscht werden; nicht nur, weil Wissenschaftsprozesse keinen didaktischen Regeln folgen, sondern weil der selbstbewußt Lernende in seiner didaktischen Behandlung eher Formen der Entmündigung als der zu fördernden Selbstbestimmung sieht.“ „Multimedia wird heute als Oberbegriff für eine Vielzahl neuer bzw. neuartiger Produkte und Dienstleistungen aus dem Computer-, Telekommunikations- und Medienbereich verwendet.“ Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (nach Grauer/Merten 1996,8) Jürgen Mittelstraß (1994), Die unzeitgemaeße Universität, S. 19 IR 255 Begriff Multimedia IR Dimension Zeit Multimedia ist „eine Synthese und ganzheitliche Nutzung verschiedener Medien. Bild (Film und Photographie), Ton und Text sind nicht mehr getrennte Werkgrößen, sondern können dank der Digitalisierung zu einer neuen Einheit verknüpft werden“. • Zeitabhängige Medien • Diskrete Medien – Veränderung über die Zeit hinweg – Information steckt nicht nur in einem Wert, sondern auch im Zeitpunkt des Auftretens – Informationen in diesen Medien bestehen ausschließlich aus einer Folge einzelner Elemente Hoeren 1996, Multimedia-Recht „Multimedia ist die Integration von verschiedenartigen Medien. Voraussetzung dabei ist, daß die Medien einen inhaltlichen Bezug zueinander haben, der didaktisch begründbar ist.“ – Beispiele: Text, Grafik – Beispiele: Ton, Bewegtbild Helmert 1992 IR 256 257 IR 258 1 Medien Texte Volltexte (z.B. Patente) Medien Diskrete Medien (zeitunabhängig) Textkondensate (Abstracts, Titel) Referenzen / Metadaten: Kontinuierliche Medien (zeitabhängig) Autor: Krcmar, H. Titel: Informationsmanagement Text Text und Hypertext Bild Grafik Foto Video Animation Videofilm Ton (Audio) Sprache, Musik, Geräusche PY: 1997 Verlag: Springer ISBN: 3-540-61846-5 IR 259 IR Bilder 260 Video 90 80 70 60 Ost West Nord 50 40 30 20 10 0 1. Qrtl. IR 2. Qrtl. 3. Qrtl. 4. Qrtl. – – – – – – TITEL: Jenseits der Stille LAND: Deutschland JAHR: 1996 REGIE: Caroline Link LÄNGE: 109 Minuten EINORDNUNG: Mehrfach preisgekrönter Erstlingsfilm 261 Audio IR 262 Mischformen • Für den Benutzer ist die Befriedigung des Informationsbedürfnisses zentral, nicht das Medium, in welchem das Wissen vorliegt. Gesprochene Sprache: Sprecher Länge Zeit Transkription Musik: Sänger: Elton John Titel: Candle in the Wind „traurig, ruhig, melancholisch“ Schlagwörter: Diana, Tod, Begräbnis, Symbol ... IR • Spielfilm 263 • Text und Graphik / Bild • Text und Fakten IR 264 2 Merkmale von MultimediaSystemen Hypermedia Text Text Text Text Text Text Text Text Bild Bild Text Text Text Text Text Text Text Text • Die zweckgerichtete Integration zeitinvarianter und zeitvarianter Medien • Interaktion mit dem Benutzer • assoziativer Zugriff auf die Informationen • Simulation von Benutzerwünschen • Speicherung, Übertragung und Verarbeitung aller Medien in digitaler Form Bild Text Text Text Text IR 265 Memex (1945) „Memory Extender“ (1) 266 Memex (1945) (2) • Private Sammlung von Büchern, Aufzeichnungen, Mitteilungen • eine Art Archiv • schneller und gezielter Zugriff • Speicherung auf Mikrofilm in einem speziellen „Schreibtisch“ mit Vorführ- und Leseeinrichtungen (auch zum parallelen Vergleich) IR IR 267 • Assoziative Indizierung als Konzept von Memex (untypisierte Verbindungen) • spezielle typisierte Verbindungen sollten Pfade durch das Material zur Verfügung stellen, um Wissen über spezielles Thema zusammenzufassen (automatische Werkzeuge) IR 268 As we may think by Vannevar Bush (1890-1974) The Atlantic Monthly, July 1945, Vol. 176, no. 1, pp. 101-108. http://www.theatlantic.com/unbound/flashbks/computer/bushf.htm IR 269 IR 270 3 Aspen Movie Map (2) Aspen Movie Map (1978) (1) A. Lippmann / jetzt Media Lab des MIT • Einsatz von zwei Bildschirmen • Erstes Hypermediasystem • simulierte Fahrt durch die Stadt Aspen/Colorado • Videofilme aller Straßen der Stadt • Benutzer bewegt sich via Steuerknüppel • kann Anhalten und Gebäude betreten • Auswahl der Jahreszeit IR – Film, Überblick: Straßenkarte zum direkten Anspringen, Orientierungspunkte • Beispiele: pädagogische Systeme, Reiseersatzmodelle (z.B. Flughafen Entebbe), Manuale (Auto- / Fahrradhandbücher) 271 IR 272 Charakteristik multimedialer Daten Kodierung von Medientypen nach Meyer-Wegener 1991, Grauer/Merten 1997,75 Rohdaten Registrierungsdaten Beschreibungsdaten • • • • • • Der Medientyp TEXT Der Medientyp BILD Der Medientyp Graphik Der Medientyp Analogvideo Der Medientyp Digitalvideo Der Medientyp SOUND Text Zeichenfolge Bild Pixelmatrix Video Sequenz von Pixelmatrizen Audio Digitale Abtastwerte IR 273 IR Architekturmodell • Anforderungen: Multimediale informations- bzw. Medienkomposition und Integration von Metamodell und Abfrageverarbeitung Text Bild AudioDBMS Audio IR 274 Zugriff auf MM-Objekte Navigations- MM Abfrage- MedienInteraktive werkzeug schnittstelle editoren Icons Benutzerschnittstelle Text-DBMS Bild-DBMS Kodierung als ASCII Layout, logische Struktur, Schlüsselwörter Höhe/Breite, Linien, Flächen, Kodierungsdetails Situation Bilder Szenenbeschreibung Auflösung Kodierungsdetails Abtastrate, Auflösung Text, Werk, der Abtastwerte Komponist, Interpret VideoDBMS – – – – – umfassende Formatunterstützung effiziente Speicherverwaltung Integration von Manipulationswerkzeugen Indexierungs- und Retrievalmechanismen Synchronisationsmechanismen Video 275 IR 276 4 Klasse der Fortbewegungsmittel Browsing Beispiel: content-based Anfragen: rotes Auto, Sportwagen Metadaten: Farbe, Textur, Kontur ... IR 277 • Über das Suchkonzept besteht eine Vorstellung im Kopf, die nicht verbalisiert wird • per Ähnlichkeitsmatch wird das den Vorstellungen am besten entsprechende Bild ausgewählt • Beispiel: „Clipart-Galleries“ Vorgehen: Räumliche Anordnung der Farbbereiche Reduktion der Anzahl der Farben auf Grundfarben Bestimmung zusammenhängender Farbflächen Metadaten: Größe, Position und Farbwert jedes Farbbereichs 279 Content Extraction: Textursegmentierung IR 280 Content Extraction: Konturerkennung Vorgehen: Räumliche Anordnung der Texturen Einteilung in vier Rechtecke gleicher Größe Vergleich der Rechtecke mittels statistischer Verfahren bei Übereinstimmung Zusammenfassung, sonst weitere Unterteilung Metadaten: Position und Größe der Rechtecke, sowie die statistischen Werte der zugehörigen Textur IR 278 Content Extraction: Farbsegmentierung Browsing IR IR 281 Vorgehen: Grenzen zwischen Flächen mit großem Helligkeitsunterschied Konvertierung in Graustufenbild Berechnung der Helligkeitsunterschiede Kontur an den Punkten, die bestimmte Grenzwerte überschreiten Metadaten: Konturpunkte IR 282 5 Content Extraction • Bilder Musik: Content Extraction • Audio – Farbe – Textur – Kontur – Frequenz (Tonlage) – Amplitude (Lautstärke) – Frequenzübergänge • Ein Klang besteht aus einer Grundfrequenz und überlagerten Frequenzen • Überlagerte Frequenzen sind zur Erkennung eines Musikstücks irrelevant • Analyse der Grundfrequenz führt zur Reduktion des Musikstücks auf sein Grundtöne (= Metadaten) IR 283 IR 284 Heterogenität im Musik-Retrieval: Unterschiedliche Ansätze Musik als „formales System“ und „kulturelles Phänomen“ • Musik-Stile nutzen versch. Methoden, um Intentionen auszudrücken • Ziel: formale Repräsentation für Computer • Zwei Prinzipien: – Klang, Noten, Pausen, Tempi, Instrumente, Stimmen in versch. Kombinationen wie Melodie, Thema – Textuelle Metadaten (Komponist, Interpret, Titel etc.) – Content-basierte Methoden (automatische Ableitung aus Musik-Objekten) IR 285 Repräsentation 286 Suche • Problem: keine Kennzeichnung semantischer Einheiten! • Notierte und akustische Repräsentation • Verschiedene Perspektiven musikalischer Kommunikation: • Über Metadaten • Über Ähnlichkeit – Welcher Teil eines Liedes eignet sich zum Vergleich? – Wann sind zwei Musikstücke ähnlich? – Komponist kreiert eine musikalische Struktur, die der Sänger/Musiker etc. interpretiert (d.h. „übersetzt“ in Klang) IR IR • Ähnlicher Text, ähnlicher Titel, ähnliche Melodie, ähnlicher Stil 287 IR 288 6 Retrievalmodelle Anfragemodi • Kern: Berechnung der Ähnlichkeit zwischen Anfrage- und Objektrepräsentation • Eigenschaftsvektoren werden abgeleitet und verglichen • Textuelle Metadaten • Query-by-example (singing or humming or whistling or MIDI-keyboard) • Kompetenz des Benutzers spielt wichtige Rolle für den Erfolg (professioneller Musiker vs. „Freizeit-Musikliebhaber“)! • Maß an Vagheit oder Fuzziness • Klassifikationsmodelle IR 289 Komplexität von MIR Solution space 290 Anwendungsbeispiel WerbefilmDatenbank Different retrieval models Different representations IR Gesuchtes Musikstück „Spezi ist Spitze“ Werbefilme (Musik) Signatur Different Music styles Grundfrequenzanalyse Signatur Match Different usage IR gefunden 291 Gesprochene Sprache: Content Extraction Nicht gefunden IR 292 Videosegmentierung (1) Einzelne Kameraeinstellungen, sog. Camera Shots bilden kleinste Einheit inhaltlich zusammengehörender Bilder • Grundlage: Spracherkennung • Signalverarbeitung • Zuordnung zu logischen Spracheinheiten (Worte und Laute) ... Camera Shot Camera Shot Camera Shot Szenenwechsel Erkennung der Szenenwechsel über Histogrammvergleich • s. im Detail Folien zur Spracherkennung IR 293 IR 294 7 Videosegmentierung (2) Aus speichertechnischen Gründen werden aus einer Kameraeinstellung nur einige wenige Schlüsselbilder (keyframes) ausgewählt. Meist erstes, letztes und mittleres Bild aus der Kameraeinstellung als keyframes Ausführlicher am Beispiel der Filmindexierung Auf keyframes werden Content Extraction Methoden angewandt dynamische Struktur: Kamerabewegung: alle Pixel bewegen sich Objektbewegung: nur ein Teil der Pixel bewegt sich Bestimmung der Richtung durch Richtungsvektoren IR 295 Schweins, K. http://www.fbi.fh-koeln.de • spezifische Zusammenstellung für den Unterricht (individuelles „Schulfernsehen“) • Reiseveranstalter stellen individuelle Dokumentation eines Urlaubsgebietes für speziellen Kunden zusammen (Fokus wahlweise Kultur, Sport, Natur etc.) • interaktives Fernsehen: Zusammenstellung des Programms, Wahl der Perspektive/bestimmte Handlungen/Einfluß auf Protagonisten Bild Farbe Textur Kontur räumliche Anordnung Dynamische Komponente von Video Kamerabewegungen Objektbewegungen Szenenwechsel IR 296 Anwendungsbeispiele der Zukunft Video: Content Extraction Audio Frequenz Amplitude Frequenzüberlagerung IR 297 IR 298 8