Codec, Wrapper und ihre Rolle in der Langzeitarchivierung: Eine

Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Codec, Wrapper und ihre Rolle in der
Langzeitarchivierung: Eine Übersicht
Beispielfall
Ende
Peter Bubestinger
30. Okt. 2014
1 / 36
Choose your destiny
Die “Dreifaltigkeit” von digitalem Video
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
2 / 36
Choose your destiny
Die “Dreifaltigkeit” von digitalem Video
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Dateiendung = Container
Aussagen wie “Die Videos sind im Flash/AVI/Quicktime Format”
oder “Die Kamera erzeugt MP4 ”, sagen normalerweise nur etwas
über den Container aus.
3 / 36
Digitales video
Ganz so einfach ist es leider nicht. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Viele Faktoren zu berücksichtigen:
Pixel Auflösung (straight/anamorphic)
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Group Of Pictures (GOP)
Bitrate
Framerate (PAL, NTSC, Film, “esoterisch”, etc.)
Scanning mode (interlaced/progressive)
Colorspace (YUV, RGB, XYZ)
Subsampling (4:4:4, 4:2:2, 4:2:0, etc)
Bits-Per-Component (bpc)
...
4 / 36
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Langzeitarchivierung:
Welcher Codec / Container?
5 / 36
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Video-Container
6 / 36
Video Container
Ein kurzer Überblick
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Mögliche Container-Kandidaten:
Material eXchange Format (MXF)
Audio Video Interleaved (AVI)
Quicktime (MOV)
Matroska (MKV)
7 / 36
Video Container
Ein kurzer Überblick
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Container-Eigenschaften: MXF
Kann theoretisch alles. Theoretisch.
Dokumentation nur teilweise offen zugänglich.
Hauptsächlich im Produktionsbereich populär.
Professionelle Features (Timecode, etc)
Kompatibilitäts- und Interoperabilitätsprobleme
Kleine Auswahl an Tools. Meist proprietär.
MXF-Legalizer, BBC’s MXF-to-MXF Konverter. . .
8 / 36
Video Container
Ein kurzer Überblick
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Container-Eigenschaften: AVI
Kann nur das Notwendigste
Sehr gut dokumentiert. Sehr weit verbreitet.
Keine Kompatibilitäts- oder Interoperabilitätsprobleme
Große Auswahl an Tools. Sowohl Open Source, als auch
proprietär.
9 / 36
Video Container
Ein kurzer Überblick
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Container-Eigenschaften: MOV
Wesentlich mehr Features als AVI
Gut dokumentiert. Weit verbreitet.
Professionelle Features (Timecode, etc)
Sonder-Features = höhere Chance von
Interoperabilitätsproblemen
Mittlere Auswahl an Tools. Sowohl Open Source, als auch
proprietär.
10 / 36
Video Container
Ein kurzer Überblick
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Container-Eigenschaften: MKV
Wesentlich mehr Features als AVI
Gut dokumentiert. Mittelmäßig verbreitet.
Professionelle Features (Timecode, etc) möglich, aber noch
nicht vorhanden
Kaum Interoperabilitätsprobleme
Mittlere Auswahl an Tools. Größtenteils Open Source.
11 / 36
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Video-Codecs
12 / 36
Audio/Video Codecs
Lossy or lossless?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Wo ist der Unterschied?
lossy: verlustbehaftet
lossless: verlustfrei
Beispielfall
Ende
13 / 36
Audio/Video Codecs
Lossy or lossless?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Wo ist der Unterschied?
lossy: verlustbehaftet
lossless: verlustfrei
Beispielfall
Ende
Wenn verlustbehaftet gut genug für professionelle Videoarchivierung
wäre, warum dann nicht auch Audio als MP3 archivieren? ;)
14 / 36
Videocodecs
Lossy or lossless?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Lossy ist für Archivierung daher also keine gute Option.
Deshalb: Lossless!
Professionelle Lossless-Codecs für Video:
h264-lossless
JPEG2000-lossless
FFV1
Dirac
Unkomprimiert (“Uncompressed”)
http://download.das- werkstatt.com/pb/mthk/info/video/comparison_video_codecs_containers.html
15 / 36
Videocodecs
Vergleich: Geschwindigkeit und Dateigröße
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Beispiel SD-PAL VHS:
1.186 GiB/Min uncompressed vs. 400 MiB/Min in FFV1
16 / 36
Video Archivierung: Offene Formatfrage
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Zu berücksichtigen:
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Fokus/Bedürfnisse sind unterschiedlich:
Broadcast, Produktion, Archivierung
“Minimalistic standards” vs. “Alles-In-Einem”
Metadaten:
Schemas, Formate und “Alles-In-Einem” File oder nicht?
Zugriff auf eingebettete Metadaten?
Änderungen am AIP (z.B. Metadaten hinzufügen)
17 / 36
Video Archivierung: Offene Formatfrage
Bisheriger “Industry proposed standard”
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
JPEG2000/MXF
Beide Formate sind größtenteils Offene Standards
Ende
Beide Formate verfolgen einen “Alles-In-Einem” Ansatz
18 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Ist “Alles-in-Einem” immer der beste Ansatz?
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
19 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
VS
20 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
. . . das richtige Werkzeug für die jeweilige Aufgabe:
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
21 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Multi-Feature Formate können durchaus sinnvoll sein:
Codec /
Container
Datenformat(e)
Beispielfall
Ende
22 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
VS
23 / 36
Video Archivierung: Offene Formatfrage
Jack of all trades. . .
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Source: http://www.amazon.de/Wenger- Schweizer- Offiziersmesser- Messer- Schatulle/dp/B000R0JDSI
24 / 36
Video Archivierung: Offene Formatfrage
Was nehmen wir jetzt?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Library of Congress “FADGI” Spezifikation für MXF/J2K:
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
AS-07 für J2K/MXF ist seit 2009 “in Arbeit”. . .
Wenn Spezifikation fertig: Wer unterstützt sie - und wann?
Ende
25 / 36
Video Archivierung: Offene Formatfrage
Was nehmen wir jetzt?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Library of Congress “FADGI” Spezifikation für MXF/J2K:
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
AS-07 für J2K/MXF ist seit 2009 “in Arbeit”. . .
Wenn Spezifikation fertig: Wer unterstützt sie - und wann?
Ende
Ende 2009 hat die Mediathek angefangen bzgl. digitaler
Videoarchivierung zu recherchieren. . .
26 / 36
Datenformat(e) für Langzeitarchivierung
Was kann ich jetzt und in ’x’ Jahren noch öffnen?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Praxiserfahrungen:
Minimalistische Standards:
So komplex wie nötig
So simpel wie möglich
= einfacher zu implementieren = interoperabler = erhaltbarer
Geschlossene vs. Offene Implementierung:
Offene Standards sind eine sehr gute Sache!
Wenn sie korrekt umgesetzt werden.
Geschlossene Implementierungen:
Sogar wenn standardbasiert ist es eine “Black Box”.
“Nur” offen:
Zwar (noch) kein offizieller Standard, aber offen = transparent,
erhaltbar und anpassbar
Metadaten:
Text(XML), Bilder, etc. in externen Files vs. eingebettet im
Container
27 / 36
Pragmatische Lösung in der Mediathek
Ordnerpaket / Minimalistische Standards
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
FFV1/PCM/AVI + Metadatenfiles:
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
28 / 36
Datenformat(e) für Langzeitarchivierung
FFV1 Lossless Video Codec
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
FFV1 = “FFmpeg Video Codec 1”
Alle Implementierungen sind Frei und Offen (FFmpeg/LibAV)
FFmpeg/LibAV = Meist verwendete Programmbibliotheken für
Video
NUR Lossless
Echtzeit auf herkömmlicher Hardware:
SD PAL in Echtzeit (single-threading) - 2010
Full-HD in Echtzeit (multi-threading) - 2013
Verfügbar für Alle: Institutionen, Firmen, Privat
Migration in zukünftige Formate: Kein Problem!
(Noch) kein offizieller Standard.
29 / 36
Theorie vs. Praxis?
Ein Beispielfall
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Verwendung und Professionalisierung von Freier Software (Open
Source) ermöglicht uns:
Lossless Video Workflow von A-Z
(FFV1. Kein Transcoding notwendig)
Höchste Qualität: leistbar, erhaltbar und höchst interoperabel
Herstellerunabhängig
Qualitätskontrolle direkt auf der Archivkopie
Direktes Abspielen und Editieren der Archivkopie
Durchschnittliche PC-Hardware ausreichend in den meisten
Fällen
Transcoding in Vielzahl von Zielformaten (DVD, Web, Mobile,
J2K, etc)
Danke FFmpeg.
Und vieles, vieles mehr. . .
30 / 36
Was bringt das euch?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Wir Archivinstitutionen haben. . .
Gemeinsame Interessen +
Ende
31 / 36
Was bringt das euch?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Wir Archivinstitutionen haben. . .
Gemeinsame Interessen +
Gemeinsame Herausforderungen =
32 / 36
Was bringt das euch?
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Wir Archivinstitutionen haben. . .
Gemeinsame Interessen +
Gemeinsame Herausforderungen =
Gemeinsame Lösungen/Tools ?!
33 / 36
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
- Fin -
34 / 36
Links and Referenzen
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Minimalistic Standards:
http://fsfe.org/activities/os/minimalisticstandards.html
The archivist’s video codec and container FAQ:
http://download.das- werkstatt.com/pb/mthk/info/video/FAQ- digital_video_archiving.html
Beispielfall
Comparing video codecs and containers for archives:
Ende
http://download.das- werkstatt.com/pb/mthk/info/video/comparison_video_codecs_containers.html
FFV1 on Wikipedia:
https://en.wikipedia.org/wiki/FFV1
FFmpeg on Wikipedia:
http://en.wikipedia.org/wiki/Ffmpeg
DVA-Profession:
http://www.dva-profession.mediathek.at/
35 / 36
Codec, Wrapper
und ihre Rolle in
der
Langzeitarchivierung:
Eine Übersicht
Thank you very much for your attention!
Peter
Bubestinger
Digitales Video
Codec /
Container
Datenformat(e)
Beispielfall
Ende
Some rights reserved...
This presentation is available under a Free License:
Creative Commons Attribution Share-Alike
(CC-BY-SA)
Contact:
Österreichische Mediathek: www.mediathek.at
Peter Bubestinger: [email protected]
36 / 36