10. Kompression und Schnitt

Transcrição

$QLPDWLRQXQG0XOWLPHGLD
Kompression und Schnitt
Prof. Dr.-Ing. Detlef Krömker
*RHWKH8QLYHUVLWlW)UDQNIXUW
*UDSKLVFKH'DWHQYHUDUEHLWXQJ
5FNEOLFN
*UXQGSUREOHPHXQGWHFKQLVFKH/|VXQJHQGHU
%HZHJWELOGPHGLHQ
)LOP
$QDORJ9LGHR
Primärparameter und Signale, Modulation,
Farbsignalarten Komponenten,
Composites: NTSC, SECAM, PAL
'LJLWDO9LGHR
Die Basis: ITU-R BT.601 (CCIR 601)
“Digitale Komponenten”
© Prof. Dr.-Ing. Detlef Krömker
Animation und Multimedia
2
WS 2002/2003
1
hEHUVLFKW
1.
2.
Kompression – Prinzipien
Die wichtigsten Kompressionsverfahren + Formate
Die ISO/IEC Standards:
-3(*«-),)0-3(*
03(*, MPEG2, MPEG4
(Die ITUVideokonferenz und
Bildtelefon Standards: H.261, ... H. 320
Proprietäre Videocodecs: real, divics, Soerenson, (gif, mpng), …
3.
4.
Containerformate für die Distribution: Quicktime, AVI
Übertragungsverfahren:
preload+play vs. continous play (streaming)
fixed vs. variable data rate
5.
6.
Videohierarchien
Videoschnitt
3
WS 2002/2003
hEHUVLFKW
8.
9.
10.
11.
12.
Zusammenfassung: Kompression und Schnitt
Glossar
Weitere Informationen
Zusammenfassung: Animation und Multimedia
Aktuelle Forschungen bei GDV und Fraunhofer AGC
4
WS 2002/2003
2
.RPSUHVVLRQ

Reduzierung der Datenraten notwendig:
4:2:2 Video unkomprimiert: 216 MBit (brutto)
Î 1 Minute Video ca. 1,6 MByte
Rechneranwendungen: bearbeiten, speichern,
übertragen
Videoproduktion
Internet
CD-ROM; DVD

Ziel: möglichst geringe Auswirkungen:
Redundanzreduktion
Irrelevanzreduktion
5
WS 2002/2003
=LHOGHU.RPSUHVVLRQ
wiedergegebenes Medienobjekt
Original
Kompression
Dekompression
6SHLFKHUXQJ
hEHUWUDJXQJ
$OWHUQDWLYHQ
1. Identisch (ohne Informationsverlust)
2. erscheinen in der Perzeption gleich,
können aber (objektiv) unterschiedlich sein
WS 2002/2003
3
7HUPLQRORJLH
• 4XHOONRGLHUXQJ
(QWURSLHNRGLHUXQJ
Kompression und Kodierung
PLW
RKQH
Berücksichtigung von Merkmalen, Eigenschaften, ggf. Semantik des
Datenstromes
• 9HUOXVWEHKDIWHWH .RPSUHVVLRQ 9HUOXVWIUHLH.RPSUHVVLRQ
ORVV\FRPSUHVVLRQ
Verändert das Original, aber
möglichst wenig / nicht wahrnehmbar
ORVVOHVVFRPSUHVVLRQ
ideal rekonstruierbar = Original
• 6\PPHWULVFKH.RPSUHVVLRQ
$V\PPHWULVFKH
.RPSUHVVLRQ
Annähernd gleiche Geschwindigkeit
Die Kompression dauert
für Kompression und Dekompression
(i.a. wesentlich) länger
(Realzeitkompression, Online-Kompression)
als die Dekompression
• .RPSUHVVLRQVJUDG
Verhältnis der ursprünglichen Datenmenge zur komprimierten Datenmenge,
bei Bildkompression häüfig als Bits/Pixel ausgedrückt
7
WS 2002/2003
Wichtige Kompressionsverfahren (Übersicht)
YHUOXVWIUHLH Kompression (lossless)
YHUOXVWEHKDIWHWHKompression (lossy)
Reduktion der Abtastparameter
/DXIOlQJHQNRGLHUXQJ
Subsampling (örtlich + zeitlich)
Quantisierung
VWDWLVWLVFKH.RGLHUXQJ
+XIIPDQ
frequenzorientierte Techniken
arithmetrische Kodierung
Lempel-Ziv-Technik
Subbandkodierung
FFT oder DCT-basierende
Kodierung
SUlGLNWLYH XQGGLIIHUHQWLHOOH7HFKQLNHQ
DPCM (insbes. Audio)
ADPCM (insbes. Audio)
Motion Prädiktion (Dig. Video)
modellbasierte Techniken
MPEG 4
verlustfreie Kompressionen (lossless)
ergeben für Video zu geringe
Kompressionsraten
In der Praxis häufig Hybrid-Techniken
und/oder Alternativen für
verschiedenes Bildmaterial (Quellen):
JPEG, MPEG H.261,DVI, CD-I
8
WS 2002/2003
4
3ULQ]LSLHQ
.RPSUHVVLRQGXUFK(UVHW]XQJHQ

Feststellung: Pixelwerte eines Bildes sind nicht gleichverteilt
Idee: häufiger vorkommende Datenwerte werden in kürzeren Bitfolgen kodiert
(je häufiger das Muster, je kürzer der Code)
Dazu: Identifizierung von Mustern und ihrer Häufigkeit Î Codebuch
statisch (z.B. Morsealphabet)
dynamisch
Musterersetzung

Null- und Lückenunterdrückung

ersetzen häufiger Zeichenmuster (‘Multimedia’
primär für Textdaten genutzt
Î
‘*M’)
Annahme der Existenz eines häufig auftretenden Zeichens oder Oktetts (z.B. Blank in Text
oder 0 in Daten)
Kodierung: <flag>n
/DXIOlQJHQNRGLHUXQJ

Ersetzung jeder Folge von wiederkehreneden Zeichen durch
‘c’<flag>n
(effizient für n >= 4)
Verallgemeinerung der Null- und Lückenunterdrückung
effektiv z.B. für Bilder mit größeren Flächen gleicher Farbwerte
9
WS 2002/2003
3ULQ]LSLHQ
6WDWLVWLVFKH9HUIDKUHQ

+XIIPDQ.RGLHUXQJ

Arithmetische Kodierung
Datenanalyse (statisch oder dynamisch), Bestimmung der Häufigkeit
jedes
Pixelwertes (z.B. Oktetts), Kodierung mit PLQLPDOHU Anzahl von Bits
für die bestimmte Auftrittswahrscheinlichkeit Î minimal 1 Bit /Pixel
Kodierung der Datenwerte unter Berücksichtigung von arithmetrischen
Reihenfolge-Beziehungen zwischen Codewörtern (Berücksichtigung aller
Vorgänger)
Î Kodierung von Gruppen von Datenwerten
(Î 1 Pixelwert kann ggf. mit weniger als 1 Bit kodiert werden)
Î geringfügig höhere Kompressionsrate als Huffman (bis zu 10%)
aber kein wahlfreier Zugriff (!) und ggf. Fehlerfortpflanzung
Patentgeschützt!
10
WS 2002/2003
5
+XIIPDQ.RGLHUXQJ
Prinzip
1.
2.
3.
4.
Bestimmung der Häufigkeit des Auftretens der
Datenwerte
Ordnung der Werte nach fallenden Häufigkeiten
Unterteilung der Werte in 2 Gruppen mit annähernd
gleichen Summen der Häufigkeit
(Gruppe 1: Kodestelle 1; Gruppe 2: Kodestelle 0)
Weitere Unterteilung der Gruppen
11
WS 2002/2003
%HLVSLHO+XIIPDQ.RGLHUXQJ
'DWHQIROJH
001 001 000 100 001 011 001 001 001 011 001 001 001 111 110 001 101 100 011 011
000 001 001 011 101 001 100 011 001 101 001 110 101 101 001 011 101 011 101 001
100 001 001 001 101 011 001 001 011 101 011 101 001 001 101 001 001 101 001 101
001 101 111 001 001 101 001 001 001 101 100 001 101 001 101 001 001 001 101 011
101 001 001 101 110 001 011 101 110 101 001 001 010 101 100 001 011 001 100 000
Datenwerte:
000
3
0,03
001
45
0,45
010
1
0,01
011
14
0,14
100
7
0,07
101
24
0,24
110
4
0,04
111
2
0,02
001
0,45
101
0,24
011
0,14
100
0,07
110
0,04
000
0,03
111
0,02
010
0,01
11110
11111
11111
11110
+lXILJNHLW
geordnet:
*UXSSHQELOGXQJXQG.RGLHUXQJ
001
101
011
100
110
000
111
010
0,45
0,24
0,14
0,07
0,04
0,03
0,02
0,01
1
1
1
1
1
1
1
11
11
11
11
11
11
111
111
111
111
111
1111
1111
1111
1111
6
%HLVSLHO+XIIPDQ.RGLHUXQJ)RUWVHW]XQJ
$XVJDQJV'DWHQIROJH
=HLFKHQ
NRGLHUWH'DWHQIROJH
0 0 111110 1110 0 110 0 0 0 110 0 0 0 111111 111100 0 10 1110 110 110
111110 0 0 110 10 0 1110 110 0 10 0 111100 10 10 0 110 10 110 10 0
1110 0 0 0 10 110 0 0 110 10 110 10 0 0 10 0 0 10 0 10
0 10 111111 0 0 10 0 0 0 10 1110 0 10 0 10 0 0 0 10 110
10 0 0 10 111100 0 110 10 111100 10 0 0 111101 10 1110 0 110 0 1110 1111
=HLFKHQ
.RPSUHVVLRQVUDWH © Prof. Dr.-Ing. Detlef Krömker
13
WS 2002/2003
3ULQ]LSLHQ
'LIIHUHQWLHOOHXQGSUlGLNWLYH .RGLHUXQJ
,GHH: Kodierung des Unterschiedes zwischen dem tatsächlichen Wert
eines Musters und einer Voraussage dieses Wertes
'LIIHUHQ]3XOVH&RGH0RGXODWLRQ'3&0
vorhergesagter Wert ist zuletzt abgetasteter Wert
Differenz zu diesem Wert kann in weniger Bit kodiert werden
6LJQDO
FRGLHUWHV6LJQDO
Amplitude
Amplitude
Zeit
Zeit
Variante (Delta Modulation): Die Kodierung der Differenzwerte erfolgt
nur mit einem Bit Î steile Flanken können nicht repräsentiert werden
Î YHUOXVWEHKDIWHW
14
WS 2002/2003
7
'LIIHUHQWLHOOHXQGSUlGLNWLYH .RGLHUXQJ
)RUWVHW]XQJ
$GDSWLYH'LIIHUHQ]3XOV&RGH0RGXODWLRQ
$'3&0
variable Vorhersagefunktion entsprechend kurzfristiger Merkmale
des abgetasteten Signals
dynamischer Faktor für Differenzwerte
6LJQDO
FRGLHUWHV6LJQDO
Amplitude
Amplitude
Zeit
Zeit
Faktor
2 1 2
1
2
15
WS 2002/2003
3ULQ]LS
0RWLRQ3UHGLFWLRQ
• Für Bildfolgen geeignet
• Für bestimmte Bildteile wird untersucht, ob diese durch
Verschiebung von Bildteilen bereits kodierter Bilder erhalten werden
können
• Beschreibung des entsprecheneden Bildteiles durch Koordinaten
(Rechteck)
• Speicherung /Übertragung eines Verschiebevektors (PRWLRQ YHFWRU)
16
WS 2002/2003
8
7UDQVIRUPDWLRQVNRGLHUXQJ
Prinzip:
Die Ursprungsdaten werden transformiert vom räumlichen oder zeitlichen Bereich
in einen abstrakten (häufig in den Frequenz-)Bereich,
der sich für die Kompression besser eignet.
Nach der Umwandlung können ZLFKWLJH Koeffizienten genauer kodiert
werden als weniger wichtige,
bestimmte unwichtige Koeffizienten können auch ganz wegfallen
Transformation ist prinzipiell verlustlos (ggf. höhere Genauigkeit nötig!)
bei Kodierung von weniger wichtigen Koeffizienten mit weniger Bit
und Weglassen unwichtiger Koeffizienten DEHUYHUOXVWEHKDIWHW
Wichtige Transformationen:
Fourier-Transformation (DFT, FFT)
Diskrete Kosinus-Transformation (DCT)
Waveletts
17
WS 2002/2003
7UDQVIRUPDWLRQVNRGLHUXQJ
räumliche oder zeitliche Domäne
Frequenzdomäne
c
a
7
f
x oder t
wichtige Koeffizienten
weniger
wichtige
Koeffizienten
18
WS 2002/2003
9
hEHUVLFKW
1.
2.
Kompression – Prinzipien
Die wichtigsten Kompressionsverfahren + Formate
Die ISO/IEC Standards:
-3(*«-),)0-3(*
03(*, MPEG2, MPEG4
(Die ITUVideokonferenz und
Bildtelefon Standards: H.261, ... H. 320
Proprietäre Videoformate: gif, mpng, Soerenson, …
3.
4.
Containerformate für die Distribution: Quicktime, AVI
Übertragungsverfahren:
preload+play vs. continous play (streaming)
5.
6.
Videohierarchien
Videoschnitt
19
WS 2002/2003
-3(*
-RLQW3KRWRJUDSKLF ([SHUW *URXS
,62,(&XQG,78&&,77

optimiert für photographische Aufnahmen (Einzelbilder) mit
„fließenden“ Farbübergängen oder Grauwertbilder,
weniger geeignet für synthetische Bilder (niedrigere
Kompressionsrate oder Artefakte)
Der JPEG-Standard spezifiziert verschiedene Verfahren / Alternativen
und Betriebsarten:
lossy mode (DCT + Lauflängen + Huffman)
baseline und extended
lossless mode (DPCM + Huffman)
Betriebsarten:

Sequentielle Kodierung
Progressive Kodierung: Bildaufbau in Stufen (grob … fein)
Hierarchische Kodierung (mehrere Auflösungsstufen)
%DVHOLQH lossy mode) Kompression durch DCT, Lauflängen und
Huffman-Encoding; Sequentielle Kodierung
20
WS 2002/2003
10
3ULQ]LSGHU-3(*.RGLHUXQJ'HNRGLHUXQJ&RGHFV
ORVVOHVV
Prädiktion
Digitales
Bild
• Lauflänge
• Huffman oder
arithmetisch
Bildvorbereitung
EntropieKodierung
ORVV\
DCT
...111001001101
Quantisierung
Tabellen
Tabellen
Restauration
Digitales
Bild
Bildnachbereitung
Dekodierung
101100100111...
DeQuantisierung
IDCT
WS 2002/2003
-3(*%DVHOLQH
%ORFNYRUEHUHLWXQJ
Farbraumtransformation
und Unterabtastung
(RGB --> YUV)
640*480
640*480
640*480
B
320*240
320*240
640*480
V
G
U
R
Y
Aufteilung jeder Komponente
in 8*8 Pixelblöcke
40*30
40*30
80*60
V
U
Y
WS 2002/2003
11
'LVNUHWH.RVLQXV7UDQVIRUPDWLRQ
[ ]
Block : 6 = V \[ mit x,y = [0,...,7]
& = [FYX ]für u, v = [0,...,7]
7 7
1
(2 [ + 1)Xπ
(2 \ + 1)Yπ
FYX = DX DY ∑∑ V \[ cos
cos
4
16
16
[ =0 \ =0
mit DX , DY =
1
für u, v = 0; sonst DX , DY = 1
2
Verwandte der diskreten Fourrier-Transformation (beide sind
Frequenzraumtransformationen)
Die cos-Terme hängen nur von x,u resp. y,v ab, insbesondere nicht von syx:
Î lassen sich in Tabelle als Konstante ablegen
Î vergleichsweise schnelle Berechnung möglich!
23
WS 2002/2003
:HLWHUH(LJHQVFKDIWHQ
GHU'&7 .RHIIL]LHQWHQ

jeder Koeffizient cmn wird aus DOOHQ Werten sij der Originalmatrix
berechnet und enthält demzufolge Informationen des gesamten
Blockes
Die Koeffizienten werden im Intervall [-128,127] berechnet
c00 ist der DC-Koeffizient (DC = 'LUHFW &XUUHQW /
Gleichstromkoeffizient)
c01 bis c77 sind die AC-Koeffizienten (AC = $OWHUQDWLQJ &XUUHQW /
Wechselstromkoeffizienten)
die Werte der Koeffizienten werden bei typischen Bildern von links
oben nach rechts unten schnell kleiner
der Informationsgehalt der DCT-Koeffizienten nimmt von links oben
nach rechts unten ab
WS 2002/2003
12
$OWHUQDWLYHQEHLGHU4XDQWLVLHUXQJ
1. Setzen eines Schwellwertes (ungebräuchlich)
jmn =
für cmn >= τ
für cmn < τ
{ 0c
mn
gleiche Behandlung aller Koeffizienten, keine Berücksichtigung ihrer Wichtigkeit
4XDQWLVLHUXQJVWDEHOOH 4EHL-3(*JHQXW]W
(DC, ACmn) = rnd (cmn / qmn)
differenzierte Behandlung der Koeffizienten, Reduzierung durch Division
z.B. 4 =
3
5
7
9
11
13
15
17
5
7
9
11
13
15
17
19
7
9
11
13
15
17
19
21
9
11
13
15
17
19
21
23
11
13
15
17
19
21
23
25
13
15
17
19
21
23
25
27
15
17
19
21
23
25
27
29
17
19
21
23
25
27
29
31
WS 2002/2003
=XVlW]OLFKH0|JOLFKNHLW
4XDOLWlWVVWHXHUXQJIU-3(*.RPSUHVVLRQ
1LFKWVWDQGDUGLVLHUWÎ ,PSOHPHQWLHUXQJVDEKlQJLJ
,-* -3(* ,PSOHPHQWDWLRQ
Quality q: 0 .. 100
x ist Element der Quantisierungstabelle
Ziel:
1 für q 100
x für q = 50
für q
0
8
x
[QP TQP 6
 N1
50
 T
6 =
T
 2 − 50
N
 2
für q = 0
für 0 < q ≤ 50
für 50 < q ≤ 100
für q = 100
WS 2002/2003
13
-3(*%DVHOLQH
.RPSUHVVLRQVEHLVSLHOH
ESS
3L[HO
%\WHV
q = 95; s = 0,1
50884 Bytes; 3,926bpp
q = 5; s = 10,0
3771 Bytes; 0,291bpp
q = 25; s = 2,0
q = 50; s = 1,0
13833 Bytes; 1,067bpp
WS 2002/2003
(QWURSLHNRGLHUXQJ
1. Sequenzierung eines Blocks in der
Zick-Zack-Sequenz nach der
Quantisierung:
DC, AC01, AC10, AC20, AC11, AC20, …
2. Die Kodierung erfolgt im sogenannten
,62,QWHUPHGLDWH6\PERO6HTXHQFH
)RUPDWdas im wesentlichen
alternierend drei Angaben vorsieht:
1.
2.
3.
die Anzahl der folgenden Koeffizienten
mit dem Wert Null (Lauflängen)
die für die Repräsentation des
folgenden Koeffizienten benutzte
Anzahl von Bits
den Wert des Koeffizienten, dargestellt
in der angegebnen Anzahl von Bits
3. Die Lauflängen werden Huffman kodiert.
28
WS 2002/2003
14
=XVDPPHQIDVVXQJ
-3(*%DVHOLQH &RGHF

Ist für nahezu beliebige Bildformate verwendbar (max 216 Zeilen/Spalten)
Unterstützt beliebiges Pixel-Seitenverhältnisse SL[HO DVSHFW UDWLR
Typische Kompressionsraten (-faktor) für 3x8 Bit:

0,25 – 0,5 bit/Pixel (100-50): oft noch akzeptable Qualität
0,5 – 0,75 bit/Pixel (50-30): sehr gute Qualität
0,75 – 1,5 bit/Pixel (30-15): ausgezeichnete Qualität, fast immer ausreichend
1,5 – 2,0 bit/Pixel (15-12): vom Original kaum zu unterscheiden
Neben dem Baseline-Codec sind viele weitere Varianten möglich … aber
doch (vergleichsweise selten genutzt)

Einige weitere Verfahren im extended Modus!
verlustfreie Kompression durch prädiktive Kodierung
Progressiver Bildaufbau (ein „unscharfes Bild“ detailliert sich)
Hierarchischer Modus: Bild in verschiedenen Auflösungen
Hat auch zugehöriges Dateiformat: JFIF
Ist auch für Video verwendbar: MJPEG
29
WS 2002/2003
(UJlQ]XQJ9HUOXVWIUHLH3UlGLNWLYH .RGLHUXQJ
Vorhersage von X
C
B
A
X
0
1
2
3
4
5
6
7
( Xv = f(A,B,C) )
keine
A
B
C
A+B+C
A+((B-C)/2)
B+((A-C)/2)
(A+B)/2
• %HVWLPPXQJGHUEHVWHQ9RUKHUVDJH
• .RGLHUXQJYRQ
• 9RUKHUVDJH>@
• 'LIIHUHQ]
}
statistische Kodierung
• .RPSUHVVLRQVUDWHQQXUELV
WS 2002/2003
15
(UJlQ]XQJ-3(*3URJUHVVLYH0RGH
6SHFWUDO
6HOHFWLRQ
DC
AC 1-2
AC 3-5
AC 1-63
AC 1-6
AC 6-9
AC 10-63
ESS
Scan 1: DC für Y,U,V
WS 2002/2003
3L[HO
%\WHV
Scan 2: AC 1-2 für Y
für Y,U,V
für Y
für Y
für U
für V
für Y
für Y
WS 2002/2003
16
ESS
3L[HO
%\WHV
20021 Bytes; 1,545bpp
Scan 4: AC 1-63 für U
711 Bytes; 0,054bpp
Scan 5: AC 1-63 für V
931 Bytes; 0,072bpp
11271 Bytes; 0,870bpp
WS 2002/2003
(UJlQ]XQJ
-),) -3(*)LOH,QWHUFKDQJH )RUPDW
• definiert File-Format für JPEG-komprimierte Bilder
• entwickelt von C-Cube Microsystems
• Anhang B des JPEG-Standards (ITU T.81,
ISO/IEC International Standard 10918)
SOI (start of image)
application marker
Länge der APP0 Daten
‘JFIF’
Version
SULQ]LSLHOOHU$XIEDX
Maßeinheit
Auflösung des Bildes
Auflösung des Previews
Header
APP0 Daten
Thumbnail (Preview)
Optionale Header
JPEG Daten
EOI (end of image)
WS 2002/2003
17
-),) -3(*)LOH,QWHUFKDQJH )RUPDW
)LOH+HDGHU
SOI
APP0
APP0
header
L
Frame
EOI
identifier
version units Xdensity
“JFIF”X’00’ X’0102’
Ydensity Xthumbnail Ythumbnail
RGB
X’FFE0’
L
units
Xdensity:
Ydensity
Xthumbnail
Ythumbnail
RGB
Länge des APP0 Feldes
0:keine; 1:dots per inch; 2:dots per cm
horizontale Bildauflösung (in units)
vertikale Bildauflösung (in units)
horizontale Pixelanzahl des Previews
vertikale Pixelanzahl des Previews
gepackte 24-Bit RGB-Werte des Previews
WS 2002/2003
-),)0DUNHU
Marker Code: X’FFxx’
0DUNHU
mit 00 < xx < FF
6\PERO
%HGHXWXQJ
X’FFD8’
X’FFD9’
SOI
EOI
start of image
end of image
X’FFCx’
X’FFDA’
SOF
SOS
start of frame
start of scan
X’FFDB’
X’FFC4’
X’FFCC’
DQT
DHT
DAC
define quantization table
define huffman table
define arithmetric coding conditioning (arithmetric conditioning table)
X’FFDC’
X’FFDi’
DNL
RSTi
define number of lines
restart (entropy coded segment)
;¶))(¶
$33
-),))LOH+HDGHU
&RGH
(x = 0,1,2,3,5,6,7,8,9,A,B,D,E,F)
(0<= i <=7)
WS 2002/2003
18
-),)0DUNHU
0DUNHU
6\PERO
%HGHXWXQJ
&RGH
62)
6WDUWRI)UDPH
QRQGLIIHUHQWLDO+XIIPDQFRGLQJ
X’FFC0’
X’FFC1’
X’FFC2’
X’FFC3’
SOF0
SOF1
SOF2
SOF3
Baseline DCT
Extended Sequential DCT
Progressive DCT
Lossless (sequential)
GLIIHUHQWLDO+XIIPDQFRGLQJ
X’FFC5’
X’FFC6’
X’FFC7’
SOF5
SOF6
SOF7
Differential Sequential DCT
Differential Progressive DCT
Differencial Lossless (sequential)
QRQGLIIHUHQWLDODULWKPHWULF FRGLQJ
X’FFC9’
X’FFCA’
X’FFCB’
SOF9
SOF10
SOF11
Extended Sequential DCT
Progressive DCT
Lossless (sequential)
GLIIHUHQWLDODULWKPHWULF FRGLQJ
X’FFCD’
X’FFCE’
X’FFCF’
SOF13
SOF14
SOF15
Differential Sequential DCT
Differential Progressive DCT
Differential Lossless (sequential)
WS 2002/2003
%HQXW]XQJGHU-3(*.RPSUHVVLRQIU9LGHR
0RWLRQ-3(*

Nur Intraframe-Kodierung
Komprimiert Halbbilder ILHOGV
Häufig genutzt in professionellen
Studio – Schnittsystemen: Datenraten von ca. 40 Mbit
erreichbar (Kompressionsfaktor oft nur ca. 5):
Schnittqualität!
Zusätzlich Audio-Embedding (ADPCM audio
compression)
Kein standardisiertes Fileformat, aber
in den Containerformaten quicktime und avi verfügbar
Basiert auf JFIF: z.B. in quicktime mit und ohne Marker
realisiert (siehe JFIF Marker)
38
WS 2002/2003
19
=XVDPPHQIDVVXQJ
-3(*IUGLH9LGHRNRPSUHVVLRQ
Komprimiert nur intraframe
Î für Anwendungen, die wahlfreien Zugriff auf frames
oder fields brauchen (z.B. Schnittsysteme) gut
geeignet und oft genutzt
Î Audio-Kodierung QLFKW standardisiert!
Î Für die Distribution nicht optimal:
Sehr gute Qualität: max. 50-fache Kompression, d.h. für Digitales
Video immer noch mehr als 4 Mbit Übertragungsrate:
zu hoch für CD-ROMs,
zu hoch fürs Internet,
zu hoch für Videokonferenzen
Î Suche nach Alternativen:
MPEG-Familie und H.320 Familie
39
WS 2002/2003
03(*
)DPLOLHYRQ6WDQGDUGVIU9LGHRXQG$XGLR
.RGLHUXQJXQG.RPSUHVVLRQ
MPEG Motion Picture Expert Group
(ISO/IEC JTC1/SC29/WG11) Entwicklung seit 1988
Coding of moving pictures and associated audio for digital storage media
at up to about 1,5 Mbit/s
IS 11172, 1993 ff.
VHS-Qualität (352*240 Pixel, 25/30 fps), Bandbreiten bis 1,5 Mbps
03(*
Generic coding of moving pictures and associated audio information
IS 13818, 1995 ff
Studioqualität (720*576 Pixel, 30 fps; Audio in CD-Stereo-Qualität)
Bandbreiten << 10 Mbps (1,5 .. 60 Mbps)
variables Bildformat, bis 1920*1152 Pixel, 60 fps (HDTV)
03(*
MPEG 3 geplanter Standard für HDTV
Entwicklung wurde aufgegeben
HDTV wird durch MPEG2 mit unterstützt
WS 2002/2003
20
'LH03(*)DPLOLH
7HLO
03(*
Coding for audio-visual objects
Audiovisuelle Kodierung mit sehr hoher Kompression
(anfangs: mit sehr niedriger Bitrate
Desktop-Videokonferenzen, Bildtelefonie
QCIF-Qualität (176*144 Pixel, 10 fps), Bandbreiten 4,8 .. 64 Kbps
MPEG 5 nicht genutzt
Logik?
MPEG 6 nicht genutzt
MPEG 1 + (1)
MPEG 2 + (2)
MPEG 4 + (3)
Î
2
Î MPEG
MPEG 4
Î MPEG 7
Multimedia content description interface
Multimedia Metadaten
aims at offering a comprehensive set of audiovisual description tools to create
descriptions, which will form the basis for applications enabling the needed TXDOLW\
implies good storage solutions, high-performance content
DFFHVV WRFRQWHQW which
identification, proprietary assignation, and fast, ergonomic, accurate and personalized
03(*
filtering, searching and retrieval.
Multimedia framework
in Arbeit seit Juni 2000, geplant sind 7 Parts
„Digital Item“
03(*
41
WS 2002/2003
03(*
,62,(&
Coding of motion pictures and associated audio ():
Ziel: Datenrate von max, 1,5 MBit (incl. Audio) für CDROM: mindestens VHS-Qualität Î Distribution
Part 1: MPEG-System
Multiplexen von Audio- und Videoströmen auf einem
Übertragungskanal

Part 2: MPEG-Video
Part 3: MPEG-Audio … (daher mp3!)
Part 4: Conformance Testing
Part 5: MPEG-Softwarekodierung
42
WS 2002/2003
21
03(*
+DXSW]LHO Entwicklung eines Standards für Audio und Video
“VHS Qualität” auf CD
(ca. 320*240 Pixel, CD Audio, <= 1,5Mbit/sec)
)XQNWLRQHQ:wahlfreier Zugriff
schneller und langsamer Vor- und Rücksuchlauf
Abspielen vorwärts und rückwärts
Synchronisation von Audio- und Videosignalen
generischer Standard definiert Konzept, Formate, Toolkit
schreibt insbesondere nicht die codec-Algorithmen
vor!
WS 2002/2003
03(*6WUXNWXUHOHPHQWH
Block
8x8 Pixel mit 8 Bit
Macroblock 16x16 Pixel verschiedene Unterabtastungen
Î verschiedene Profile
<&E &U
<&E &U
<&E
&U
WS 2002/2003
22
03(*6WUXNWXUHOHPHQWH
Slice
mindestens 1 Macroblock, variable
im allgemeinen mehrere pro picture
Picture
Group
Video
of Pictures
Gruppe zur InterframeCodierung
Sequence
45
WS 2002/2003
6OLFHV HLQHV03(*%LOGHV
Folge von Makroblöcken
können separat dekodiert werden
verhindern Fehlerfortpflanzung
WS 2002/2003
23
03(*3LFWXUHV
,)UDPH
,QWUD RGHG 3LFWXUH
Anfangsbild, Kodierung als Standbild, ohne zusätzliche
Informationen anderer Bilder
keine Bewegungsprädiktion
Anker für wahlfreien Zugriff
Basis für die Kodierung von P- und B-Frames
unabhängig dekodierbar
(Sehr ähnlich zu JPEG-Bildern)
3)UDPH
3UHGLFWLYH &RGHG 3LFWXUH
werden durch 0RWLRQ( WLPDWLRQ aus zeitlich zurückliegenden
Bildern vom Typ I oder P abgeleitet,
erfordert für Dekodierung vorheriges I-Frame und dazwischen
liegende P-Frames
47
WS 2002/2003
03(*3LFWXUHV
%)UDPH %LGLUHFWLRQDOO 3UHGLFWLYH &RGHG
3LFWXUHV
werden entweder aus früheren oder späteren P- bzw. I-Frames
abgeleitet oder auf Basis von Nachbarbildern interpoliert
Differenzbild zur Prädiktion aus einem vorherigen und einem
nachfolgenden I- oder P-Bild
dienen niemals zur Berechnung von Motion-Vektoren,
nicht Referenzbild für andere Frames
')UDPHV '&&RGHG 3LFWXUHV
intraframekodiert, für schnellen Vorlauf
QXU03(*
48
WS 2002/2003
24
3UlGLNWLRQ
W\SLVFKH%LOGVHTXHQ]HQ
:
IBBPBBI oder IBBBPBBBI
IBBPBBPBBI
(PAL, SECAM)
IBBPBBPBBPBBI (NTSC)
WS 2002/2003
%HZHJXQJVVFKlW]XQJ
DXIHLQDQGHUIROJHQGH%LOGHUVLQGlKQOLFK
• Makroblöcke: 16 * 16 Pixel
• Translationsvektor
• Differenzkodierung
WS 2002/2003
25
%HZHJXQJVVFKlW]XQJ3ULQ]LS
• Suchen des ähnlichsten Makroblockes (z.B. quadratischer Abstand)
• Bestimmen des Translationsvektors (Motion Vector)
• Bestimmen des Differenzbildes
WS 2002/2003
5HNRQVWUXNWLRQHLQHVPLW%HZHJXQJVYHNWRUHQFRGLHUWHQ%LOGWHLOV
WS 2002/2003
26
7UDQVSRUWVWURP'DWHQVWURP
WS 2002/2003
03(*6\QWD[
%ORFNHEHQH
DCT + Huffman Kodierung eines 8*8 Pixelblockes
eines Originalbildes oder Differenzbildes
0DNUREORFNHEHQH
Position des Blockes im Bild
Typ des Bildes (I, P, B)
Motion Vector
Dynamische Quantisierung
6OLFHHEHQH
Slices sind Streifen von aufeinanderfolgenden
Makroblöcken
können separat dekodiert werden
verhindern das Fortpflanzen von Übertragungsfehlern
6HTXHQ]HEHQH
Zusammenfassung einer oder
mehrere
Nummerdes Bildes in zeitlicher Folge (Group of Pictures)
Bildgruppen
Bidltyp (I, P, B)
Parameter:
enthält alle Informationen für Bilddekodierung
• Bild-Breite
• Bild-Höhe
*URXSRI3LFWXUHV
• Bildformat (z.B. 4:3)
enthält mindestens 1 I-Frame
• Bildwiederholrate (pps)
separat kodierbar/dekodierbar
• Bit-Rate
wahlfreier Zugriff
• Puffergröße
WS 2002/2003
%LOGHEHQH
27
03(*9LGHR%LWVWUHDP
WS 2002/2003
WS 2002/2003
03(* 'HFRGHU
28
03(*=XVDPPHQIDVVXQJ
• Umwandlung in (YCRCB)
• Subsampling
%LOGYRUEHUHLWXQJ
• Motion Prediction (--> Kompressionsrate bis 1:75)
%LOGEHDUEHLWXQJ
• DCT-Transformation
• Quantisierung
• Huffman-Kodierung
.RGLHUXQJ
• Reduzierung auf CIF
(--> Kompressionsrate bis 1:240)
(Common Intermediate Format) : 352*288 Pixel
(352*240 Pixel bei NTSC)
• (ermöglicht ganzzahlige Aufteilung in 16x16 Blöcke.)
WS 2002/2003
03(*=XVDPPHQIDVVXQJ
verlustbehaftet (DCT, Quantisierung, (Unterabtastung))
asymmetrisch (Motion Prediction, Suchbereich)
intra- und interframe
MPEG 1 nicht skalierbar
MPEG 2 skalierbar
festes Farbmodell
(YCRCB)
beliebige Bildgröße (<= 768*576, teilbar durch 16)
Nur für die low-level Distribution geeignet!
Wenig Flexibilität!
.HLQProduktionsstandar
Î 03(*
58
WS 2002/2003
29
03(*
*HQHULF &RGLQJ RI0RYLQJ 3LFWXUHVDQG
$VVRFLDWHG $XGLR,QIRUPDWLRQ
$OVNRPSDWLEOH(UZHLWHUXQJGHV03(*6WDQGDUGVNRQ]LSLHUW
,P3ULQ]LSJOHLFKH.RPSUHVVLRQVYHUIDKUHQDEHUYLHOPHKU
)XQNWLRQDOLWlWXQG)OH[LELOLWlWÎ PHKU$QZHQGXQJHQ
,62,(&
HUVWHU',6
DNWXHOOHU,6
Part 1:Systems
PLW&RU
XQG&RU
Part 2:Video
PLW$PG XQG&RU
Part 3:Audio
Part 4:Compliance Testing
PLW&RU
XQG$PG XQG$PG XQG$PG Part 5:Software Simulation (Technical Report) 75
PLW$PG © Prof. Dr.-Ing. Detlef Krömker
WS 2002/2003
03(*
*HQHULF &RGLQJ RI0RYLQJ 3LFWXUHVDQG
$VVRFLDWHG $XGLR,QIRUPDWLRQ
Part 6:
Extensions for DSM-CC
1996
(Digital Storage Media Command and Control)
PLW&RU
XQG$PG &RU
XQG&RU
XQG$PG XQG$PG XQG$PG Part 7:
Advanced audio coding (AAC)
1996
PLW&RU
Part 8:
Kodierung von Video mit Samples von 10 Bit
Part 9:
Extension for real time interface
for systems decoders
(gestrichen)
1995
Part 10: Conformance extensions for Digital
1998
Storage Media Command and Control (DSM-CC)
Part 11: IPMP on MPEG-2 systems
Intellectual Property Management and Protection
seit 2002 in Arbeit
$QPHUNXQJHQ:
MPEG 2 wird gepflegt und immer noch weiterentwickelt.
25 offizielle Dokumente beschreiben den aktuellen Stand.
60
WS 2002/2003
30
03(*
/HYHOXQG
3URILOH
hEHUVLFKW
Î 8QWHU
IRUPDWH
61
WS 2002/2003
03(*hEHUVLFKW
/HYHOV
high level :
max 1920*1152 Pixel, max 60 fps
high level 2:
max 1440*1152 Pixel, max 60 fps
PDLQ OHYHO
max 720 * 576 Pixel, max 30 fps
(TV)
low level:
max 352 * 288 Pixel, max 30 fps
(CIF)
(HDTV)
WS 2002/2003
31
03(*hEHUVLFKW
3URILOHV

simple profile:
wie bei MPEG1 ohne B-Frames

main profile:
wie bei MPEG1

SNR:
’signal to noise‘ (SNR) ratio scalability‚
DCT Koeffizienten des ’base-layers‘ bitstreams
werden durch kodierte Quantisierungsfehler im
'enhancement-layer' bitstream verfeinert
Anwendungsziel: terrestrische Übertragung von
Digitalem Fernsehen

spatial:
in einem Datenstrom werden mehrere örtlich skalierte
Videodatenströme untergebracht:
0XOWLUHVROXWLRQ&RGLQJ

high:
unterstützt 4:2:2 Abtastung für die Studiotechnik
63
WS 2002/2003
6SDWLDO 0XOWLUHVROXWLRQ&RGLQJ
Abtasten mit verschiedenen Auflösungen
(Abtastfaktor = Vielfaches von 2)
Codierung des Signals mit niedrigster Auflösung
DCT und Quantisierung
Dekodierung des zuvor kodierten Signals
Dequantisierung und IDCT
Interpolation zum Signal der nächst höheren Auflösung
Prädiktion := Interpolation
Kodierung des Prädiktionsfehlers (Differenz)
DCT und Quantisierung
QHLQ
vollständige Auflösung erreicht?
WS 2002/2003
32
8QWHUVFKLHGH03(*03(*
Qualitätsmäßig sehr gute Übertragungen von Digitalem StandardFernsehen (MP@ML) wurde mit 6 MBit demonstriert.
Wichtige Erweiterung ist die Skalierbarkeit: aus einem Bitstrom kann
Video in verschiedenen örtlichen, zeitlichen und Quantisierungs-Auflösungen
übertragen werden.
WS 2002/2003
03(*
&RGLQJ IRU $XGLR9LVXDO2EMHFWV
ISO/IEC 14496:1999
Video-Kommunikation mit sehr hoher Kompression (anfangs: mit niedrigen Bitraten)
QCIF-Qualität (176*144 Pixel, 10 fps), Bandbreiten 4,8 .. 64 Kbps
Anwendungen:
Desktop-Videokonferenzen, Bildtelefonie, Mobile Kommunikation
3D-Videospiele übers Internet, 9LGHRGLVWULEXWLRQEHUV,QWHUQHW
hEHUJDQJYRQEORFN ]XUHJLRQHQEDVLHUWHU 9HUDUEHLWXQJ
HUZHLWHUWH)XQNWLRQDOLWlW
.RPSUHVVLRQ
• Verbesserung der Kompressionsrate
• parallele Kodierung mehrerer Datenströme
,QKDOWVEDVLHUWH,QWHUDNWLYLWlW
•
•
•
•
inhaltsbasierte Manipulation auf Bitstream-Level
Hybride Kodierung von natürlichen (Video) und synthetischen (Computergraphik) Szenen
Interaktion mit Objekten der AV-Szene
verbesserter zeitlicher Zugriff
WS 2002/2003
33
6]HQHQ]HUOHJXQJXQG6HJPHQWLHUXQJ,GHH
WS 2002/2003
=HUOHJXQJLQ(LQ]HOREMHNWH
2
Kontur, Bewegung
und Textur für O1
Bitstrom O1
2
Kontur, Bewegung
und Textur für O2
Bitstrom O2
Kontur, Bewegung
und Textur für O3
Bitstrom O3
WS 2002/2003
34
.RGLHUXQJYRQ9LGHR2EMHFW 3ODQHV
VOP 1
Coding
VOP 1
Decoding
VOP 2
Coding
%LWVWUHDP
DEMUX
VOP 0
Decoding
MUX
VOP
Definition
VOP 0
Coding
Composition
VOP 2
Decoding
VOP n
Coding
VOP n
Decoding
WS 2002/2003
,78 9LGHRNRQIHUHQ]XQG%LOGWHOHIRQ
6WDQGDUGV
H.320 Familie
•
•
•
•
Standard für Videoconferencing
(DTVC: Desktop Video Conferencing)
Rahmen + Menge von Einzelstandards
in digitalen Netzen (ISDN)
entwickelt durch ITU-T (Int.Telecomminications Union - Telecommunications
früher CCITT: Comité Consultatif International de Téléphonie et Télégraphie)
• Kodierung und Kompression von Video (H.261)
•
•
•
•
•
Kodierung und Kompression von Audio
Multiplexen von Datenströmen (Video + Audio (+ Steuerinformationen))
Verbindungsaufbau
Sicherheitsmechanismen
Multipoint Control Units
70
WS 2002/2003
35
'LH+)DPLOLH
•
•
•
•
Schmalband-Bildtelefonie
Audiokonferenzen
audiovisuelle Konferenzen
Multipoint-Unterstützung
+
Rahmen für
+
Kodierung und Kompression von Bewegtbildern (Video)
Frame-Struktur
Strukturierung von Video- und Audiobitströmen in Blöcken
Multiplexen von Video- und Audioströmen auf einem oder mehrern ISDN-Kanälen
Frame-Protokoll (Erweiterung von H.221, Synchronisationssteuerung)
Multiplexen von Video- und Audioströmen + Steuerinformationen (Application Sharing)
auf einem oder mehreren ISDN-Kanälen
Definition von 0XOWLSRLQW &RQWURO 8QLWV (MCU)
Definition von Encryption- und Authentification-Techniken
Protokoll zum Aufbau von Verbindungen
+
+
+
+
+
*
*
*
(3.4 kHz; 64Kbps)
(7.0 kHz; 48, 56, 64 Kbps)
(3.4 kHz; 16Kbps)
WS 2002/2003
'LH+)DPLOLH
in Entwicklung:
+
Audio- und Videoconferencing im LAN
LAN-to-ISDN Bridge
Audio- und Videoconferencing über POTS (Plain Old Telephone Systems) - analoges Telefon
Bildtelefon (Videophone)
< 20 Kbps (28,8 Kbps Modem)
7
Standardfamilie für Application- und Data-Sharing
+
WS 2002/2003
36
'LH+)DPLOLH
3RLQWWR3RLQW6WDQGDUGV
H.221
Frame Protokoll
G.711
G.722
G.728
H.230
H.242
H.261
H.320
Audio
Audio
Audio
(3.4 kHz; 64Kbps)
(7.0 kHz; 48, 56, 64 Kbps)
(3.4 kHz; 16Kbps)
Frame-Synchronisationssteuerung
Verbindungsaufbau
Kodierung und Kompression von Bewegtbildern (Video)
Schmalband Bildtelefon (Systeme und Terminalausstattung)
0XOWLSRLQW 6WDQGDUGV
H.231
H.243
Definition von 0XOWLSRLQW &RQWURO 8QLWV (MCU)
für 64Kbps .. 2Mbps
Definition von Basis MCU-Funktionalität für die Kommunikation
zwischen 3 und mehr audiovisuellen Terminals
für 64Kbps .. 2 Mbps
(Konferenzsteuerung, Token Passing, Data Broadcasting)
WS 2002/2003
+S[
6WDQGDUG U9LGHRNRGLHUXQJXQGNRPSUHVVLRQ
• Für schmalbandige digitale Netze
ISDN
S0 : 64 Kbps
3* S0 : 320 Kbps
S2M : ca. 2 Mbps
(+ 64 Kbps Audio)
(+ 64 Kbps Audio)
(+ 16 Kbps Audio)
• Ähnliche Konzepte wie JPEG und MPEG mit Einschränkungen
• vorgegebenes Bildformat (QCIF, CIF)
• Farbraum YUV; Subsampling 4:1:1
• Nur I- und P-Frames (keine B-Frames)
• fester Schwellwert für Ignorieren von Differenzbildern
• einfache lineare Quantisierung der DC- und AC-Koeffizienten
• feste Blockgruppenstruktur
• annähernd symmetrisch
Kodierung und Dekodierung muß in Echtzeit erfolgen
WS 2002/2003
37
%LOGIRUPDWXQG6XEVDPSOLQJ
&,)
&RPPRQ,QWHUPHGLDWH )RUPDW
352 * 288
(288 Zeilen a 352 Pixel)
4&,)
&,)
4&,)
4XDUWHU &,)
176 * 144
(144 Zeilen a 176 Pixel)
CIF
QCIF
(Breite * Höhe) (Breite * Höhe)
Y
U (Cb)
V (Cr)
Y: Luminanz
352 * 288
176 * 144
176 * 144
176 * 144
88 * 72
88 * 72
U, V: Chrominanz
+0DNUREORFN
WS 2002/2003
+%ORFNVWUXNWXU
*2%
: Group of Blocks
Blockgruppe = 3 * 11 Makroblöcke
&,)
4&,)
&,)
*2%
*2%
*2%
*2%
*2%
*2%
*2%
*2%
*2%
*2%
*2%
*2%
22 * 18 Makroblöcke
11 * 9 Makroblöcke
*2%
4&,)
*2%
*2%
WS 2002/2003
38
6WUXNWXUGHV+9LGHRVWURPV
WS 2002/2003
%HZHJXQJVSUlGLNWLRQ
Suchraum
Block im
Referenzbild
5HIHUHQ]ELOG
zu kodiernder
Block
]XNRGLHUHQGHV%LOG
Verschiebung des Blocks im Suchraum:
dx = dy = 0
dx , dy = 3 .. 15 pixel
Bestimmung der Differenz nur für Y
,
3
3
3
,
WS 2002/2003
39
4XDQWLVLHUXQJ
• Quantisierung der Differenz-Makroblöcke
• Quantisierung der DCT-Koeffizienten
• Intraframe: qDC = 8
für DC-Koeffizienten
q = 1..31
für AC-Koeffizienten
• Interframe q = 1..31
lineare Quantisierung da unabhängig von der Größe
der zu quantisierenden AC-Koeffizienten
q
ist im GOB-Header spezifiziert
kann im MB-Header überschrieben werden
ac := ac / 2q
WS 2002/2003
%ORFNGLDJUDPPGHV+9LGHR&RGHFV
External Control
Coding Control
O
D
Q
J
L
Source Coder
Video Multiplex
Coder
Transmission
Coder
Transmission
Buffer
9LGHR&RGHU
6
R
H
G
L
9
U
H
W
U
H
L
G
R
N
Source Decoder
Video Multiplex
Decoder
Transmission
Buffer
Transmission
Decoder
P
R
U
W
V
Q
H
W
D
'
9LGHR'HFRGHU
WS 2002/2003
40
6RXUFH &RGLQJ
,)UDPH
%LOG&,)4&,)
%ORFN
0DNUR%ORFN
3L[HO
8
<
9
<
für jeden Makro-Block
(22*18 / 11*9)
8
für jeden Block
9
(4*Y, 1*U, 1*V)
DCT
RunLength
Huffman
Zig-Zag
Quantisierung
WS 2002/2003
6RXUFH &RGLQJ
3)UDPH
%LOG&,)4&,)
8
<
9
(22*18 / 11*9)
<
'LIIHUHQ]0DNUR%ORFN
Differenz
!6
<
5HIHUHQ]ELOG
<
8
9
8
9
(22*18 / 11*9)
für jeden Block
(4*Y, 1*U, 1*V)
<
%ORFN
3L[HO
0RWLRQ9HFWRU
DCT
RunLength
Huffman
Zig-Zag
Quantisierung
WS 2002/2003
41
+ 7RRONLW YRQ.RPSUHVVLRQVPHWKRGHQ
9DULDELOLWlWLQ+,PSOHPHQWDWLRQHQ
• Variabilität der Frame-Rate
(prinzipiell 1 .. 30; meist 7 .. 15;
bei 3S0 15 .. 30)
• Konzept der Intraframe- / Interframe-Kodierung
• Motion Estimation
• Block-Kodierung
• Quantisierung
• Loop Filter
• Pre-Processing
• Post-Processing
• Audio
• Time Delay
&KDUDNWHULVWLNDYRQ+,PSOHPHQWDWLRQHQ
• Kompressionsraten für Video 1:100 bis 1:300
(10*MPEG1)
• meist G.728 für Audio
(3.4kHz; 16Kbps)
• Bandbreite: 128 Kbps
(base rate ISDN)
384 Kbps
(triple base rate ISDN)
WS 2002/2003
3URSULHWlUH9LGHRIRUPDWH
Bevor die internationalen Videostandards definiert und akzeptiert waren,
haben viele Rechnerhersteller eigene Videoformate definiert:
Kennzeichen: Für alle sind Programmier-Toolkits vorhanden!
Formate selbst schlecht dokumentiert!

SUN
CELL
CELL B

SGI
SGI movie

Apple
Quicktime

Microsoft
AVI
8-Bit-CLUT; Blocktrunkation
symmetrische Variante
haben als &RQWDLQHUIRUPDWH bis heute
Bedeutung: Sammlung von Codecs
84
WS 2002/2003
42
&RPPRQ0XOWLPHGLD)RUPDWVDQG
([WHQVLRQV
Å8QVHU%DE\ORQ´
A file extension is a generally a three letter suffix to a file name that follows a period. In the file sales.mov, sales is the file name and .mov is
the extension. The extension tells the operating system which program to use to interpret the file.
$GYDQFHG 6WUHDPLQJ )RUPDW$6)-Advanced Streaming Format is an MS Windows Media Player file format for audio and video on the
Internet or other network. It is a highly flexible and compressed format that contains streaming audio, video, slide shows and synchronized
events. ASF files are streaming and can therefore begin playing before downloading is complete.
-Advanced Stream Redirector files are text files used for redirection to MS Windows Media Player ASF
files. These files contain media and server information but no actual video or audio. ASX files can be distributed as attachments or links.
When you open an ASX file, the file opens the referenced movie in your media player, making it appear as though the entire file has been
downloaded.
$GYDQFHG 6WUHDP 5HGLUHFWRU $6;
-Audio Video Interleaved is a bitmap-based format for the Windows platform defined by Microsoft. It is the
most common format for audio/video data on PC and an example of a de facto (by fact) standard. Raw AVI from video capture is a great
place to start for compression, but too large for effective use across the Internet.
$XGLR9LGHR,QWHUOHDYHG $9,
-To process and store video on a computer, it must first be converted to a binary format. Most digital video cameras are
capable of outputting video directly to a hard drive in this format via IEEE 1394 interface. DV is a good format for compression and editing
application input, but file sizes are too large to deliver effectively over the Internet.
'LJLWDO9LGHR'9
0DFURPHGLD )ODVK0;9LGHR)/9-This is a Macromedia Flash MX video file in which the video and audio are compressed. When an FLV
clip is added to a Flash timeline, the video is not compressed a second time, so the import is considerably less time consuming. FLV files
can be created using Flash with Sorenson Spark or Sorenson Spark Professional (Pro). Spark Pro has the added advantage of being able to
batch process entire directories of video to FLV or SWF format for later use at a higher quality and smaller file size than are possible using
the standard version of Sorenson Spark.
-All QuickTime Movies are associated with the MOV file extension. This extension works on Win
95/98/2000/NT/XP, Mac OS Classic and X. It also supports over 200 media types (Photoshop, GIF, JPEG, etc.) in addition to QuickTime
movies. One major advantage of working in the QuickTime environment is its free server.
4XLFN7LPH 0RYLH 029
Apple currently offers two streaming server options. The QuickTime Streaming Server for the Macintosh platform runs on Macintosh Server
G4, Power Mac G4, Power Mac G4 Cube, iMac, Macintosh Server G3 or Power Macintosh G3. The open source Darwin Streaming Server,
which is available on more platforms than any other server, including Mac OS X 10.1 or later, Red Hat Linux, Solaris 8 (SPARC) and
Windows NT Server 4.0/Windows 2000 Server.
85
WS 2002/2003
&RPPRQ0XOWLPHGLD)RUPDWVDQG
([WHQVLRQV
-MPEG-4 was defined using the standards for encoding video in a digital compressed
format as specified by the Moving Picture Experts Group (MPEG). It supports video, audio, and system components that are compliant with
the International Organization for Standardization (ISO) MPEG-4 de facto standards. MPEG-4 open standards are a set of specifications
used to build products for production, encoding and delivery of audio/video content over many kinds of networks to a variety of clients such
as personal computers, wireless devices, Web browsers and more.
0RYLQJ 3LFWXUH([SHUWV *URXS/HYHO03
Device manufacturers prefer using MPEG-4 because the open architecture and codec do not lock them into specific formats or players.
Instead of having to develop for three or four separate formats, which is logistically difficult and costly, providers can build on the MPEG-4
single format.
quicktime
Remarks: Commercial products:
Sorenson
windows media file
DivX
Î
Î
-Real Networks content is software developed by RealNetworks that streams live or pre-recorded
audio/video to a client, such as a Web browser, by decompressing it dynamically so it can be played back in real time. Delivering Real
Networks content requires use of RealSystem Server Basic (free), Plus, intranet or Professional software. The RealSystem Server Basic
allows for up to 25 concurrent viewers. As your requirement for simultaneous viewers increases, so does server price.
5HDO1HWZRUNV )LOHV5$505$0
0DFURPHGLD )ODVK0;)/$)LOH3XEOLVKHG IRU WKH :HE6:)-When a Macromedia Flash MX .FLA file is published for the Web, it takes
on the SWF extension. While normally associated with vector graphics and audio, Macromedia Flash MX now supports embedded video. An
advantage of working with the Flash player is its widespread distribution and the ability to include powerful programming elements using
ActionScript. SWF files can either be created individually in Macromedia Flash MX using Sorenson Spark or in bulk as an automated
process using the Spark Professional video codec in Sorenson Squeeze for Macromedia Flash MX.
06:LQGRZV0HGLD$XGLR:0$-MS Windows Media Audio is an audio codec designed by Microsoft for use with streaming content at
CD quality. It is designed to resist data loss that can cause signal degradation and can improve download times for audio.
-This an MS Windows Media file with audio and/or video. It is used to download and play files or stream
content. The WMV format is similar to the ASF format. See ASF file documentation for more information about its capabilities.
06:LQGRZV0HGLD)LOH:09
aus http://www.sorenson.com
86
WS 2002/2003
43
9LGHRhEHUWUDJXQJVYHUIDKUHQ

preload + play

File Transfer Protokolle, z.B. ftp auf TCP
Bereitstellung im virtuellen Speicher
Qualität unabhängig von Übertragungsrate
Große Bandbreite möglicher Qualitäten
continous play (streaming)
Stream Protokolle, z.B. rtp auf UDP
Qualität abhängig von Übertragungsrate
Recovering von Blockverlust
87
WS 2002/2003
9LGHRKLHUDUFKLHQ
wünschenswert
z.B. für Videoserver
verschiedene Ziele --> versch. Qualitäten
Konzept:
eine Repräsentation im Server - vom Client verschiedene Formate und Qualitäten abrufbar

äußere Parameter:
Framerate, Pixelcount, Subsampling, Quantisierung

innere Parameter:
Kompressionsart und -parameter, u.a. Koeff.Quantisierung
88
WS 2002/2003
44
9LGHRKLHUDUFKLHQ3UREOHPH
Resampling vermeiden!
Zeit:
Framerate 30 (29,97) - 25 - 24 - variabel
interlaced vs. noninterlaced
Ort:
square vs. nonsquare Pixel!
für Kompression: Makroblockstruktur beachten
Vielfaches von 32 wünschenswert:
ja:
768*576, (352*288: CIF),
(176*144: QCIF), 480*640 (VGA) auch
SVGA und XVGA (Achtung 5:4)
nein: 720 (601-Rate), 486, 648 (NTSC Derivate)
89
WS 2002/2003
bXHUH3DUDPHWHU

Frameraten:
60
15
12,5
50
interlaced
12
Computer variabel, aber ganzzahlige Kopplung mit
Refresh wünschenswert!

Ortsabtastung: zu viele Varianten
oft Cropping
oft Verzerrung akzeptiert (Square vs. NonSq.)
90
WS 2002/2003
45
=XVDPPHQIDVVXQJ
'LJLWDO9LGHR
Unkomprimiert als Computervideo viel zu groß Î Kompression
Viele gebräuchliche Standards, u.a.:
MJPEG
z.B. für Produktion
MPEG
z.B. für CD-ROM Distribution
MPEG 2
eigentlich Distributionsstandard, viele Varianten für
verschiedene Träger-Medien: DVD, terrestrische
Ausstrahlung, Kabel, …;
aber High-Profile auch für die Produktion
MPEG 4
Internet-Distribution
alle Formate haben ihre kommerziellen „Flavors“: sorenson, divX, …
aktuell: sehr dynamische Entwicklung
Wichtige Qualitätsklassen: Produktion (insb. schnittfähig Î field/frame-Zugriff)
Contribution (sendefähig nach Fernsehqualität)
Distribution je nach Anwendung und
Distributionskanal sehr verschieden
91
WS 2002/2003
*HVWDOWXQJGXUFK
GHQ)LOP9LGHRVFKQLWW
Einstellung auf Einstellung ergeben eine Geschichte.
,QKDOWOLFKH0RQWDJHIRUPHQ

Erzählende Montage:
Analysierende Montage
intellektuelle Montage
Kontrast-Montage
Analogie-Montage
Parallel-Montage

Parallelisierende Montage ZLHEHL3DUDOOHO0RQWDJHVLHZLVVHQ

Methaphorische Montage %HQXW]XQJHLQHU0HWDSKHU
HLQ]HOQH6WDGLHQHLQHV3UR]HVVHV
8UVDFKHXQG:LUNXQJ
,GHHQXQG%HJULIIHYLVXDOLVLHUHQ
z.B. 6RPPHU :LQWHU
z.B. %DQN*HOG
]ZHL+DQGOXQJVVWUlQJHVWlQGLJZHFKVHOQG
VFKQHLGHQZLVVHQYRQHLQDQGHUÎ ]XVDPPHQIKUHQ
DEHUQLFKWYRQHLQDQGHUÎ PVVHQQLFKW]XVDPPHQWUHIIHQ
92
WS 2002/2003
46
*HVWDOWXQJGXUFK
GHQ)LOP9LGHRVFKQLWW
)RUPDOH0RQWDJHDUWHQ

KDUWH6FKQLWWH:
krass aufeinanderfolgend,
Brüche, wechselnde Bewegungen

ZHLFKH6FKQLWWH:
harmonisch,
kaum wahrnehmbar

UK\WKPLVFKH0RQWDJH: wird z.B. durch Filmmusik
bestimmt

VSULQJHQGH0RQWDJH zerfällt in einzelne
Einstellungen, Aufzählungen

6FKRFNPRQWDJH:
aufeinanderfolgende Einstellungen
haben scheinbar keine Verbindung
Î Desorientierung
93
WS 2002/2003
9(50(,'(1
$FKVHQVSUXQJFURVVLQJ WKH OLQH
Bildachse
Bewegungen müssen für den
Zuschauer immer logisch und
nachvollziehbar sein.
Ein ungeschickter Standortwechsel
kann dazu führen, dass sich das Motiv
scheinbar entgegengesetzt bewegt.
Ein neutrales Zwischenbild kann den
Achssprung für den Zuschauer nachvollziehbar und damit akzeptierbar
machen
94
WS 2002/2003
47
(OHPHQWDUH6FKQLWWWHFKQLNHQ
+DUWHU6FKQLWW
KDUG FXW
95
WS 2002/2003
$XIEOHQGHQ
IDGHLQ
$EEOHQGHQ
IDGHRXW
IDGHWREODFN
hEHUEOHQGXQJ
FURVVGLVVROYH
96
WS 2002/2003
48
:LSHV
VHKUYLHOH)RUPHQ
VLGH ZLSH IURP OHIW
97
WS 2002/2003
:LSHV
VHKUYLHOH)RUPHQ
GLDJRQDO
98
WS 2002/2003
49
:LSHV
VHKUYLHOH)RUPHQ
ZLSH IURP FHQWHU
99
WS 2002/2003
$EVFKOXVV
$QLPDWLRQXQG0XOWLPHGLD
Preproduction
Object Modelling
Scene Modelling
Animation
Produktions-Rendering
Postproduction
Postproduction
Produktionspipeline betrachtet
manches detaillierter
manches nur am Rand
Ich hoffe, Sie haben etwas gelernt
oder auch viel.
Interesse sich weiter zu vertiefen?
Wir arbeiten in vier
Technologiegebieten:

Mixed Reality
Teaching und Training
Visualisierung in der Bioinformatik
Semantic Internet
Fokus: Authoring, UI, Usability
In wirklich interdisziplinären Teams.
100
WS 2002/2003
50