Vídeo nas Redes Telefónica e Móvel (Português)

Transcrição

VÍDEO NAS REDES
TELEFÓNICA E MÓVEL
Fernando Pereira
Instituto Superior Técnico
Comunicação de Áudio e Vídeo, Fernando Pereira
Terminal e Comunicação
de Vídeo ITU-T H.324
Terminais H.324: Objectivos
Os terminais H.324 oferecem comunicação a baixo débito, em tempo-real,
unidireccional ou bidireccional, com qualquer combinação de vídeo, áudio
e dados, nomeadamente sobre a rede telefónica pública.
• Comunicações multiponto são também possíveis através de um MCU
(multipoint control unit).
• Os terminais telefónicos multimédia H.324 podem surgir como equipamento
específico (stand alone) ou integrados em computadores pessoais ou estações de
trabalho.
• A interoperabilidade com terminais AV para a RDIS (H.320) e com terminais
AV móveis (H.324/M) é também considerada.
Espera-se que este tipo de terminal tenha 2 tipos principais de aplicações:
videotelefonia (domestic) e aplicações multimédia integradas num PC
(business).
Terminal H.324
Scope of recommendation H.324
Video I/O equipment
Video codec
H.263/H.261
Audio I/O equipment
Audio codec
G.723
User data applications
T.120, etc.
Multiplex/
Demultiplex
H.223
Data protocols
V.14, LAPM, etc.
Control protocol
H.245
System control
Receive
path delay
Modem
V.34/V.8
SRP/LAPM
procedures
GSTN
Network
MCU
Modem
control
V.25ter
Terminal H.324: Principais Blocos
• Codificação de vídeo - H.263 ou H.261
• Codificação de voz - G.723 - Qualidade semelhante à qualidade
analógica a 6.4 kbit/s.
• Controlo da comunicação - H.245 - Envolve a troca de 4 tipos de
mensagens - Request, Response, Command, Information - com vista ao
controlo da operação do terminal H.324, nomeadamente a troca de
capacidades, abertura e fecho de mais canais lógicos, etc.
• Multiplexer - H.223 - Baseado em pacotes e permitindo a troca de um
ou mais fluxos de informação contendo áudio, vídeo, dados ou
mensagens de controlo.
• Modem - V.34 – Opera no máximo a 28.8 kbit/s (um pouco mais em
versões posteriores).
Codificação de Vídeo a
Baixos Débitos Binários:
Rec. ITU-T H.263
Recomendação H.263 (1995): Objectivo
Codificação de vídeo com qualidade melhorada em
relação à recomendação H.261, usando baixos
débitos binários.
Particular relevância é dada aos débitos até 20 kbit/s destinados
ao uso em videotelefonia na rede telefónica analógica.
Recomendação H.263: Motivação
A primeira grande motivação para o desenvolvimento da
recomendação H.263 foi a necessidade de garantir a
interoperabilidade entre os terminais videotelefónicos para a rede
telefónica analógica, evitando o vazio normativo face ao
aparecimento de equipamento no mercado.
Neste contexto (necessidade de normalizar rapidamente), a
recomendação H.263 baseia-se na tecnologia existente,
nomeadamente a recomendação H.261, e pretende dar origem a
equipamento de grande consumo muito rapidamente.
Recomendação H.263: Requisitos
• Basear-se em tecnologia existente (possibilitando uma rápida passagem
à fase de comercialização)
• Baixa complexidade e logo baixo custo
• Fácil interoperabilidade com outros serviços já disponíveis, p.e.
videotelefonia H.320/H.261, fotografia digital (JPEG), facsimile, etc.
• Resistência a erros de transmissão
• Flexibilidade de modo a permitir futuras extensões, p.e. para débitos
mais elevados ou para ambientes móveis
• Compromisso entre as resoluções espacial (Y, CR e CB) e temporal
• Maximização da qualidade subjectiva das imagens
H.263: Sinais a Codificar
As imagens são codificadas usando o sinal de luminância e 2 sinais de
crominância, CB e CR.
O algoritmo opera com imagens progressivas (não-entrelaçadas) à
frequência base de 29.97 imagem/s, podendo controlar-se a
frequência temporal das imagens codificadas.
Para débitos binários muito baixos, a escolha das resoluções espacial e
temporal a usar é ainda mais crítica do que habitualmente !
Formatos Espaciais H.263
Formato
Amostras/linha
luminância
Linhas
luminância
Amostras/linha
crominância
Linhas
crominância
sub-QCIF
128
96
64
48
QCIF
176
144
88
72
CIF
352
288
176
144
4CIF
704
576
352
288
16CIF
1408
1152
704
576
Todos os descodificadores H.263 têm de descodificar os formatos
QCIF e sub-QCIF. Contudo, por razões de complexidade, os
descodificadores do tipo sub-QCIF estão autorizados a subamostrar as imagens QCIF recebidas ou a mostrar apenas
uma parte delas, se assim o desejarem.
Os codificadores devem operar em QCIF ou sub-QCIF, não
sendo obrigados a operar com ambos os formatos.
• Espacialmente, a
sequência de vídeo
está organizada
segundo uma
estrutura
hierárquica com 4
níveis:
- Imagem (I ou P)
- Grupo de Blocos
(GOB)
- Macrobloco (MB)
- Bloco
• Há 9 GOBs para
QCIF e 18 para
CIF (MBs numa
linha ).
H.263: Técnicas de Codificação
•
Redundância Temporal
Codificação preditiva: transmissão das diferenças e compensação
de movimento
•
Redundância Espacial
Codificação de transformada (DCT)
•
Redundância Estatística
Codificação entrópica de Huffman
•
Irrelevância
Quantificação dos coeficientes DCT
Explorando a
Redundância Temporal
Coroa para a interpolação
nas fronteiras de Mb_pred
x
Compensação de
Movimento a 1/2 Pixel
i-1
i-0.5
i
i+0.5
i+1
y
A
B
h1 h2 h3
D
h4
E
h5
F
h6 h7 h8
G
H
"Pixel inteiro"
C
"Meio-Pixel"
h1=(A+B+D+E)/4
h5=(E+F)/2
h2=(B+E)/2
h6=(D+E+G+H)/4
h3=(B+C+E+F)/4
h7=(E+H)/2
h4=(D+E)/2
h8=(E+F+H+K)/4
K
Vectores de Movimento Diferenciais
MV2 MV3
MV1 MV
MV : Current motion vector
MV1: Previous motion vector
MV2: Above motion vector
MV3: Above right motion vector
MV2 MV3
(0,0) MV
MV1 MV1
MV1 MV
MV2 (0,0)
MV1 MV
: Picture or GOB border
• Cada vector de movimento é codificado diferencialmente em relação à sua
predição tomada como a mediana, para cada componente, de 3 candidatos
a preditores (MV1, MV2 e MV3).
• Se algum dos preditores candidatos foi codificado em modo INTRA ou foi
FIXO (Skipped), o seu vector preditor é tomado como 0.
Explorando a
Redundância Espacial e
a Irrelevância
Os coeficientes DCT são
codificados como
símbolos (last, run, level).
• Os símbolos mais frequentes
são codificados com códigos
VLC enquanto os restantes
são codificados com uma
palavra de comprimento fixo
de 22 bits consistindo em: 7
bits de ESCAPE, 1 bit para
LAST, 6 bits para RUN e 8
bits para LEVEL.
• EOB in H.261: ’10’ o que dá
99×6×2×10 = 11880 bit/s para
QCIF
INDEX
LAST
RUN
LEVEL
BITS
VLC CODE
0
0
0
1
3
10s
1
0
0
2
5
1111 s
2
0
0
3
7
0101 01s
3
0
0
4
8
0010 111s
4
0
0
5
9
0001 1111 s
5
0
0
6
10
0001 0010 1s
6
0
0
7
10
0001 0010 0s
7
0
0
8
11
0000 1000 01s
8
0
0
9
11
0000 1000 00s
9
0
0
10
12
0000 0000 111s
10
0
0
11
12
0000 0000 110s
11
0
0
12
12
0000 0100 000s
12
0
1
1
4
110s
13
0
1
2
7
0101 00s
14
0
1
3
9
0001 1110 s
15
0
1
4
11
0000 0011 11s
16
0
1
5
12
0000 0100 001s
17
0
1
6
13
0000 0101 0000s
18
0
2
1
5
1110 s
19
0
2
2
9
0001 1101 s
20
0
2
3
11
0000 0011 10s
21
0
2
4
13
0000 0101 0001s
22
0
3
1
6
0110 1s
23
0
3
2
10
0001 0001 1s
Controlo do Débito Binário
A recomendação H.263 não define precisamente a sua gama de
aplicação em termos de débitos binários.
É sabido que a norma é a mais eficiente (e única) para os débitos mais
baixos, podendo normalmente também competir, com vantagem,
com a recomendação H.261 para débitos superiores.
O compromisso óptimo entre as resoluções espacial e temporal
depende do conteúdo da sequência e influencia fortemente o
impacto subjectivo final.
Métodos de Controlo do Débito Binário
• O controlo do débito binário do fluxo de saída pode ser feito através
de:
• Pré-processamento da informação, p.e. filtrando as altas frequências.
• Variação do passo de quantificação dos coeficientes DCT.
• Aplicação de um critério de significância dos blocos (só os blocos com
uma certa actividade são considerados significativos).
• Subamostragem temporal (saltando imagens).
A subamostragem temporal é, no contexto da recomendação H.263, uma
ferramenta importante para o controlo do débito o que significa que não
se garante normalmente uma resolução temporal mínima.
As 4 Opções Negociáveis
do H.263
Opções H.263
• Modo Vectores de Movimento Sem Restricções
- Vectores de movimento fora dos limites da imagem
- Extensão do alcance dos vectores de movimento
• Modo Avançado de Predição
- Quatro vectores de movimento por macrobloco
- Compensação de movimento com sobreposição
• Modo de Codificação Aritmética
• Modo de Codificação PB
Vectores de Movimento Fora dos Limites da
Imagem
O modo unrestricted motion vectors (UMV) permite escolher vectores de
movimento que, para alguns pixels, apontam para fora da imagem.
A solução herdada da rec. H.261 de restringir a escolha dos vectores de
movimento de modo a que todos os pixels referenciados estejam dentro da
imagem pode ter custos substanciais em termos de eficiência para os
macroblocos localizados nas zonas 'limítrofes' da imagem.
Quando o vector de movimento aponta para um pixel fora da imagem, usa-se
como pixel preditor o pixel fronteira correspondente à limitação de cada
componente do vector de movimento ao último pixel dentro da imagem ou seja
para resolução CIF (352×288):
x’ =
 0

 351
 x

se x < 0
se x > 351
caso contrario
YUMV (x,y) = Y (x',y')
y’ =
 0

 287
 y

se y < 0
se y > 287
caso contrario
Panning horizontal para a esquerda
Imagem i-1
Imagem i
Extensão do alcance dos vectores de
movimento
• No modo sem restrições, o alcance dos vectores de movimento passa a ser de
[-31.5, 31.5] (e não [-16, 15.5]) com as seguintes restrições:
• Se o preditor está em [-15.5, 16], só os valores que estão na gama de [-16, 15.5]
em torno do preditor podem ser usados.
• Se o preditor está fora de [-15.5, 16], todos os valores na gama de [-31.5, 31.5]
com o mesmo sinal do preditor e mais o valor zero podem ser usados.
• ou seja se MV é o vector de movimento e P o preditor tem-se:
-31.5 ≤ MV ≤ 0
se -31.5 ≤ P ≤ -16
-16 + P ≤ MV ≤ 15.5 + P
se -15.5 ≤ P ≤ 16
0 ≤ MV ≤ 31.5
se 16.5 ≤ P ≤ 31.5
H.263 – Extensão do Alcance dos Vectores
P
MV
MV
P
MV P
P
MV
-30
-15
MV
P
0
15
30
x,y
MV
H.261 ou H.263 Baseline
H.263 versus H.261
H.261
• Vectores absolutos com componentes entre -15 e 15 (sempre)
• Alfabeto com 32 símbolos (diferenças -30, 30), 29 dos quais com duplo
significado
• Movimento com resolução de 1 pixel
H.263
• Vectores absolutos com componentes entre -31.5 e 31.5 com restricções
• Alfabeto com 64 símbolos (diferenças -31.5 e 31.5), 63 dos quais com duplo
significado
• Movimento com resolução de meio pixel
H:261 Vectores de
Movimento
Diferenciais
H:263 Vectores de
Movimento
Diferenciais
Comparando ...
O H.263 usa melhor a tabela de código disponível (número de símbolos
semelhante ao H.261 se se descontar a diferente resolução) aumentando o
alcance dos vectores de movimento ao impôr restrições ora aos vectores
absolutos (componentes nunca superiores a ± 31.5) ora apenas aos
vectores diferenciais, tentando 'seguir o movimento de forma mais
contínua'.
Para isso, não há qualquer aumento em termos de cálculos pois apenas se
muda a zona onde se pesquisam os vectores (pesquisa telescópica).
Em conclusão, sem custo em termos de palavras de código ou de cálculo, o
alcance dos vectores é estendido através duma escolha adequada dos
vectores de movimento autorizados para cada MB.
Modo Avançado de Predição
O modo avançado de predição inclui, por omissão, a possibilidade de
usar vectores de movimento fora dos limites da imagem.
Contudo, a extensão do alcance dos vectores só será usada se se optar
pelo uso do Modo Vectores de Movimento sem Restrições.
Quatro Vectores de Movimento por
Macrobloco
O modo avançado de predição
permite usar 1 ou 4 vectores de
movimento por macrobloco.
A decisão é indicada no cabeçalho
do macrobloco correspondente.
Se se usarem 4 vectores, cada
vector corresponde a um dos 4
blocos de luminância (8×
×8). O
vector de movimento a usar para
as crominâncias é calculado
como a soma dos 4 vectores para
a luminância dividida por 8.
Compensação de Movimento com Sobreposição
• Para diminuir o impacto negativo da compensação de movimento feita
por macroblocos ou blocos com um único vector, cada pixel num bloco
8×
×8 de predição da luminância é o resultado da divisão por 8
(arredondada) da soma pesada de 3 valores de predição obtidos a
partir de 3 vectores de movimento:
• O vector do bloco actual a prever
• O vector do bloco à esquerda ou à direita (conforme o que está mais
próximo)
• O vector do bloco acima ou abaixo (conforme o que está mais próximo)
Imagem i-1
Imagem i
Compensação de Movimento com Sobreposição
A predição de cada pixel é dada por:
p(i,j) = round [q(i,j) × H0(i,j) + r(i,j) × H1(i,j) + s(i,j) × H2(i,j) ] / 8
com
- q(i,j) = p( i + MVx0, j + MVy0)
- r(i,j) = p( i + MVx1, j + MVy1)
- s(i,j) = p( i + MVx2, j + MVy2)
sendo (MVxi, MVyi) os vectores preditores.
Matrizes com Pesos de Sobreposição
4
5
5
5
5
5
5
4
5
5
5
5
5
5
5
5
5
5
6
6
6
6
5
5
2
2
2
2
2
2
2
2
5
5
6
6
6
6
5
5
1
1
2
2
2
2
1
1
5
5
6
6
6
6
5
5
1
1
1
1
1
1
1
1
5
5
6
6
6
6
5
5
1
1
1
1
1
1
1
1
5
5
5
5
5
5
5
5
1
1
1
1
1
1
1
1
4
5
5
5
5
5
5
4
1
1
1
1
1
1
1
1
1
1
2
2
2
2
1
1
2
2
2
2
2
2
2
2
Matriz H0 - predição com o vector de movimento do bloco actual
Matriz H1 - predição com o vector de movimento do bloco acima ou
abaixo
2
1
1
1
1
1
1
2
2
2
1
1
1
1
2
2
2
2
1
1
1
1
2
2
2
2
1
1
1
1
2
2
2
2
1
1
1
1
2
2
2
2
1
1
1
1
2
2
2
2
1
1
1
1
2
2
2
1
1
1
1
1
1
2
Matriz H2 - predição com o vector de movimento do bloco à esquerda
ou à direita
Modo de Codificação Aritmética
Neste modo a codificação entrópica de todos os símbolos passa a ser
feita com codificação aritmética, substituindo a codificação VLC
usada por omissão.
A codificação aritmética pode superar a limitação da codificação
VLC de ter sempre de associar um número inteiro de bits a cada
símbolo, independentemente da sua probabilidade, aumentando a
eficiência da codificação.
Modo de Codificação PB
MVF
MVB
O grande objectivo do modo PB é
aumentar a resolução temporal
codificada, com baixo custo em
termos de bits.
Uma trama PB consiste em 2 imagens
codificadas como 1 unidade (MB a
MB).
MV
TRB
TRD
-MVF = (TRB × MV) / TRD + MVD
Uma trama PB contém uma imagem
codificada preditivamente em relação
à última imagem codificada (trama P
ou PB) e uma imagem codificada
preditivamente em relação às imagens
P passada e P futura mais próximas
(trama B).
-MVB = ((TRB - TRD) × MV) / TRD se MVD igual 0
-MVB = MVF - MV
se MVD diferente de 0
• A predição para as imagens B é feita ao nível de bloco (8×8) usando os
vectores MV, MVF, MVB e MVD sendo
- MVF = (TRB × MV) / TRD + MVD
- MVB = ((TRB - TRD) × MV) / TRD se MVD igual 0
- MVB = MVF - MV
se MVD diferente de 0
• A predição dum bloco B (8×
×8) é feita segundo 2 modos, usados em
diferentes partes do bloco:
• Para os pixels onde o vector backward - MVB - aponta para dentro do
macrobloco P em descodificação, usa-se predição bidireccional tomada
como a média (truncada) das predições forward e backward.
• Para os outros pixels, usa-se apenas predição forward com base em MVF
(em relação à imagem P anterior).
Combinando as
Ferramentas ...
H.263: Codificador
p
CC
t
qz
Video
in
T
Q
q
To
video
multiplex
coder
Q–1
T–1
P
T
Q
P
Transform
Quantizer
Picture Memory with motion compensated variable delay
CC
p
t
qz
q
v
Coding control
Flag for INTRA/INTER
Flag for transmitted or not
Quantizer indication
Quantizing index for transform coefficients
Motion vector
v
A norma H.263 adopta mais
uma vez um codificador
híbrido baseado na
predição temporal
(diferenças e compensação
de movimento) e no uso da
transformada DCT.
O codificador de vídeo H.263
usa um esquema
semelhante ao do
codificador H.261.
As alterações introduzidas
destinam-se essencialmente
a obter melhor qualidade a
baixos débitos.
Refrescamento INTRA Obrigatório
Para limitar a acumulação de mismatch devido à DCT inversa, cada
MB deve ser codificado em modo INTRA pelo menos 1 em cada
132 vezes em que coeficientes DCT são transmitidos para esse MB
em imagens P.
O padrão do refrescamento INTRA não é definido pela recomendação
H.263, ficando ao cuidado do codificador.
• IGUAL no H.263 e H.261:
- Esquema básico da codificação.
- Dimensão dos blocos e varrimento em zig-zag dos coeficientes DCT.
- Uso do CBP para indicar os blocos com coeficientes a transmitir.
• DIFERENTE no H.263 e H.261 (definindo no H.263):
- Organização da imagem em GOBs; agora 1 GOB é uma linha de
macroblocos.
- Menos overhead e tabelas VLC diferentes ao nível dos macroblocos; por
exemplo, os GOB headers podem estar vazios.
- Os coeficientes quantificados são transmitidos através dum código VLC 3D
para os símbolos (last coefficient, run, level); não há marcador End of Block.
- Compensação de movimento com resolução de meio-pixel.
- Uso do JPEG para as imagens paradas (o H.261 tem um modo especial).
- Não se define o código de correcção de erros a usar.
- São oferecidas 4 novas opções de codificação para melhorar o desempenho em
termos de qualidade subjectiva; estas opções podem ser usadas
separadamente ou em conjunto e são negociadas no início da comunicação.
- Endereçamento de MB diferente (0 coded, 1 not-coded)
O Modelo Simbólico H.263
Vídeo
Original
Gerador
de Símbolos
(Modelo)
Bits
Símbolos
Codificador
Entrópico
Uma sequência de vídeo é representada como uma sucessão de
imagens classificadas como I, P ou PB, estruturadas em
macroblocos, sendo cada um deles representado usando
vectores de movimento e/ou coeficientes DCT (intra ou inter).
Cancelamento de Erros
• Mesmo que se use codificação de canal, podem existir erros de transmissão
residuais que têm consequências ao nível do descodificador de fonte.
• Os erros residuais podem ser detectados devido a incorrecções sintácticas
ou semânticas.
• Para vídeo digital, as técnicas mais básicas de cancelamento de erros são:
- Repetição da zona correspondente da imagem anterior
- Repetição de parte da imagem anterior após compensação de
movimento
• O cancelamento de erros não detectados pode ser feito por pósprocessamento da imagem descodificada.
Ferramentas H.263 Versão 2 ou H.263+
• Ferramentas para aumentar resiliência a erros
-
Estrutura em slice mais flexível
Selecção da imagem para predição
Descodificação em segmentos
Escalabilidade temporal, espacial e de qualidade
• Ferramentas para aumentar eficiência de compressão
-
Codificação INTRA com predição de vizinhos INTRA
INTRA VLC aplicado a codificação INTER
Várias melhorias na quantificação
Filtro de bloco no loop para imagens I e P
Tramas PB melhoradas (tramas B como no MPEG-1)
Outras alterações menores
Ferramentas H.263 Versão 2 ou H.263+
• Flexibilidade na resolução espacial (para melhor
adaptação ao movimento)
- Resampling e warping da imagem de predição (forma
escondida de compensação de movimento global)
- Resolução reduzida para zonas em movimento
• Aumento do número de formatos possíveis
- Resolução espacial definida pelo codificador
- Factores de forma de pixel adicionais (e não apenas 12/11)
- Frequências temporais de base adicionais (e não apenas 30
Hz)
• Escalabilidade de tempo, resolução espacial e
qualidade
• Possibilidade de enviar informação adicional com
uso não obrigatório
Principais Vantagens do H.263+
• Maior resiliência a erros
• Maior eficiência de compressão (tipicamente 15-25% mais do que a
rec. H.263 Versão 1)
• Formatos mais flexíveis
• Escalabilidade para resiliência a erros e comunicações multiponto
• Existência de perfis preferenciais de uso (3 perfis informativos) de
forma a guiar os fabricantes dos produtos
Comentários Finais
• A recomendação H.263 baseia-se na recomendação H.261,
melhorando-a (essencialmente à custa de complexidade adicional)
de forma a alcançar melhor qualidade, nomeadamente para os
débitos mais baixos.
• A recomendação H.263 obtem tipicamente qualidades semelhantes
à recomendação H.261 com cerca de 2.5 menos débito binário.
• Existem hoje inúmeros produtos e serviços baseados na norma
H.263, nomeadamente para redes móveis, p.e. UMTS.
• Contudo, esta recomendação também já não representa hoje o
estado da arte em termos de codificação de vídeo.
Bibliografia
• Videoconferencing and Videotelephony, Richard Schaphorst, Artech
House, 1996
• Image and Video Compression Standards: Algorithms and
Architectures, Vasudev Bhaskaran and Konstantinos Konstantinides,
Kluwer Academic Publishers, 1995
• Multimedia Communications, Fred Halsall, Addison-Wesley, 2001
• Multimedia Systems, Standards, and Networks, A. Puri & T. Chen,
Marcel Dekker, Inc., 2000

Vídeo nas Redes Telefónica e Móvel (Português)

Transcrição

Documentos relacionados

1 . A p re sen ta ç ã oe O b je c tiv os

29080134_Fol EXPLIC MODULADOR

6104CX DVS

FICHA TECNICA SOUNDBASE PHB300BT

[ Digidesign Pro Tools ]

Livro de Visitas/ Mosaico Digital

6101FXIP DVS

Diferenciais LG ------------------------- Áudio

Ableton Live (online)

Micro_Proj espCat241019

Produto Externo de dois vectores

CAPÍTULO 2 CÁLCULO VECTORIAL

Ficha de Exercícios nº 1