Tinta Digital em Aplicações Multimídia para Ambientes Móveis

Tinta Digital em Aplicações Multimídia para Ambientes
Móveis
Lucas L. Provensi
Fábio M. Costa
Vagner Sacramento
Universidade Federal de
Goiás
Instituto de Informática
Goiânia, GO
Universidade Federal de
Goiás
Instituto de Informática
Goiânia, GO
Universidade Federal de
Goiás
Instituto de Informática
Goiânia, GO
[email protected]
[email protected]
RESUMO
A tinta digital é uma tecnologia criada para aprimorar a
interface de interação de dispositivos computacionais. Este
artigo apresenta uma avaliação do uso da tinta digital em
ambientes móveis. São mostrados experimentos com a comunicação da tinta digital que levam à sua caracterização
como um novo tipo de mı́dia e conseqüentemente à necessidade de tratamento adequado da qualidade de serviço em
aplicações de tempo real baseadas nessa tecnologia.
ABSTRACT
Digital ink is a technology created to improve the interaction interface of computing devices. This paper presents an
evaluation of the use of digital ink in mobile environments.
Experiments with the communication of the digital ink are
shown, leading to its characterization as a new media type
and consequently to the need of an appropriate treatment
for the quality of service in real-time applications based on
that technology.
Categories and Subject Descriptors
H.5.1 [Information Systems]: Information Interfaces and
Presentation—Multimedia Information Systems
Palavras Chave
Tinta Digital, Multimı́dia Distribuı́da, Aplicações de Tempo
Real
1.
INTRODUÇÃO
A tinta digital é uma tecnologia que visa aprimorar a interface de interação de dispositivos computacionais como tablet
PCs. Nessa tecnologia a escrita humana é simulada através
de um hardware especial, constituı́do de uma caneta usada
para escrever ou desenhar sobre a tela do dispositivo. A
tinta digital pode ser aplicada de diversas formas, como nas
aplicações de reconhecimento de escrita [12] ou de anotações
sobre documentos digitais [13].
[email protected]
Em algumas aplicações, como em [1], existe a necessidade
da comunicação em tempo real da tinta digital entre vários
usuários. A utilização dos tablet PCs em um ambiente de
rede sem fio pode ser um agravante para esse tipo de aplicação. Esse ambiente, apesar dos benefı́cios oferecidos pela
mobilidade, apresenta uma série de limitações em comparação com as redes cabeadas. Largura de banda menor, maior
taxa de erros e desconexão abrupta são alguns dos problemas
encontrados neste tipo de rede [7].
Os problemas encontrados no ambiente móvel tendem a afetar a comunicação em aplicações de tempo real, aumentando
o atraso e a perda de pacotes, o que afeta a sincronização
das atividades e a transmissão correta do conteúdo da tinta
digital. Neste artigo apresentamos experimentos realizados
com a comunicação da tinta digital para avaliar a influência
e o efeito desses problemas nas aplicações baseadas nessa
tecnologia.
O restante do artigo está estruturado como se segue. A
Seção 2 apresenta a tinta digital e discute algumas das aplicações que fazem uso dessa tecnologia. A Seção 3 discute o
uso da tinta digital em aplicações de tempo real para o ambiente móvel. A Seção 4 caracteriza a tinta digital como um
novo tipo de mı́dia. Por fim, a Seção 5 apresenta algumas
conclusões e trabalhos futuros envolvendo o tratamento de
QoS em aplicações baseadas em tinta digital.
2.
TINTA DIGITAL
O desenho e a escrita são atividades realizadas naturalmente
pelas pessoas para organizar idéias sem se preocupar com a
precisão com que as mesmas são representadas [9]. Dispositivos computacionais como os tablet PCs e as aplicações
baseadas em tinta digital surgiram com o intuito de tornar
a interação homem-computador mais natural. Nesses dispositivos, o movimento e o contato da caneta com a superfı́cie
da tela é capturado por um digitalizador, formando o que se
convencionou chamar de tinta digital, que consiste, essencialmente, na representação digital dos traços realizados com
a caneta.
O digitalizador presente em um tablet PC coleta informações sobre as coordenadas da ponta da caneta durante sua
movimentação, bem como a pressão no ponto de contato
da caneta com a superfı́cie da tela. Os tablet PCs utilizam
soluções de software para transformar as informações colhidas pelo digitalizador em tinta digital, como por exemplo a
tecnologia oferecida pela Microsoft em seus sistemas operacionais e APIs de programação [16].
A tinta digital é formada por estruturas que representam
riscos feitos com a caneta, ou strokes, que contêm seqüências numéricas, conhecidas como pacotes de tinta, coletadas
durante cada contato da caneta com a superfı́cie da tela.
Os strokes são manipulados de acordo com a necessidade de
cada aplicação. Uma das principais aplicações da tinta digital é no reconhecimento de escrita [12], onde é utilizada
basicamente como uma forma mais natural de entrada de
dados, substituindo a digitação. Essa tecnologia também é
utilizada no reconhecimento e interpretação de formas geométricas em aplicações gráficas [8].
A tinta digital pode ser convertida para diferentes tipos de
dados dependendo da aplicação que a utiliza. Em aplicações de reconhecimento de escrita por exemplo, a tinta é
convertida em caracteres para formar palavras, já em aplicações gráficas a tinta é convertida em imagens ou modelos.
Já outras aplicações são voltadas para a utilização da tinta
digital em sua forma livre, sem se preocupar com sua conversão em outro tipo de dado. Uma das aplicações da tinta
em sua forma livre é na leitura ativa de documentos digitais,
onde além da leitura em si, a aplicação permite sublinhar,
marcar e anotar comentários sobre o texto, estimulando o
pensamento crı́tico[13]. Em alguns trabalhos as anotações
realizadas com a tinta digital podem ainda se adaptar aos
diferentes formatos que um documento pode assumir ao ser
visualizado em dispositivos computacionais distintos, modificando propriedades como tamanho, posição e estilo [3].
3.
USO DA TINTA DIGITAL EM AMBIENTES MÓVEIS
Um outro exemplo de uso da tinta digital em sua forma livre é em um quadro branco computacional, que consiste em
uma área compartilhada para anotações. Para testar as propriedades da tinta digital em um ambiente móvel, um protótipo de um quadro branco compartilhado foi desenvolvido
e é mostrado na Figura 1. Em comparação com um quadro
branco real, o quadro branco computacional apresenta algumas vantagens, como a manipulação direta da tinta para
operações de escala, recorte, movimentação e alteração de
propriedades como cor e estilo dos traços, além da possibilidade de gravação para consulta futura.
No protótipo do quadro branco os pacotes de tinta digital
produzidos por um usuário são transmitidos para os demais
em tempo real. A comunicação é feita através de um canal
de comunicação UDP, por ser um protocolo de transporte
mais leve e indicado para transmissão de fluxos contı́nuos
[10]. Foram realizados testes de usabilidade com o quadro
branco em uma sala de aula, utilizando tablet PCs em uma
rede sem fio. Durante os testes foram observados em alguns
momentos a perda da sensação de tempo real, devido a atrasos na transferência da tinta digital, e até mesmo a recepção
incorreta de partes de seu conteúdo.
3.1
Experimentos
Como o protótipo não apresentou os mesmo problemas em
uma rede cabeada, foram realizados uma série de experimentos para avaliar influência do ambiente móvel na comunicação da tinta digital. Os experimentos foram executados
em uma sala de aula, onde uma turma de 20 alunos fazia
uso de tablet PCs em uma disciplina do curso de Ciência da
Computação, que faz parte do projeto HP Technology for
Teaching. O objetivo foi monitorar o nı́vel de atraso e perda
de pacotes encontrados em diversos cenários de utilização
de uma rede sem fio e avaliar seu efeito na comunicação da
tinta.
Uma aplicação de monitoramento foi desenvolvida para gerar fluxos de pacotes entre dois pontos da rede, utilizado pacotes com tamanhos similares ao tamanho tı́pico dos pacotes
de tinta digital gerados pelo quadro branco. Neste ambiente
foram observados em média um atraso de 88ms na recepção
dos pacotes e uma percentagem de perda de pacotes de 4%.
Já em momentos de uso intensivo dos tablet PCs e da rede,
o atraso médio passou para 215ms com picos de até 1400ms
e uma percentagem de perda de pacotes de 21% com picos
que chegaram a 8 pacotes perdidos em sequência.
Os dados coletados nos experimentos foram usados para configurar uma aplicação de simulação desenvolvida para verificar os efeitos do atraso e da perda de pacotes na comunicação da tinta digital. Essa aplicação recebe como parâmetro
o atraso médio e a freqüência de perda de pacotes. Os parâmetros são aplicados na tinta digital coletada em um painel
da aplicação e os efeitos podem ser vistos simultaneamente
em outro painel. Os efeitos observados na simulação são
discutidos a seguir.
3.2
Avaliação
Em uma aplicação como o quadro branco, picos de atraso
e perdas como os observados nos experimentos afetam diretamente a usabilidade da aplicação. O problema do atraso
afeta a coordenação das atividades, uma vez que a tinta digital produzida por um usuário deixa de ser entregue aos
demais em tempo real. Já as perdas de pacotes afetam a representação estática da tinta em um determinado momento.
Como os pacotes de tinta consistem em dados de coordenadas, os trechos de tinta formados por essas coordenadas são
perdidos.
Figura 1: Quadro branco compartilhado.
A Figura 2 ilustra o efeito do atraso na aplicação do quadro
branco de acordo com a simulação realizada. A figura do
painel superior seria a visão do professor e a do painel inferior a do aluno em um mesmo momento. Em decorrência
do atraso, o aluno pode estar ouvindo uma explicação sobre
algo que ainda não aparece em sua cópia do quadro branco.
Já a Figura 3 ilustra o efeito das perdas. Neste caso, a figura
do painel superior mostra a tinta produzida pelo professor
e a do painel inferior mostra como essa tinta seria visualizada pelos alunos, com perdas que podem comprometer seu
entendimento.
assim como pequenas perdas, podem não ser percebidos pelos usuários. Porém quando o atraso e as perdas aumentam,
o usuário perde a sensação de recepção em tempo real da
tinta e não consegue entender seu conteúdo. Essa sensibilidade ao atraso e à perdas de pacotes é caracterı́stica das
aplicações de multimı́dia distribuı́da, como as que envolvem
áudio e vı́deo em tempo real.
Um outro aspecto importante da comunicação a ser considerado é o formato dos dados que serão transmitidos. Para
possibilitar a interoperabilidade entre aplicações com finalidades distintas, a tinta digital deve ser armazenada ou distribuı́da em um formato próprio, independente da aplicação.
Em [2] a tinta digital é considerada um tipo de dado de
primeira classe, assim aplicações distintas podem utilizar o
mesmo formato para representá-la, e desta forma interoperar.
Figura 2: Atraso na recepção de pacotes de tinta
digital.
Figura 3: Efeito da perda de pacotes de tinta digital.
Os experimentos apresentados foram realizados em um ambiente de rede especı́fico. Em outros ambientes, com diferentes infra-estruturas de rede, dispositivos e número de usuários, os resultados obtidos podem diferir. O objetivo dos
experimentos foi mostrar que em certos ambientes de rede
os nı́veis de atraso e perda de pacotes podem prejudicar a
usabilidade de uma aplicação baseada na transferência da
tinta digital em tempo real. Isso indica que a comunicação
da tinta digital nesse tipo de aplicação deve se adaptar ao
seu ambiente de rede, o que é uma necessidade caracterı́stica
de aplicações de multimı́dia distribuı́da [6].
4.
TINTA DIGITAL COMO UM NOVO TIPO
DE MÍDIA
Como visto na Seção 3, em aplicações como o quadro branco
compartilhado a tinta digital deve ser transmitida em tempo
real entre os usuários da aplicação. Com os experimentos,
foi observado que as aplicações de tempo real que envolvem
a comunicação de tinta digital apresentam uma certa tolerância a atrasos e perdas. Atrasos mı́nimos em sua recepção,
Da mesma forma, em aplicações distribuı́das como o quadro
branco mostrado na Figura 1, a tinta digital deve seguir um
formato padrão que possibilite sua transmissão em tempo
real através de um fluxo de dados contı́nuo. Formatos proprietários, como o ISF (Ink Serialized Format) da Microsoft
[16], são inadequados pois não permitem a manipulação direta dos dados da tinta para realizar o controle do fluxo. Já
formatos abertos, como o InkML (Ink Markup Language)
[15] são mais adequados, pois definem uma linguagem padrão para o compartilhamento da tinta entre dispositivos e
plataformas heterogêneos. Tanto ISF quanto InkML utilizam basicamente a mesma informação para representar a
tinta (dados de coordenada e pressão). Portanto, aplicações
que utilizam formatos distintos podem interoperar, desde
que haja a conversão dos pacotes de tinta de um formato
para o outro.
Como a tinta digital pode ser considerada um tipo de dado
de primeira classe (independente de linguagem e de aplicação) e compartilha caracterı́sticas com tipos de mı́dia como
áudio e vı́deo, então é natural tratá-la como um novo tipo
de mı́dia em aplicações distribuı́das[11]. Portanto, a comunicação em aplicações que envolvem a transmissão da tinta
digital em tempo real deve receber o mesmo tratamento que
outras aplicações multimı́dia.
O tratamento da comunicação em aplicações de multimı́dia
distribuı́da envolve a manutenção da qualidade de serviço
(QoS ) oferecida ao usuário. Em sistemas de multimı́dia distribuı́da, a qualidade de serviço representa o conjunto de
caracterı́sticas qualitativas e quantitativas necessárias para
o funcionamento correto da aplicação e sua adequação à espectativa dos usuários [14]. Em aplicações de áudio e vı́deo
por exemplo, caso a largura de banda não seja suficiente para
a transmissão em tempo real, então são aplicadas técnicas
de compressão de áudio e vı́deo para diminuir a largura de
banda necessária.
Técnicas de compressão também podem ser aplicadas a tinta
digital. Um exemplo é a diminuição do número de pontos
de coordenada que formam um stroke. Aplicando essa compressão os traços que formam a tinta perdem um pouco de
precisão, porém o volume de dados trafegados pela rede diminui. A Figura 4 ilustra a compressão através da diminuição do número de pontos, onde os pontos que formam
a imagem do painel esquerdo foram reduzidos pela metade
para formar a imagem do painel direito. Apesar de diminuir
a qualidade da imagem, o conteúdo da tinta digital ainda
pode ser entendido pelo usuário.
[3]
[4]
Figura 4: Compressão da tinta digital.
5.
CONCLUSÕES E TRABALHOS FUTUROS
[5]
Neste artigo apresentamos a tinta digital como um novo tipo
de mı́dia para utilização em aplicações distribuı́das de tempo
real, que podem se beneficiar de uma interface de interação
mais natural. Defendemos ainda um tratamento mais adequado para a comunicação nesse tipo de aplicação quando
utilizada em um ambiente móvel, para manter o nı́vel de
qualidade de serviço esperada pelo usuário. Como as condições do ambiente de rede podem variar ao longo do tempo,
a aplicação deve adaptar sua estrutura interna em tempo de
execução para manter um nı́vel aceitável de usabilidade [4].
[6]
Os experimentos apresentados neste artigo fazem parte de
um trabalho mais amplo dos autores, cujo objetivo principal
é o desenvolvimento de uma infra-estrutura de middleware
para tratar os requisitos de QoS observados nas aplicações
multimı́dia baseadas na tinta digital. O tratamento da tinta
digital como um novo tipo de mı́dia possibilita maior controle do middleware sobre o fluxo de dados enviados pela
rede. Além disso, tratando a tinta digital como um tipo de
dado de primeira classe, o middleware pode oferecer soluções de comunicação genéricas que se encaixam a todos os
tipos de aplicações distribuı́das baseadas em tinta digital.
[9]
Como próximo passo, propomos a utilização e extensão da
plataforma de middleware reflexivo Meta-ORB [5] para o
desenvolvimento de aplicações multimı́dia baseadas em tinta
digital. Essas extensões visam a tornar o middleware capaz
de identificar mudanças no ambiente de rede que prejudicam a aplicação e realizar adaptações em sua estrutura de
forma automática. Tais adaptações podem adequar o middleware a ao novo cenário de rede, como por exemplo inserindo compressão na comunicação da tinta. Esperamos que
a utilização de tal infra-estrutura simplifique o desenvolvimento de aplicações multimı́dia baseadas em tinta digital
e possibilite o tratamento adequado da comunicação para
contemplar seus requisitos de QoS.
6.
[7]
[8]
[10]
[11]
[12]
[13]
[14]
REFERÊNCIAS
[1] R. Anderson, R. Anderson, B. Simon, S. Wolfman,
T. VanDeGrift, and K. Yasuhara. Experiences with a
tablet PC based lecture presentation system in
computer science courses. Proceedings of the 35th
SIGCSE technical symposium on Computer science
education, pages 56–60, 2004.
[2] W. Aref, D. Barbara, D. Lopresti, and A. Tomkins.
Ink as a first-class datatype in multimedia databases.
[15]
[16]
Multimedia Databases. Springer-Verlag, New York,
1995.
D. Bargeron and T. Moscovich. Reflowing digital ink
annotations. In CHI ’03: Proceedings of the SIGCHI
conference on Human factors in computing systems,
pages 385–393, New York, NY, USA, 2003. ACM.
G. Blair, G. Coulson, N. Davies, P. Robin, and
T. Fitzpatrick. Adaptive middleware for mobile
multimedia applications. Network and Operating
System Support for Digital Audio and Video, 1997.,
Proceedings of the IEEE 7th International Workshop
on, pages 245–254, 1997.
F. Costa. Meta-ORB: A Highly Configurable and
Adaptable Reflective Middleware Platform.
Proceedings of the 20th Brazilian Symposium on
Computer Networks, pages 735–750, 2002.
C. Diot, C. Huitema, and T. Turletti. Multimedia
Applications Should Be Adaptive. Architecture and
Implementation of High Performance Communication
Subsystems, 1995.(HPCS’95), 1995 Third IEEE
Workshop on the, pages 117–125, 1995.
G. Forman and J. Zahorjan. The challenges of mobile
computing. IEEE Computer, 27(4):38–47, 1994.
M. Gross and E. Do. Ambiguous intentions: a
paper-like interface for creative design. Proceedings of
the 9th annual ACM symposium on User interface
software and technology, pages 183–192, 1996.
J. I. Hong and J. A. Landay. Satin: a toolkit for
informal ink-based applications. In UIST ’00:
Proceedings of the 13th annual ACM symposium on
User interface software and technology, pages 63–72,
New York, NY, USA, 2000. ACM.
L. Larzon, M. Degermark, and S. Pink. Efficient use of
wireless bandwidth for multimedia applications.
Mobile Multimedia Communications,
1999.(MoMuC’99) 1999 IEEE International Workshop
on, pages 187–193, 1999.
D. Lopresti. Ink as Multimedia Data. Proceedings of
the Fourth Intl. Conference on Information, Systems,
Analysis and Synthesis, July, pages 122–128, 1998.
R. Plamondon and S. Srihari. On-Line and Off-Line
Handwriting Recognition: A Comprehensive Survey.
IEEE Transactions on Pattern Analysis and Machine
Intelligence,, 22(1), 2000.
B. N. Schilit, G. Golovchinsky, and M. N. Price.
Beyond paper: supporting active reading with free
form digital ink annotations. In CHI ’98: Proceedings
of the SIGCHI conference on Human factors in
computing systems, pages 249–256, New York, NY,
USA, 1998. ACM Press/Addison-Wesley Publishing
Co.
A. Vogel, B. Kerherve, G. von Bochmann, and
J. Gecsei. Distributed multimedia and QOS: a survey.
Multimedia, IEEE, 2(2):10–19, 1995.
S. Watt. New Aspects of InkML for Pen-Based
Computing. Proceedings of the Ninth International
Conference on Document Analysis and Recognition
(ICDAR 2007) Vol 1-Volume 01, pages 457–460, 2007.
P. Yao. Tablet PC: Add Support for Digital Ink to
Your Windows Application. MSDN Magazine. The
Microsoft Journal for Developers. http://msdn.
microsoft. com/msdnmag, 2004.