Sistema de Auxílio à Comunicação de Usuários Descapacitados

Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
SISTEMA DE AUXÍLIO À COMUNICAÇÃO DE USUÁRIOS DESCAPACITADOS BASEADO EM
MOVIMENTO OCULAR
PHILLIPE CARDOSO SANTOS*, ELYSON ÁDAN NUNES CARVALHO*, LUCAS MOLINA*, EDUARDO OLIVEIRA
FREIRE*
*Grupo de Pesquisa em Robótica da UFS (GPR-UFS)
Departamento de Engenharia Elétrica da Universidade Federal de Sergipe
Av. Marechal Rondon, São Cristóvão, SE, Brasil
E-mails: [email protected], [email protected], [email protected], [email protected]
Abstract⎯ Communication is fundamental to life in society. When some of the communication channels are affected by some
kind of disability, the life in society of the patient can be impaired, and his physical and mental health may be also compromised.
Thus, nowadays, there is a growing search for technologies to support handicapped people with communication problems. In
some cases, the patient loses, permanently or temporarily, the control over his body, except of his eyes, despite of being in a
perfect state of conscience, which allows the development of technics to provide him with the ability to communicate in an
efficient way. In this paper, a non-invasive system, based on image processing, to allow the communication of handicapped
patients by means of eye blink, is proposed and tested. In order to do so, an approach to perform eye and blink detection, based
on histogram and variance calculus, is introduced. Considerations about the performance of the proposed system are presented,
indicating that the system worked in a satisfactory way.
Keywords⎯ Image processing, eye detection, eye-blink detection.
Resumo⎯ A comunicação é algo fundamental para a vida do ser humano em sociedade. Quando algum dos canais de
informação é afetado por algum tipo de deficiência, a vida em sociedade desse indivíduo pode ser comprometida, podendo ainda
afetar sua saúde física e mental. Dessa forma, atualmente há uma crescente busca por tecnologias de apoio a deficientes que
apresentem qualquer dificuldade de comunicação. Em alguns casos, o indivíduo tem a perda, permanente ou temporária, do
controle dos músculos, com exceção dos olhos e ainda assim mantém um perfeito estado de consciência, o que permite que
algumas técnicas sejam desenvolvidas para provê-lo de meios pelos quais possa se comunicar de maneira eficaz. Neste artigo é
proposto e testado um sistema não invasivo baseado em processamento de imagens para a comunicação de pacientes
descapacitados por meio da piscada dos olhos. Para tanto é apresentada uma abordagem para detecção de olhos e de piscadas
baseadas em cálculos de histograma e variância. Considerações a respeito do desempenho do sistema proposto são apresentadas,
indicando que o sistema funcionou satisfatoriamente.
Palavras-chave⎯ processamento de imagens, detecção de olhos, detecção de piscada.
1
Introdução
A comunicação é algo fundamental para a vida
do ser humano em sociedade. Através dela, é
possível se ter a troca de informações entre duas ou
mais pessoas. Esta troca de informações pode se dar
através de vários canais, sendo os mais comuns a
fala, a escrita e os gestos. Quando algum desses
canais de informação é afetado por algum tipo de
deficiência, a vida em sociedade desse indivíduo
pode ser comprometida, podendo ainda afetar sua
saúde física e mental.
Como alternativa, em muitos casos o indivíduo
tenta contornar a deficiência utilizando outros canais
de comunicação para substituir o canal afetado, como
é o caso da comunicação em libras por deficientes
auditivos e do braille por deficientes visuais.
Devido a esta grande importância, atualmente há
uma crescente busca por tecnologias de apoio a
deficientes, o que acarretou em crescentes
investimentos em pesquisas nessa área.
Segundo Cavalieri et al (2007), as disfunções de
origem neuromotora constituem uma das principais
causas de problemas associados à comunicação entre
indivíduos com deficiência. No entanto, em grande
parte dos casos, estas pessoas mantêm um perfeito
estado de consciência, o que permite que algumas
ISBN: 978-85-8001-069-5
técnicas sejam desenvolvidas para provê-las de
meios pelos quais possam se comunicar de maneira
eficaz.
Algumas doenças neurológicas não raras, como
o AVC no tronco cerebral, apresentam como sintoma
a perda, permanente ou temporária, do controle
voluntário dos músculos, com exceção dos olhos, que
são controlados por uma região diferente do cérebro
(Medeiros, 2002). Nesse caso, o indivíduo, apesar de
consciente, pode voluntariamente apenas olhar na
direção desejada e piscar. Dessa forma, o
desenvolvimento de tecnologias que auxiliem na
comunicação desses indivíduos pode ser empregado
como meio de tratamento e inserção social dos
mesmos.
As principais técnicas já aplicadas nessa área são
baseadas na utilização de sinais biológicos e em
processamento de imagens. No entanto muitas delas
são invasivas e pouco confortáveis para o indivíduo.
No caso dos sinais biológicos, eletrodos são
posicionados no rosto do mesmo para que, por meio
da
eletro-oculografia
(Usakli,
2010)
ou
eletromiografia (Veigl, 2006), os movimentos
possam ser detectados.
Em contrapartida, nas técnicas baseadas em
processamento de imagens não há necessidade de
contado direto com o usuário. No entanto, muitas
vezes a câmera é posicionada muito próxima ao
5203
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
rosto, como em (Ishiguro, 2010) que posicionou a
câmera em um óculos, o que pode gerar grande
desconforto e consequente rejeição por parte do
usuário. Outro exemplo que faz uso de uma câmera
muito próxima ao usuário é apresentado em
(Gajwani, 2010), mas, dessa vez, o movimento
ocular foi usado para controlar uma cadeira de rodas.
A quantidade luz presente no ambiente pode
influenciar
nos
resultados
obtidos
com
processamento de imagens, e ao mesmo tempo ser
incômoda para o usuário, sendo apontado como uma
solução para este problema o uso de câmeras
equipadas com luz infravermelha. Em alguns casos, a
reflexão da pupila a esse tipo de luz também é usada
para a detecção dos olhos, como em (Ji, 2002). No
entanto, segundo (Krolac, 2008), a maioria dos
usuários não fica totalmente satisfeita com esse tipo
de tecnologia e sugerem melhorias. Além de que, a
utilização desse método requer uma câmera equipada
com esse tipo de iluminação.
Desta maneira, processos menos invasivos e,
portanto, mais cômodos aos usuários são desejados.
Como é o caso de (Krolac, 2008), no qual uma
câmera é posicionada a uma distância confortável do
indivíduo. No entanto, neste trabalho, a região dos
olhos é encontrada apenas com base na geometria do
rosto, o que deixa o algoritmo muito dependente de
uma boa detecção de face.
É proposta neste artigo uma nova técnica não
invasiva, usando processamento de imagens, para
detecção da piscada dos olhos, tornando possível a
implementação de um sistema de comunicação
baseado na piscada dos olhos, estando a câmera a
uma distância cômoda do usuário. Neste artigo, tal
sistema foi implementado em Matlab R2010a.
O artigo está organizado na seguinte forma: na
próxima seção são apresentados os trabalhos
correlatos, mostrado as principais técnicas aplicas na
área, enquanto que a seção 3 é dedicada ao trabalho
desenvolvido, já os resultados são apresentados na
seção 4, seguido das conclusões e referências
bibliográficas.
2 Trabalhos Correlatos
Considerando os passos essenciais para o
desenvolvimento do sistema de comunicação
proposto, nesta seção são apresentados alguns dos
principais trabalhos desenvolvidos nas áreas de
detecção de face, olhos e piscada.
2.1 Detecção de face
A detecção de face é uma vasta área de pesquisa,
com vários trabalhos publicados e muitas
ferramentas disponíveis para este propósito. Dessa
forma, não é objetivo deste trabalho cobrir toda a
área, sendo abordadas apenas as ferramentas mais
importantes para o sistema aqui proposto.
Em (Hsu, 2002), são utilizadas técnicas de
compensação de luz e transformação de cores não
ISBN: 978-85-8001-069-5
linear para encontrar a face. Já em (Birchfield,1998),
são utilizados a intensidade do gradiente e o
histograma de cores para determinar a região do
rosto em forma de elipse.
Neste trabalho foi adotado para a detecção de
face o detector de objetos Viola-Jones (Viola-Jones,
2001). Esta escolha se deu devido a este detector ser
considerado um padrão na área. O algoritmo ViolaJones é baseado na representação da imagem em um
espaço de características seguido de classificadores.
Por ser usado neste trabalho, o este algoritmo
será detalhado na seção 3.1.
2.2 Detecção de olhos e piscada
As técnicas de processamento de imagens que
vêm sendo utilizadas para localização dos olhos e
detecção da piscada serão divididas neste trabalho
em dois tipos: invasivas e não-invasivas. As técnicas
invasivas são aquelas que oferecem algum incômodo
ao usuário devido à proximidade com o mesmo,
destacando-se os óculos com micro câmeras e as
câmeras posicionadas muito próximas ao paciente.
Já as técnicas não-invasivas são divididas em
(Yin, 2011) em 5 categorias: baseadas em modelo,
baseadas em características, baseadas na aparência,
abordagens híbridas e baseadas em luz não visível
(infravermelho).
Como neste artigo é proposto um sistema que
ofereça pouco incômodo ao paciente, foram
consideradas aqui apenas as técnicas não-invasivas,
sendo as mesmas abordadas no texto a seguir, com
exceção para as técnicas baseadas em luz não visível,
pois as mesmas requerem câmeras equipadas com
emissores infravermelhos, não consideradas neste
trabalho.
Nos sistemas baseados em modelo é criado um
modelo de olho genérico que é procurado na imagem
por meio da correlação entre pixels. Para tanto, são
criados um modelo para os olhos fechados e outro
para os olhos abertos, o que torna possível a detecção
da piscada. A região dos olhos que servirá como
modelo pode ser determinada manualmente ou
automaticamente. Em (Betke, 2002) esta região é
determinada com o mouse, o que torna o paciente
dependente de outra pessoa para auxiliá-lo. Já em
(Graumman, 2003), a região dos olhos é encontrada a
partir da diferenciação entre dois quadros
consecutivos.
Nos sistemas baseados em características são
usadas características particulares como cor da pele e
distribuição de cores na região dos olhos. Em
(Wang, 2007) é feita uma análise da intensidade dos
pixels da imagem em escala de cinza, gerando um
gráfico em 3D, no qual os maiores picos representam
os olhos. Já em (Yen, 2007), a imagem do rosto é
binarizada e então é aplicado o filtro de Gabor em
quatro direções diferentes para que apenas os olhos
sejam destacados.
Nos sistemas baseados na aparência, os olhos são
geralmente detectados por meio da comparação com
um conjunto de imagens salvas anteriormente. Peng
5204
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
(Peng, 2005) criou um sistema baseado na aparência
utilizando um banco de dados com olhos e “nãoolhos”.
Nas abordagens híbridas são combinados dois ou
mais tipos de sistemas descritos anteriormente. Um
exemplo desse tipo de sistema é encontrado em
(Bacivarov, 2008), no qual são criados modelos em
que olhos são representados pela variação e pela
correlação da forma e da textura, sendo a forma
definida por vários pontos de referência que contorna
o olho. Uma vez criado o modelo, é feita uma sessão
de treinamento com os olhos dispostos de várias
maneiras diferentes, tornando possível determinar
como o olho se encontra em um determinado
momento.
A “imagem integral” 𝑖𝑖 𝑥, 𝑦
(Viola-Jones, 2001) como
𝑖𝑖 𝑥, 𝑦 = ! ! ! !, ! ! !! 𝑖(𝑥
!
é definida em
, 𝑦′),
(1)
em que 𝑖(𝑥, 𝑦) é a imagem original de tamanho LxC,
1 ≤ 𝑚, 𝑚 ! ≤ 𝐿 e 1 ≤ 𝑛, 𝑛! ≤ 𝐶. Por meio da
“imagem integral” é possível calcular rapidamente a
soma de qualquer retângulo dentro da imagem. Dessa
maneira, um conjunto de características pode ser
obtido pela diferença entre a soma dos pixels de
regiões retangulares.
As características utilizadas são chamadas de
Haar-like features e podem ser vistas na figura 2.
3 Trabalho Desenvolvido
Neste trabalho foi desenvolvido um sistema para
comunicação de pacientes descapacitados baseado na
piscada dos olhos. As etapas envolvidas neste
sistema são apresentadas no diagrama de blocos
mostrado figura 1, e serão abordadas com maior
detalhe nas subseções a seguir.
Detecção
da face
Câmera
Detecção
dos olhos
Detecção
da piscada
Interface para
Comunicação
Figura 1. Diagrama de blocos do sistema desenvolvido.
3.1 Detecção de face
A detecção de face é uma parte muito importante
do sistema e deve preceder os projetos de detecção
de olhos, pois com ela é possível diminuir a área de
busca da imagem, reduzindo o custo computacional e
os efeitos prejudiciais do plano de fundo no
processamento.
Dentre os vários algoritmos de detecção de face,
foi utilizado neste projeto o proposto por Viola-Jones
em 2002 devido ao bom desempenho e velocidade de
processamento, Tendo sido utilizado o algoritmo de
Viola-Jones disponibilizado no site da mathworks.
Este algoritmo é composto de três partes. A
primeira delas é a representação da imagem em um
espaço de características baseadas nos filtros de
Haar. Isto é feito com o auxílio da “imagem
integral”. A segunda é a montagem de um
classificador forte (Strong Learner ou Strong
Classifier), a partir de um conjunto de classificadores
fracos (Weak Learners ou Weak Classifiers), técnica
conhecida como Boosting (Freud, 1995), capaz de
selecionar as características mais relevantes. Por fim,
é feita uma combinação em cascata destes
classificadores.
ISBN: 978-85-8001-069-5
(a)
(b)
(c)
(d)
Figura 2. Características utilizadas no algoritmo de ViolaJones. A soma dos pixels que estão no retângulo branco é
subtraída pela soma dos pixels que estão no retângulo preto. Em
(a) e (b) é mostrado uma característica com dois retângulos, em (c)
uma característica com 3 retângulos e em (d) uma característica
com quatro retângulos (Matos, 2011).
O conjunto de treinamento do Viola-Jones é
formado por amostras do tipo (𝑥! , 𝑦! ) com N
amostras, onde 𝑥! é uma imagem de dimensão
24×24 e 𝑦! = {0, 1} é o rótulo de classe. Neste
conjunto, 𝑦! = 1 corresponde a uma imagem de face
e 𝑦! = 0 a uma imagem de não-face.
Como o número total de características é
grande, utiliza-se um algoritmo de aprendizado de
máquina chamado de AdaBoost para selecionar as
características mais importantes. Em cada iteração do
AdaBoost, um conjunto de classificadores fracos hj é
ajustado para minimizar o erro de classificação. Cada
um destes classificadores corresponde a uma
característica fj(xn), onde j = 1, · · · , J e J é o total de
características. Dado um limiar θj e uma paridade pj,
a regra de classificação pode ser dada por
ℎ! 𝑥! = 1,
0,
𝑠𝑒 𝑝! 𝑓! 𝑥! > 𝑝! 𝜃!
,
caso contrário
(2)
na qual a paridade pj indica a direção da
desigualdade.
A fim de melhorar os resultados, uma
combinação de classificadores AdaBoost é feita na
forma cascata. Assim, obtém-se uma taxa de falso
negativo próxima a zero.
As características selecionadas no treinamento
são escalonadas do tamanho mínimo até o tamanho
da imagem para que seja possível detectar a face,
uma vez que a posição da mesma não é conhecida.
5205
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
Na figura 3 pode ser visto o resultado da
aplicação do algoritmo de Viola-Jones.
Para localizar estes picos foi aplicado um filtro
para a suavização do histograma e em seguida
determinado os pontos onde a derivada é zero.
Uma vez localizada pela análise dos picos, a
região dos olhos é selecionada e então é calculado
um novo histograma de densidade, dessa vez no
sentido vertical. Esta aplicação gera perfil de
histograma no qual os dois olhos são evidenciados,
sendo, assim, facilmente detectados.
Na figura 5 é mostrado o resultado da detecção
dos olhos (em azul), assim como os histogramas
horizontal (em vermelho) e vertical (em verde).
Figura 3. Detecção da face utilizando o algoritmo de Viola-Jones
3.2 Detecção dos olhos
Para a detecção dos olhos é proposto neste artigo
um sistema baseado em características, onde as
informações principais são retiradas da análise de
histogramas de densidades feitos na imagem
binarizada.
Como forma de reduzir os efeitos da influência
da luz, um ajuste de histograma foi utilizado sobre a
imagem rosto do indivíduo, para posterior
binarização da imagem segundo um limiar fixo.
Na imagem binarizada é calculado um
histograma de densidade de pixels pretos no sentido
horizontal. Para tanto, é realizada uma contagem da
quantidade de pixels pretos em cada linha da
imagem.
A análise deste histograma possibilita identificar
corretamente algumas regiões da face, incluindo os
olhos, ficando as mesmas evidenciadas pelos picos
do histograma, como pode ser visto na figura 4(b).
(a)
(b)
Figura 4. (a) Foto do rosto e (b) histograma horizontal e imagem
binarizada.
Pela geometria do rosto, pode-se considerar que
olhos ficam na parte superior do rosto, como é
utilizado em (Krolac, 2008). Sendo assim, a busca é
feita apenas na parte superior da imagem, eliminando
os picos correspondentes ao nariz e a boca. A partir
daí pode-se perceber que os dois maiores picos
superior correspondem à região dos olhos e da
sobrancelha.
ISBN: 978-85-8001-069-5
Figura 5. Detecção dos olhos (azul) e histogramas horizontal
(vermelho) e vertical (verde).
3.3 Detecção da piscada
A etapa de detecção da piscada consiste em
identificar o estado dos olhos (abertos ou fechados).
Para tanto, propõe-se neste artigo uma técnica de
detecção do estado dos olhos baseado na dispersão
dos pixels.
Como é possível perceber na figura 6, a
distribuição dos pixels pretos no sentido vertical se
encontra mais dispersa em torno da média (linha
azul) quando olho está aberto (figura 6a) do que
quando está fechado (figura 6b), sendo possível
então determinar o estado dos olhos com base nesta
análise.
Figura 6. Dispersão do pixels dos olhos em torno da média para os
olhos abertos (a) e para os olhos fechados (b).
A dispersão dos pixels foi medida com base no
cálculo de variância, sendo esta é definida em (Kay,
1951) como
𝑣𝑎𝑟 𝑦 = 𝐸[(𝑦 − 𝐸[𝑦])! ],
(3)
em que E[˖] representa o cálculo da média e y o vetor
de pontos com as componentes das linhas de cada
pixel preto da imagem do olho.
5206
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
Dessa forma, a variância é uma medida que
indica o quão longe, em geral, os seus valores se
encontram da média, o que leva a uma maior
variância da posição dos pixels pretos situados na
região dos olhos quando o olho estiver aberto.
Assim, atribuiu-se um limiar de variância, para o
qual valores acima deste indicam que o olho está
aberto e valores abaixo indicam que o olho está
fechado.
A fim de diferenciar piscadas voluntárias de
involuntárias foi analisado o tempo que os olhos
permaneciam
fechados,
sendo
consideradas
voluntárias as piscadas com valores de tempo iguais
ou maiores que 1/3 de segundo. Este critério foi
utilizado em (Chau, 2005).
3.4 Interface para Comunicação
Feita a detecção da piscada, foi introduzido ao
sistema uma interface, apresentada na Figura 7, com
o intuito de permitir que o usuário expresse sua
vontade por meio das piscadas dos olhos.
interface de comunicação, pois a robustez do sistema
é dada por uma boa detecção da piscada e não pelo
fato do indivíduo conseguir ou não digitar uma
palavra de forma correta. Essa abordagem foi
escolhida tomando como base que o usuário pode
corrigir a palavra caso seja detectado uma piscada
que não existiu, bem como simplesmente esperar que
a letra desejada apareça novamente caso seja
executada uma piscada e o sistema não reconheça.
No entanto, ainda assim serão apresentadas as taxas
relativas a estes dois erros.
Os testes foram feitos com uma webcam
integrada à uma resolução de 1024x768 pixels. Esta
foi posicionada a uma distância cômoda do
voluntário e cada vídeo teve em média 50 segundos,
sendo requisitado que os participantes piscassem os
olhos em intervalos de 5 em 5 segundos, totalizando
um total de 10 piscadas.
Estes voluntários foram escolhidos de modo que
o sistema pudesse ser testado com pessoas que
possuem características diferentes quanto à cor da
pele, tipo de cabelo e uso ou não de óculos.
Os resultados obtidos com 10 voluntários podem
ser vistos na tabela 1. Nesta tabela, a falsa aceitação
ocorre quando o sistema detecta uma piscada que não
existiu (ou não ocorreu de forma intencional) e a
falsa rejeição ocorre quando uma piscada voluntária
não é detectada pelo sistema.
Tabela 1. Resultado do Teste de Reconhecimento de Piscadas
Acertos
Figura 7. Interface - Teclado virtual
O protocolo de comunicação é baseado em
piscar os olhos no momento em que a letra desejada
está selecionada. Desta maneira, primeiramente a
linha vertical é movida de coluna em coluna no
teclado virtual até que o indivíduo pisque e escolha o
conjunto de letras onde está localizada a letra
desejada. Nesse momento, a linha vertical permanece
fixa, dando início ao movimento da linha horizontal,
que é movida de linha em linha até que o indivíduo
pisque o olho novamente e escolha a letra desejada
através da interseção entre as linhas vertical e
horizontal.
Com este tipo de interface é possível que um
indivíduo que só tenha controle sobre o movimento
dos olhos possa se comunicar e interagir com outras
pessoas.
4 Resultados
O sistema proposto foi desenvolvido no software
Matlab R2010a e foi testado com um conjunto de
vídeos feitos com alguns voluntários não deficientes.
Nos testes foi priorizada a detecção da piscada sem a
ISBN: 978-85-8001-069-5
Voluntário 1
Voluntário 2
Voluntário 3
Voluntário 4
Voluntário 5
Voluntário 6
Voluntário 7
Voluntário 8
Voluntário 9
Voluntário 10
8
9
9
10
10
9
8
6
5
4
Falsa
Aceitação
0
2
0
2
1
2
3
2
1
2
Falsa
Rejeição
2
1
1
0
0
1
2
4
5
6
A partir dos dados da tabela, pode-se perceber
que o sistema teve uma boa taxa de acertos com
exceção dos voluntários 8, 9 e 10. Com o voluntário
8, não foi obtido um bom resultado devido ao fato do
mesmo ter inclinado o rosto durante o teste. Desta
maneira, como a detecção de olhos é feita com base
no histograma horizontal, a região dos olhos não foi
bem evidenciada, causando uma baixa taxa de acerto.
Já com os voluntários 9 e 10, a baixa taxa de acerto
deveu-se ao uso de óculos pelos mesmos, pois este
acessório reflete luz e acaba interferindo no cálculo
de variância nos olhos.
Com os demais voluntários, foram obtidos bons
resultados, sendo detectadas de forma correta 63 das
70 piscadas efetuadas.
As falsas aceitações tiveram valores aceitáveis,
uma vez que os testes duraram em torno de 50
segundos.
5207
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
Assim como explicado anteriormente, o teste da
interface desenvolvida para comunicação não é
objetivo deste trabalho e, portanto, foi testada penas
para um voluntário, obtendo o resultado mostrado na
figura 8.
Agradecimentos
Os autores gostariam de agradecer a COPES/UFS
pelo apoio financeiro, que tornou possível a
realização deste projeto.
Referências Bibliográficas
Bacivarov, Ioana and Corcoran, Peter Senior (2008).
Statistical Models of Appearance for Eye
Tracking and Eye-Blink Detection and
Measurement, IEEE Transactions on Consumer
Electronics, Vol. 54, No. 3.
Figura 8. Texto digitado com o sistema desenvolvido
5 Conclusão
Neste artigo foi proposto um sistema de auxílio
à comunicação de usuários descapacitados baseado
na piscada dos olhos e processamento de imagens.
Para tanto, foi implementado em Matlab R2010a um
sistema composto por detecção de face, detecção de
olhos, detecção de piscadas e uma interface de
comunição.
O sistema proposto é não invasivo, opera a uma
distância confortável do usuário, é de baixo custo
(utiliza um computador doméstico e uma câmera
com resolução 1024x768 pixels) e não precisa de
iluminação especial. Adicionalmente, o sistema com
a interface proposta foi testado em tempo real a uma
taxa de 10 frames por segundo, com execução no
Matlab R2010a em uma máquina com um
processador Intel core i3 e 4 GB de memória.
Os resultados obtidos com o sistema
desenvolvido foram apresentados neste artigo e
permitem concluir que a abordagem proposta
funciona satisfatoriamente, podendo ser futuramente
aplicada a um usuário descapacitado, com o qual
espera-se estabelecer uma boa comunicação tomando
como base as piscadas dos olhos.
Uma vez que foi utilizado um limiar fixo para a
binarização, a escolha deste limiar pode afetar
significativamente o desempenho do sistema. Além
disso, a rotação do rosto na imagem e o uso de
óculos se mostrou como fatores limitantes na
qualidade da abordagem proposta. Esses aspectos
deverão ser abordados em trabalhos futuros, bem
como a realização de novos testes, considerando
usuários descapacitados e outras possíveis limitações
do sistema.
Betke, Margrit; Gips, James; and Fleming, Peter
(2002). The Camera Mouse: Visual Tracking of
Body Features to Provide Computer Access for
People With Severe Disabilities, IEEE
Transactions on Neural Systems and
Rehabilitation Engineering.
Birbaumer, N., Ghanayim, N., Hinterberger, T.,
Iversen, I., Kotchoubey, B., Kübler, A.,
Perelmouter, J., E. Taub, and H. Flor, (1999). A
spelling device for the paralysed, Nature, vol.
398, pp. 297-298.
Birchfield, Stan (1998). “Elliptical Head Tracking
Using Intensity Gradients and Color
Histograms”, IEEE Conference on Computer
Vision and Pattern Recognition.
Chau, M., Betke, M. (2005). “Real time eye tracking
and blink detection with USB câmeras.”,
Boston University Computer Science Technical
Report No. 2005-12.
Cavalieri, D. C.; Brandão, A. S.; Ferreira, A.; BastosFilho, T. F.; Sarcinelli-Filho, M. e Benevides,
A. B. (2007). Redes neurais artificiais aplicadas
na detecção de piscadas de olhos, Anais do VIII
Simpósio Brasileiro de Automação Inteligente VIII SBAI, Florianópolis/SC.
FREUND, Y. “Boosting a weak learning
algorithmby majority”, Inform. Com- put., v.
121, n. 2, pp. 256–285, 1995.
Gajwani PS, Chhabria SA (2010). Eye motion
tracking for wheelchair control. Int J Inform
Technol Knowl Manag. 2(2):185-87.
Grauman, K.; Betke, M.; Lombardi, J.; Gips, J.;
Bradski, G.R. (2003). Communication Via Eye
Blinks and Eyebrowraises”, Video-Based
Human-Computer Interfaces.
Hsu, R.-L., Abdel-Mottaleb, M., And Jain, A. K.
2002. Face detection in color images. IEEE
Trans. Pattern Analysis and Machine
Intelligence 24, 5, 696–706.
ISBN: 978-85-8001-069-5
5208
Anais do XIX Congresso Brasileiro de Automática, CBA 2012.
Ishiguro, Y., Mujibiya, A., Miyaki, T., And
Rekimoto, J. (2010). Aided eyes: eye activity
sensing for daily life. In The 1st Augmented
Human International Conference (AH2010),
ACM, H. Saito, J.-M. Seigneur, G. Moreau, and
P. Mistry, Eds., 25.
Ji, Q., 2002. 3D face pose estimation and tracking
from a monocular camera. Image Vision
Comput. vol. 20, pp. 499-511.
Kay, Steven M. (1951). Intuitive Probability and
Random Process Using Matlab, Springer.
Conference on International Information Hiding
and Multimedia Signal Processing (IIH-MSP
2007),
Yin, Lijun (2011). Real Time Eye Tracking and
Hand Tracking Using Regular Video Cameras
for Human Computer Interaction, State
University Of New York At Binghamton, Final
Technical Report, 2011.
Krolak, A., and Strumillo, P. 2008. Vision-based eye
blink monitoring system for human-computer
interfacing. In Conference on Human System
Interactions – HIS 2008. New York: IEEE, 994
- 998.
Matos, Gabriel Araújo (2010). Algoritmo para
Reconhecimento de Características Faciais
Baseado Em Filtros de Correlação; Dissertação
de Mestrado, UFRJ.
Medeiros, M.S.M., Lima, E., Martins, R.A., Gomes,
L.A., Medeiros, R.F. (2002). Treinamento de
força em sujeitos portadores de Acidente Vascular Cerebral. Rev Dig Vida Saúde;1(3):1-21.
Peng Wang, Green, M.B., Ji, Q., and Wayman, J.
(2005). Automatic Eye Detection and Its
Validation, IEEE Workshop on Computer
Vision and Pattern Recognition..
Usakli, A. B. and Gurkan, S. (2010). Design of a
novel efficient human computer inteface: an
electrooculagram based virtual keyboard,
submitted
to
IEEE
Transactions
on
Instrumentation and Measurement.
Veigl, Christoph (2006). An Open-Source System for
Biosignal- and Camera-Mouse Applications
submission for the Young Researchers
Consortium of the ICCHP, Linz.
Viola, P., Jones, M. (2001). Rapid object detection
using a boosted cascade of simple features. In:
Computer Vision and Pattern Recognition,
2001. Proceedings of the 2001 IEEE Computer
Society Conference on, 2001.
Wang, L. J.. Yin, and J. Moore (2007). Using
geometric property of topographic manifold to
detect and track eyes for human computer
interaction, ACM TOMCCAP.
Yen-Wei Chen and Kubo, K., (2007). Robust Eye
Detection and Tracking Technique using Gabor
Filters. Proceedings of the Third International
ISBN: 978-85-8001-069-5
5209