Aplicativo sugestor de procedimentos para cirurgias plásticas

Aplicativo sugestor de procedimentos para cirurgias plásticas
Hugo S. Piauilino Neto1 , Ricardo T. Freitas1 , Kelson R. T. Aires1 , V. E. S. Campelo2
1
Departamento de Computação
Universidade Federal do Piauí (UFPI) – Teresina, PI – Brasil
2
Departamento de Medicina Especializada
Universidade Federal do Piauí (UFPI) – Teresina, PI – Brasil
{hugos94,ricard0tfreitas,dr.vcampelo}@gmail.com, [email protected]
Abstract. Information technology has supported several areas, particularly health, aiming to provide quality, productivity and efficiency improvements in this
field. This article aims to demonstrate the importance of a mobile application
that will support facial analysis process, by detecting landmarks on a patient’s
face and suggesting aesthetic plastic surgeries to be performed. Consequently, it
will serve as a centralizing tool of patient records, making the access easier and
faster. The application adopts assumptions defined by experts who participated
in the validation stage.
Resumo. A tecnologia da informação tem dado suporte para inúmeras áreas,
principalmente a saúde, com o desejo de proporcionar melhorias na qualidade,
produtividade e eficiência deste campo. Este artigo tem por objetivo demonstrar a importância de uma aplicação móvel que auxiliará no processo de análise facial, realizando a detecção de pontos de interesse (referência) na face e
sugerindo procedimentos cirúrgicos estéticos a serem realizados. Consequentemente, servirá como ferramenta centralizadora de fichas de pacientes, tornando
o acesso mais fácil e rápido. O aplicativo adota premissas definidas por especialistas na área que participaram da etapa de validação.
1. Introdução
O número de cirurgias plásticas realizadas pelo mundo tem crescido de maneira exponencial. Segundo a Sociedade Internacional de Cirurgia Plástica Estética [Surgery 2014], no
ano de 2013 foram realizadas mais de 23 milhões de cirurgias plásticas no mundo todo.
O Brasil obteve uma posição de destaque no levantamento, tornando-se o país que mais
realizou procedimentos cirúrgicos, ultrapassando até mesmo os EUA.
Com a tecnologia, podemos tornar o planejamento e a execução destes procedimentos mais rápidos e seguros. Utilizando dispositivos móveis, especificamente
smartphones que continuamente tornam-se mais acessíveis e portam tecnologias mais
avançadas, podemos levar o atendimento de pacientes e a realização de intervenções médicas para um patamar diferenciado.
Visando auxiliar em consultas e intervenções realizadas por cirurgiões plásticos,
a aplicação desenvolvida oferece uma interface para a captura e processamento de imagens da face, juntamente com a marcação automática de pontos de interesse, cálculo de
métricas essenciais e sugestões de procedimentos.
Estas ações costumam ser rotineiras para diversos profissionais da área, porém,
muitos preferem definir os procedimentos manualmente, sem utilização das métricas necessárias e, possivelmente, sem realizar as anotações devidas. Esse ato geralmente acarreta na realização de procedimentos utilizando puramente a análise visual e pode resultar
em intervenções incorretas.
2. Trabalhos Relacionados
A maioria dos sistemas de visão computacional que trabalham com rostos humanos realizam detecção, reconhecimento e reconstrução de face e.g. [Fernandez e Vicente 2008],
[Jain et al. 2011] e [Hu et al. 2009]. Yang et al. [Yang et al. 2002] agruparam vários
métodos de detecção facial em quatro categorias: métodos baseados em conhecimento
(knowledge-based), métodos baseados em características invariantes (invariant features),
métodos de correlação de modelos (template matching) e métodos baseados em aparência (appearance-based). O trabalho de Viola e Jones [Viola e Jones 2001] provou que a
detecção de faces é perfeitamente factível em aplicações, tais como softwares de organização de fotos.
O problema de detectar faces em imagens é antigo e já resolvido. Vários sistemas
de detecção de face em perfil utilizam a identificação de pontos de interesse, como: cantos
da boca, ponta do nariz, cantos dos olhos e contornos do rosto e.g. [Arca et al. 2004],
[Nair e Cavallaro 2009] e [Sagonas et al. 2013].
A grande maioria dos sistemas existentes realizam apenas a detecção dos pontos de interesse, sem realizar qualquer processamento posterior sobre esses pontos. O
processamento posterior mostra-se de grande valor para avaliações médicas em geral.
O caso específico utilizado são análises realizadas por cirurgiões plásticos para a
definição de intervenções, como a rinoplastia, cirurgia que remodela o nariz com intuito
de melhorar sua aparência e/ou sua funcionalidade.
Visando a falta de aplicações específicas, este artigo propõe um aplicativo que
automatiza os processos de identificação dos pontos de referência e calcula as métricas utilizadas pelos cirurgiões faciais. Ele dispõe de técnicas de visão computacional e
processamento digital de imagens, para sugerir procedimentos a serem realizados. As
análises realizadas em Freitas et al. [Freitas et al. 2014] são utilizadas como base para a
implementação dos algoritmos utilizados na aplicação.
3. Materiais e Métodos
O sistema operacional para dispositivos móveis escolhido foi o iOS, software proprietário
da Apple Inc. que é executado apenas em hardwares específicos por ela desenvolvidos,
como iPhones e iPads. O motivo desta escolha foi a qualidade da captura de imagens realizada por estes dispositivos e a homogeneidade do sistema. Isso faz com que a aplicação
possa ser utilizada com melhores resultados e uma menor perda de qualidade.
Para a criação da aplicação utilizou-se a linguagem de programação Objective-C
e o ambiente de desenvolvimento integrado X-Code. Foi utilizado o framework1 GPUI1
Framework é um conjunto de classes que colaboram para realizar uma responsabilidade para um domínio de um subsistema da aplicação, ditando o fluxo de controle da aplicação.
mage2 que disponibiliza uma série de classes para a manipulação de imagens e vídeos.
Nas imagens da face foram utilizados os algoritmos, pontos definidos e assertivas
para o processamento de imagens contidas em Freitas et al. [Freitas et al. 2014]. Porém,
os pontos trichion, rhinion, sulco, tragion, columela e cervical foram adicionados para
gerar uma melhor avaliação do perfil facial. A Figura 1 ilustra todos os pontos de interesse
identificados pela aplicação e suas posições aproximadas. Esses pontos abrangem grande
parte dos principais locais de interesse existentes na face humana em perfil.
Figura 1. Pontos de interesse e suas localizações.
Para melhorar o enquadramento do rosto do paciente na aplicação, foi utilizado o
ângulo-plano de Frankfurt3 . A determinação da localização desse plano, manualmente definida em Tweed [Tweed 1946], mostra-se de hercúlea dificuldade ao utilizar-se automatizações. Isso ocorre pois a identificação computacional dos pontos Porion e Orbitale não
possui a precisão encontrada na técnica de localização manual. Na literatura, existem apenas técnicas para a detecção do plano utilizando imagens cranianas [Cheng et al. 2012].
Uma série de medidas e ângulos foram adotados para gerar sugestões de procedimentos viáveis em ocasiões pré-determinadas. Medidas essas definidas com auxílio de um
cirurgião plástico especialista em intervenções faciais. A Tabela 1 ilustra as medidas utilizadas, como: projeção da ponta do nariz, altura do terço-médio, distância mento-pescoço,
entre outras. Juntamente, algumas análises como lábio superior projetado e lábio inferior
retraído também são demonstradas.
4. Aplicação
A aplicação encontra-se em versão beta4 . Inicialmente, a aplicação apenas executa com
imagens de perfis faciais orientados para a direita, por questões de desenvolvimento. A
2
GPUImage é uma biblioteca iOS licenciada pela BSD que permite aplicar filtros e outros efeitos em
imagens utilizando aceleração por GPU. Pode ser encontrado em: github.com/BradLarson/GPUImage
3
Plano horizontal mais importante para o estudo cefalométrico, que transpassa a face, e tem por referência a ligação dos pontos Porion/Tragion e Orbitale/Sulco.
4
A versão beta é disponibilizada para que os usuários possam testar e eventualmente, reportar erros para
os desenvolvedores. Na prática, versão beta significa que o desenvolvedor admite que o programa não está
pronto e pode ter problemas, mas encontra-se aceitável para a utilização, mesmo que sem nenhuma garantia.
foto necessita ser capturada em ambiente controlado. Os dois principais cuidados necessários são luminosidade e fundo homogêneo (preferencialmente preto ou branco).
Após a captura, a imagem passa por um processo de recorte e redimensionamento.
Isso ocorre para tornar a execução do algoritmo de detecção de pontos mais veloz, levando
em conta o baixo poder de processamento do hardware utilizado. A execução prossegue
capturando os pontos definidos na Figura 1.
A aplicação retorna a imagem do paciente com os pontos já localizados, ilustrada
na Figura 2(a). O usuário possui a opção de melhorar a localização dos pontos encontrados pela aplicação, como ilustrado na Figura 2(b).
O ajuste manual é implementado para manter o controle do cirurgião sobre a aplicação. Porém, o aplicativo executa normalmente sem utilizar essa etapa. Um dos objetivos da aplicação é agrupar, em um único dispositivo, a captura e marcação de pontos de
interesse. Isso evita que o cirurgião realize essas atividades em dispositivos diferentes.
Ao final, o aplicativo retorna uma série de medidas, ângulos e sugestões de procedimentos que, de acordo com o processamento da imagem, são factíveis de serem realizados no rosto do paciente, como demonstrado na Tabela 1. Porém, cabe lembrar que são
apenas sugestões e que o cirurgião precisa decidir se deve segui-las.
5. Resultados
Foram realizados testes para demonstrar a acurácia do aplicativo móvel com relação a
captação dos pontos definidos pelas métricas médicas. O ambiente foi totalmente controlado de acordo com iluminação e posicionamento do perfil facial. Foi utilizado um fundo
homogêneo de cor branca.
Para analisar a capacidade do algoritmo, foram feitas comparações entre as imagens geradas pela aplicação e as modificadas pelo usuário. Assim, prevalecem as projeções do usuário sobre as automáticas, visto que aquela se mostra mais precisa.
(a) Gerada pela aplicação.
(b) Modificada pelo usuário.
Figura 2. Acurácia do algoritmo de detecção de pontos.
Na Figura 2(a) temos o resultado do processamento automático do aplicativo.
Pode-se observar que alguns pontos ficaram localizados em posições errôneas. Isto influi
na avaliação que é mostrada na Tabela 1, pois modifica as posições dos pontos, interfere
na avaliação realizada pelo algoritmo e, consequentemente, poderá sugerir procedimentos
inapropriados.
A Figura 2(b) ilustra os pontos redefinidos pelo usuário, que pode decidir o melhor
posicionamento para cada ponto, como: tragion e tríquio. A realocação dos pontos tornase fácil devido a possibilidade de utilizar zoom nas imagens. Todos os pontos possuem
um localizador central que determina o local exato que a aplicação irá utilizar, além de
marcadores para identificação.
Nas analises realizadas, o ângulo-plano de Frankfurt foi a medida que apresentou
a maior disparidade em todos os testes, como visto na Figura 2. Porém, comparando os resultados de maneira geral, podemos observar que ambos os processamentos apresentaram
medidas aproximadas, resultando assim, em sugestões semelhantes.
Tabela 1. Dados e sugestões gerados pela aplicação.
Medidas
Projeção da Ponta do Nariz
Altura Terço-Inferior
Ricketts - Lábio Superior
Proporção Facial Total
Ângulo Nasolabial
Ângulo Plano-Frankfurt
Comprimento Nasal
Ângulo Columela-Labial
Burstone - Labio Superior
Distância Mento-Pescoço
Altura Terço-Médio
Ângulo Convexidade-Facial-Total
Ângulo Convexidade-Facial
Ricketts - Labio Inferior
Proporção Terço Inferior
Burstone - Labio Inferior
Valor
156.053
555.060
35.140
1.055
117.784o
270.000o
368.960
40.978o
-35.846
48.421
585.684
43.231o
10.957o
5.671
0.381
-36.068
Avaliação
Regular (baum) = 2.87
Lábio retraído
Ângulo obtuso
Inclinação = 270
Abaixo do ideal
Ângulo ideal = 40.98o
Lábio projetado
Ângulo ideal
Ângulo agudo
Lábio retraído
O número de pessoas utilizadas para validar a aplicação foi bastante reduzido e
não possuiu grande heterogeneidade de raças. Por isso, para garantir a confiabilidade da
aplicação, é necessário analisar o feedback dos usuários.
6. Conclusão e Trabalhos Futuros
Podemos concluir que esta aplicação possui um grande potencial, e que sua disponibilização pode gerar grandes avanços nas avaliações cirúrgicas. Porém, por ser um protótipo,
não deve ser utilizada como referência principal na avaliação do cirurgião. A validação
do aplicativo necessita ser aprimorada utilizando-se amostras de diferentes raças e perfis
faciais esquemáticos diferentes.
Em trabalhos futuros espera-se aprimorar a acurácia do algoritmo de localização
dos pontos. Com a adição de novos pontos, podem ser geradas melhores avaliações. Di-
versas análises métricas serão adicionadas para inferir sugestões mais apuradas. Planejase incluir opções para exportação e armazenamento de dados online.
Por fim, o incremento da análise frontal e a comparação entre o processamento do
pré e pós-operatório são essenciais para que a ferramenta torne-se atrativa e produtiva.
Referências
Arca, S., Campadelli, P., e Lanzarotti, R. (2004). An efficient method to detect facial fiducial points for face recognition. In Pattern Recognition, 2004. ICPR 2004. Proceedings
of the 17th International Conference on, volume 1, pp 532–535 Vol.1.
Cheng, Y., Leow, W. K., e Lim, T. C. (2012). Automatic identification of frankfurt plane
and mid-sagittal plane of skull. In Applications of Computer Vision (WACV), 2012
IEEE Workshop on, pp 233–238.
Fernandez, C. e Vicente, M. (2008). Face recognition using multiple interest point detectors and sift descriptors. In Automatic Face Gesture Recognition, 2008. FG ’08. 8th
IEEE International Conference on, pp 1–7.
Freitas, R. T., Aires, K. R. T., e Campelo, V. E. S. (2014). Automatic location of facial
landmarks for plastic surgery procedures. In Systems, Man and Cybernetics (SMC),
2014 IEEE International Conference on, pp 1444–1449.
Hu, C., Harguess, J., e Aggarwal, J. (2009). Patch-based face recognition from video.
In Image Processing (ICIP), 2009 16th IEEE International Conference on, pp 3321–
3324.
Jain, A., Klare, B., e Park, U. (2011). Face recognition: Some challenges in forensics. In
Automatic Face Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference on, pp 726–733.
Nair, P. e Cavallaro, A. (2009). 3-d face detection, landmark localization, and registration
using a point distribution model. Multimedia, IEEE Transactions on, 11(4):611–623.
Sagonas, C., Tzimiropoulos, G., Zafeiriou, S., e Pantic, M. (2013). A semi-automatic
methodology for facial landmark annotation. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2013 IEEE Conference on, pp 896–903.
Surgery, T. I. S. A. P. (2014). Statistics on cosmetic procedures worldwide - more than
23 million cosmetic procedures performed in 2013. http://www.isaps.org/
news/isaps-global-statistics. Acessado em: 15/03/2015.
Tweed, C. H. (1946). The Frankfort-mandibular plane angle in orthodontic diagnosis,
classification, treatment planning, and prognosis. Am J Orthod Oral Surg, 32:175–
230.
Viola, P. e Jones, M. (2001). Rapid object detection using a boosted cascade of simple
features. In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings
of the 2001 IEEE Computer Society Conference on, volume 1, pp I–511–I–518 vol.1.
Yang, M.-H., Kriegman, D., e Ahuja, N. (2002). Detecting faces in images: a survey.
Pattern Analysis and Machine Intelligence, IEEE Transactions on, 24(1):34–58.