Aplicação da Técnica Estatística Teoria da Resposta ao Item para

Transcrição

UNIVERSIDADE FEDERAL DE SANTA CATARINA
DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA
ARIANE TALITA WITT
APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM PARA
AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA
DISPOSITIVOS CELULARES TOUCHSCREEN.
FLORIANÓPOLIS
2013
Ariane Talita Witt
APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA
Trabalho de Conclusão de Curso
apresentado ao Departamento de
Informática
e
Estatística
da
Universidade
Federal
de
Santa
Catarina para a obtenção do Grau de
Bacharel em Sistemas de Informação.
Orientadora:Prof.Dr.rer.nat. Christiane
Gresse von Wangenheim, PMP
Coorientador : Prof. Dr. Adriano Ferreti
Borgatto
FLORIANÓPOLIS
2013
Ariane Talita Witt
APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA
Trabalho de Conclusão de Curso
apresentado ao Departamento de
Informática
e
Estatística
da
Universidade
Federal
de
Santa
Catarina para a obtenção do Grau de
Bacharel em Sistemas de Informação.
Florianópolis, 10 de junho de 2013
_____________________________________________
Profa. Christiane Gresse von Wangenheim, INE/UFSC
Professora Orientadora
_____________________________________________
Prof. Adriano Ferreti Borgatto INE/UFSC
Professor Coorientador
_____________________________________________
Prof. Paulo José Ogliari INE/UFSC
Membro da Banca Examinadora
AGRADECIMENTOS
À professora e orientadora Christiane Gresse von Wangenheim por sua
dedicação, por estar sempre presente e por seu apoio.
Ao professor coorientador Adriano Ferreti Borgatto, pelo apoio e sua paciência em
compartilhar seus conhecimentos sobre a Teoria da Resposta ao Item.
Ao professor Paulo José Ogliari, por ser um exemplo como profissional, por sua
contribuição para a melhoria desse trabalho e por ter aceitado participar da banca
examinadora.
Aos membros do Grupo de Qualidade de Software, Juliane, Thaisa, Caroline e
Laís, por todo auxílio e ajuda que permitiram a realização desse trabalho.
Aos professores do Curso de Sistemas de Informação pela formação profissional
proporcionada.
Aos meus colegas de curso Gabriel e Danilo pelo companheirismo e amizade
durante toda a trajetória acadêmica.
Aos meus amigos, por todo carinho.
Aos meus pais, pelo apoio incondicional, amor, compreensão e seus esforços em
garantir minha qualificação profissional.
RESUMO
WITT, Ariane Talita. Aplicação da Técnica Estatística Teoria da Resposta ao
Item para avaliar um conjunto de Heurísticas de Usabilidade para
dispositivos celulares touchscreen.164f. Trabalho de Conclusão de Curso
(Bacharel em Sistemas de Informação) – Departamento de Informática e
Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013.
O cenário atual é caracterizado pela presença de modernos aparelhos de
celulares e o acelerado crescimento do segmento de telefonia móvel no mundo.
Essas mudanças apresentam novas formas de interação, destacam-se nesse
cenário os touchscreen phones, celulares que possuem a tela sensível ao toque.
Os touchscreen phones apresentam novas formas de interação como voz, gestos
e sensores. Além das diferenças de interação o ambiente de uso desses
dispositivos também é diferenciado, por esse motivo questões de design de
interface e usabilidade desses dispositivos também precisam ser analisadas. Na
engenharia de usabilidade existem hoje vários conjuntos de heurísticas de
usabilidade voltados, principalmente, para sistemas desktop. Mas devido as
diferenças apresentadas por esses dispositivos em relação a sistemas desktop
faz-se necessário analisar questões de design de interface e usabilidade desses
dispositivos. É importante que esses dispositivos e seus aplicativos sejam
eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao
usuário. Assim estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de
heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas
em dispositivos touchscreen phones. Nesse contexto o presente trabalho tem
como objetivo avaliar esse conjunto de heurísticas de usabilidade para
dispositivos de celulares touchscreen realizando um estudo empírico onde é
concretizada uma série de avaliações heurísticas utilizando o checklist para
avaliação de aplicativos para dispositivos celulares touchscreen. A análise dos
dados coletados aplicando a Teoria da Resposta ao Item permite identificar a
relevância de cada item que compõe o checklist. Como resultado as questões de
usabilidade que até então eram teóricas são discutidas sob o ponto de vista
matemático da TRI. A partir da análise realizada foi possível identificar
estaticamente quais itens que compõem o checklist realmente medem o mesmo
traço latente. Foram eliminados do checklist 44 itens que apresentaram
problemas. Restando, assim, 48 itens para compor o checklist e para construir a
escala de medida do grau de usabilidade. Com base na análise, pode-se concluir
que o checklist é ideal para medir aplicativos com baixa usabilidade.
Palavras chave: Usabilidade. Touchscreen phones. Heurísticas de Usabilidade.
Teoria da resposta ao Item.
LISTA DE FIGURAS
Figura 1 - Uso e Contexto da Interação Humano-Computador ..................................... 19
Figura 2 – Estrutura de usabilidade .............................................................................. 20
Figura 3 – Ciclo de vida do modelo ISO/IEC 13407. ..................................................... 21
Figura 4 – Freqüência de recorrência de heurísticas tradicionais da Nielsen (1994) nos
artigos analisados.............................................................................................................27
Figura 5 – Lista de verificação aplicada a celulares touchscreen. ................................. 30
Figura 6 – Modelos de touchscreen phones. ................................................................ 31
Figura 7 – Funcionamento do sistema resistivo. ........................................................... 32
Figura 8 – Funcionamento do sistema capacitivo. ........................................................ 32
Figura 9 – Satisfação dos usuários em relação aos seus smartphones. ....................... 34
Figura 10 – Exemplo de web site móvel........................................................................ 36
Figura 11 – Exemplo de aplicativo. ............................................................................... 37
Figura 12 – Etapas do processo de avaliação............................................................... 43
Figura 13 – Posicionamento dos itens e distribuição dos valores de usabilidade dos
247 aplicativos. ............................................................................................................. 58
Figura 14 – Curva de Informação do Instrumento de avaliação heurística de aplicativos
para touchscreen phones ............................................................................................. 59
Figura 15 – Checklist proposto para avaliação de usabilidade dos dispositivos
touchscreen phones ..................................................................................................... 75
LISTA DE TABELAS
Tabela 1 – Descrição, vantagens e desvantagens das técnicas de avaliação de
usabilidade ................................................................................................................... 23
Tabela 2 – Conjunto de Heurísticas para dispositivos móveis....................................... 27
Tabela 3 – Principais sistemas operacionais ................................................................ 33
Tabela 4 - Principais fabricantes de smartphones......................................................... 33
Tabela 5 – Comparativo entre modelos touchscreen phones........................................ 35
Tabela 6 – Strings de buscas nas bases de dados ....................................................... 39
Tabela 7 – Dados extraídos sobre validação do conjunto de heurísticas/checklist ........ 40
Tabela 8 – Aplicativos selecionados para a avaliação .................................................. 44
Tabela 9 – Especificações do Samsung Galaxy Ace .................................................... 47
Tabela 10 – Especificações do Samsung Galaxy YGT-S5360B ................................... 47
Tabela 11 – Especificações do Samsung GT-I5500B ................................................... 47
Tabela 12 – Especificações do HTC Magic................................................................... 48
Tabela 13 – Especificações do iPhone 4S .................................................................... 48
Tabela 14 – Especificações do Samsung Galaxy Ace Duos ......................................... 48
Tabela 15 – Especificações do Motorola XT390 ........................................................... 48
Tabela 16 – Itens modificados após avaliação empírica do checklist ............................ 50
Tabela 17 – Itens inclusos no checklist após avaliação empírica .................................. 51
Tabela 18 – Itens retirados após avaliação empírica do checklist ................................ .51
Tabela 19 – Escala de respostas do cheklist ............................................ .....................53
Tabela 20 – Itens eliminados referentes a heurística Visibilidade e Status do Sistema .60
Tabela 21 – Itens eliminados referentes a heurística Controle e Liberdade do Usuário. 60
Tabela 22 – Itens eliminados referentes a heurística Consistência e Padrões .............. 61
Tabela 23 – Itens eliminados referentes a heurística Reconhecimento em vez de
Lembrança.................................................................................................................... 62
Tabela 24 – Itens eliminados referentes a heurística Flexibilidade e Eficiência de Uso 62
Tabela 25 – Itens eliminados referentes a heurística Pouca interação homem/
dispositivo ..................................................................................................................... 64
Tabela 26 – Itens eliminados referentes a heurística Interação Física e Ergonomia ..... 65
Tabela 27 – Itens eliminados referentes a heurística Legibilidade e Layout .................. 66
Tabela 28 – Itens eliminados referentes as heurísticas Ajuda e Documentação,
Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros ................................ 67
Tabela 29 – Escala de Medida do Grau de Usabilidade................................................ 70
LISTA DE ABREVIATURA E SIGLAS
ANATEL – Agência Nacional de Telecomunicações
CPU - Central Processing Unit
RAM - Random-Access Memory
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
GQS – Grupo de Qualidade de Software
INCoD - Instituto Nacional de Convergência Digital
UFSC – Universidade Federal de Santa Catarina
TRI – Teoria da Resposta ao Item
IHC - Interação humano-computador
SUMÁRIO
1 INTRODUÇÃO ........................................................................................................ 10
1.1 Problema ............................................................................................................ 12
1.2 Objetivos ............................................................................................................... 13
1.2.1 Objetivo Geral .................................................................................................... 13
1.2.2 Objetivos Específicos ......................................................................................... 14
1.3 Limites .................................................................................................................. 14
1.4 Método de Pesquisa ............................................................................................. 14
1.4.1 Metodologia ....................................................................................................... 16
1.5 Estrutura do Trabalho ........................................................................................... 17
2 FUNDAMENTAÇÃO TEÓRICA ............................................................................... 18
2.1 Usabilidade ........................................................................................................... 18
2.1.1 Interação Humano-Computador ......................................................................... 18
2.1.2 Engenharia de Usabilidade ................................................................................ 21
2.1.3 Heurísticas de Usabilidade ................................................................................ 23
2.1.3.1 Heurísticas de Usabilidade para dispositivos móveis touchscreen phones.......25
2.1.3.2 Avaliação Heurística............................................................................................28
2.1.3.2.1Checklist para avaliação heurística de aplicativos em touchscreen phones....29
2.4 Caracterização do dispositivo touchscreen phone ................................................ 30
2.4.1 Métodos de touchscreen........................................................................................31
2.4.2 Plataformas/sistemas operacionais........................................................................32
2.4.3 Caracterização dos dispositivos.............................................................................34
2.4.4 Tipos de Aplicações móveis...................................................................................35
3 ESTADO DA ARTE ................................................................................................. 38
3.1 Definição da revisão da literatura .......................................................................... 38
3.2 Validação do conjunto de heurísticas/checklist ..................................................... 40
4 AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA
APLICATIVOS EM CELULARES TOUCHSCREEN................................................... 43
4.1 Definição da Avaliação ......................................................................................... 43
4.2 Execução da Avaliação ......................................................................................... 46
4.2.1 Coleta de Dados.....................................................................................................46
4.2.2 Equipamentos........................................................................................................47
4.3 Análise dos Dados ................................................................................................49
4.3.1 Análise Empírica do checklist.................................................................................49
4.3.2 Análise Estatística do checklist utilizando a Teoria da Resposta ao Item............52
4.3.2.1 Resultados..........................................................................................................56
4.3.2.1.1 Itens eliminados................................................................................................59
4.3.2.1.2 Escala de Medida do Grau de Usabilidade......................................................69
4.3.2.1.3 Checklist proposto............................................................................................73
5 DISCUSSÃO ........................................................................................................... 76
5.1 Ameaças à validade .............................................................................................. 77
6 CONCLUSÃO .......................................................................................................... 79
REFERÊNCIAS .......................................................................................................... 81
APÊNDICE A - Checklist versão 1.0 ........................................................................ 86
APÊNDICE B - Checklist versão 2.0 ........................................................................ 90
APÊNDICE C – Aplicativos Avaliados ..................................................................... 94
APÊNDICE D – Formulário utilizado para registrar as avaliações ...................... 110
APÊNDICE E - Dados coletados na realização das avaliações ........................... 111
APÊNDICE F – Parâmetros dos itens remanescentes no modelo dicotômico ... 133
APÊNDICE G – Notas atribuídas aos aplicativos ................................................. 134
APÊNDICE H – Tabelas de frequência de respostas ............................................ 137
APÊNDICE I – Escala de Medida de Grau de Usabilidade.................................... 141
APÊNDICE J – Artigo .............................................................................................. 143
10
1 INTRODUÇÃO
A evolução dos telefones celulares nas últimas décadas é expressiva.
Os aparelhos deixaram de ser apenas um dispositivo de telefonia móvel e
passaram a receber muitas outras funcionalidades, como jogos, câmeras
fotográficas e acesso à internet (LANDIM, 2011). Na década de 80 utilizar um
celular era uma experiência pouco prática, muitas vezes o celular demandava a
utilização de uma pasta auxiliar ou, muitas vezes, necessitava de um carro
para que pudesse ser utilizado. O cenário atual é caracterizado por modernos
aparelhos celulares que são cada vez menores e com mais funções e recursos
disponíveis.
As vendas mundiais de telefones celulares totalizaram cerca de 426
milhões de unidades no primeiro trimestre de 2013, um ligeiro aumento de
0,7% em relação ao mesmo período do ano passado (GARTNER, 2013). As
vendas de smartphones no mundo totalizaram 210 milhões de unidades no
primeiro trimestre de 2013, até 42,9% de aumento em relação ao primeiro
trimestre de 2012 (GARTNER, 2013).
Segundo a ANATEL (2012) no final de 2012, o Brasil contava com 261,8
milhões de acessos do Serviço Móvel Pessoal (SMP), tendo registrado 19,5
milhões de novas habilitações. Com esse resultado, o país permaneceu em
sexto lugar no ranking mundial de acessos da telefonia móvel, atrás, apenas,
de China, Índia, Estados Unidos, Rússia e Indonésia. Essa evolução foi
causada, em grande parte, pelo uso cada vez maior de novas funcionalidades,
como, por exemplo, os terminais dedicados a conexões de dados.
Nesse contexto destacam-se os celulares smartphones. Smartphones
estão entre celulares e computadores, não possuem o hardware tão robusto
quanto um computador e nem tão simples quanto um celular. Os smartphones
possuem funcionalidades avançadas que podem ser ampliadas por meio de
aplicativos executados no seu sistema operacional. Os sistemas operacionais
utilizados nos smartphones permitem que novos aplicativos possam ser
desenvolvidos por qualquer pessoa que tiver interesse.
11
As
vendas
significativamente,
mundiais
no
primeiro
de
smartphones
trimestre
de
estão
2013,
os
aumentando
smartphones
representaram 49,3% das vendas de telefones celulares em todo o mundo.
Isso representa um aumento de 34,8% em relação ao primeiro trimestre de
2012, e 44% em relação ao quarto trimestre de 2012 (GARTNER, 2013).
Destacam-se nesse cenário os touchscreen phones, celulares que
possuem a tela sensível ao toque, por isso dispensam o uso de teclados, podese tocar a tela e ela responderá como se o toque fosse nos objetos mostrados
nela. É uma tecnologia que integra não só sensores na tela, mas também
programas e interfaces específicas (ASSIS, 2009). A venda desses modelos de
dispositivos cresce com intensidade no mundo, a previsão de aumento de
unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de
1,6 bilhões) (LEE, 2011).
Os touchscreen phones apresentam novas formas de interação como
voz, gestos, sensores e dados de localização (WASSERMAN, 2010). Além das
diferenças de interação o ambiente de uso desses dispositivos também é
diferenciado, os usuários deste tipo de dispositivo estão cercados por outros
estímulos, pois muitas vezes estão em movimento, andando na rua ou na
espera no ponto de ônibus buscando concluir rapidamente tarefas simples,
obter informações ou para se divertir, assistindo a vídeos ou jogando
(SALAZAR et al. 2012).
Avaliando essas diferenças apresentadas pelos dispositivos touchscreen
phones, questões de design de interface e usabilidade desses dispositivos
também precisam ser analisadas (SALAZAR et al. 2012), pois é muito
importante que as interfaces sejam eficientes e eficazes durante o uso e que
ofereçam uma experiência agradável ao usuário (PREECE, 2005), essa
característica deve estar presente também nos dispositivos touchscreen
phones e seus aplicativos.
Segundo Cybis et al. (2010) a usabilidade é a qualidade que caracteriza
o uso de um sistema interativo. Ela se refere à relação que se estabelece entre
usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual
o usuário utiliza o sistema. Uma forma para conceituar usabilidade seria
utilizando heurísticas de usabilidade (PREECE, 2005). Segundo Nielsen (1994)
12
heurísticas de usabilidade são definidas como um conjunto de regras gerais
que descrevem propriedades comuns em interfaces usáveis derivado do
conhecimento de aspectos psicológicos, computacionais e sociológicos dos
domínios do problema. Estas regras são utilizadas tanto para direcionar o
design de interface quanto na avaliação da usabilidade. Visibilidade do status,
prevenção de erros e compatibilidade com o mundo real são alguns exemplos
de heurísticas que podem ser utilizadas para o design de interfaces. Uma
avaliação rápida e de baixo custo que pode ser criada a partir das heurísticas
de usabilidade é o checklist. O checklist é criado com base num conjunto de
heurísticas e tem como objetivo ser usado para avaliar o grau de usabilidade e
localizar problemas de usabilidade presentes em interfaces.
Na engenharia de usabilidade existem hoje vários conjuntos de
heurísticas de usabilidade voltados, principalmente, para sistemas desktop, as
heurísticas de Nielsen citadas acima são um exemplo de heurísticas
desenvolvidas para sistemas desktop (NIELSEN, 1994). Devido a variedade de
sistemas existentes hoje (celulares, tablets, TV Digital, entre outros) algumas
customizações desse conjunto de heurísticas já foram criadas para sistemas
específicos, como por exemplo, para celulares (SALAZAR, et al. 2013)(GONG;
TARASEWICH, 2004)(BERTINI et al., 2006).
A qualidade das heurísticas e do checklist resultante representa um
grande impacto na qualidade da avaliação, pois indiretamente infere-se o grau
de usabilidade a partir de uma avalição teórica assumindo que as heurísticas
que foram transformadas em medidas na elaboração do checklist indicam o
grau de usabilidade. Checklists bem elaborados devem produzir resultados
mais uniformes e abrangentes, em termos de identificação de problemas de
usabilidade (TEZZA, 2009). Dessa forma é importante avaliar a validade,
confiabilidade dos itens do checklist, bem como verificar se os itens estão
medindo o traço latente, ou seja, a usabilidade.
1.1 Problema
Para que os resultados obtidos através da aplicação do checklist possam
ser validados pode-se fazer uso de escalas de medidas alicerçadas em
conceitos matemáticos e de usabilidade (TEZZA, 2009).
13
Elaborar um instrumento de avaliação envolve diferentes características
como, por exemplo, o número de itens, o tipo de item (fechado ou aberto), o
número de categorias de respostas dos itens fechados e o método de
aplicação. Não existe um padrão mais adequado para essas características e,
por esse motivo, diferentes tipos de instrumentos podem ser encontrados e
formulados, dependendo da situação (CÚRI, 2006).
Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um
conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade
de sistemas em dispositivos touchscreen phones (SALAZAR et al. 2012).
Atualmente os resultados da pesquisa são analisados por meio de um estudo
empírico inicial. São comparados resultados de testes de usabilidade com
resultados de avaliações heurísticas adotando o checklist desenvolvido. As
avaliações foram realizadas em um aplicativo para iPhone para acessar laudos
de exames médicos (SALAZAR et al., 2012).
Nesse sentido, tendo como intuito avaliar a validade do checklist
desenvolvido e também gerar um conjunto mínimo de itens que permitam inferir
o grau da usabilidade de um aplicativo com o mínimo de esforço necessário,
resume-se a hipótese de pesquisa a ser analisada no presente trabalho da
seguinte maneira: O conjunto proposto de heurísticas/checklist de usabilidade
para dispositivos celulares touchscreen mede o grau de usabilidade desses
aplicativos.
1.2 Objetivos
1.2.1 Objetivo Geral
Avaliar a qualidade de um conjunto de heurísticas de usabilidade para
dispositivos celulares touchscreen a partir da validação da qualidade dos itens
presentes no checklist utilizando a Teoria da Resposta ao Item.
14
1.2.2 Objetivos Específicos
Os objetivos específicos são:
Analisar a teoria da área de usabilidade em termos de heurísticas de
usabilidade focando dispositivos celulares touchscreen e utilizar a técnica
estatística Teoria da Resposta ao Item.
Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade
em geral e para dispositivos celulares touchscreen.
Avaliar um conjunto de itens empregados para avaliar a usabilidade de
dispositivos celulares touchscreen.
1.3 Limites
O presente trabalho possui as seguintes limitações:
1. Será focado na avaliação de um conjunto de itens empregados para
avaliar a usabilidade de dispositivos celulares touchscreen.
2. A avaliação só será realizada em dispositivos celulares touchscreen
que possuam sistema operacional iOS ou Android.
3. A realização da avaliação adotará somente a técnica estatística da
Teoria da Resposta ao Item.
1.4 Método de Pesquisa
Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e
validar um checklist para avaliação de usabilidade em aplicativos para
dispositivos touchscreen phones. Para Barros e Lehfeld (2000), a pesquisa
aplicada tem como motivação a necessidade de produzir conhecimento para
aplicação de seus resultados com o objetivo de contribuir para fins práticos,
visando à solução mais ou menos imediata do problema encontrado na
realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois está
relacionada à quantificação de dados obtidos por meio de pesquisa e baseada
em técnica estatística para o tratamento dos dados.
15
Neste trabalho é realizado o estudo da literatura sobre heurísticas de
usabilidade para dispositivos celulares touchscreen e o estudo da técnica
estatística Teoria da Resposta ao Item. Através dessa técnica estatística é
realizada uma avaliação sobre um conjunto de itens empregados para avaliar a
usabilidade de aplicativos para dispositivos touchscreen.
Segundo Andrade et al. (2000) a Teoria da Resposta ao Item é um
conjunto de modelos matemáticos que procuram representar a probabilidade
de um indivíduo dar certa resposta a um item como função dos parâmetros do
item e da habilidade (ou habilidades) do respondente. Essa relação é sempre
expressa de tal forma que quanto maior a habilidade, maior a probabilidade de
acerto no item.
A Teoria da Resposta ao Item procura medir habilidades, atitudes,
interesses, desempenho, maturidade, conhecimentos ou proficiência de
indivíduos ou sistemas por meio de um questionário e da construção de uma
escala na qual, o traço latente do respondente e a dificuldade de um item
podem ser comparados (TEZZA, 2009). A escolha do modelo de TRI mais
adequado depende, sobretudo do que se deseja medir e da natureza dos
dados disponíveis (TEZZA, 2009).
Segundo Andrade et al. (2000) atualmente, em várias áreas do
conhecimento, particularmente em avaliação educacional, vem crescendo o
interesse na aplicação de técnicas derivadas da TRI, que propõe modelos para
os traços latentes, ou seja, características do indivíduo que não podem ser
observadas diretamente. Esse tipo de variável deve ser inferida a partir da
observação de variáveis secundárias que estejam relacionadas a ela. O que
esta metodologia sugere são formas de representar a relação entre a
probabilidade de um indivíduo dar uma certa resposta a um item e seus traços
latentes, proﬁciências ou habilidades na área de conhecimento avaliada.
A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita
a criação de escalas a partir de um checklist que faz uso de conceitos de
usabilidade (TEZZA, 2009).
No presente trabalho para a aplicação da TRI é utlilizado o Software
BILOG-MG 3 (MISLEVY & BOCK, 2003). Este assume que os respondentes
representam uma amostra aleatória de uma população de proficiências que
16
pode ser assumida como tendo ou uma distribuição normal padrão, ou ainda
uma distribuição discreta arbitrariamente especificada pelo usuário, ou ainda
uma distribuição empírica, a ser estimada conjuntamente com os parâmetros
dos itens (TEZZA, 2009).
1.4.1 Metodologia
A metodologia de desenvolvimento deste trabalho é dividida em quatro
etapas:
Etapa 1: É realizada uma análise de literatura na área de IHC em geral e
posteriormente enfatizando a área de heurísticas de usabilidade para
dispositivos celulares touchscreen. Também é estudada a técnica estatística da
Teoria da Resposta ao Item.
Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de
Usabilidade.
Atividade 1.2: Analisar os dispositivos celulares touchscreen.
Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item.
Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas
de usabilidade existentes para o design de interface para celulares
touchscreen. Para esta etapa é utilizada a técnica de revisão sistemática de
literatura.
Atividade 2.1: Definir a revisão sistemática da literatura.
Atividade 2.2: Executar a revisão sistemática da literatura.
Atividade 2.3: Analisar e interpretar as informações extraídas.
Atividade 2.4: Documentar e discutir os resultados.
Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando
a teoria estatística de Resposta ao Item. É realizado, também, o levantamento
de aplicativos para a realização da avaliação do conjunto de itens. As
avaliações dos aplicativos para celulares touchscreen para plataformas iOS ou
Android são realizadas em duas iterações.
Atividade 3.1: Definir a avaliação do primeiro conjunto.
17
Atividade 3.2: Levantamento de aplicativos para a realização da avalição.
Atividade 3.3: Primeira iteração das avaliações.
Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos
(cerca de 50 aplicativos).
Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto.
Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto.
Atividade 3.4: Segunda iteração das avaliações.
Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos
(cerca de 200 aplicativos).
Atividade 3.4.2: Analisar os resultados das avaliações do segundo
conjunto.
Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto.
Atividade 3.5: Discutir os resultados.
1.5 Estrutura do Trabalho
Este trabalho está estruturo em seis capítulos. No capítulo dois a
fundamentação teórica é apresentada. São abordados os temas que apoiam a
pesquisa.
No capítulo três é realizada uma análise do estado atual em que se
encontram as pesquisas relacionadas ao tema do trabalho: validações de
conjuntos heurísticas/checklists desenvolvidos para a avaliação heurística de
dispositivos móveis touchscreen phones.
No capítulo quatro os resultados obtidos são apresentados e avaliados.
No capítulo cinco os resultados são discutidos.
No capítulo seis são apresentadas as conclusões e recomendações para
trabalhos futuros.
18
2
FUNDAMENTAÇÃO TEÓRICA
No presente capítulo são abordados os conceitos teóricos relacionados
ao trabalho. São contextualizados conceitos referentes às áreas de Engenharia
de Usabilidade, heurísticas de usabilidade, Interação Humano-Computador
(IHC) e dispositivos celulares touchscreen.
2.1 Usabilidade
2.1.1 Interação Humano-Computador
Quando surgiu o conceito de interface, ela era geralmente entendida
como o hardware e o software com o qual homem e computador podiam se
comunicar, porém a evolução do conceito levou à inclusão dos aspectos
cognitivos e emocionais do usuário durante a experiência com algum tipo de
interface (ROCHA; BARANAUSKAS, 2003). Tem sido cada vez mais presente
no desenvolvimento de produtos a ideia de que uma melhora no aspecto físico
da interface do usuário proporciona maiores chances de sucesso dos mesmos
(ROCHA; BARANAUSKAS, 2003). Para Carvalho (2003) o desenvolvimento
adequado das interfaces entre o ser humano e o computador é uma tarefa
complexa devido aos aspectos humano das relações. Por esse motivo o campo
de estudo que aborda a interação entre os seres humanos e as máquinas deve
ser considerado quando novos produtos são desenvolvidos. Interação humanocomputador (IHC) surgiu no início de 1980, inicialmente como uma área
especial da Ciência da Computação. IHC tem se expandido rapidamente e de
forma constante durante as três últimas décadas, atraindo profissionais de
muitas outras disciplinas e incorporando diversos conceitos e abordagens
(CARROL, 2009). Interação humano-computador é uma disciplina relacionada
ao projeto, avaliação e implementação de sistemas computacionais interativos
para uso humano e ao estudo dos principais fenômenos que os cercam (ACM,
2009).
Alguns temas que a área da interação humano-computador está
preocupada são: desempenho das tarefas realizadas por seres humanos e
máquinas conjuntamente, estrutura de comunicação entre máquina e humano;
19
capacidade de aprendizado de interfaces; algoritmos e programação da própria
interface; preocupações de engenharia que possam surgir na concepção e
construção
de
interfaces,
o
processo
de
especificação,
projeto
e
implementação de interfaces (ACM, 2009).
O contexto de uso e as circunstâncias específicas nas quais um
dispositivo é usado são diretamente ligados ao nível de usabilidade alcançada
pelo mesmo. O contexto de uso consiste de usuários, tarefas, equipamentos
(hardware, software e materiais), e do ambiente físico e social, pois todos
esses podem influenciar a usabilidade de um produto dentro de um sistema de
trabalho (ISO 9241-11). A Figura 1 ilustra o contexto de uso de IHC,
destacando ao lado esquerdo o lado humano e ao lado direto o lado
computador.
Figura 1: Uso e Contexto da Interação Humano-Computador
Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores
Parte 11 – Orientações sobre Usabilidade.
Para Nielsen (2003), a usabilidade é um atributo qualitativo que
determina quão fácil é usar as interfaces do usuário. O termo usabilidade
também se refere aos métodos para melhorar a facilidade do uso durante o
processo de design.
20
É importante que se perceba que usabilidade não é uma propriedade
única e unidimensional de uma interface (NIELSEN, 1994).
A norma ISO 9241-11 define usabilidade como medida na qual um
produto pode ser usado por usuários específicos para alcançar objetivos
específicos com eficácia, eficiência e satisfação em um contexto específico de
uso. Eficácia se refere a quanto um produto é bom em fazer o que se espera
dele. Eficiência se refere a maneira como o produto auxilia aos usuários na
realização de suas tarefas (PREECE, 2005). Satisfação mede a extensão pela
qual os usuários estão livres de desconforto e suas atitudes em relação ao uso
do produto (ISO 9241-11).
De modo a especificar ou medir usabilidade é necessário identificar os
objetivos e decompor eficácia, eficiência e satisfação e os componentes do
contexto de uso em subcomponentes com atributos mensuráveis e verificáveis
(ISO 9241-11). Os componentes e o relacionamento entre eles estão ilustrados
na Figura 2.
Figura 2: Estrutura de usabilidade
Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores
Parte 11 – Orientações sobre Usabilidade.
(Associação Brasileira de Normas Técnicas)
Segundo Tyldesley (1988) o processo através do qual a usabilidade é
especificada quantitativamente permitindo que se demonstre se um produto
final atinge ou não os níveis exigidos de usabilidade é chamado de Engenharia
da Usabilidade.
21
2.1.2 Engenharia de Usabilidade
A Engenharia de Usabilidade tem como objetivo apresentar técnicas e
métodos que possam ser empregados sistematicamente para garantir
qualidade em termos de usabilidade da interface de produtos (PÁDUA, 2011).
Para que um produto possa ser considerado de qualidade em termos de
usabilidade é necessário que o seu desenvolvimento realize uma série de
atividades que podem ser organizadas como um processo (PÁDUA, 2011).
Existem vários modelos de processo de Engenharia de Usabilidade,
entre eles o processo Centrado no Usuário (User-Centered Design) definido
pela Norma ISO/IEC 13407 (1999) é um dos modelos mais conhecidos.
O design centrado no usuário é uma abordagem interativa que tem como
objetivo o desenvolvimento de sistemas usáveis (ISO/IEC 13407, 1999).
O projeto centrado no usuário tem como princípio o foco no usuário
desde o inicio do desenvolvimento dos produtos, ele é composto por etapas de
análise, síntese e avaliação. A estratégia desse processo consiste em refazer
as etapas continuamente, identificando e refinando o conhecimento sobre o
contexto de uso do produto desenvolvido. As etapas são refeitas até que seja
alcançado um resultado aceitável. Pode-se afirmar que o emprego dessa
estratégia no desenvolvimento reduz o risco de falhas e garante que, a cada
ciclo, o sistema responda cada vez melhor às expectativas e necessidades dos
usuários em suas tarefas (HOBOLD; COELHO, 2011).
O processo centrado no usuário pode ser observado na Figura 3.
Figura 3: Ciclo de vida do modelo ISO/IEC 13407. (Associação Brasileira de Normas Técnicas)
22
A primeira etapa, a etapa de análise, é quando é preciso especificar e
analisar o contexto de uso, ainda nessa etapa são explicitadas as
características dos usuários, das tarefas que serão executadas e o ambiente
no qual o produto será utilizado. A partir da análise as próximas atividades
serão executadas.
A etapa de síntese vale-se das informações analisadas na etapa
anterior e juntamente com conhecimentos de interface humano-computador
são desenhadas soluções para o desenvolvimento do produto. Nessa etapa
podem ser criados protótipos que permitem explorar várias possibilidades de
soluções. Um protótipo é uma representação limitada de um design que
permite que os usuários interajam com ele e explorem a sua conveniência.
Todas as decisões de design são tomadas dentro do contexto dos usuários,
seu trabalho e seu ambiente (PREECE, 2005). O feedback do usuário é muito
importante, pois permite avaliar, modificar e melhorar os protótipos
A próxima etapa é a avalição da solução escolhida. Nessa etapa devese avaliar se os requisitos e objetivos de usabilidade definidos foram
alcançados dentro do contexto de uso do sistema.
Para Preece (2005) até que um resultado satisfatório não seja
encontrado o ciclo dessas atividades deve continuar, terminando somente
quando a avaliação da solução escolhida esteja de acordo com os requisitos do
usuário.
As técnicas de avaliação de usabilidade podem ser classificadas em
três categorias: avaliações analíticas, avaliações heurísticas e inspeções por
listas de verificação (CYBIS, 2007).
Segundo Cybis (2007) as avaliações analíticas enfocam a estrutura da
tarefa com um dispositivo informatizado e se caracterizam por algum tipo de
decomposição da tarefa para verificar a complexidade ou estimar os tempos de
interações propostas. As avaliações heurísticas enfocam principalmente a
interface do sistema e se baseiam nos conhecimentos ergonômicos e na
experiência dos avaliadores que percorrem a interface ou seu projeto para
identificar aspectos que possam atrapalhar os usuários durante as interações
(CYBIS, 2007).
23
Os métodos de avaliação de usabilidade também podem ser divididos
entre os que são realizados sem a participação do usuário e os que são
realizados com a participação do usuário. Pode-se citar os seguintes métodos
como os que não utilizam a participação do usuário: avaliação heurística,
avaliações baseadas em modelos e inspeções cognitivas. Como método que
necessita da presença do usuário para sua realização pode-se citar os testes
de usabilidade (TEZZA, 2009, p 32).
As descrições, vantagens e desvantagens das técnicas citadas acima
podem ser observadas na Tabela 1.
Tabela 1: Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade
Método de
Avaliação
Analítico
Empírico
Técnica
Descrição
Vantagens
Desvantagens
Avaliação
Heurística
Análise de
conformidade
do sistema diante de
padrões de qualidade
ou heurísticas definidas
por especialista usando
ckecklist.
- Rapidez de aplicação,
- Baixo custo,
- Abrangência e
-Facilidade de
identificação dos
problemas
Avaliação
baseada em
modelos
Decomposição da
tarefa para verificar a
complexidade ou
estimar os tempos das
interações propostas
Confronto entre as
lógicas de operação do
projetista e de um
usuário novato.
Modo formalizado de
imaginar os
pensamentos
e as ações dos
usuários leigos
É bastante útil para
comparar alternativas de
interface
- Requer conhecimento
e experiências do
avaliador.
- São necessários de
três a cinco avaliadores
para um bom resultado.
- Subjetiva e pouco
sistemática.
Não leva em
consideração
erros ou incidentes de
interação
Inspeções
Cognitivas
(Cognitive
Walkthrough)
Teste de
usabilidade
Simulação de situações
de uso objetivando
constatar
problemas medir seus
impactos e identificar
suas causas.
- Pode ser aplicado já
no início do ciclo de
desenvolvimento.
- Permite que analistas,
designers e atuem como
avaliadores.
- Reconhece a forma
com que o usuário
executa tarefas e realiza
a análise cuidadosa de
tarefas.
- Abrangência
- Verificação de
situações
reais de uso
- Não leva à
identificação
imediata do problema.
- Requer muito tempo.
- Alto custo
- Requer tempo e
pessoas
- Pode não ser
totalmente
imparcial.
Fonte: adaptado de TEZZA (2009)
2.1.3 Heurísticas de Usabilidade
Segundo Nielsen (1994) heurísticas de usabilidade são definidas como
um conjunto de regras gerais que descrevem propriedades comuns em
interfaces usáveis derivado do conhecimento de aspectos psicológicos,
computacionais e sociológicos dos domínios do problema.
24
Existem vários conjuntos de heurísticas para projetos de interfaces.
Esses conjuntos de heurísticas foram desenvolvidos inicialmente para sistemas
desktop, entre eles pode-se destacar as dez heurísticas de usabilidade de
Jakob Nielsen (NIELSEN, 1994), os critérios ergonômicos de Scapin e Bastien
(1993) e as oito regras de ouro de Shneiderman (2004).
A seguir estão apresentadas as dez heurísticas de Jakob Nielsen. Esses
princípios podem ser usados para explicar muitos problemas encontrados em
projetos de interface (NIELSEN, 1994).
1. Visibilidade do status do sistema: o sistema deve sempre manter o usuário
informado.
2. Compatibilidade entre sistema e mundo real: o sistema deve falar a
linguagem do usuário ao invés de usar termos orientados ao sistema.
3. Controle e liberdade para o usuário: usuários precisam ter a possibilidade de
sair do estado não desejado e essa opção deve estar claramente marcada.
4. Consistência e padrões: usuários não devem ter que se perguntar se
palavras, situações, ou ações diferentes significam a mesma coisa.
5. Prevenção de erros: melhor do que boas mensagens de erro é um design,
que previne que problemas ocorram.
6. Reconhecimento no lugar da lembrança: Evite acionar a memória do usuário
o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente
antes de ser executada.
7. Flexibilidade e eficiência de uso: permite que usuários possam customizar
ações frequentes.
8. Projeto minimalista e estético: cada unidade de informação extra compete
com informações relevantes e reduz a sua visibilidade relativa.
9. Auxiliar os usuários a reconhecer, diagnosticar e recuperar erros: fornecer
mensagens de erro claras instruindo de forma construtiva a resolução dos erros
no menor número de passos possíveis.
10. Ajuda e documentação: um bom conjunto de documentação e ajuda deve
ser utilizado para orientar o usuário em caso de dúvida. Deve ser visível e de
fácil acesso.
Estas regras são utilizadas tanto para direcionar o design de interface
quanto na avaliação da usabilidade.
25
Empregando estas regras pode ser realizada a avaliação heurística. A
avaliação heurística é uma técnica de avaliação muito atrativa, porém o
conjunto de heurísticas de Nielsen (1994) foi desenvolvido para desktops e
quando é aplicado a outros tipos de dispositivos ou aplicações ele precisa ser
customizado. Determinadas heurísticas de Nielsen são muito gerais e precisam
ser moldadas aos novos produtos que chegam ao mercado (PREECE, 2005).
Algumas customizações já foram realizadas, como por exemplo, heurísticas
para comércio eletrônico (TEZZA, 2009), heurísticas para celulares (BERTINI
et al. 2006) (GONG, TARASEWICH, 2004).
2.1.3.1
Heurísticas para dispositivos móveis touchscreen phones
O contexto de uso de um computador de mesa (desktop) para o qual
foram desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de
uso de um dispositivo móvel. Dispositivos móveis geralmente são utilizados
para aplicações rápidas em um ambiente com muitas distrações, muitas vezes
os usuários estão em movimento, como por exemplo, andando na rua.
Durante a utilização de dispositivos móveis, os usuários normalmente
estão envolvidos em várias atividades que ocorrem simultaneamente, a
atenção pode estar dividida entre o uso do equipamento, as outras atividades
que ele está realizando e o ambiente que o cerca, dessa maneira, o foco
principal pode não ser a interação com o equipamento, mas a busca da
informação enquanto interage com o ambiente a sua volta (CYBIS, 2007)
(SALAZAR, et al. 2012). Outro aspecto importante se refere ao fato de que o
usuário móvel estar sujeito a diversas interrupções durante a interação (CYBIS,
2007).
Os métodos tradicionais de avaliação de usabilidade não consideram
essas particularidades dos dispositivos móveis, por isso, existe uma
necessidade do desenvolvimento de novas técnicas de avalição de usabilidade
para esses dispositivos (INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se
então necessário customizar as heurísticas de Nielsen, adaptando-as ao
paradigma dos dispositivos móveis.
26
Nesse sentido, alguns autores vêm realizando esforços com o objetivo
de definir heurísticas de usabilidade para dispositivos móveis touchscreen.
Uma visão geral do estado de arte referente às heurísticas de usabilidade para
celulares touchscreen é apresentado por Salazar et al (SALAZAR, et al. 2012).
A revisão do estado arte evidenciou que ainda não existem muitas pesquisas
nessa área.
A revisão do estado da arte de Salazar et al (2012) obteve como
resultado 13 artigos relevantes no que diz respeito a heurísticas de usabilidade
para celulares. Devido a essa carência de trabalhos relacionados às heurísticas
de usabilidade para celulares, o foco da revisão do estado da arte foi ampliado
a guias de estilo. Foram então selecionados os guias de estilo de design das
cinco plataformas de smartphones mais vendidas no mundo em 2011
Guias de estilo expõem em detalhes como deve ser a interface dos
aplicativos desenvolvidos para uma determinada plataforma e, na maioria das
vezes, também descrevem heurísticas de usabilidade num nível mais abstrato
(também chamados de principles) que se aplicam ao design dos seus
aplicativos (SALAZAR et al. 2012).
A partir das informações obtidas através da revisão do estado da arte,
observou-se, de uma maneira geral, uma forte correspondência entre as
heurísticas tradicionais e as heurísticas propostas para dispositivos móveis
A Figura 4 quantifica as frequências de incidência das heurísticas
tradicionais nos artigos encontrados na revisão sistemática de literatura
27
Figura 4: Frequência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos
analisados.
Fonte: SALAZAR et al. (2012).
Apesar de existir forte correlação entre as heurísticas propostas e as
heurísticas tradicionais, muitas vezes as primeiras reinterpretam e ajustam
suas definições para dispositivos móveis. Alguns autores ainda propuseram
algumas heurísticas adicionais levando em consideração as características
específicas dos dispositivos móveis. A Tabela 2 apresenta o conjunto unificado
de heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos
após a revisão do estado da arte.
Tabela 2 – Conjunto de Heurísticas para dispositivos móveis
Heurísticas Tradicionais
Heurísticas Novas
Visibilidade do status do sistema
Compatibilidade entre diferentes plataformas
Liberdade e controle do usuário
Pouca interação homem/dispositivo
Consistência e padrões
Interação física e ergonômica
Prevenção de erros
Legibilidade e Layout
Flexibilidade e eficiência de uso
Estética e design minimalista
Ajudar os usuários a reconhecer, diagnosticar e
recuperar erros
Fonte: (adaptado de SALAZAR et al. 2012)
28
A análise do estado da arte demonstrou que até o momento não existe
uma visão/compreensão única sobre quais são as heurísticas de usabilidade
relevantes para os dispositivos touchscreen phones.
Nesse sentido, com a intenção de criar um conjunto unificado de
heurísticas de usabilidade (Tabela 02) com base na literatura e experiências
práticas, o GQS – Grupo de Qualidade de Software - está atualmente definindo
um conjunto de heurísticas de usabilidade para celulares touchscreen.
O desenvolvimento de um conjunto de heurísticas customizadas
específicas para touchscreen phones aprimorará o guia de design de interfaces
e a avaliação heurística de aplicações para esse tipo de dispositivo,
colaborando assim à melhora da usabilidade das mesmas (SALAZAR et al.,
2012).
2.1.3.2 Avaliação Heurística
Segundo Preece (2005) em algumas ocasiões os usuários não estão
facilmente acessíveis, nessas circunstâncias especialistas podem fornecer o
feedback. Dentro desse contexto, no início dos anos 90, começaram a ser
desenvolvidas algumas técnicas de inspeção como alternativa. Uma dessas
técnicas é avaliação heurística.
A avaliação heurística (NIELSEN, 1994) é um método de avaliação
sistemático que possibilita encontrar problemas de usabilidade em um design
de interface. Envolve um pequeno grupo de avaliadores que examinam a
interface e a avaliam de acordo com os princípios de usabilidades (heurísticas
de usabilidade).
A avalição heurística é uma técnica relativamente barata e de fácil
aprendizado, também é eficaz e pode ser utilizada em qualquer estágio de um
projeto de design, a combinação desses fatores torna a avaliação heurística
uma técnica de avaliação atrativa (PREECE, 2005).
Segundo Cybis (2007) uma avaliação heurística representa um
julgamento de valor sobre as qualidades de usabilidade das Interfaces
Humano-Computador. Essa avaliação é realizada por especialistas em
usabilidade, com base na sua experiência e competência no assunto.
29
Nielsen (1993) recomenda que sejam utilizados de três a cinco
avaliadores. Cada avaliador deve realizar a sua inspeção individualmente
evitando a comunicação entre eles durante a avaliação, assim são garantias
avaliações independentes e sem influência. Durante a sessão de avaliação, o
avaliador percorre a interface diversas vezes e inspeciona os seus elementos
comparando-os com uma lista de princípios de usabilidade (as heurísticas).
Para que a avaliação heurística seja realizada são definidas listas de
verificação ou checklists que permitem o levantamento de dados durante a
realização da avaliação. Os checklists permitem uma análise uniforme da
usabilidade tendo como base as heurísticas (SALAZAR et al., 2012).
Segundo Nielsen (2003), cada avaliador tem a liberdade de considerar
heurísticas específicas que se aplicam a classes de produtos os sistemas
específicos. São necessários conjuntos diferentes de heurísticas para avaliar
diferentes
dispositivos
ou
sistemas,
portanto,
os
avaliadores
devem
desenvolver seus próprios, moldando as heurísticas de Nielsen, exatamente
quais heurísticas são as melhores e quantas são necessárias é discutível e
depende do produto (PREECE, 2005).
A seleção de heurísticas apropriadas é decisiva para a realização da
avaliação, pois as mesmas enfocam a atenção dos especialistas em questões
particulares do design da interface (PREECE, 2005).
2.1.3.2.1 Checklist para avaliação heurística de aplicativos em touchscreen
phones
Para facilitar a realização de avaliações heurísticas usando o conjunto
de heurísticas unificadas, uma lista de verificação (checklist) foi desenvolvida
pelo GQS – Grupo de Qualidade de Software. Esta, por sua vez, objetiva
auxiliar na avaliação de usabilidade dos dispositivos touchscreen phones de
uma maneira rápida, fácil e eficiente (SALAZAR et al., 2012).
Como escala de resposta aos itens do checklist é adotada uma escala
ordinal com quatro opções:
• Sim (Se o aplicativo estiver de acordo com o item);
• Parcialmente (se o aplicativo atender parcialmente o item);
30
• Não (se não estiver de acordo com o item) e
• Não se aplica (caso o item não possa ser avaliado ou não seja
pertinente ao escopo da aplicação).
Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura
5 e o checklist completo pode ser visualizado no Apêndice A.
CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES
Avaliadora:
Data:
Aplicativo/versão:
Heurísticas
Sistema:
Dispositivo:
Questões
Visibilidade do status do 1.
sistema
N
P
S
Para cada ação do usuário o aplicativo oferece
feedback imediato e adequado sobre seu status?
2.
Os itens selecionados são claramente distintos dos
demais?
3.
Prioriza mensagens relativas a informações críticas e
contextuais como o status da bateria e status da
rede?
4.
As mensagens sobre o status do aplicativo possuem
uma linguagem clara e concisa?
5.
Todas as telas possuem identificação?
6.
Todas as telas mantêm acessíveis menus e funções
comuns do aplicativo?
7.
Fornece um update do status para operações mais
lentas?
8.
O aplicativo oferece informações sobre sua versão?
Anotações:
…
...
...
Figura 5: Lista de verificação aplicada a celulares touchscreen
Fonte: SALAZAR et al., 2012
Legenda:
N – Não
P - Parcial
S – Sim
NA – Não se aplica
2.4 Caracterização do Dispositivo touchscreen phone
Touchscreen phones são celulares que possuem a tela sensível ao
toque, dispensando o uso de teclados físicos, pode-se tocar a tela e ela
responderá como se o toque fosse nos objetos mostrados nela. Geralmente os
NA
31
touchscreen phones são capazes de realizar muitas funções que um
computador realiza, tipicamente possuem uma tela relativamente grande e um
sistema operacional capaz de executar aplicações de uso geral, comumente
possui um display de alta resolução, conectividade WiFi, capacidade de
navegação na Web, a capacidade de aceitar aplicações sofisticadas, possui
uma CPU mais poderosa, mais espaço de armazenamento e mais memória
RAM (JANSSEN, 2012)
Na Figura 6 estão apresentados alguns modelos de touchscreen
phones. À esquerda o modelo Samsung S4 e a direita o iPhone 4S.
Figura 6: Exemplos de modelos de touchscreen phones
Fonte: http://samsung.com.br/, http://apple.com.br
2.4.1 Métodos de touchscreen
Os touchscreen phones podem usar diferentes métodos para detectar a
presença do toque na tela, as tecnologias mais utilizadas são o sistema
resistivo e o sistema capacitivo.
O sistema resistivo é composto por um painel de vidro normal, recoberto
por uma camada metálica condutora e uma resistiva. Estas duas camadas são
mantidas afastadas por espaçadores e uma camada resistente a riscos é
colocada por cima de todo o conjunto. Uma corrente elétrica passa através das
duas camadas enquanto a tela está sendo usado. Quando uma pessoa toca na
tela, as duas camadas fazem contato exatamente naquele ponto. A mudança
no campo elétrico é percebida e as coordenadas do ponto de contato são
calculadas pelo computador. Logo que as coordenadas são conhecidas, um
driver especial traduz o toque em algo que o sistema operacional possa
entender (HAMMERSCHMIDT, 2008). A Figura 7 apresenta o funcionamento
do sistema resistivo.
32
Já no sistema capacitivo, uma camada que armazena a carga elétrica é
colocada no painel de vidro do monitor. Quando alguém clica no monitor com
seu dedo, parte da carga é transferida para essa pessoa, de modo que a carga
na camada capacitiva diminui. Esta diminuição é medida nos circuitos
localizados em cada canto do monitor. Considerando as diferenças relativas de
carga em cada canto, o computador calcula exatamente onde ocorreu o toque
e então envia esta informação para o software do driver da tela sensível. Uma
vantagem que o sistema capacitivo apresenta sobre o resistivo é que ele
transmite quase 90% da luz do monitor, enquanto o sistema resistivo transmite
apenas 75%. Isso dá ao sistema capacitivo uma imagem muito mais clara do
que o sistema resistivo (HAMMERSCHMIDT, 2008). A Figura 8 mostra o
funcionamento das telas capacitivas.
Figura 7: Funcionamento do sistema resistivo
Fonte: http://my-tablet-world.com/differencebetween-resistive-touch-screen-andcapacitive-touch-screen/
Figura 8: Funcionamento do sistema capacitivo
Fonte:http://www.telecomcircle.com/2010/03/
touchscreen/
As tecnologias apresentadas acima permitem a utilização das telas
multi-touch. Para uma tela ser considerada multi-touch ela deve ser capaz de
responder a múltiplos toques dos dedos ao mesmo tempo. A utilização da tela
multi-touch possui algumas limitações, dependendo do hardware e software
utilizados no touchscreen phone.
2.4.2 Plataformas/sistemas operacionais
No que diz respeito ao software de touchscreen phones, existem hoje
vários sistemas operacionais instalados em diferentes modelos. Segundo a
Gartner em uma pesquisa realizada no segundo trimestre de 2012 o sistema
operacional Android ampliou sua liderança no mercado, seguido do sistema
operacional iOS e Symbian respectivamente. A Tabela 3 mostra as vendas de
smartphones no que diz respeito ao sistema operacional.
33
Tabela 3: Principais sistemas operacionais
Segundo trimestre de 2012
Sistema
Operacional
Unidades vendidas em
milhões
Segundo trimestre de
2012 - Fatia de Mercado
(%)
98,529.3
28,935.0
9,071.5
7,991.2
4,208.8
4,087.0
863.3
153,686.1
64.1
18.8
5.9
5.2
2.7
2.7
0.6
100.0
Android
iOS
Symbian
Research In Motion
Bada
Microsoft
Others
Total
Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015
Pode-se observar na Tabela 3 que o sistema operacional Android ocupa
a maior fatia de mercado. O Android é um sistema operacional para
dispositivos móveis baseado no sistema operacional Linux e é desenvolvido
pela Google. O sistema operacional iOS, o qual aparece em segundo lugar em
unidades vendidas, é um sistema operacional para dispositivos móveis
desenvolvido e distribuído pela Apple Inc. Enquanto o sistema operacional
Android é utilizado por vários fabricantes o iOS é de uso exclusivo dos produtos
desenvolvido pela Apple.
Em relação aos fabricantes destaca-se a Samsung que aumentou sua
vantagem sobre a Nokia e Apple (GARTNER, 2012). A Tabela 4 ilustra o
crescimento da fabricante Samsung.
Tabela 4: Principais fabricantes de smartphones
Segundo trimestre de
2012
Fabricante
Samsung
Nokia
Apple
ZTE
LG Electronics
Huawei Device
TCL Communications
HTC
Motorola
Research In Motion
Others
Total
Unidades vendidas em
milhões
Segundo trimestre
de 2012 - Fatia de
Mercado (%)
90,432.1
83,420.1
28,935.0
17,936.4
14,345.4
10,894.2
9,355.7
9,301.2
9,163.2
7,991.2
137,233.4
419,007.90
21.6
19.9
6.9
4.3
3.4
2.6
2.2
2.2
2.2
1.9
32.8
100.0
Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015
34
Uma outra pesquisa realizada pela ChangeWave Research em junho de
2012 obteve um indicador sobre as satisfação dos clientes em relação aos
seus smartphones, como pode ser observado na Figura 9.
Figura 9: Satisfação dos usuários em relação aos seus smartphones
Fonte: http://www.changewaveresearch.com/
Como apresentado na Figura 9 a Apple destaca-se das demais
fabricantes com 71% dos proprietários de iPhones satisfeitos com seus
aparelhos. A Samsung vem em segundo lugar seguida da Motorola.
2.4.3 Caracterização dos dispositivos
Considerando os dados apresentados na seção anterior foram
selecionados três modelos de touchscreen phones para elaborar uma Tabela
comparativa do principal modelo dos principais fabricantes. Os dispositivos
selecionados foram: Samsung Galaxy S4 com sistema operacional Android
4.2.2 Jelly Bean, Nokia Lumia com sistema operacional o Windows Phone 7.5 e
o iPhone 4S com sistema operacional iOS. A Tabela 5 mostra o comparativo
entre os modelos.
35
Tabela 5: Comparativo entre modelos de touchscreen phones
Samsung Galaxy S4
Nokia Lumia
iPhone 4S
Tela
4.99”
3.7”
3.5”
Resolução
1080x1920
480 x 800 pixels
640 x 960 pixels
Armazenamento
64GB
16GB
16/32/64
Câmera Frontal
2 MP
-
VGA
Câmera Traseira
13 MP
8.0 MP
8 MP
Internet
Wi-Fi/3G/4G
Wi-Fi/3G
Wi-Fi/3G
Bluetooth
Sim
Sim
Sim
GPS
Sim
Sim
Sim
Peso (g)
130
142
140
Medidas (mm)
136.6 x 69.8 x 7.9
116.5 x 61.2 x 12.1
115.2 x 58.6 x 9.3
Acelerômetro
Sensor de Proximidade
Giroscópio de três eixos
Giroscópio
Acelerômetro
Acelerômetro
Sensor de Proximidade
Bússola
Sensor de proximidade
Sensores
Bússola
Sensor de luz ambiente
Barômetro
Fontes: http://www.nokia.com/br-pt/produtos/lumia/
http://www.samsung.com/
http://www.apple.com/br/iphone/features/
As características dos touchscreen phones devem ser levadas em
consideração quando se trata da usabilidade dos mesmos, o uso desses
dispositivos está associado ao fato de sua disponibilidade e portabilidade. A
portabilidade dos touchscreen phones é uma questão muito importante que
deve ser ponderada, pois o contexto de uso desses dispositivos pode ter
grandes variações, por serem móveis são equipamentos que permitem o
transporte com conteúdo e proporcionam recursos de comunicação a qualquer
hora e em qualquer lugar.
2.4.4 Tipos de aplicações móveis
As duas alternativas mais conhecidas de aplicações móveis são os web
sites móveis e os aplicativos (FLING, 2009). Cada uma dessas ferramentas é
apresentada a seguir.
36
Sites móveis
Um site para dispositivos móveis é um site especificamente projetado
para esse tipo específico de dispositivo, não deve-se confundir sites móveis
com a simples visualização de um site desenvolvido para desktop em um
browser móvel (FLING, 2009).
Sites móveis são caracterizados por sua arquitetura simples de drilldown ou somente a apresentação de links de navegação que levam o usuário
para as páginas de nível mais baixo. O design dos sites móveis são, na maioria
das vezes, simples e informativos oferecendo alguns dos elementos interativos
disponíveis nos sites para desktops. Embora sites móveis sejam relativamente
fáceis de criar, eles não conseguem ser consistentes em diferentes
navegadores móveis (FLING, 2009). A Figura 10 mostra um exemplo de um
web site móvel.
Figura 10: Exemplo de web site móvel
Aplicativos
Aplicativos são desenvolvidos para uma plataforma específica. Devido
ao fato dos aplicativos estarem na camada acima da plataforma eles podem
aproveitar a maioria dos recursos dos dispositivos, trabalhando on-line ou offline. Os aplicativos possibilitam a utilização dos recursos disponíveis nos
dispositivos como, por exemplo, câmera, GPS e sistemas de arquivos (FLING,
2009).
37
Aplicativos são softwares utilizados para funções específicas em
dispositivos móveis. Estes programas são instalados e embarcados nos
aparelhos. A maior parte dos aplicativos são certificados, vendidos ou
distribuídos através de uma loja de aplicativos on-line (FLING, 2009). A Figura
11 mostra um exemplo de um aplicativo.
É importante destacar que o presente trabalho tem como objetivo a
avaliação de aplicativos e não tem como objetivo a avaliação de sites móveis.
Figura 11: Exemplo de aplicativo
38
3 ESTADO DA ARTE
O presente capítulo apresenta o estado atual em que se encontram as
pesquisas relacionadas a validações de conjuntos de heurísticas/checklists
desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen
phones. A análise do estado da arte foi realizada seguindo o método de revisão
sistemática de literatura definido por Kitchenham (2004).
3.1 Definição da revisão da literatura
A revisão sistemática da literatura realizada teve como objetivo analisar
e sintetizar a literatura existente sobre a avaliação/validação de conjuntos de
heurísticas de usabilidade para aplicativos em dispositivos de touchscreen
phones. O foco da revisão está na seguinte questão: Como os conjuntos de
heurísticas de usabilidade para celulares touchscreen são validados?
Embora o foco principal estivesse relacionado a touchscreen phones, o
escopo da pesquisa foi ampliado para qualquer tipo de telefone celular, pois em
uma busca inicial não foi encontrada qualquer literatura relevante específica
sobre touchscreen phones. Em relação a validações dos conjuntos de
heurísticas de usabilidade para celulares touchscreen também não foi
encontrada qualquer literatura relevante, por esse motivo, o foco da pesquisa
também foi ampliado para artigos que tivessem como foco a definição de
heurísticas de usabilidade para telefones móveis.
Foram pesquisados na Web artigos publicados na língua inglesa sobre
heurísticas de usabilidade para telefones celulares. As pesquisas foram
realizadas nas mais importantes bibliotecas digitais e bases de dados neste
domínio (IEEEXplore, ACM Digital Library, Science Direct, Wiley e Springer)
através do acesso gratuito ao Portal CAPES. Devido aos avanços tecnológicos
apresentados pelos dispositivos estudados foram considerados artigos
publicados entre janeiro de 2006 e julho de 2012 e para serem selecionados os
artigos deveriam ter como foco a definição de heurísticas de usabilidade para
telefones móveis. Foram excluídos artigos que não apresentavam os aspectos
mencionados.
39
A realização da busca de artigos científicos foi realizada usando os
termos de busca especificados na Tabela 6. Devido ao fato de vários termos
possuírem sinônimos foi realizada uma pesquisa mais ampla, incluindo outros
termos além de "smartphone", como por exemplo, os termos “mobile”, “cell
phone” e “handheld device”. No que diz respeito às heurísticas o termo
“usability
guidelines” também foi utilizado além do termo “usability heuristics”. A
definição das mesmas é o resultado de várias calibrações realizadas
anteriormente. A pesquisa foi realizada em outubro de 2012.
Tabela 6: Strings de buscas nas bases de dados
IEEE
XPLORE
((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability
heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND
(pyr >= 2006AND pyr <= 2012).
ACM Digital
Library
("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability
heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR
"cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen
mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR
“usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal)
ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLEABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns
interface")
WILEY
Interscience
mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND
"usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in
Abstract between years 2006 and 2012
SpringerLink
(mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published
between '1 Jan 2006' and '31 Jul 2012' with no filters
(mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published
("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
(smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published
(smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))'
published between '1 Jan 2006' and '31 Jul 2012' with no filters
("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no
filters
("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))'
("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with
no filters
("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between
'1 Jan 2006' and '31 Jul 2012' with no filters
("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan
2006' and '31 Jul 2012' with no filters
A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM
Digital Library, 10 no ScienceDirect, 41 no Wiley e 33 no Springer). Após a
realização de uma análise dos artigos encontrados através da leitura dos
titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos
respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos
40
irrelevantes ou duplicados foram removidos. Realizou-se então um exame
desses 32 artigos, avaliando a qualidade da informação apresentada. O
resultado final foi a seleção de 15 artigos considerados realmente relevantes.
Posteriormente foi realizada a leitura dos artigos e extraídos os dados
referentes a validações de conjuntos de heurísticas/checklists desenvolvidos
para a avaliação heurística de dispositivos móveis touchscreen phones.
3.2 Validação do conjunto de heurísticas/checklists
A partir dos artigos resultantes da revisão sistemática de literatura a
leitura dos mesmos foi realizada com o objetivo de analisar informações sobre
a validação dos conjuntos de heurísitcas/checklist propostos nos artigos. O
resultado dessa leitura pode ser verificado na Tabela 7.
Tabela 7: Dados extraídos sobre validação do conjunto de heurísticas/checklist
Artigo
Realiza validação do conjunto de
heurísticas/checklist
(Hashim et al., 2010)
--1
(Lo & Tan, 2012)
--
(Fetaji & Fetaji, 2011)
--
(Zaibon & Shiratuddin 2012)
--
(Inostroza et al., 2012)
Avaliação heurística comparativa
(Wesselset al., 2011)
--
(Rauch, 2011)
--
(Ayob et al., 2009)
--
(Billi et al., 2010)
--
(Gu, Gu & Laffey, 2011)
--
(Travis & Tay, 2011)
--
(Alsos et al., 2012)
--
(Nilsson, 2009)
--
(J.Gong & P.Tarasewich, 2004)
--
(E. Bertini et al., 2006)
2
1
Não cita avaliações sobre as heurísticas de usabilidade propostos.
41
Apesar da importância da usabilidade no contexto de dispositivos móveis
o resultado escasso da revisão sistemática de literatura demonstra uma falta de
investigação nesta área. Analisando a Tabela 7 fica evidente a falta da
realização de uma validação do conjunto de heurísticas/checklists propostos na
literatura encontrada.
Somente dois artigos citam a realização de uma avalição do conjunto de
heurísticas propostos (Inostroza et al., 2012) e (Bertini et al., 2006).
Inostroza et al. (2012) realizaram a comparação de dois conjuntos de
heurísticas, por um estudo comparativo em que realizaram uma avaliação
utilizando as heurísticas propostas para dispositivos touchscreen e a outra
realizada com as heurísticas tradicionais de Nielsen. Dois grupos de
avaliadores, compostos por dois avaliadores cada, utilizaram um dispositivo
touchscreen para a realização da avaliação heurística, um deles utilizou as
heurísticas de Nielsen e o outro utilizou as heurísticas propostas para
dispositivos móveis.
O resultado foi a identificação de um número um pouco maior de
problemas de usabilidade utilizando as heurísticas para dispositivos móveis
touchscreen. Além de identificarem mais problemas o grupo ainda classificou
os problemas em maiores graus de severidade. Posterior a essa avalição, os
autores, utilizaram a média e a variância dos valores dos graus de severidade
dos problemas encontrados com cada conjunto de heurística para avaliar a
validade do conjunto proposto.
Apesar dessa primeira tentativa de validar o conjunto de heurísticas
proposto os autores destacaram o fato dessa avaliação ainda ser preliminar e a
necessidade da realização de mais experimentos para ser possível uma melhor
conclusão.
Bertini et al. (2006) realizaram um estudo empírico com objetivo de
comparar o apoio prestado pelo novo conjunto de heurísticas móveis contra as
heurísticas de usabilidade padrão. O estudo envolveu oito especialistas em
usabilidade e teve como resultado uma avaliação mais precisa em termos de
problemas detectados (mais falhas detectadas) com a utilização das
heurísticas para dispositivos móveis.
Observando essa falta em geral de avaliações mais rigorosas dos
42
conjuntos de heurísticas pospostos para dispositivos móveis o presente
trabalho objetiva avaliar um conjunto de heurísticas de usabilidade para
dispositivos de celulares touchscreen utilizando a Teoria da Resposta ao Item,
pois a mesma permite a criação de um instrumento de medição que possua
uma escala padronizada e permita sistematização e precisão dos resultados e,
logo, comparabilidade dos mesmos. Essa técnica já foi utilizada para avaliar
outro conjunto de heurísticas como, por exemplo, na elaboração de um
conjunto de heurísticas referente a usabilidade em sites de e-commerce
(TEZZA, 2009). O trabalho citado anteriormente indica a adequação do uso da
técnica de TRI para validar/avaliar checklists que dentro desse contexto podem
ser compreendidos como questionário padronizado, assim é possível citar
alguns trabalhos que fizeram uso da técnica de TRI para validar/avaliar
questionários, como, por exemplo, questionários para medir inteligência ou
autismo infantil (SATO, 2009) ou questionários para medição de fatores críticos
da gestão pela qualidade (ALEXANDRE et al. 2001).
43
4. AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE
PARA APLICATIVOS EM CELULARES TOUCHSCREEN
No presente capítulo é relatado o processo de avaliação/validação do
conjunto de heurísticas/checklist para avaliação de usabilidade de aplicativos
para dispositivos celulares touchscreen.
O processo de avaliação é composto por cinco etapas: Definição,
Planejamento, Operação, Análise e Interpretação e Documentação (WOHLIN,
2012) (Figura 12).
Figura 12: Etapas do processo de avaliação
Fonte: WOHLIN, 2012
4.1 Definição da Avaliação
O objetivo da avaliação é validar os itens do checklist para avaliação de
usabilidade de aplicativos dos dispositivos touchscreen phones.
Com esse objetivo é efetivado um estudo empírico onde é realizada uma
série de avaliações heurísticas utilizando o checklist para avaliação de
aplicativos para dispositivos celulares touchscreen proposto por Salazar et al.
(2012).
A avaliação tem como foco aplicativos para dispositivos móveis e a
principal funcionalidade dos mesmos, portanto, as avaliações não levaram em
consideração o aplicativo como um todo e sim a sua principal função.
O estudo de caso é dividido em duas iterações:
Na primeira iteração são selecionados 50 aplicativos a serem avaliados.
Os critérios para a seleção dos aplicativos estão apresentados a seguir:
1. Aplicativos gratuitos;
2. Número de downloads maior que 200 na página que o disponibiliza;
44
3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que
utilizaram os aplicativos após realizar o download dos mesmos nas
páginas que os disponibilizam.
Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção
dos aplicativos para a segunda iteração foi o seguinte:
2. Aplicativos gratuitos para realização de testes.
A Tabela 8 apresenta os 247 aplicativos selecionados ao total para a
realização das avaliações nas duas iterações. Demais informações sobre os
aplicativos, como versão e site de download estão disponíveis no Apêndice C.
Tabela 8: Aplicativos selecionados para a avaliação
Dicionário da Língua Portuguesa
Weather Channel
Google Drive
Google Goggles
App2SD
DropBox
Angry Birds
FacebookMessenger
Qual Operadora
Wallpapers HD iPhone
Brasileirão
Groupon iPhone
Apn Brasil
CardioTrainer
Catarinense 2013 iPhone
Sky Sports iPhone
EyeEm iPhone
Converter
Sonar
Spider Solitaire
Guia de aeroportos HD
Radar G1
Diário Catarinense
Vogue Brasil Mobile
Expedia Hotels & Flights
Simple PAC
Bíblia Sagrada NVI
Ringtone Maker
ASTRO File Manager
Qello
Mokriya craigslist
WBCBaseball
Climatempo
Tela Transparente
Buscapé Mobile
Pedômetro - Accupedo
Photo Grid
Jogo da Forca
Remember The Milk
Aplicativos Avaliados
Boa Lista - Lista de Compras
Google Tradutor
Gmail
IMDb
WhatsApp
Traffic Counter Extended
PersonalFinance
Trip Advisor
Cadê Meu Banco
Instagram
CamScanner iPhone
Wase
TrackPack
Facebook
Internacional SporTV iPhone
GloboEsporte.com iPhone
Dictionary.com iPhone
Photaf Panorama
Simulado Detran Free
Pessoa física
iCall
Eu atleta
Globo News
Marie Claire Brasil Mobile
Dieta e Saúde
Shared MP3 Baixar músicas
Esboço do lápis
Wales, UK
Any.Do
TaxiBeat
ArtFinder
TouristEye
Foursquare
QRDroid
Tic Tac Toe - Pro
Dictionary.com
Globo.com
Qual é a resposta?
MusiXmatch
4Shared
Banco do Brasil
Consulta Visa Vale
Saraiva eReader
Consulta CEP
YouTube
Viber
Tavindo
Wikipedia
Churrascometro
Buscapé iPhone
Voos Online
AVG Mobilation
Feriados 2013 iPhone
Night Sky Lite iPhone
Shazam iPhone
Quora iPhone
Clean Master
Rádio Atlântida
Rádio Pessoal AUPEO!
Baby holidays
Shared MP3
Kekanto
Crescer Mobile
Radar G1
Insta Collage
Letra de música e do YouTube
Malaysia Cari
IntaWeather Free
Thrist
Wunderlist
CineMark Brasil
Ingresso.com
Baixaki
Hotmail
Air Horn Free
Caça Palavras
Medscape
Split Pic
45
Passa Regua
Vacinas Brasil Lite
Diabetes
Diário de Pressão Sanguinea
KCRW SongTag
iBeer FREE
Galinha Pintadinha
Guess The Movie
MyBaby: My puzzle for kids
Logo Quiz
Alergias
Diabetes Diary Lite
Medicamentos A a Z
Dengue Adulto e Criança
GlicoCare
Rotinas Terapeuticas
Dblcam
Engraçado Tones SMS
Horóscopo HD Grátis
WikipediaPlaces Free
CPF/CNPJ
Privalia Mobile
Simples MP3 Downloader
Astrid Lista de Tarefas
Telefone celular Voip
Sleep as Android
Relax and Sleep
Tumblr
Postos combustivel Brasil
I am Here
GlobeConvert
Viddy
Xadrez
Brasil Mobile Florianópolis
Medida Certa
Saúde Vale
Exercícios em casa
Sabores do Brasil
ProEstetica
Qranio
Aprenda a falar outras línguas
Hotel Hoje
Sushi BR
Dodol Phone
Partiu Balada
Pressão Arterial
Gripe Suína
GAPS - Antibiótico na Urgência
Sky Drive
Google Play Books
Change my Voice
Flashlight
Presidentes
Livraria Cultura eBooks
Amamentação
Myway Diabetes Manager
Procedimentos SUS
Aleitamento
Universo Médico
Appedatria
Guia TV BR
Jogos Mentais
Lembretes de Aniversários
Baby Names
Nó em gravata
Tempo de trabalho
aCalendar
Diário feliz PLUS
Wedding Planning
Lupa (Magnifier HD)
EarthView
ShareFood
Taximetro Pro
Night Vision Camera
MagicPlan
Compras, moda e liquidações
Pet Shop Story: Easter
Reuters
Nike+ running
Metas de Vida
Nivea Sun
iCaipirinha
Color Touch
Twitter
1001 Lugares no Brasil
minube
EasyMeasure
Prague Shopping Guide
Genéricos Brasi
Guia Médico Nacional Unimed
Apgar
TV Show Favs
O que é o que é
Lighter Free
Maze game
Toddler Animal Sounds
Pou
Procedimentos TUSS
Diabetes
bPresso.com
CliniCalc
Breastfeed
Meu diário Mensal
Psisoríase
Alarme AntiFurto
Fácil Voz Bloco de Notas
Battery Master
Faces - Photo Fun
Rastreio Correios
Presto! Remote
WiFi Manager
Fake Call & SMS
Benji Bananas
Emoji para Android
Tv Show. Tracker
SoundCloud
London Underground Tube
Festas UFSC
NET
Bouncy Bill Easter Tales
Piano Virtual
FloripaVIP
Android Massager
Receita Móvel Free
TeleListas
Evernote Hello
Palco MP3
Decolar.com Hotéis e Voos
Bússola estabilizada
Mochileiros
Photo Effects
O checklist utilizado na realização da primeira iteração de avaliações é
apresentado no Apêndice A (versão 1.0). O checklist utilizado para as
avaliações na segunda iteração e para a reavaliação dos aplicativos da
iteração 1 é apresentado no Apêndice B (versão 2.0). O formulário utilizado
para registrar as avaliações é apresentado no Apêndice D.
46
4.2 Execução da Avaliação
4.2.1 Coleta de Dados
As avaliações heurísticas foram realizadas entre outubro de 2012 e abril
de 2013. Cinco pesquisadoras realizaram as avaliações, sendo quatro delas do
GQS/INCoD/UFSC e a quinta a autora do presente trabalho. As avaliações
envolveram pesquisadores júnior com background na área de computação, na
área de usabilidade e uma pesquisadora formada em design.
A primeira etapa para a realização das avaliações foi o encontro entre
todas as pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma
avaliação heurística em conjunto, essa avaliação teve como principal objetivo a
calibração das pesquisadoras. Nesse primeiro encontro o checklist também foi
avaliado e o resultado foi a percepção de alguns problemas no mesmo.
Após a reformulação dos problemas encontrados no checklist cada
pesquisadora realizou duas avaliações individualmente. Foram selecionados
dois
aplicativos
para
a
realização
dessas
avaliações
individuais
e
posteriormente foi realizado um segundo encontro onde as avaliações de cada
uma das pesquisadoras foram confrontadas com as demais. O resultado foi o
nivelamento entre todas as pesquisadoras no que diz respeito ao entendimento
e interpretação do checklist, bem como, o entendimento de como se dariam as
avaliações.
Foi estabelecido que, para a realização das avaliações, o primeiro
passo seria executar o aplicativo e realizar uma breve análise do mesmo como
um todo. Posterior a essa primeira análise a principal função deveria ser
identificada e selecionada para dar continuidade a avaliação.
Os dados resultantes das avaliações foram armazenados em uma
planilha eletrônica do Excel Web App, aplicativo baseado em navegador que
permite editar e exibir arquivos do Excel no navegador de forma colaborativa.
Dessa forma os resultados das avaliações permaneceram unificados. Os dados
coletados podem ser observados no Apêndice E.
47
4.2.2 Equipamentos
Para a realização das avalições heurísticas foram utilizados 7
dispositivos móveis touchscreen. As Tabelas 9, 10, 11, 12, 13, 14 e 15
descrevem os equipamentos. Os dispositivos são de propriedade das
avaliadoras e/ou fornecidos pelo GQS.
Tamanho da Tela
Tabela 9: Especificações do Samsung Galaxy Ace
3.5 polegadas
Resolução da tela
320 x 480 pixels
Método touchscreen
TFT capacitive touchscreen
Sistema operacional
Android 2.3.6
Peso
113 g
Fonte: http://www.samsung.com.br
Tabela 10: Especificações do Samsung Galaxy Y GT-S5360B
Tamanho da Tela
3.0 polegadas
Resolução da tela
240 x 320 pixels
Método touchscreen
Sistema operacional
Android 2.3.5
Peso
97.5 g
Tamanho da Tela
Tabela 11: Especificações do Samsung GT-I5500B
2.8 polegadas
Resolução da tela
240 x 320 pixels
Método touchscreen
Sistema operacional
Android 2.1
Peso
102 g
48
Tabela 12: Especificações do HTC Magic
3.2 polegadas
Tamanho da Tela
Resolução da tela
320 x 480 pixels
Método touchscreen
Sistema operacional
Android 1.6
Peso
118.5 g
Fonte: http://www.htv.com/br
Tabela 13: Especificações do iPhone 4S
3.5 polegadas
Tamanho da Tela
Resolução da tela
640 x 960 pixels
Método touchscreen
Sistema operacional
iOS 5
Peso
140 g
Fonte: http://www.aple.com/br
Tamanho da Tela
Tabela 14: Especificações do Samsung Galaxy Ace Duos
3.5 polegadas
Resolução da tela
320X480 pixels
Método touchscreen
Sistema operacional
Android 2.3 Gingerbread
Peso
113 g
Tamanho da Tela
Tabela 15: Especificações do Motorola XT390
3.5 polegadas
Resolução da tela
480x320 pixels
Método touchscreen
Sistema operacional
Android 2.3
Peso
107g
Fonte: http://www.motorola.com.br
49
4.3 Análise dos dados
4.3.1 Análise subjetiva do checklist
A primeira etapa de análise dos dados e validação do checklist foi a
realização de uma análise empírica, o início dessa análise se deu em um
encontro entre todas as pesquisadoras após a primeira iteração de 50
avaliações. Previamente ao encontro criou-se um documento online onde cada
pesquisadora registrou suas impressões a cerca do checklist após a primeira
iteração das avaliações. Nesse mesmo documento foi possível que as
pesquisadoras comentassem os registros das demais, assim, antes da
realização do encontro, todas já tinham conhecimento sobre os pontos que
seriam discutidos.
Durante o encontro foram abordados os tópicos registrados e o resultado
foi a reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do
checklist. O resultado dessa avaliação foi a criação da versão 2.0 do checklist,
que pode ser obervada no Apêndice B.
Os itens reformulados podem ser observados na Tabela 16. A
modificação desses itens teve como finalidade deixá-los mais claros, objetivos
e alinhados ao escopo. Na coluna da esquerda estão os itens antes da
modificação e a coluna da direita apresenta os itens reformulados.
50
Tabela 16: Itens modificados após avaliação empírica do checklist
Itens selecionados para modificações
Itens após modificações
2. Os itens selecionados são claramente distintos dos
demais?
Os componentes interativos selecionados são claramente
distintos dos demais?
5. Todas as telas possuem identificação?
Todas as telas possuem título?
37. Utiliza o nome da tela anterior ao invés de “voltar”
para nomes de botões e links?
A opção voltar é apresentada de acordo com o padrão
dos aplicativos para esta plataforma?
39. Os títulos das telas são curtos?
Os títulos e rótulos são curtos?
41. Há padronização de cores para identificação e
sinalização das áreas do aplicativo?
Em todas as telas é possível reconhecer uma identidade
visual (marca ou nome do aplicativo, cores, etc)?
44. Os rótulos dos links descrevem adequadamente seu
conteúdo?
Os rótulos dos links descrevem adequadamente seu
conteúdo e estão de acordo com o conteúdo das telas
que abrem?
As mensagens de erro são claras apontando a causa do
erro?
62. As mensagens apontam qual a causa do erro?
64. As mensagens de erro são claras e precisas?
65. As mensagens de erro são agressivas com usuário?
As mensagens de erro são amigáveis com usuário (não
ofendem)?
82. Todo o texto fica visível na tela, independente da
orientação?
Independente da orientação e do uso do scroll, todo
conteúdo fica visível na tela, sem cortes?
85. Informações transmitidas na forma de gráficos
também são descritas textualmente?
As imagens (gráficos, ícones, etc) também são descritas
textualmente?
Nessa primeira análise foram incluídos dez novos itens. A necessidade
desses novos itens foi percebida durante a realização das avaliações, pois,
entendeu-se que alguns problemas de usabilidade encontrados durante a
utilização dos aplicativos não eram abordados no checklist. Os novos itens
podem ser observados na Tabela 17, na qual também estão apresentadas as
respectivas heurísticas as quais os novos itens foram associados.
51
Tabela 17: Itens inclusos no checklist após avaliação empírica
Heurística
Novos Itens
Oferece outras formas de feedback além do textual
(luminoso, sonoro, vibração)?
Quando uma mensagem é exibida o tempo de exibição é
suficiente para realizar a leitura?
O aplicativo pode ser fechado e não apenas minimizado?
Controle e Liberdade do Usuário
No caso de aplicativos associados a cadastro de login ou
contas de e-mail, permite o fácil acesso de mais de um
usuário?
Consistência e Padrões
As informações textuais são apresentadas de forma
padronizada? (tamanho da fonte, cor)
Flexibilidade e Eficiência de Uso
O aplicativo apresenta problemas durante a interação (trava,
botões não funcionam no primeiro clique, etc)?
Estética e Design Minimalista
O aplicativo só apresenta funções que estão habilitadas?
O cadastro de
necessárias?
usuário
exige
somente
informações
O alinhamento utilizado favorece a leitura?
Quando utiliza o scroll é somente vertical ou somente
horizontal?
Ainda nessa primeira análise do checklist foi decidido pela retirada de
quatro itens, pois se percebeu que eles não eram pertinentes ou sempre eram
verdadeiros, como por exemplo, o item 17: É possível sair da tela atual a
qualquer momento? Em dispositivos móveis sempre é possível sair da tela
atual através dos botões de controle do próprio dispositivo. Os itens eliminados
e a justificava para a eliminação podem ser observados na Tabela 18.
Tabela 18: Itens retirados após avaliação empírica do checklist
Itens Retirados
Justificativa
9. As interações propostas no aplicativo são semelhantes
Percebeu-se que nem sempre usar a metáfora é
a ações reais (como por exemplo, descartar um arquivo
necessário,
arrastando-o para a lixeira)?
interações serem consistentes com o modelo proposto
pois
considera-se mais
importante
as
pela plataforma do que com ações reais.
14. O aplicativo oferece mensagens de fechamento para
Esse item já é avaliado no item: “Para cada ação do
tarefas que envolvam um conjunto de etapas?
usuário o aplicativo oferece feedback
imediato e
adequado sobre seu status? ”
17. É possível sair da tela atual a qualquer momento?
Esse item nunca teria resposta negativa, pois sempre é
possível sair da tela atual utilizando o botão de controle
do aparelho.
46. Os dados do usuário são salvos (login, itens
Esse item está contido no item “O aplicativo evita a
buscados)?
digitação (por exemplo: guardando as respostas mais
frequentes do usuário para que ele não precise digitá-las
novamente, oferecendo opções em forma de lista,
utilizando o recurso de auto-completar, etc)?”
52
Após essa primeira análise e reavaliação do checklist foi criada uma
nova versão do mesmo contendo todas as modificações apresentadas. A nova
versão do checklist (versão 2.0) pode ser observada no Apêndice B.
Posteriormente a geração da nova versão do checklist os aplicativos que
haviam sido avaliados na primeira iteração utilizando a versão 1.0 do checklist
foram reavaliados para que seus dados refletissem a nova configuração do
checklist versão 2.0. A reavaliação dos aplicativos foi realizada em Janeiro de
2013 por quatro pesquisadoras. Os dados coletados podem ser observados na
íntegra no Apêndice E.
4.3.2 Análise estatística utilizando a Teoria da Resposta ao Item
Nesta seção serão mostrados, analisados e discutidos os resultados
gerados pela TRI referente aos 92 itens elaborados e a amostragem de 247
aplicativos para touchscreen phones.
A TRI foi mais uma ferramenta utilizada para auxiliar na validação do
checklist. O objetivo dessa análise foi realizar a avaliação dos dados obtidos
através da realização das avaliações heurísticas para que seja possível inferir
quais itens que compõe o checklist, contribuem mais para medir o traço latente,
ou seja, a usabilidade. Usando a TRI é possível avaliar a qualidade dos itens e
classificar os aplicativos em relação ao grau de usabilidade.
Para realizar essa análise foram utilizados os dados levantados através
da amostra composta por 247 avaliações. O tratamento dos dados foi realizado
utilizando o software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é
específico para auxiliar no procedimento de estimação dos parâmetros e do
traço latente.
O checklist é composto por 92 itens que estão divididos em doze
Heurísticas de Usabilidade. Cada item possui uma escala likert de resposta que
varia de ‘0’ a ‘2’, como pode ser observado na Tabela 19. Ainda na Tabela 19
pode observar-se a interpretação e um exemplo de resposta para cada item da
escala.
53
Tabela 19: Escala de respostas do cheklist
Opção
Valor
Interpretação
Exemplo
Não atende
0
Associado ao perfil negativo de
Para o Item: “As fontes utilizados favorecem a leitura?” o aplicativo de
usabilidade do aplicativo
exemplo não atende a esse requisito, pois as fontes são muito pequenas
dificultando a leitura.
Aplicativo: Benji Bananas
Atende
1
parcialmente
Associado ao perfil intermediário
Para o item: “Controles e botões se distinguem do restante do layout,
de usabilidade do aplicativo
deixando evidente que são clicáveis?” o aplicativo de exemplo atende
parcialmente, pois os componentes interativos superiores, em um primeiro
momento parecem ser somente para visualização, mas após algumas
interações com o aplicativo verificou-se que os componentes eram clicáveis,
portanto, a interação com esses componentes não é evidente.
Aplicativo: POU
Satisfaz
2
Associado ao perfil positivo de
Para o item: “O menu é esteticamente simples e claro?” o aplicativo usado
usabilidade do aplicativo
como exemplo satisfaz plenamente esse requisito, pois o menu é simples,
claro e objetivo.
Aplicativo: Google Books
Não
9
apresentado
Requisito de usabilidade não
Para o item: “É possível prever o tamanho da tela pelo tamanho do scroll?” o
pertence ao escopo do item
aplicativo utilizado no exemplo não possui scrool em nenhuma das telas,
portanto, o requisito indagado no item não é apresentado pelo aplicativo.
Aplicativo: Bounce Bill Easter Tales
O único item para o qual essa escala não se aplica é o item 48, onde a
categoria ‘2’ está associado ao perfil negativo e a categoria ‘0’ está associado
ao perfil positivo de usabilidade. Para realizar a análise o item 48 foi
recodificado onde as respostas com valor ‘2’ foram recodificadas para o valor
54
‘0’ e as respostas com valor ‘0’ foram recodificadas para o valor ‘2’, dessa
maneira, todos os 92 itens utilizam a categoria ‘2’ para representar os aspectos
positivos de usabilidade.
Para a criação da escala usabilidade dos aplicativos para touchscreen
phones é necessário atribuir valores comparáveis aos itens e aos aplicativos
para que possam ser posicionados na mesma escala. Entretanto, devido a
natureza arbitrária dos valores para posicioná-los na escala, criou-se um valor
de referência onde a média é 50 e o desvio padrão é 10. A escala criada é uma
escala (50,10) que não tem significado prático, ou seja, esta escala poderia ter
qualquer valor, onde o valor 50 representa o desempenho médio de usabilidade
dos 247 aplicativos. Para que esses valores arbitrários tenham significado
quando os itens forem posicionados na escala, o conteúdo abordado em cada
item faz com que esses valores tenham uma interpretação para o traço latente
medido, nesse caso, o traço latente é a usabilidade.
Para posicionar os aplicativos e os itens com respostas graduadas
nessa escala é necessário utilizar um modelo estatístico. Em razão da natureza
das respostas dos itens uma das opções é adotar o modelo de resposta
gradual. Esse modelo assume que categorias de respostas de item podem
estar ordenadas entre si. Pode-se então afirmar que a probabilidade de um
aplicativo j estar selecionado a uma categoria k (k = 0, 1, 2) é dada por:
Pi,k () 
1
1 e
a i ( j bi,k )

1
1 e
a i ( j bi,k 1 )
onde i é o índice do item e um item que possui 3 categorias assume a restrição
em que b=0, apresentando dois valores do parâmetro de dificuldade (b1, b2)
que deverão ser estimados, além do parâmetro de discriminação do item (a) e
os valores do traço latente () de cada aplicativo. Os parâmetros dos itens e o
traço latente do aplicativo determinarão a probabilidade de ele estar em uma
das categorias para um dado item. As Curvas Características do Item
identificam essas probabilidades. Nesse modelo deve-se ter uma ordenação
entre os parâmetros de dificuldade das categorias de um dado item, ou seja
b i,1  b i,2 .
55
O modelo descrito não será utilizado no presente trabalho, devido ao
fato que algumas categorias obtiveram poucas respostas. Em razão disso, para
análise dos dados é realizado um agrupamento de duas categorias. São
consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a
resposta “2” como a categoria “satisfaz” o requisito de usabilidade perguntado
no item. A interpretação dos resultados será a mesma, ou seja, estará sendo
criada uma escala para avaliar a usabilidade dos aplicativos, mas considerando
apenas duas categorias.
Agora para itens com resposta dicotômica foi utilizado o modelo logístico
dado por:
P(X ij  1 | , a i , b i ) 
1
1 e
a i (  j  bi )
sendo:
Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta
não satisfaz) do aplicativo j;
j o parâmetro do aplicativo, representa a nota de usabilidade do
aplicativo j;
ai o parâmetro de discriminação do item i.
bi o parâmetro de posição, também chamado de dificuldade, do item i.
O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos
aplicativos atendem determinada característica. O parâmetro ‘a’ mede quanto o
item consegue diferenciar os aplicativos que estão em um nível superior da
escala atender suas características e os aplicativos que estão em um nível
inferior da escala não atender suas características.
Na estimação dos parâmetros dos itens e na nota de qualidade dos
aplicativos, supõe-se que a distribuição das notas dos aplicativos é normal com
média 0 (zero) e desvio padrão 1 (um), escala (0,1), essa suposição é feita nos
softwares por questão de conveniência. Para divulgação dos dados é
conveniente ter uma escala que evite números negativos. Assim, optou-se por
uma distribuição das notas dos aplicativos com média 50 e desvio padrão 10,
escala (50,10).
56
4.3.2.1
Resultados
Nesta seção são mostrados, analisados e discutidos os resultados da
análise estatística gerados pela TRI referente aos 92 itens que compõem o
checklist e a amostragem de 247 aplicativos para celulares touchscreen.
Primeiramente, antes de prosseguir com a análise, é importante
ressaltar que um item pode ser eliminado por falta de informação suficiente
para conseguir medir a característica de usabilidade indagada nele ou este
item não está associado a usabilidade. O importante é que dos itens
remanescentes na análise, todos medem o mesmo traço latente, ou seja, todos
os itens estão medindo a usabilidade.
Os critérios estabelecidos para eliminação dos itens são feitos quando
os itens têm os parâmetros na escala (0,1). Os critérios foram:
• parâmetro de discriminação a<0,50;
• parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do
intervalo (-4;4)).
Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9,
10, 15, 16, 19, 21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55,
56, 63, 64, 65, 66, 67, 68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92.
Os parâmetros dos itens remanescentes no modelo dicotômico são
apresentados no Apêndice F.
Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto
significa que é muito provável que somente os melhores aplicativos analisados
atendam as especificações descritas nesses itens. Em compensação, os itens
13, 60 e 81 foram os que tiveram o menor parâmetro “b”, logo, são itens que
não discriminam aplicativos com boa usabilidade dos demais aplicativos. Para
estes itens é muito provável que praticamente todos os aplicativos analisados
atendam aos quesitos perguntados neles. Pode-se afirmar que eles devem
estar relacionados com requisitos básicos de usabilidade de um aplicativo.
Uma vez que todos os parâmetros dos itens e que todos os valores das
notas dos aplicativos estão numa mesma métrica (escala), ou seja, quando
todos
os
parâmetros
interpretáveis.
são
comparáveis,
pode-se
construir
escalas
57
As escalas são definidas por níveis âncoras, que são os pontos da
escala que serão interpretados. Esses pontos são caracterizados por um
conjunto de itens, de preferência itens âncoras, sendo que dificilmente um
instrumento com poucos itens, terá informação suficiente para caracterizar
todos os pontos da escala.
O critério adotado para o posicionamento do item na escala é feito
usando dois níveis âncora consecutivos Y e Z, com Y<Z. Um item é âncora
para o nível Z, se e somente se, obedecer simultaneamente as condições
abaixo:

P(U=1|=Z) ≥ 0,65

P(U=1|=Y) < 0,50

P(U=1|=Z) - P(U=1|=Y) ≥ 0,30
Portanto, um item é âncora se em um determinado nível âncora da
escala é marcado ‘sim’ por pelo menos 65% dos aplicativos com o mesmo nível
do traço latente e por uma proporção de no máximo 50% de aplicativos com o
nível do traço latente imediatamente anterior. Além disso, a diferença entre a
proporção de aplicativos nesses níveis de habilidade que marcaram ‘sim’ nesse
item deve ser de pelo menos 30%. Em outras palavras, para um item ser
âncora ele deve ser um item “típico” daquele nível, ou seja, bastante marcado
nas categorias ‘sim’ por aplicativos com aquele nível de traço latente e pouco
marcado com ‘sim’ por aplicativos com um nível de traço latente imediatamente
inferior (ANDRADE et al. 2000).
Uma das desvantagens desta metodologia é que não há garantia que
existirão no instrumento aplicado itens âncoras para todos os níveis âncoras
determinados. Para tanto, é fundamental que os níveis âncoras sejam
escolhidos não muito próximos uns dos outros e também que o número de
itens aplicados seja bastante grande de modo a possibilitar a construção e a
interpretação da escala de usabilidade. Adotamos aqui, os níveis âncora com
distância de um desvio padrão.
Os itens que permaneceram no checklist são posicionados em algum
ponto da escala, mesmo que não satisfaçam o critério de item âncora. Para
posicioná-los foi adotado apenas o primeiro critério, ou seja, P(U=1|=Z) ≥
0,65.
58
A Figura 13 apresenta a distribuição dos valores de usabilidade dos 247
aplicativos e o posicionamento dos itens na escala.
Itens
I81
I60
I13
I32
I47
I30
I35
I44
I80
I54
I86
I58
I76
I07
I59
I26
I33
I31
I45
I17
I04
I89
I87
I36
I34
I50
I41
I01
I48
I91
I02
I12
I90
I83
I57
I82
I25
I42
I27
I61
I11
I71
I14
I20
I62
I79
I06
I18
Figura 13: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos
Observa-se, na Figura 13, que a maior parte dos itens está posicionada
abaixo do nível 50 (referência como valor médio) e a maior parte dos
aplicativos (128) está posicionado acima do nível 50, evidenciando que a maior
parte dos itens apresentados no questionário são básicos para a usabilidade
59
dos aplicativos. Ou seja, muitos aplicativos possuem as características de
usabilidade perguntadas nos itens. Para cada aplicativo, foi medido o grau de
usabilidade representado por meio de uma nota, sendo estas apresentadas no
Apêndice G.
A Figura 14 fornece informações sobre o checklist para avaliações de
usabilidade de aplicativos para touchscreen phones, apresentando informação
total do conjunto de itens. A partir da figura é possível identificar que a
informação do teste é maior na região abaixo dos 50, o que já era esperado
tendo em vista que a maior parte dos itens ficaram posicionados nessa região.
Assim, pode-se concluir que o checklist proposto é mais indicado para medir
aplicativos que apresentam baixa usabilidade, logo, o erro da nota para estes
aplicativos é menor pois existem muitos aplicativos posicionados nessa área.
Em contrapartida para os aplicativos que estão posicionados acima dessa
região o erro padrão da nota é maior, pois existe pouca informação nessa área.
Figura 14: Curva de Informação do Instrumento de avaliação heurística de aplicativos para
touchscreen phones
4.3.2.1.1 Itens eliminados
A construção de uma escala de medida de usabilidade, ou qualquer
outra escala prática, necessita de reflexões práticas referente ao assunto que
60
se está propondo medir (TEZZA, 2009). Dessa maneira nesta seção é discutido
a eliminação dos itens sob o ponto de vista prático.
A Tabela 20 apresenta os cinco itens eliminados referentes a heurística
Visibilidade e Status do Sistema.
Tabela 20: Itens eliminados referentes a heurística Visibilidade e Status do Sistema
Item
Descrição
3
Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da
rede?
5
8
9
Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)?
10
Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura?
A Heurística ‘Visibilidade e status do sistema’ refere-se a informar ao
usuário sobre sua localização dentro do sistema e quaisquer mudanças do
estado do mesmo. O item 3, ‘Prioriza mensagens relativas a informações
críticas e contextuais como o status da bateria e status da rede?’, por exemplo,
elaborado com base em Billi et al. (2010) defende que o usuário deve ter
acesso constante a informações como status da bateria e da rede, que
interferem diretamente em sua interação. Contudo esse item não possui a
capacidade de diferenciar os aplicativos em termos de usabilidade, bem como,
os demais itens dessa heurística que foram eliminados.
Tabela 21: Itens eliminados referentes a heurística Controle e Liberdade do Usuário
Item
Descrição
15
16
É possível prever o tamanho da tela pelo tamanho do scroll?
19
O usuário pode sair do aplicativo e retornar do ponto onde parou?
21
O usuário pode desfazer (undo) uma ação?
22
O usuário pode refazer (redo) uma ação?
23
Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique
visível?
24
Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto?
Os itens 15, 16, 19, 21, 22, 23 e 24 apresentados na Tabela 21, referemse a heurística ‘Controle e liberdade do usuário’. O item 15 ‘O aplicativo pode
ser fechado e não apenas minimizado?’ foi elaborado após a realização da
análise subjetiva do checklist, de uma maneira geral, pode-se concluir que o
61
item está mais relacionado com a usabilidade do aparelho em si do que com a
usabilidade do aplicativo, pois o aplicativo não ser encerrado após o uso
prejudica o desempenho do dispositivo e não do aplicativo. Pode-se inferir que
esta característica está relacionada com um contexto mais amplo de
usabilidade e merece mais estudos posteriores.
O item 19 ‘O usuário pode sair do aplicativo e retornar do ponto onde
parou?’ foi elaborado com base em Zaibon e Shiratuddin (2012) onde os
autores afirmam que interrupções devem ser tratadas de forma natural pelo
sistema, oferecendo ao usuário a possibilidade de reiniciar imediatamente suas
ações. Esse item pode ser considerado importante para a usabilidade dos
aplicativos, pois interrupções em celulares são constantes, como por exemplo,
o recebimento de chamadas, mensagens e e-mails. Por esse motivo, torna-se
importante que o usário posso retomar, do ponto onde parou, as tarefas que
estava realizando no dispositivo. Porém esse item não consegue discriminar os
aplicativos em termos de usabilidade.
Os itens 21 ‘O usuário pode desfazer (undo) uma ação?’ e 22 ‘O usuário
pode refazer (redo) uma ação?’ foram itens que levantaram muitas dúvidas
entre as pesquisadoras durante a realização da avaliação subjetiva do
checklist, pois aplicativos geralmente possuem tarefas mais simples de serem
realizadas e não oferecem, e muitas vezes nem precisam oferecer, opções
para desfazer/refazer uma ação. Conclui-se que as dúvidas levantadas eram
pertinentes e foram confirmadas através da eliminação dos itens.
Tabela 22: Itens eliminados referentes a heurística Consistência e Padrões
Item
Descrição
28
Itens não clicáveis deixam evidente que não o são?
29
O nome do botão/ícone é consistente com o nome da tela que abre?
Os itens 28, ‘Itens não clicáveis deixam evidente que não o são?’ e 29
‘O nome do botão/ícone é consistente com o nome da tela que abre?’, referemse a heurística ‘Consistência e padrões’ e estão apresentados na Tabela 22.
Essa heurística, proporcionalmente, foi a heurística que menos teve itens
eliminados. Apesar desta heurística ter forte correlação com as heurísticas
tradicionais suas definições foram reinterpretadas e ajustadas para dispositivos
62
móveis. Pode-se então presumir que o reajuste realizado foi pertinente e essa
heurística pode ser considerada relacionada ao escopo do conjunto de
heurísticas desenvolvidas para dispositivos móveis. Essa característica vem de
encontro com os resultados encontrados por Salazar et al. (2012) através da
revisão do estado da arte realizado, que teve como objetivo fornecer uma visão
geral sobre o conjunto existente de heurísticas de usabilidade para touchscreen
phones. Os autores afirmam que entre os artigos resultantes dessa revisão, a
heurística ‘Consistência e padrões’ foi uma das mais citadas, indicando um
consenso comum sobre a relevância dessa heurística também para telefones
móveis.
Tabela 23: Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança
Item
Descrição
39
A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma?
40
Em cada opção do menu, a primeira palavra é a mais importante?
43
Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)?
46
Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das
telas que abrem?
A Tabela 23 apresenta os itens 39, 40, 43 e 46 que se referem a
heurística ‘Reconhecimento em vez de lembrança’. Esta heurística, segundo
Nielsen (1994) deve evitar acionar a memória do usuário o tempo inteiro,
fazendo com que cada ação precise ser revista mentalmente antes de ser
executada. As características que essa heurística aborda estão intimamente
relacionadas com os sistemas operacionais que os dispositivos possuem, pois
espera-se que os aplicativos se comportem de acordo com a plataforma para
qual eles foram desenvolvidos. Se assim for, os usuários não precisarão
lembrar como são realizadas as tarefas do aplicativo e sim recordar-se como
os mesmos comandos são executados em seu sistema operacional.
Tabela 24: Itens eliminados referentes a heurística Flexibilidade e Eficiência de uso
Item
Descrição
49
O propósito/função do aplicativo é claro?
51
O aplicativo é carregado rapidamente?
52
Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code?
53
O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela
para outra com apenas um click sem ter que ir para uma outra página antes?
55
Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas
mais rápidas e poderosas?
56
É possível personalizar a interface de acordo com a preferência de cada usuário?
63
Na Tabela 24 podem ser observados os itens 49, 51, 52, 55 e 56, estes
referem-se a heurística ‘Flexibilidade e eficiência de uso’. O item 52 ‘Oferece
mecanismos de input alternativos como por voz, por lista, por foto ou por QRcode?’ é um item que pode ser considerado importante para dispositivos
móveis, pois na interação com esses dipositivos os usuários geralmente estão
envolvidos em mais distrações e buscam concluir rapidamente as tarefas e
muitas vezes não estão com as mãos disponíveis, por esses motivos, entendese que esse item é importante para a usabilidade dos aplicativos. Porém esse
item não se mostrou pertinente ao escopo do cheklist proposto.
Através da análise prática percebe-se que é muito difícil um aplicativo
cumprir a característica indagada no item 55 ‘Os usuários experientes têm
acesso a um caminho preferencial, claramente sinalizado, para ferramentas
mais rápidas e poderosas?’. Permitir que os usuários criem caminhos
preferenciais demanda mais complexidade ao aplicativo e consequentemente
faria que o mesmo ficasse maior, exigindo mais espaço de armazenamento.
Entende-se que espaço, em dispositivos móveis, muitas vezes é restrito, pois
estes possuem recursos limitados, portanto, criar funções além das
necessárias nem sempre é viável.
O item 56 ‘É possível personalizar a interface de acordo com a
preferência de cada usuário?’ foi elaborado com base em Billi et al. (2010)
onde os autores sugerem que baseado nos dados do usuário e de contexto, o
sistema deve, sempre que possível, apoiar e sugerir opções de personalização
para ações frequentes. Esse item não conseguiu distinguir os aplicativos com
boa e má usabilidade, por isso foi eliminado. Do mesmo modo, esse item,
como o anterior, também exige mais complexidade do aplicativo e
consequentemente mais espaço de armazenamento, portanto, nem sempre é
viável disponiblizar tais opções para o usuário.
64
Tabela 25: Itens eliminados referentes a heurística Pouca interação homem/dispositivo
Item
Descrição
72
O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal?
73
O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que
ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)?
74
Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso
de abreviações?
75
O cadastro de usuário exige somente informações necessárias?
Os itens 72, 73, 74 e 75 referem se a heurística ‘Pouca interação
homem/dispositivo’ e são apresentados na Tabela 25. Esta foi uma das
heurísticas adicionais propostas levando em consideração as características
específicas dos dispositivos móveis. Destaca-se o fato dessa heurística ter
quase todos os seus itens eliminados, somente um item permaneceu após a
análise estatística. A eliminação desses itens pode ter sido ocasionada por falta
de informação suficiente para conseguir medir a característica de usabilidade
indagadas nos itens.
O item 72 ‘O aplicativo evita o uso do scroll, especialmente quando o
dispositivo está na posição horizontal?’ foi elaborado com base em Hashim et
al. (2010) e Travis (2011) onde os autores afirmam que os os aplicativos devem
evitar, o uso de scroll, especialmente para a visualização de links e quando o
dispositivo for utilizado na posição horizontal (WESSELS et al., 2011). Contudo,
é possível que pelo tipo de interação mais direta do usuário com um celular
touchscreen, o incômodo gerado pelo uso do scroll seja relativizado.
O item 73 ‘O aplicativo evita a digitação (por exemplo: guardando as
respostas mais frequentes do usuário para que ele não precise digitá-las
novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)?’ e 74 ‘Em situações de busca, possui um mecanismo de
entrada de dados tolerante a erros de digitação e uso de abreviações?’ são
indicações das guias de estilo do Android. As guias de estilo indicam que os
aplicativos devem saber as preferências dos usuários conforme o mesmo vai
utilizando os recursos disponíveis. O aplicativo não deve pedir que os usuários
façam as mesmas escolhas repetidamente, portanto deve-se disponibilizar,
através de um fácil acesso, as escolhas realizadas anteriormente. Ruach
(2011) e Nilsson (2009) também chamam a atenção para essa questão e
65
afirmam que para reduzir a entrada de dados, pode-se fornecer recursos como
auto-completar, caixas-texto com sugestões, botões, menus, listas com valores
pré-definidos. Podem ser utilizados dados do histórico e de personalização,
como a cache de respostas usadas frequentemente. Rauch (2011) e Lo e Tan
(2012) ressaltam que devem ser tolerados erros de digitação e abreviações.
Para Billi et al. (2010) pelo tamanho do dispositivo móvel e seu contexto
de uso (em movimento, com uma das mãos, etc), é importante que seja
reduzido o esforço de interação. Porém, devido ao fato da heurística ‘Pouca
interação homem/dispositivo’ ter apresentado muitos itens eliminados, indica-se
que seja realizada uma nova avaliação da mesma. Sugere-se que os itens
sejam repensandos, revisados e reformulados no sentido de determinar a
importância ou não dessa heurística.
Tabela 26: Itens eliminados referentes a heurística Interação física e ergonomia
Item
Descrição
77
Possui links com tamanho adequado ao clique?
78
Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?
A Tabela 26 apresenta os itens 77 e 78 que referem-se a heurística
‘Interação física e ergonomia’. Esta heurística também é uma das heurísticas
adicionais propostas. Dos seis itens que a compunham, somente dois foram
eliminados. Pode-se inferir que essa heurística é relevante para dispositivos
móveis touchscreen. Os itens eliminados foram os itens 77 ‘Possui links com
tamanho adequado ao clique?’ e 78 ‘Possui espaço suficiente entre botões e
links, evitando que o usuário selecione outro elemento?’, estes itens foram
elaborados com base em Rauch (2011), Lo e Tan (2012) e Travis e Tay (2011)
onde os autores afirmam que os controles de navegação mais comuns devem
estar ao alcance do usuário, podendo ser pressionados facilmente com o
polegar. Os autores ainda sugerem que os elementos de controle sensíveis ao
toque devem ter tamanho e espaçamento adequados para que os usuários
possam tocá-los facilmente com os dedos, e, no caso de links contidos em
texto, devem utilizadas aproximadamente três palavras. Destaca-se que os
itens eliminados referem-se a presença de links nas interfaces dos aplicativos,
pode-se inferir então que os aspectos relacionados a presença de links não
66
interferem significativamente na usabilidade dos aplicativos, até mesmo por
não serem recorrentes.
Tabela 27: Itens eliminados referentes a heurística Legibilidade e Layout
Item
Descrição
84
A interface do aplicativo se adapta a rotação da tela?
85
Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes?
88
As imagens (gráficos, ícones, etc) também são descritas textualmente?
92
Quando utiliza o scroll é somente vertical ou somente horizontal?
Os itens 84, 85, 88 e 92 (Tabela 27) referem-se a heurística ‘Legibilidade
e layout’ outra heurística criada levando em consideração as características
específicas dos dispositivos móveis.
O item 88 ‘As imagens (gráficos, ícones, etc) também são descritas
textualmente?’ foi elaborado com base em Travis e Tay (2011) onde os autores
afirmam que o aplicativo deve fornecer descrição textual como alternativa às
informações veiculadas com gráficos. O item 92 ‘Quando utiliza o scroll é
somente vertical ou somente horizontal?’ foi elaborado pelas pesquisadoras do
GQS durante a avaliação subjetiva do checklist, pois foi percebido que alguns
aplicativos utilzavam em suas telas scroll horizontal e vertical ao mesmo tempo,
dificultando a exibição do conteúdo.
A heurística ‘Legibilidade e layout’ era composta por onze itens e
somente quatro itens foram eliminados demonstrando assim a relevância da
mesma. Pode-se afirmar que as características indagadas nos itens
pertencentes a essa heurística conseguem medir a usabilidade dos aplicativos
e diferenciar os aplicativos com boa e má usabilidade.
Tabela 28: Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de
Erros e Ajuda, diagnóstico e recuperação de erros
Item
Descrição
37
Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?
38
Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso,
exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock
control usada pelos sistemas Android e Apple)?
64
O aplicativo permite fácil recuperação de erros?
65
As mensagens de erro são claras apontando a causa do erro?
66
As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo
um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação?
67
As mensagens de erro são amigáveis com usuário (não ofendem)?
68
O aplicativo possui uma opção de ajuda?
69
É fácil localizar a ajuda?
70
A ajuda é de fácil compreensão?
67
As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda,
diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados, os
mesmos estão apresentados na Tabela 28. Essas heurísticas não se
mostraram capazes de diferenciar os aplicativos em termos de usabilidade. A
eliminação desses itens vem de encontro com as afirmações de Salazar et al.
(2012) onde os autores expoem o resultado da revisão do estado da arte
realizado pelos mesmos. Os resultados indicaram que heurísticas, tais como
Prevenção de Erros e Ajuda e Documentação basicamente não foram citadas
nos artigos encontrados. Esses resultados indicam que, pela maioria dos
autores, essas heurísticas são consideradas irrelevantes para dispositivos de
celulares touchscreen.
Durante a realização das avaliações percebeu-se que alguns desses
itens muitas vezes eram discutíveis, por exemplo os itens 68 ‘O aplicativo
possui uma opção de ajuda?’, 69 ‘É fácil localizar a ajuda?’, 70 ‘A ajuda é de
fácil compreensão?’ e o item 37 ‘Nas primeiras interações do usuário com o
aplicativo são mostradas instruções básicas?’. Pode-se considerar de uma
maneira geral que essas características são importantes para a usabilidade,
mas isso nem sempre é verdadeiro, em muitas situações essas características
não são importantes. Aplicativos muitos simples, geralmente, não precisam de
ajuda e nem instruções básicas para a sua utilização. As guias de estilo do
iOS, que orientam o desenvolvimento dos aplicativos para essa plataforma,
recomendam que os aplicativos sejam intuitivos e fáceis de usar para que os
usuários não precisem de conteúdo de ajuda, pois os usuários de dispositivos
móveis não tem tempo nem desejo de ler um grande conteúdo de ajuda, além
disso, o conteúdo de ajuda ocupa espaço de armazenamento, que em
dispositivos móveis é restrito.
Em contrapartida o item 38 ‘Os botões e controles que desencadeiam
ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos
desafiadores ou uma confirmação do usuário (como por exemplo a técnica
slide-to-unlock control usada pelos sistemas Android e Apple)?’ foi elaborado
com base em Rauch (2011) onde o autor sugere que sejam fornecidas ações
de confirmação para determinadas ações, como excluir. As guias de estilo do
Android reforçam esse ideia quando indicam que em algumas situações é uma
68
boa ideia pedir ao usuário que ele confirme a ação que ele está executando
antes de prosseguir. As guias de estilo do iOS abordam essa questão e
afirmam que os usuários esperam ter uma chance de confirmar a sua intenção
de realizar uma ação potencialmente irreversível. O item 38 pode ser
considerado importante em relação a usabilidade dos aplicativos. É importante
lembrar que dispositivos móveis são usados em ambientes diversos e com
muita distração, portanto pode ocorrer que o usuário execute uma ação
irreversível por engano ou por um toque impreciso, justifica-se assim a
importância do item para prevenir que o usuário cometa erros ou execute
ações de forma inadvertida. A eliminação deste item, não significa que ele não
represente uma característica importante de usabilidade, todavia, não se
apresentou alinhado ao checklist desenvolvido.
Os itens 64 ‘O aplicativo permite fácil recuperação de erros?’, 65 ‘As
mensagens de erro são claras apontando a causa do erro?’, 66 ‘As mensagens
de erro, quando possível proveem uma ou mais opções de navegação, como,
por exemplo um link de "Voltar" para retornar à página anterior, um link
"Repetir" para tentar repetir a transação?’ e 67 ‘As mensagens de erro são
amigáveis com usuário (não ofendem)?’ referem-se e a heurística
‘Ajuda,
diagnóstico e recuperação de erros’ e foram todos eliminados após a análise
estatística. Nielsen (1994) recomenda que as mensagens de erro devem ser
expressas de forma clara (sem códigos), indicando precisamente o problema, e
sugerindo construtivamente uma solução. Porém quando se trata de aplicativos
para dispositivos móveis touchscreen essa heurística pode ser considerada
irrelavante.
Compreende-se que os 44 itens foram eliminados por apresentarem
baixo poder de discriminação, ou seja, não possuem capacidade de diferenciar
aplicativos com boa usabilidade dos aplicativos com usabilidade ruim. Essa
capacidade é uma importante característica que reflete a qualidade de um item.
Um bom item é aquele que discrimina os aplicativos com desempenho superior
daqueles com desempenho inferior. Entende-se que o checklist proposto é
cumulativo, isso equivale a dizer que os aplicativos que possuem as melhores
avaliações, provavelmente, terão todas as caracteristicas indagadas nos itens
mais fáceis e provavelmente também terão as características indagadas nos
69
itens mais difíceis.
De forma geral, as questões que foram eliminadas eram atendidas por
grande parte dos aplicativos ou eram atendidas de forma distribuída, tanto por
aplicativos classificados com má quanto com boa usabilidade. Essa situação
indica que tais questões não se mostraram eficientes para diferenciar
aplicativos com boa usabilidade. Contudo, seria necessário um estudo mais
detalhado para confirmar se tais questões realmente não se referem a
questões
de
usabilidade,
que
poderiam
ser
úteis
no
processo
de
desenvolvimento de aplicativos, por exemplo.
4.3.2.1.2 Escala de Medida do Grau de Usabilidade
Com o objetivo de realizar uma interpretação qualitativa dos valores
obtidos com a aplicação do checklist, permitindo identificar em que nível de
grau de usabilidade os aplicativos avaliados se encontram, bem como em quais
aspectos atendem ou não questões de usabilidade, é construída uma escala de
medida do grau de usabilidade. A escala de medida é uma escala arbitrária
onde o importante são as relações de ordem existentes entre seus pontos e
não necessariamente sua magnitude (ANDRADE et al. 2000). A construção da
escala permite identificar quais requisitos correspondem ao maior ou menor
grau de usabilidade.
Na Tabela 29, estão as características referentes aos 4 níveis do grau
de usabilidade. Os itens que compõem cada nível da escala, bem como a
heurística as quais eles pertencem podem ser observados no Apêndice I.
A definifição dos níveis da escala foi realizada pelas pesquisadoras do
GQS. Os níveis apresentados na escala são provenientes da região da escala
onde há informação disponível (a partir do nível 20 até o nível 60). Após a
definição da escala foi realizada a interpretação de cada um dos níveis, onde
foram analisados o conjunto de itens que os compõem e que caracterizam
cada nível.
70
Tabela 29: Escala de Medida do Grau de Usabilidade
Nível
30
40
50
60
Descrição
Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen
phones quase sempre ou sempre.....
Evitam abreviaturas e utilizam o mesmo idioma em textos.
Apresentam os links de forma consistente entre as telas.
Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos.
Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo.
As funções similares são apresentadas de forma semelhante.
Em campos onde há a necessidade de inserção de dados isso é evidente.
Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com
qualquer uma das mãos.
Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário.
Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente
em relação ao plano de fundo e são apresentados de forma padronizada.
Permitem que as funções mais utilizadas sejam facilmente acessadas.
Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções
diferentes são apresentadas de maneira distinta ao usuário.
Possibilitam o retorno a tela anterior a qualquer momento.
Possuem navegação consistente entre as telas e os títulos das telas descrevem
adequadamente o seu conteúdo e possuem o mesmo título quando o conteúdo é o mesmo.
As informações exibidas somente estão relacionadas com a tarefa que está sendo executada.
Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica
e natural, deixando claro o próximo passo para realizar a tarefa.
O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de
plataforma na disposição dos dados e mensagens mais importantes..
Possuem feedback imediato e adequado sobre seu status para cada ação do usuário.
Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o
espaçamento entrelinhas.
Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são
compreensíveis e intuitivos.
Não apresentam problemas durante a interação.
Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais
detalhados.
Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos
selecionados se distinguem dos demais.
Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis
menus e funções comuns do aplicativo.
Permitem identificar o número de passos necessários para a realização de uma tarefa e
também permitem que o usuário cancele uma ação em progresso.
Seguem os padrões da plataforma para a navegação principal.
Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil
acesso de mais de um usuário.
Considera-se que o nível 30 possui, na escala proposta, um grau de
exigência de usabilidade baixo, portanto, os itens que o compõem abordam
requisitos básicos de usabilidade. A heurística de usabilidade predominante
neste nível é a heurística ‘Consistência e Padrões’, ligada à organização das
informações na interface de forma que o aplicativo ofereça uma navegação
consistente entre as telas e permita que o usuário utilize conhecimentos
adquiridos na interação com outros aplicativos. Essa heurística tem como
objetivo estabelecer um padrão, ou seja, coerência na exibição das
informações. A utilização de um padrão permite que o usuário consiga
reconhecer os elementos, rótulos e ações. Em touchscreen phones,
71
caracterizados por possuírem um pequeno espaço de exibição, o usuário está
mais suscetível a desistência ou perda de foco, portanto eles precisam
assimilar as informações de uma maneira rápida diminuindo as chances de
falharem ao tentar executar uma ação.
Na escala proposta, considera-se o grau de usabilidade de nível 40
maior que o nível 30, sendo assim, os itens que representam o nível 40
possuem maior exigência que os itens que representam o nível 30. Entende-se
que o checklist proposto é cumulativo, o que significa dizer que aplicativos que
apresentam as características abordadas pelo nível 40 provavelmente
apresentam também as características abordadas pelos itens do nível 30.
Os itens pertencentes ao nível 40 estão distribuídos entre as 9
heurísticas que compõem o checklist, porém a heurística mais presente nesse
nível novamente é a heurística ‘Consistência e Padrões’ seguida da heurística
‘Legibilidade e layout’.
A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais
baixos da escala tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim,
pode-se concluir que essa heurística consegue avaliar muito bem os aplicativos
com baixa usabilidade.
O próximo nível da escala é o nível 50, o que significada dizer que os
aplicativos que apresentam as características abordadas pelo nível 50
provavelmente também apresentam as características abordadas pelos níveis
30 e 40. O nível 50 pode ser considerado como sendo um grau de usabilidade
médio, portanto, os itens que compõem essa heurística abordam requisitos de
usabilidade não tão fáceis quanto os níveis inferiores e também não tão difíceis
como no nível superior. As heurísticas predominantes nesse nível são as
heurísticas ‘Visibilidade do status do sistema’, ‘Legibilidade e layout’ e
‘Flexibilidade e eficiência de uso’.
A heurística ‘Visibilidade do status do sistema’ aborda as características
que permitem que o usuário tenha conhecimento de todas as informações
importantes sobre o status do aplicativo e das tarefas que ele está executando
(NIELSEN, 1994). O aplicativo deve manter o usuário informado sobre o que
está acontecendo, fornecendo um feedback adequado dentro de um tempo
razoável.
72
A heurística ‘Legibilidade e layout’ é uma das heurísticas adicionais
propostas e refere-se as características específicas de layout que os
dispositivos touchscreen phones apresentam. Os aplicativos para esses
dispositivos devem levar em consideração as diferentes condições de
iluminação, o contraste entre texto e fundo ou ícones e fundo, também é
importante limitar o número de cores utilizadas (SALAZAR et al. 2012).
A heurística ‘Flexibilidade e eficiência de uso’ diz respeito a adaptação
da interface ao contexto e as necessidades do usuário, ou seja, a interface
deve apresentar eficiência de uso (NIELSEN, 1994). O aplicativo deve ser de
fácil interação para usuários inexperientes e ao mesmo tempo deve permitir
que os usuários mais experientes consigam personalizar ações frequentes.
Essa heurística é especialmente importante no contexto de aplicativos para
celulares touchscreen que apresentam uma interação mais rápida e
fragmentada.
Essas três heurísticas que compõem, predominantemente, o nível 50
tem a capacidade de diferenciar aplicativos com usabilidade média. Pode-se
então dizer que características relacionadas a essas heurísticas agregam maior
grau de usabilidade aos aplicativos em comparação com a heurística
‘Consistência e Padrões’. Conclui-se que aspectos relacionados a consistência
e padrões são mais fáceis de serem cumpridos pelos aplicativos. Após estas
características serem cumpridas o que diferencia os aplicativos para um nível
de usabilidade um pouco maior são os aspectos relacionados a Visibilidade do
status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso.
O nível mais alto da escala é o nível 60, portanto, aplicativos que
apresentam as características abordadas pelos itens que compõem esse nível
possivelmente apresentam também as características abordadas nos itens dos
níveis anteriores. Somente quatro heurísticas compõem esse nível. Sendo a
heurística ‘Controle e liberdade do usuário’ a heurística dominante, essa referese ao controle do usuário sobre sua navegação, como quando optam por
engano por uma funcionalidade que não pretendiam. Em situações assim, o
usuário deseja sair da funcionalidade errada e retornar a tarefa a partir de
algum ponto sem precisar percorrer um longo diálogo (NIELSEN, 1994). Dessa
maneira o usuário deve sempre poder sair da tela atual, cancelar uma ação
73
executada ou uma ação em progresso.
No nível 60, as características de controle e liberdade do usuário são o
aspecto principal. Já no nível 30 os principais aspectos estão relacionados a
consistências e padrões. Essa distinção permite concluir que os aspectos
abordados no nível 60, quando comparados aos aspectos abordados no nível
30, exigem um grau maior de usabilidade. Pode-se afirmar que características
relacionadas ao controle e liberdade do usuário agregam maior grau de
usabilidade que características relacionadas a consistências e padrões.
Embora a falta de padrões e consistência torne a interação com o
aplicativo mais difícil, a presença dessas falhas provavelmente não impedirão
que os usuários realizem determinada tarefa ou ação. Por exemplo, possuir
botões com tamanho adequado ao clique (item 76) pode facilitar a interação do
usário com o aplicativo, mas dificilmente impedirá que o usuário conclua suas
ações. Já problemas ligados ao controle e liberdade do usuário podem impedir,
ou dificultar expressivamente a realização de determinada ação. Por exemplo,
impedir que o usuário cancele uma ação em progresso (ex.: download)(item
20), pode impedir que o usuário de continuidade a uma tarefa ou alterne para
outra tarefa que ele deseja realizar.
Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor
nível da escala, não apresentam nem as características básicas de usabilidade.
4.3.2.1.3 Checklist proposto
Como resultado da análise estatística do checklist, uma nova versão do
mesmo foi proposta. A nova versão pode ser observada na Figura 15.
Como escala de resposta aos itens do checklist é adotada uma escala
ordinal com três opções:
Sim (Se o aplicativo estiver de acordo com o item);
Não (se não estiver de acordo com o item) e
Não se aplica (caso o item não possa ser avaliado ou não seja
pertinente ao escopo da aplicação).
É importante destacar que a opção ‘parcial’ não está presente na nova
configuração do checklist. Esta categoria foi agrupada a categoria ‘não’.
74
Avaliador:
Data:
Aplicativo/versão:
Sistema:
Dispositivo:
Heurísticas
Questões
Visibilidade do status do
sistema
1. Para cada ação do usuário o aplicativo oferece feedback imediato e
adequado sobre seu status?
2.
Os componentes interativos selecionados são claramente distintos
dos demais?
3.
As mensagens sobre o status do aplicativo possuem uma
linguagem clara e concisa?
4.
Todas as telas mantêm acessíveis menus e funções comuns do
aplicativo?
5.
Fornece um update do status para operações mais lentas?
6.
O significado de símbolos e ícones são compreensíveis e intuitivos?
7.
As informações são dispostas em uma ordem lógica e natural?
Anotações:
Controle e Liberdade do
Usuário
8.
É o usuário quem inicia e encerra tarefas e não o aplicativo?
9.
É possível identificar o número de passos necessários para a
realização de uma tarefa?
10.
É possível retornar a tela anterior a qualquer momento?
11. No caso de aplicativos associados a cadastro de login ou contas de
e-mail, permite o fácil acesso de mais de um usuário?
12. O usuário pode cancelar uma ação em progresso (ex.: download)?
13. O aplicativo deixa claro qual o próximo passo para realizar a tarefa?
Anotações:
14. As telas com o mesmo tipo de conteúdo possuem o mesmo título?
15. Controles e botões se distinguem do restante do layout, deixando
evidente que são clicáveis?
16. Todas as informações textuais do aplicativo utilizam o mesmo
idioma?
17. Funções diferentes são apresentadas de maneira distinta ao
usuário?
18. Funções semelhantes são apresentadas de forma similar?
19. Controles que realizam a mesma função ficam em posições
semelhantes na tela?
20. A forma de navegação é consistente entre as telas no aplicativo?
21. Os links são tratados de forma consistente entre as telas?
22. As informações textuais são apresentadas de forma padronizada?
(tamanho da fonte, cor)
Anotações:
23. Os títulos e rótulos são curtos?
24. Os dados e mensagens mais importantes encontram-se na posição
padrão dos aplicativos para esta plataforma?
Reconhecimento em vez de
lembrança
25. O aplicativo utiliza em seus textos e rótulos, uma linguagem
habitual e conhecida pelo usuário?
26. Os títulos das telas descrevem adequadamente seu conteúdo?
27.
Em campos onde há a necessidade de inserção de dados isso é
evidente?
N6
S7
NA8
75
Anotações:
Flexibilidade e Eficiência de
Uso
28. O aplicativo funciona corretamente, sem apresentar problemas
durante a interação (trava, botões não funcionam no primeiro
clique, etc)?
29. As tarefas são relativamente simples de serem executadas?
30. As funções mais utilizadas são facilmente acessadas?
31. O aplicativo utiliza objetos (ícones) ao invés de botões?
Anotações:
32. São exibidas apenas informações relacionadas a tarefa que esta
sendo realizada?
33. São usados textos somente quando estes são realmente
indispensáveis?
34. Em textos o uso de abreviaturas é evitado?
35. O menu é esteticamente simples e claro?
36. O aplicativo exibe quantidades pequenas de informações em cada
tela?
Anotações:
Pouca interação
homem/dispositivo
37. A navegação do aplicativo é intuitiva?
Interação Física e Ergonomia
38. Possui botões com tamanho adequado ao clique?
Anotações:
39. A navegação principal encontra-se na posição padrão dos
aplicativos para esta plataforma?
40. Os botões e controles podem ser facilmente acessados com
qualquer uma das mãos ou há opção para destro ou canhoto?
41. A área clicável dos botões e links ocupa toda a dimensão dos
mesmos?
Anotações:
42. O espaçamento entrelinhas utilizado favorece a leitura?
43. As fontes utilizadas favorecem a leitura?
44. Os ícones possuem contraste suficiente em relação ao plano de
fundo?
45. Os textos tem contraste suficiente em relação ao plano de fundo?
46. As imagens possuem cor e detalhamento favoráveis a leitura em
uma tela pequena?
47. O aplicativo realça conteúdos mais importantes, deixando-os
maiores, mais brilhosos, negrito ou mais detalhados?
48. O alinhamento utilizado favorece a leitura?
Anotações:
Figura 15: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen
phones
Legenda:
N - Não
S – Sim
76
5
DISCUSSÃO
A partir da análise realizada foi possível identificar estatiscamente quais
itens que compõem o checklist realmente medem o mesmo traço latente, ou
seja, os itens que contribuem mais para medir a usabilidade. Os 44 itens que
apresentaram problemas, ou seja, não contribuíram para medir a usabilidade,
foram eliminados do checklist. Restando, assim, 48 itens para compor o
mesmo e para construir a escala de medida do grau de usabilidade. Com base
na análise, conclui-se também que o checklist é ideal para medir aplicativos
com baixa usabilidade.
Os resultados alcançados indicam que, a princípio, o conjunto de
heurísticas resultante após a análise estatística é válido e portanto, mede o
grau de usabilidade dos aplicativos para dispositivos móveis touchscreen
phones. Dentre as doze heurísticas propostas inicialmente, nove heurísticas
podem ser consideradas pertinentes ao escopo dos aplicativos para
touchscreen phones e foram mantidas no checklist.
Destaca-se a importância da heurística ‘Consistência e padrões’ na
avaliação
dos
aplicativos.
Essa
heurística
mostrou-se
presente,
predominantemente, nos dois níveis mais baixos da escala e, portanto,
consegue avaliar muito bem os aplicativos com baixa usabilidade. A heurística
‘Consistência e padrões’ aborda os aspectos mais básicos de usabilidade dos
aplicativos.
Já no nível mais alto da escala a heurística predominante é a heurística
‘Controle e liberdade do usuário’. Pode-se concluir que os aspectos ligadas a
essa heurística agregam maior grau de usabilidade aos aplicativos.
Em relação as novas heurísticas propostas, a heurística ‘Pouca interação
homem/dispositivo’ merece mais estudos, pois apresentou muitos itens
eliminados, restando somente um item para compor a mesma. Sugere-se,
então, que os itens eliminados sejam reformulados e reavaliados ou novos
itens sejam criados no sentido de determinar a validade ou não dessa
heurística. Em contrapartida as novas heurísticas ‘Interação física e ergonomia’
e ‘Legibilidade e layout’ apresentaram poucos itens eliminados, portanto pode-
77
se inferir que as mesmas são relevantes para dispositivos móveis touchscreen
e os itens pertencentes a essas heurísticas conseguem medir a usabilidade
dos aplicativos e diferenciar os aplicativos com boa e má usabilidade
As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda,
diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados.
Evidenciando, assim, que essas heurísticas podem ser consideradas
irrelevantes para dispositivos celulares touchscreen. A eliminação dessas
heurísticas vem de encontro com as análises teórica e prática sobre as
mesmas.
5.1 Ameaças à validade
No desenvolvimento de pesquisas científicas faz-se necessário observar
ameaças que possam interferir na validade e confiabilidade dos resultados. No
presente trabalho pode-se considerar como uma ameaça o fato das avaliações
heurísticas requererem conhecimento e experiências dos pesquisadores. A
ação de controle tomada frente a essa ameaça foi a realização da calibração
das pesquisadoras.
Outra ameaça que deve ser considerada são as diferentes características
apresentadas pelos dispositivos celulares touchscreen. Essas diferenças
podem influenciar os resultados das avaliações heurísticas. A ação de controle
adotada para diminuir essa ameaça é a utilização de sete aparelhos distintos
que contribuíram para diversificar as avaliações heurísticas.
Em relação aos aplicativos escolhidos para realizar as avaliações a
ameaça presente é a escolha correta dos aplicativos. A amostra deveria ser
diversificada, tanto aplicativos ruins quantos bons para que os resultados
fossem relevantes. A ação tomada foi a mudança do critério de seleção dos
aplicativos, percebeu-se que os critérios adotados na primeira iteração fizeram
com que a amostra não fosse bem distribuída, então, para a segunda iteração
de avaliações os critérios foram revisados e modificados para que ao final os
dados ficassem melhor distribuídos.
Vale ressaltar uma outra ameaça que pode interferir na validade e
confiabilidade dos resultados, é a fadiga das pesquisadoras por realizar um
78
grande número de avaliações, esta ameaça foi controlada através da divisão
do número de avaliações entre as avaliadoras e a realização das avaliações
dentro de um período de tempo adequado.
79
6 CONCLUSÃO
No presente trabalho o objetivo principal foi avaliar a validade de um
conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen.
A avaliação teve como objetivo verificar se o conjunto de heurística/checklist
mede o grau de usabilidade dos aplicativos para touchscreen phones. Essa
validação se deu a partir da validação da qualidade dos itens que compõem o
checklist. O checklist foi aplicado a 247 aplicativos e os resultados obtidos
foram analisados utilizando a Teoria da Resposta ao Item. O checklist inicial
era composto por 92 itens, o resultado da análise eliminou 44 itens por falta de
consistência ao conjunto, resultando assim em um checklist com 48 itens. A da
hipótese definida incialmente é verdadeira e foi confirmada a partir dos
resultados alcançados. O conjunto de heurísticas resultante após a análise
estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para
dispositivos móveis touchscreen phones.
Neste trabalho foi estudado, fundamentado e analisado os aspectos
teóricos que envolvem questões de usabilidade dos dispositivos móveis
touchscreen phones. Também foi estudado alguns aspectos da Teoria da
Resposta ao Item. Foi realizada uma revisão sistemática do estado da arte em
relação a pesquisas correlatas referente a avaliações/validações de heurísticas
de usabilidade. A revisão sistemática apontou que existe um número muito
pequeno de artigos que citam validações/avaliações de heurísticas. Apenas
dois artigos mencionavam validações preliminares, portanto, necessitando a
realização de mais estudos para que fosse possível obter melhores
conclusões. Estes resultados evidenciam a carência de estudos nessa área,
indicando a contribuição deste trabalho.
A contribuição do presente trabalho está na criação de uma escala
padronizada do grau de usabilidade permitindo assim, a comparabilidade entre
aplicativos para dispositivos touchscreen phones. O presente trabalho também
permite inferir a usabilidade de um aplicativo com um esforço mínimo
necessário. Os resultados obtidos podem ser utilizados para avaliar o grau de
usabilidade de aplicativos para dispositivos touchscreen phones visando a
melhora a usabilidade dos mesmos.
80
Os resultados deste trabalho permitem que outras oportunidades de
pesquisa na área de usabilidade e aplicativos possam ser desenvolvidas.
Avaliações que envolvam usuários não foram utilizadas no presente trabalho,
portanto recomenda-se a realização de testes de usabilidade com o objetivo de
avaliar o checklist proposto. Testes de usabilidade simulam situações de uso e
avaliam um produto através da observação sistemática dos usuários
interagindo com o sistema.
Outra importante oportunidade de pesquisa é a ampliação do checklist.
Essa ampliação deve ser realizada explorando conceitos mais particulares das
interfaces dos dispositivos touchscreen phones com o objetivo de permitir
medir a usabilidade de aplicativos com maior grau de usabilidade.
É importante destacar que existem várias categorias de aplicativos e
algumas são bem específicas, como por exemplo, os jogos, esses aplicativos
apresentam
características
particulares
de
uso
e
interação.
Essas
características representam uma possibilidade de desenvolvimento de um
estudo para a criação de um conjunto de heurísticas e um checklist para inferir
a usabilidade destes aplicativos.
81
REFERÊNCIAS
ACM SIGCHI. ACM Special Interest Group on Computer-Human Interaction. 2009.
Disponível em: <http://old.sigchi.org/cdg/>. Acesso em: 10 ago. 2012.
AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações.
Relatório de Acompanhamento 2011. Brasília, 2011. Disponível em <
http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao
=273912&pub=principal&filtro=1&documentoPath=273912.pdf> Acesso em: 13 mai
2012.
Relatório Anual 2010. Brasília, 2011. Disponível em <
=260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=CidadaoBiblioteca-Acervo%20Documental&filtro=1&documentoPath=260639.pdf> Acesso em:
13 mai 2012.
Relatório 2012. Brasília, 2012. Disponível em <
=297390&pub=original&filtro=1&documentoPath=297390.pdf> Acesso em: 22 mai
2013.
ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S.
Uma proposta de analise de um construto para a medição dos fatores críticos da
gestão pela qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001
ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user
interface and form factor on doctor–patient communication. International Journal
of Medical Informatics, 81, 12–28. 2012
ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item:
conceitos e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000.
ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009,
Disponível em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telassensiveis-ao-toque-touch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012.
AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for
Mobile Application. International Conference on Information Management and
Engineering (ICIME),427-431. Malaysia. 2009.
BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia
para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000.
BASTIEN, J. M. C., SCAPIN, D. Ergonomic Criteria for the Evaluation of HumanComputer interfaces. Institut National de recherche en informatique et en
automatique, France, 1993.
82
BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic
Evaluation Methods for Mobile Computing. 2006, Proceedings of the Working
Conference on Advanced Visual interfaces, Venezia, Italy. 2006.
BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F.
& PALCHETTI, E. A unified methodology for the evaluation of accessibility and
usability of mobile applications. Universal Acess in the Information Society, (9),
337–356. 2010.
CARROLL, J. M. Human Computer Interaction (HCI). In: Soegaard, Mads and Dam,
Rikke Friis (eds.). "Encyclopedia of Human-Computer Interaction". Aarhus, Denmark:
The Interaction Design Foundation. 2009. Disponível em: <http://www.interactiondesign.org/encyclopedia/human_computer_interaction_hci.html>. Acesso em: 10 ago.
2012.
CARVAJAL, R. I. Usability Heuristics for Touchscreen-based Mobile Devices.
Pontificia Universidad Católica de Valparaíso Facultad de Ingeniería. Valparaíso, 2012.
CARVALHO, J. O. F. de. O papel da interação humanocomputador na inclusão digital. Revista Transinformação. Programa de
Pós-Graduação em Ciência da Informação da Pontifícia Universidade
Católica de Campinas. Campinas, SP. v. 15, n. 3, setembro/dezembro, p. 75-89, 2003.
CASTRO, S. M. J. Teoria da resposta ao item: Aplicação na avaliação da
intensidade de sintomas depressivos. 2008. Tese (Doutorado em Epidemiologia) –
Programa de Pós- Graduação em Epidemiologia, Faculdade de Medicina,
Universidade Federal do Rio Grande do Sul, Porto Alegre, 2008.
CHANGEWAVE RESEARCH. Disponível em:
<http://www.changewaveresearch.com/>. Acesso em: 29 ago. 2012
COELHO, L. S.; HOBOLD, G. C. Desenvolvimento de Protótipos de Interfaces
Humano-Computador na Área de Saúde para Convergência Digital. Trabalho de
Conclusão de Curso. (Graduação em Sistemas de Informação) – Universidade Federal
de Santa Catarina. 2011.
COSTA, F. M. da. O Modelo de Samejima no estudo da relação NSE x
Desempenho. Dissertação (Mestrado em Matemática e Estatística) - Universidade
Federal do Pará. 2010.
CÚRI, M. Análise de questionários com itens constrangedores. Tese (Doutorado
em Estatística) – Instituto de Matemática e Estatística, Universidade de São Paulo,
São Paulo, 2006. Disponível em:
<http://www.teses.usp.br/teses/disponiveis/45/45133/tde-06072009-155633/pt-br.php>.
Acesso em: 20 abr. 2013.
CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade:
conhecimentos, métodos e aplicações. São Paulo: Novatec 2007.
FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the
33rd International Conference on Information Technology Interfaces (ITI), 275- 280.
83
FLING, B. Mobile design and development. Sebastopol: O’Reilly Media, 2009.
GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter
of 2011a; Smartphone Sales Increased 42 Percent. Disponível em:
<http://www.gartner.com/it/page.jsp?id=1848514>. Acesso em: 14 mai 2012.
GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter
of 2011b; Gartner Says Worldwide Sales of Mobile Phones Declined 2.3 Percent
in Second Quarter of 2012. Disponível em: <
http://www.gartner.com/it/page.jsp?id=2120015>. Acesso em: 29 ago. 2012.
GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to
Growth in First Quarter of 2013. Disponível em: <
http://www.gartner.com/newsroom/id/2482816>. Acesso em: 22 mai. 2013.
GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface
design.Proc. of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004.
GRESSE VON WANGENHEIM, C. Material da disciplina INE5624 - Engenharia
de Usabilidade, INE/UFSC, 2012.
GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on
the move. 2011. Journal of Computer Assisted Learning, (27), 204–215.
HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and
Requirements for the M-Learning Application Development. International
Conference on User Science Engineering (i-USEr), 226-231. Malaysia. 2010.
INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability
Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on
Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada.
2012.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 9241-11
Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte
11 – Orientações sobre Usabilidade.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 13407: Humancentred design processes for interactive systems (1999).
JANSSEN, C. Touch Screen. 2012. Disponível em:
<http://www.techopedia.com/definition/3055/touch-screen>. Acesso em: 13 mai 2012.
HAMMERSCHMIDT, R. O que é Touch Screen? 2008. Disponível em :
<http://www.tecmundo.com.br/multitouch/177-o-que-e-touch-screen-.htm>. Acesso em: 13 mai
2012.
KITCHENHAM, B.A. Procedures for Performing Systematic Reviews. Tech. Report
TR/SE-0401, Keele University. Inglaterra. 2004.
84
LANDIM, W.. A evolução dos celulares. 2011. Disponível em:
<http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico.html>. Acesso em: 13 mai 2012.
LEE, D.The State of the Touch-Screen Panel Market. Disponível em:
<http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market.
pdf>. Acesso em: 14 mai 2012.
LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile
Environments. 6th International Conference on Wireless Communications Networking
and Mobile Computing (WiCOM), 1-4. 2010. Disponível em:
<http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2
Fieeexplore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumb
er%3D5600162>. Acesso em: 09 set. 2012.
NIELSEN, J. Usability 101: Introduction to Usability. 2003. Disponível em:
<http://www.useit.com/alertbox/20030825.html>. Acesso em: 13 ago. 2012.
NIELSEN, J., (1994) Heuristic evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability
Inspection Methods. New York: John Wiley & Sons, Inc.
NIELSEN, J. Ten Usability Heuristics. 1994. Disponível em:
<http://www.useit.com/alertbox/20030825.html>. Acesso em: 10 ago. 2012.
NILSSON, E. G. Design patterns for user interface for mobile applications.
Advances in Engineering Software, (40), 1318–1328. 2009.
PÁDUA, C. I.P S. Engenharia de Usabilidade – Material de Referência. UFMG, Belo
Horizonte, MG.
PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação
homem-computador. Porto Alegre (RS): Bookman, 2005. 548p.
RAUCH, M. Mobile documentation: Usability guidelines, and considerations for
providing documentation on Kindle, tablets, and smartphones. IEEE International
Professional Communication Conference (IPCC). 2011. OH, USA.
ROCHA, H. V. da; BARANAUSKAS, Maria Cecília Calani. Design e avaliação de
interfaces humano-computador. Campina: NIED/ UNICAMP, 2003.
SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A.
Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of
Simpósio Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil,
2012.
SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von.
Systematic Literature Review on Usability Heuristics for Mobile Phones.
International Journal of Mobile Human Computer Interaction, 5(2), 2013.
SATO, F. P. Validação da versão em português de um questionário área
avaliação de autismo infantil. Dissertação (Mestrado em Ciências, área de
concentração Psiquiatria) USP, 2008.
85
SHNEIDERMAN, B.; PLAISANT, C. Designing the User Interface: Strategies for
Effective Human-Computer Interaction. Addison Wesley Publ. Boston, 2004.
TECMUNDO. Disponível em: <http://tecmundo.com.br>. Acesso em 24 mai 2012.
TECHOPEDIA. Disponível em:
<http://www.techopedia.com/definition/2977/smartphone>. Acesso em: 29 set. 2012.
TEZZA, R. Proposta de um construto para medir usabilidade em sites de ecommerce utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f.
Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico.
Programa de Pós-Graduação em Engenharia de Produção.
TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e
oportunidades para a engenharia de produção. In: XXIX Encontro Nacional de
Engenharia de Produção – ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e
XV ICIEOM. Rio de Janeiro – RJ: ABEPRO, 2009. v 1.
TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of
the American Society for Information Science and Technology, 38 (1), 24–29. 2011.
TYLDESLEY, D. A. Employing Usability Engineering in the Development of Office
Products. The Computer Journal, Vol. 31, No. 5, 1988
WASSERMAN, A. I. Software Engineering Issues for Mobile Application
Development. 2010. In Proc. of Workshop on Mobile Software
Engineering/MobiCASE, Santa Clara/USA.
WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile
Devices. 8th International Conference onInformation Technology: New Generations
(ITNG), 1066- 067. 2011. Las Vegas, Nevada, USA.
WOHLIN, C. et al. Experimentation in Software Engineering. Norwell, MA: Kluwer,
2012.
ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile
Game-Based Learning. 6th IEEE International Conference on Wireless, Mobile and
Ubiquitous Technologies in Education (WMUTE), 127-131.2010. Kaohsiung,
Taiwan.
ZIMOWSKI, M. F., MURAKI, E., MISLEVY, R. J., & BOCK, R.D. (2003). BILOG-MG 3
for Windows: Multiple-group IRT analysis and test maintenance for binary items
[Computer software]. Skokie, IL: Scientific Software International, Inc.
86
APÊNDICE A - Checklist versão 1.0
Avaliadora:
Data:
Aplicativo/versão:
Sistema:
Dispositivo:
Heurísticas
Questões
sistema
1.
Para cada ação do usuário o aplicativo oferece feedback imediato
e adequado sobre seu status?
2.
Os itens selecionados são claramente distintos dos demais?
3.
Prioriza mensagens relativas a informações críticas e contextuais
como o status da bateria e status da rede?
4.
5.
Todas as telas possuem identificação?
6.
aplicativo?
7.
8.
Anotações:
Correspondência entre
sistema e mundo real
9.
As interações propostas no aplicativo são semelhantes a ações
reais (como por exemplo, descartar um arquivo arrastando-o para
a lixeira)?
10. O significado de símbolos e ícones são compreensíveis e intuitivos?
11. As informações são dispostas em uma ordem lógica e natural?
Anotações:
Usuário
12. É o usuário quem inicia e encerra tarefas e não o aplicativo?
13. É possível identificar o número de passos necessários para a
14. O aplicativo oferece mensagens de fechamento para tarefas que
envolvam um conjunto de etapas?
15. É possível prever o tamanho da tela pelo tamanho do scroll?
16. É possível retornar a tela anterior a qualquer momento?
17. É possível sair da tela atual a qualquer momento?
18. O usuário pode sair do aplicativo e retornar do ponto onde parou?
20. O usuário pode desfazer (undo) uma ação?
21. O usuário pode refazer (redo) uma ação?
22. Em aplicativos com sobreposição de janelas, estas possuem
transparência para que seu contexto fique visível?
23. Informações relevantes como textos, botões e comandos ficam
visíveis quando o teclado é aberto?
Anotações:
27. Itens não clicáveis deixam evidente que não o são?
N
P
S
NA
87
28. O nome do botão/ícone é consistente com o nome da tela que
abre?
idioma?
usuário?
Anotações:
35. Nas primeiras interações do usuário com o aplicativo são
mostradas instruções básicas?
36. Os botões e controles que desencadeiam ações irreversíveis ficam
localizados em áreas de difícil acesso, exigem gestos desafiadores
ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)?
Anotações:
Reconhecimento em vez de 37. Utiliza o nome da tela anterior ao invés de “voltar” para nomes de
lembrança
botões e links?
38. Em cada opção do menu, a primeira palavra é a mais importante?
39. Os títulos das telas são curtos?
41. Há padronização de cores para identificação e sinalização das áreas
do aplicativo?
44. Os rótulos dos links descrevem adequadamente seu conteúdo?
45. Em campos onde há a necessidade de inserção de dados isso é
evidente?
Anotações:
Uso
46. Os dados do usuário são salvos (login, itens buscados)?
47. O propósito/função do aplicativo é claro?
49. O aplicativo é carregado rapidamente?
50. Oferece mecanismos de input alternativos como por voz, por lista,
por foto ou por QR-code?
51. O aplicativo oferece mecanismos para uma navegação dinâmica na
qual os usuários podem ir de uma tela para outra com apenas um
click sem ter que ir para uma outra página antes?
53. Os usuários experientes têm acesso a um caminho preferencial,
claramente sinalizado, para ferramentas mais rápidas e poderosas?
54. É possível personalizar a interface de acordo com a preferência de
cada usuário?
88
Anotações:
sendo realizada?
indispensáveis?
tela?
Anotações:
Ajude o usuário a reconhecer,
diagnosticar e recuperar de
erros
61. O aplicativo permite fácil recuperação de erros?
62. As mensagens de erro são claras e precisas?
63. As mensagens de erro, quando possível proveem uma ou mais
opções de navegação, como, por exemplo um link de "Voltar" para
retornar à página anterior, um link "Repetir" para tentar repetir a
transação?
64. As mensagens apontam qual a causa do erro?
65. As mensagens de erro são agressivas com usuário?
Anotações:
Ajuda e Documentação
66. O aplicativo possui uma opção de ajuda?
67. É fácil localizar a ajuda?
68. A ajuda é de fácil compreensão?
Anotações:
Pouca interação
homem/dispositivo
70. O aplicativo evita o uso do scroll, especialmente quando o
dispositivo está na posição horizontal?
71. O aplicativo evita a digitação (por exemplo: guardando as respostas
mais frequentes do usuário para que ele não precise digitá-las
novamente, oferecendo opções em forma de lista, utilizando o
recurso de auto-completar, etc)?
72. Em situações de busca, possui um mecanismo de entrada de dados
tolerante a erros de digitação e uso de abreviações?
Anotações:
74. Possui links com tamanho adequado ao clique?
75. Possui espaço suficiente entre botões e links, evitando que o
usuário selecione outro elemento?
mesmos?
Anotações:
81. A interface do aplicativo se adapta a rotação da tela?
82. Todo o texto fica visível na tela, independente da orientação?
89
fundo?
85. Informações transmitidas na forma de gráficos também são
descritas textualmente?
uma tela pequena?
Legenda:
N – Não
P - Parcial
S – Sim
90
APÊNDICE B - Checklist versão 2.0
Avaliadora:
Data:
Aplicativo/versão:
Sistema:
Dispositivo:
Heurísticas
Questões
sistema
2.
dos demais?
3.
4.
5.
6.
aplicativo?
7.
8.
9.
Oferece outras formas de feedback além do textual (luminoso,
sonoro, vibração)?
10. Quando uma mensagem é exibida o tempo de exibição é suficiente
para realizar a leitura?
Anotações:
Usuário
13. É o usuário quem inicia e encerra tarefas e não o aplicativo?
15. O aplicativo pode ser fechado e não apenas minimizado?
16.
17.
19. O usuário pode sair do aplicativo e retornar do ponto onde parou?
21. O usuário pode desfazer (undo) uma ação?
22. O usuário pode refazer (redo) uma ação?
Anotações:
N
P
S
NA
91
28. Itens não clicáveis deixam evidente que não o são?
29. O nome do botão/ícone é consistente com o nome da tela que
abre?
idioma?
usuário?
Anotações:
37. Nas primeiras interações do usuário com o aplicativo são
mostradas instruções básicas?
localizados em áreas de difícil acesso, exigem gestos desafiadores
ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)?
Anotações:
Reconhecimento em vez de 39. A opção voltar é apresentada de acordo com o padrão dos
lembrança
40. Em cada opção do menu, a primeira palavra é a mais importante?
43. Em todas as telas é possível reconhecer uma identidade visual
(marca ou nome do aplicativo, cores, etc)?
46. Os rótulos dos links descrevem adequadamente seu conteúdo e
estão de acordo com o conteúdo das telas que abrem?
47.
evidente?
Anotações:
Uso
48. O aplicativo apresenta problemas durante a interação (trava,
botões não funcionam no primeiro clique, etc)?
49. O propósito/função do aplicativo é claro?
51. O aplicativo é carregado rapidamente?
52. Oferece mecanismos de input alternativos como por voz, por lista,
por foto ou por QR-code?
qual os usuários podem ir de uma tela para outra com apenas um
click sem ter que ir para uma outra página antes?
92
cada usuário?
Anotações:
sendo realizada?
indispensáveis?
tela?
63. O aplicativo só apresenta funções que estão habilitadas?
Anotações:
Ajude o usuário a reconhecer,
diagnosticar e recuperar de
erros
64. O aplicativo permite fácil recuperação de erros?
65. As mensagens de erro são claras apontando a causa do erro?
66. As mensagens de erro, quando possível proveem uma ou mais
opções de navegação, como, por exemplo um link de "Voltar" para
retornar à página anterior, um link "Repetir" para tentar repetir a
transação?
67. As mensagens de erro são amigáveis com usuário (não ofendem)?
Anotações:
68. O aplicativo possui uma opção de ajuda?
69. É fácil localizar a ajuda?
70. A ajuda é de fácil compreensão?
Anotações:
Pouca interação
homem/dispositivo
72. O aplicativo evita o uso do scroll, especialmente quando o
dispositivo está na posição horizontal?
mais frequentes do usuário para que ele não precise digitá-las
novamente, oferecendo opções em forma de lista, utilizando o
recurso de auto-completar, etc)?
75. O cadastro de usuário exige somente informações necessárias?
Anotações:
77. Possui links com tamanho adequado ao clique?
78. Possui espaço suficiente entre botões e links, evitando que o
usuário selecione outro elemento?
mesmos?
93
Anotações:
84. A interface do aplicativo se adapta a rotação da tela?
85. Independente da orientação e do uso do scroll, todo conteúdo fica
visível na tela, sem cortes?
fundo?
88. As imagens (gráficos, ícones, etc) também são descritas
textualmente?
uma tela pequena?
92. Quando utiliza o scroll é somente vertical ou somente horizontal?
Anotações:
Legenda:
N – Não
P - Parcial
S – Sim
94
APÊNDICE C – Aplicativos Avaliados
Aplicativo
Versão
Endereço de download
Dicionário da
1.1
https://play.google.com/store/apps/details?id=pt.portoeditora.android.
dicionario.lingua_portuguesa&feature=apps_topselling_free
2.0.2
https://play.google.com/store/apps/details?id=net.dotlegend.boalista&f
eature=related_apps#?t=W251bGwsMSwxLDEwOSwibmV0LmRvdG
xlZ2VuZC5ib2FsaXN0YSJd
4Shared
1.1.2
https://play.google.com/store/apps/details?id=com.forshared
WhatsApp
2.8.5732
https://play.google.com/store/apps/details?id=com.whatsapp&feature=
search_result#?t=W251bGwsMSwxLDEsImNvbS53aGF0c2FwcCJd
App2SD
2.6
https://play.google.com/store/apps/details?id=com.a0soft.gphone.app
2sd&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hMH
NvZnQuZ3Bob25lLmFwcDJzZCJd
Weather Channel
3.8.3
https://play.google.com/store/apps/details?id=com.weather.Weather&f
eature=search_result#?t=W251bGwwxLDEsImNvbS53ZWF0aGVyLld
lYXRoZXIiXQsMS
Google Tradutor
2.5.1
https://play.google.com/store/apps/details?id=com.google.android.app
s.translate&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS
5nb29nbGUuYW5kcm9pZC5hcHBzLnRyYW5zbGF0ZSJd
Banco do Brasil
5.0.4
https://play.google.com/store/apps/details?id=br.com.bb.android&feat
ure=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5iYi5hbm
Ryb2lkIl0
DropBox
2.2
https://play.google.com/store/apps/details?id=com.dropbox.android
Traffic Counter
1.7.1b
https://play.google.com/store/apps/details?id=com.carl.trafficcounter&f
eature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRy
YWZmaWNjb3VudGVyIl0
Google Drive
1.1.4.29
s.docs&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb
29nbGUuYW5kcm9pZC5hcHBzLmRvY3MiXQ
Gmail
2.3.6
https://play.google.com/store/apps/details?id=com.carl.trafficcounter&f
eature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRy
YWZmaWNjb3VudGVyIl0
Consulta Visa Vale
2.3.1
https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur
e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeG
FraSJd
Angry Birds
2.3.0
Google Goggles
1.9
https://play.google.com/store/apps/details?id=com.rovio.angrybirds&fe
ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb3Zpby5hb
mdyeWJpcmRzIl0
s.unveil&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5n
b29nbGUuYW5kcm9pZC5hcHBzLnVudmVpbCJd
Língua Portuguesa
Porto Editora
Boa Lista - Lista de
Compras
Extended
Captura de
Tela
95
IMDb
2.7.5.10
275000
https://play.google.com/store/apps/details?id=com.imdb.mobile&featur
e=apps_topselling_free
Saraiva eReader
1.813
https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er
eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLm
NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0.
Trip Advisor
2.0.5
https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er
eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLm
NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0.
PersonalFinance
2.1.6
https://play.google.com/store/apps/details?id=incomeincloud.android.a
ctivity&feature=top-fre
FacebookMessenge
2.1.2
https://play.google.com/store/apps/details?id=com.facebook.orc
Consulta CEP
2.0.0
https://play.google.com/store/apps/details?id=com.carvtech.android.c
e
YouTube
2.3.4
https://play.google.com/store/apps/details?id=com.google.android.you
tube
Viber
2.2.3
https://play.google.com/store/apps/details?id=com.viber.voip&feature=
search_result#?t=W251bGwsMSwyLDEsImNvbS52aWJlci52b2lwIl0
Tavindo
1.3
https://play.google.com/store/apps/details?id=br.eti.erickcouto.tavind
Qual Operadora
2.0.5
http://www.baixaki.com.br/android/download/qual-operadora-.htm
Cadê Meu Banco
2.03
https://play.google.com/store/apps/details?id=br.com.buscabanc
Wikipedia
1.3.1
https://play.google.com/store/apps/details?id=org.wikipedi
Wallpapers HD
1.6
https://itunes.apple.com/br/app/wallpapers-hd-for-iphoneipod/id398383945?mt=8
Instagram
3.4.0
https://play.google.com/store/apps/details?id=com.instagram.android&
feature=apps_topselling_free
Churrascometro
1.4
https://play.google.com/store/apps/details?id=br.com.kazap.churrasco
metro
r
iPhone
96
Brasileirão
1.0.17
https://play.google.com/store/apps/details?id=br.com.zynger.brasileira
o2012&feature=apps_topselling_free
CamScanner
1.5.0.0
https://itunes.apple.com/br/app/camscanner-free/id388627783?mt=8
Buscapé iPhone
3.6.3
https://itunes.apple.com/br/app/buscape/id296987450?mt=
Groupon iPhone
2.2
https://itunes.apple.com/br/app/groupon/id352683833?mt=8
Voos Online
1.7
https://play.google.com/store/apps/details?id=br.gov.infraer
Wase
3.5.1
https://itunes.apple.com/br/app/futebol/id361393520?mt=8
Apn Brasil
1.2
https://play.google.com/store/apps/details?id=br.com.droidbrasil.apnbr
as
TrackPack
2.5.0
https://play.google.com/store/apps/details?id=br.com.tribotech.trackpa
c
AVG Mobilation
3.0.0.174
https://play.google.com/store/apps/details?id=com.antivirus&feature=s
earch_result#?t=W251bGwsMSwxLDEsImNvbS5hbnRpdmlydXMiXQ
iPhone
757
CardioTrainer
3.6.7
https://play.google.com/store/apps/details?id=com.wsl.CardioTrainer
Facebook
2.1.2
https://play.google.com/store/apps/details?id=com.facebook.katan
Feriados 2013
1.4
https://itunes.apple.com/br/app/feriados-2013/id558677448?mt=8
1.1
https://itunes.apple.com/br/app/campeonato-catarinense2013/id591876570?mt=8
2.5.3
https://itunes.apple.com/br/app/internacionalsportv/id482569445?mt=8
1.9.1
ps://itunes.apple.com/br/app/the-night-sky-lite/id502998318?mt=8
iPhone
Catarinense 2013
iPhone
Internacional
SporTV iPhone
Night Sky Lite
iPhone
97
Sky Sports iPhone
1.1
https://itunes.apple.com/br/app/sky-sports/id591874478?mt=8
Shazam iPhone
5.5.3
https://itunes.apple.com/br/app/shazam/id284993459?mt=8
GloboEsporte.com
1.4
https://itunes.apple.com/br/app/futebol/id361393520?mt=8
EyeEm iPhone
3.3.1
https://itunes.apple.com/br/app/eyeem-foto-filtroscamera/id445638931?mt=8
Dictionary.com
3.7
https://itunes.apple.com/br/app/dictionary.comdictionary/id308750436?mt=8
Quora iPhone
2.1
https://itunes.apple.com/br/app/quora/id456034437?mt=8
Converter
1.2.8
https://play.google.com/store/apps/details?id=com.blogspot.asifrc.Con
verter&feature=search_result#?t=W251bGwsMSwyLDEsImNvbS5ibG
9nc3BvdC5hc2lmcmMuQ29udmVydGVyIl0
Photaf Panorama
3.2.1
https://play.google.com/store/apps/details?id=obg1.Photaf&feature=se
arch_result#?t=W251bGwsMSwxLDEsIm9iZzEuUGhvdGFmIl0
Clean Master
2.5.1.30
https://play.google.com/store/apps/details?id=com.cleanmaster.mguar
d&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jbGVhb
m1hc3Rlci5tZ3VhcmQiXQ
Sonar
1.1.107
https://play.google.com/store/apps/details?id=me.sonar.android&featu
re=apps_topselling_fr
Simulado Detran
2
http://www.baixaki.com.br/android/download/simulado-detran-free.htm
Rádio Atlântida
1.0.2
https://play.google.com/store/apps/details?id=com.clicrbs.atlantida&fe
ature=search_resu
Spider Solitaire
1.0.2
https://play.google.com/store/apps/details?id=com.magmamobile.gam
e.SpiderSolitaire&feature=apps_topselling_free
Pessoa física
1.0.0
https://play.google.com/store/apps/details?id=br.gov.fazenda.receita.p
essoafisica&feature=search_result#?t=W251bGwsMSwyLDEsImJyL
mdvdi5mYXplbmRhLnJlY2VpdGEucGVzc29hZmlzaWNhIl0
Rádio Pessoal
1.3.4
https://itunes.apple.com/br/app/radio-pessoal-aupeo!musica/id453001420?mt=8
1.0.2
https://itunes.apple.com/br/app/guia-de-aeroportoshd/id424032540?mt=8
iPhone
iPhone
Free
AUPEO!
Guia de aeroportos
HD
98
iCall
2.1.48
https://itunes.apple.com/br/app/icall-chamadas-telefonebate/id293837001?mt=8
Baby holidays
1.1.1
https://itunes.apple.com/br/app/baby-holidays-picturemaker/id574376508?mt=8
Radar G1
2.1.48
https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8
Eu atleta
1.2.2
https://itunes.apple.com/br/app/eu-atleta/id572977180?mt=8
Diário Catarinense
-
Globo News
1.3
https://play.google.com/store/apps/details?id=com.clicrbs.dc&feature=
personalizedrecommendations#?t=W251bGwsMSwxLDIxMywiY29tLmNsaWNyYn
MuZGMiXQ
https://play.google.com/store/apps/details?id=com.fingertips.android.g
lobonews&feature=related_apps
Kekanto - Bares e
5.0.2
https://play.google.com/store/apps/details?id=com.kekanto.android&fe
ature=nav_result#?t=W251bGwsMSwyLDNd
Vogue Brasil Mobile
2.4
https://play.google.com/store/apps/details?id=br.com.edglobo.vogue&f
eature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5lZGds
b2JvLnZvZ3VlIl0
Marie Claire Brasil
1.13
https://play.google.com/store/apps/details?id=br.com.editoraglobo.mar
ieclaire.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsI
mJyLmNvbS5lZGl0b3JhZ2xvYm8ubWFyaWVjbGFpcmUuc2l0ZW1vY
mlsZSJd
https://play.google.com/store/apps/details?id=br.com.editoraglobo.cre
scer.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsImJ
yLmNvbS5lZGl0b3JhZ2xvYm8uY3Jlc2Nlci5zaXRlbW9iaWxlIl0
Restaurantes
Mobile
Crescer Mobile
1.12
Expedia Hotels &
2.3
https://play.google.com/store/apps/details?id=com.expedia.bookings&
feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5leHBlZGlh
LmJvb2tpbmdzIl0
Dieta e Saúde
2.5.7
https://play.google.com/store/apps/details?id=com.buscaalimento.and
roid&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5idXNj
YWFsaW1lbnRvLmFuZHJvaWQiXQ
Radar G1
2.1.48
https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8
Simple PAC
1.4
https://play.google.com/store/apps/details?id=org.gunnm.simplepac&f
eature=nav_result#?t=W251bGwsMSwxLDMsIm9yZy5ndW5ubS5za
W1wbGVwYWMiXQ
Shared MP3 Baixar
1.4
https://play.google.com/store/apps/details?id=br.com.sharedmp3.shar
edmp3&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG5
1bGwsImJyLmNvbS5zaGFyZWRtcDMuc2hhcmVkbXAzIl0
Flights
músicas
99
Insta Collage
1.01
https://play.google.com/store/apps/details?id=com.instacollage.androi
d&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGw
sImNvbS5pbnN0YWNvbGxhZ2UuYW5kcm9pZCJd
Bíblia Sagrada NVI
1.5
Minimalistic Text
3.0.10.2
https://play.google.com/store/apps/details?id=br.com.telmoandrade.bi
bliasagradanvi&feature=apps_topselling_new_free#?t=W251bGwsMS
wyLG51bGwsImJyLmNvbS50ZWxtb2FuZHJhZGUuYmlibGlhc2Fncm
FkYW52aSJd
https://play.google.com/store/apps/details?id=de.devmil.minimaltext&f
eature=featured-apps
Myway Diabetes
0.9.2
https://play.google.com/store/apps/details?id=myway.prompt&feature=
also_installed#?t=W251bGwsMSwxLDEwNCwibXl3YXkucHJvbXB0Il
0.
Ringtone Maker
2.2.1
https://play.google.com/store/apps/details?id=com.proringtonemaker&
feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsI
mNvbS5wcm9yaW5ndG9uZW1ha2VyIl0
Wales, UK
2.3.2.1
Livraria Cultura
1.0.10
https://play.google.com/store/apps/details?id=com.mobilereference.Tr
avelWalesAppFree&feature=search_result#?t=W251bGwsMSwyLDEs
ImNvbS5tb2JpbGVyZWZlcmVuY2UuVHJhdmVsV2FsZXNBcHBGcm
VlIl0
https://play.google.com/store/apps/details?id=br.cultura.loja.ebooks.an
droid&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmN1bH
R1cmEubG9qYS5lYm9va3MuYW5kcm9pZCJd
Manager
eBooks
ASTRO File
3.1.427
https://play.google.com/store/apps/details?id=com.metago.astro&feat
ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5tZXRhZ28uYX
N0cm8iXQ
Any.Do
1.8.1
https://itunes.apple.com/br/app/any.do-to-do-list/id497328576?mt=8
IntaWeather Free
2.1.2
https://itunes.apple.com/us/app/instaweather-free/id564147490?mt=8
Qello
1.3.2
https://itunes.apple.com/us/app/qello-watch-hd-musicconcerts/id491069819?mt=8
TaxiBeat
3.5
https://itunes.apple.com/gr/app/taxibeat/id436031420?mt=8
Thrist
2.0.2
https://itunes.apple.com/us/app/thirst/id594730520?mt=8
Mokriya craigslist
1.1
https://itunes.apple.com/us/app/mokriya-craigslist-appfor/id597638475?ls=1&mt=8
ArtFinder
5.0.1
https://itunes.apple.com/us/app/artfinder/id477518205?mt=8
Wunderlist
2.0.6
https://itunes.apple.com/ca/app/wunderlist/id406644151?mt=8..
Manager
100
WBCBaseball
1.0.0
https://itunes.apple.com/us/app/2013-world-baseballclassic/id596233358?mt=8
TouristEye
2.1
https://itunes.apple.com/us/app/touristeye-travel-guidetrip/id363369132?mt=8
Foursquare
5.5
https://itunes.apple.com/br/app/foursquare/id306934924?mt=8
CineMark Brasil
1.2.1
https://play.google.com/store/apps/details?id=com.cinemar
Ingresso.com
1.1.4
https://play.google.com/store/apps/details?id=br.eti.faces.ingress
Climatempo
1.1
https://play.google.com/store/apps/details?id=com.mobimidia.climaTe
mp
Tela Transparente
1.1
https://play.google.com/store/apps/details?id=com.ellipselab.android.t
ransparentscreen.free
QRDroid
5.3
https://play.google.com/store/apps/details?id=la.droid.qr&feature=sear
ch_result#?t=W251bGwsMSwxLDEsImxhLmRyb2lkLnFyIl0
Baixaki
1.2.1
https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur
e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeG
FraSJd
Buscapé Mobile
3.6.3
https://play.google.com/store/apps/details?id=br.com.buscape.MainPa
ck&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5id
XNjYXBlLk1haW5QYWNrIl0
Tic Tac Toe - Pro
5.0.1
https://play.google.com/store/apps/details?id=com.tictactoe.wintrino&f
eature=apps_topselling_fr
Hotmail
7.8.2.8
https://play.google.com/store/apps/details?id=com.hotmail.Z7&feature
=apps_topselling_free
Pedômetro -
2.4.7
https://play.google.com/store/apps/details?id=com.corusen.accupedo.
te&feature=apps_topselling_free
Dictionary.com
3.7
https://itunes.apple.com/br/app/dictionary.comdictionary/id308750436?mt=8
Air Horn Free
6.0
https://play.google.com/store/apps/details?id=com.progimax.airhorn.fr
ee&feature=search_result
Accupedo
101
Photo Grid
4.26
https://play.google.com/store/apps/details?id=com.roidapp.photogrid&
feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb2lkYXB
wLnBob3RvZ3JpZCJd
Globo.com
2.3
https://play.google.com/store/apps/details?id=com.globo&feature=sea
rch_result#?t=W251bGwsMSwyLDEsImNvbS5nbG9ibyJd
Caça Palavras
1.0
https://play.google.com/store/apps/details?id=com.berniiiiiiii.braz&feat
ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5iZXJuaWlpaWl
paWkuYnJheiJd
Jogo da Forca
1.93
https://play.google.com/store/apps/details?id=br.com.gtlsistemas.forc
a&feature=more_from_developer#?t=W251bGwsMSwxLDEwMiwiYnI
uY29tLmd0bHNpc3RlbWFzLmZvcmNhIl0
Qual é a resposta?
1.99
https://play.google.com/store/apps/details?id=br.com.gtlsistemas.jogo
deperguntas&feature=nav_result#?t=W251bGwsMSwxLDMsImJyLm
NvbS5ndGxzaXN0ZW1hcy5qb2dvZGVwZXJndW50YXMiXQ
Medscape
2.2.1
tps://play.google.com/store/apps/details?id=com.medscape.android&f
eature=top-free
Remember The Milk
3.0.1
https://itunes.apple.com/app/remember-the-milk/id293561396?mt=8
MusiXmatch
2.3.1
https://itunes.apple.com/us/app/musixmatchlyrics/id454723812?mt=12
Split Pic
2.0.1
https://itunes.apple.com/br/app/split-pic-2.0-cloneyourself/id570748340?mt=8
Passa Regua
1.5
https://itunes.apple.com/br/app/passa-regua/id449074589?mt=8
Partiu Balada
1.4
https://itunes.apple.com/br/app/partiubalada/id544524369?mt=8
Genéricos Brasi
1.0
https://play.google.com/store/apps/details?id=br.com.petax.genericos
&feature=top-free
Vacinas Brasil Lite
2.1
https://play.google.com/store/apps/details?id=lite.vacinas.vandfald.net
&feature=top-free
Pressão Arterial
1..2.9
https://play.google.com/store/apps/details?id=com.szyk.myheart&feat
ure=top-free
Guia Médico
1.0.1
https://play.google.com/store/apps/details?id=com.unimed.guiamdico
&feature=top-free
Nacional Unimed
102
Diário de Pressão
1.4.21
https://play.google.com/store/apps/details?id=com.ptashek.bplog&feat
ure=related_apps#?t=W251bGwsMSwxLDEwOSwiY29tLnB0YXNoZ
WsuYnBsb2ciXQ..
1.3
https://play.google.com/store/apps/details?id=appinventor.ai_flptuon.in
feccao&feature=also_installed
TV Show Favs
3.5.5
https://play.google.com/store/apps/details?id=com.tvshowfavs&featur
e=search_result#?t=W251bGwsMSwyLDEsImNvbS50dnNob3dmYXZ
zIl0.
Diabetes
3.0
Gripe Suína
1.0
https://play.google.com/store/apps/details?id=appinventor.ai_rsepulve
dapalamara.Diabetes&feature=more_from_developer#?t=W251bGws
MSwyLDEwMiwiYXBwaW52ZW50b3IuYWlfcnNlcHVsdmVkYXBhbGF
tYXJhLkRpYWJldGVzIl0.
https://itunes.apple.com/br/app/gripe-suina/id315185762?mt=8
Apgar
0.2
https://play.google.com/store/apps/details?id=appinventor.ai_fernando
_ivan.Apgar_portugues&feature=apps_topselling_free
KCRW SongTag
1.6
https://play.google.com/store/apps/details?id=com.norvan.SongTag&f
eature=also_installed#?t=W251bGwsMSwyLDEwNCwiY29tLm5vcnZ
hbi5Tb25nVGFnIl0.
Sky Drive
1.1
https://play.google.com/store/apps/details?id=com.microsoft.skydrive&
feature=nav_result#?t=W251bGwsMSwyLDNd
O que é o que é
3.1
https://play.google.com/store/apps/details?id=br.com.arnapio&feature
=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5hcm5hcGlvIl
0.
iBeer FREE
1.3.1
https://play.google.com/store/apps/details?id=com.hottrix.ibeerfree&fe
ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ob3R0cml4L
mliZWVyZnJlZSJd
Google Play Books
2.7.38
s.books&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5n
b29nbGUuYW5kcm9pZC5hcHBzLmJvb2tzIl0.
Lighter Free
6.0
https://play.google.com/store/apps/details?id=com.progimax.lighter.fre
e&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5wcm9na
W1heC5saWdodGVyLmZyZWUiXQ..
Maze game
25.3
https://play.google.com/store/apps/details?id=com.guruas.mazegamej
&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ndXJ1YX
MubWF6ZWdhbWVqIl0.
Change my Voice
1.9.8
https://play.google.com/store/apps/details?id=com.coolapps.changem
yvoice&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jb2
9sYXBwcy5jaGFuZ2VteXZvaWNlIl0.
Galinha Pintadinha
1.4
Guess The Movie
1.234567
https://play.google.com/store/apps/details?id=br.com.warpzone.zerou
m.galinha&feature=search_result#?t=W251bGwsMSwxLDEsImJyLm
NvbS53YXJwem9uZS56ZXJvdW0uZ2FsaW5oYSJd
https://play.google.com/store/apps/details?id=com.june.guessthemovi
e&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5qdW5lL
md1ZXNzdGhlbW92aWUiXQ..
Sanguinea
GAPS - Antibiótico
na Urgência
89
103
Flashlight
1.1.9
Toddler Animal
1.3
Sounds
MyBaby: My puzzle
https://play.google.com/store/apps/details?id=com.intellectualflame.le
dflashlight.washer&feature=search_result#?t=W251bGwsMSwxLDEsI
mNvbS5pbnRlbGxlY3R1YWxmbGFtZS5sZWRmbGFzaGxpZ2h0Lndh
c2hlciJd
https://play.google.com/store/apps/details?id=com.kidstatic.toddlerani
malsounds&feature=apps_topselling_free
1.3
https://play.google.com/store/apps/details?id=org.example.babypuzzle
&feature=apps_topselling_free
Presidentes
1.0
https://play.google.com/store/apps/details?id=br.com.cre8.presidentes
Pou
1.2.14
https://play.google.com/store/apps/details?id=me.pou.app&feature=na
v_result#?t=W251bGwsMSwyLDNd
Logo Quiz
11.3
https://play.google.com/store/apps/details?id=logos.quiz.companies.g
ame&feature=search_result#?t=W251bGwsMSwxLDEsImxvZ29zLnF
1aXouY29tcGFuaWVzLmdhbWUiXQ..
Procedimentos
1.2.1
https://play.google.com/store/apps/details?id=thirtyideas.ptuss&featur
Alergias
1.5
https://play.google.com/store/apps/details?id=info.diegoramos&featur
Breast-feeding
1.9.8
https://play.google.com/store/apps/details?id=com.whisperarts.kids.br
eastfeeding&feature=apps_topselling_free
Diabetes Diary Lite
1.0.4
https://play.google.com/store/apps/details?id=jp.hideki.diabeteslite&fe
ature=search_result
Jogos Mentais
1.0
https://play.google.com/store/apps/details?id=com.thepapership.brain
games.espanol&feature=search_result#?t=W251bGwsMSwxLDEsIm
NvbS50aGVwYXBlcnNoaXAuYnJhaW5nYW1lcy5lc3Bhbm9sIl0.
bPresso.com
0.9.2
https://play.google.com/store/apps/details?id=com.freshware.bpresso
&feature=more_from_developer
Medicamentos A a
1.0
https://itunes.apple.com/br/app/medicamentos-z-pediatriafree/id492015261?mt=8#
Procedimentos SUS
1.2.5
https://itunes.apple.com/br/app/procedimentossus/id502701842?mt=8
CliniCalc: Medical
1.7
https://itunes.apple.com/br/app/clinicalc-medicalcalculator/id353404314?mt=8
1.0
https://itunes.apple.com/br/app/gestatools/id458897590?mt=8
for kids
TUSS
Z: Pediatria Free
Calculator
GestaTools
104
Dengue Adulto e
2.0
https://itunes.apple.com/br/app/dengue-adulto-ecrianca/id512107567?mt=8
Aleitamento
1.0.3
https://itunes.apple.com/br/app/aleitamento/id506198319?mt=8
Breastfeed
1.0.0
https://itunes.apple.com/br/app/breastfeed/id519547920?mt=8
GlicoCare
1.0
https://itunes.apple.com/br/app/glicocare/id477974723
Universo Médico
2.0
https://itunes.apple.com/br/app/universo-medico/id461429319?mt=8
Meu diário Mensal
1.1
https://itunes.apple.com/br/app/meu-diariomensal/id539888761?mt=8
Rotinas
1.0
https://itunes.apple.com/br/app/rotinas-terapeuticashospital/id571776048?mt=8
Appedatria
1.0
https://itunes.apple.com/br/app/appediatra/id573010328?mt=8
Psisoríase
1.3
https://itunes.apple.com/br/app/psoriase/id459472409?mt=8
Guia TV BR
3.0
https://play.google.com/store/apps/details?id=guiatvbrlite.com&feature
=featured-apps
Dblcam
1.0.1
https://itunes.apple.com/br/app/dblcam/id605269890?mt=8
Alarme AntiFurto
1.7.01
https://play.google.com/store/apps/details?id=br.com.verde.alarme&fe
ature=top-free
Engraçado Tones
1.2.1
https://play.google.com/store/apps/details?id=com.sancronringtones.f
unnysmssb&feature=apps_topselling_free
Diabetes
1.0.06
https://play.google.com/store/apps/details?id=com.szyk.diabetes&feat
ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5zenlrLmRpYW
JldGVzIl0.
Fácil voz Bloco de
1.3
https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.e
asyvoicenotepad&feature=search_result#?t=W251bGwsMSwxLDEsI
mpwLnNvbWV0aGluZ2dvb2Rzb2Z0LmVhc3l2b2ljZW5vdGVwYWQiX
Q..
Criança
Terapeuticas
SMS
Notas
105
Horóscopo HD
1.28
https://play.google.com/store/apps/details?id=ch.smalltech.horoscope.
free&feature=search_result#?t=W251bGwsMSwxLDEsImNoLnNtYWx
sdGVjaC5ob3Jvc2NvcGUuZnJlZSJd
1.0
https://play.google.com/store/apps/details?id=in.androbolt.android.birt
hdaybook&feature=search_result#?t=W251bGwsMSwxLDEsImluLmF
uZHJvYm9sdC5hbmRyb2lkLmJpcnRoZGF5Ym9vayJd
Battery Master
1.4.1
https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.b
atterymasterf&feature=search_result#?t=W251bGwsMSwxLDEsImpw
LnNvbWV0aGluZ2dvb2Rzb2Z0LmJhdHRlcnltYXN0ZXJmIl0.
WikipediaPlaces
2.27
https://play.google.com/store/apps/details?id=org.msq.WikiPlaces.free
&feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5tc3EuV2lr
aVBsYWNlcy5mcmVlIl0
Baby Names
1.3
https://play.google.com/store/apps/details?id=org.msq.babynames&fe
ature=more_from_developer
Faces - Photo Fun
2.48
https://play.google.com/store/apps/details?id=org.msq.Face&feature=
more_from_developer#?t=W251bGwsMSwxLDEwMiwib3JnLm1zcS5
GYWNlIl0.
CPF/CNPJ
3.6
https://play.google.com/store/apps/details?id=br.com.livetouch.serasa
consulta&feature=top-free
Tempo de trabalho
1.7.2
https://play.google.com/store/apps/details?id=com.oversense.worktim
e&feature=apps_topselling_free
Rastreio Correios
1.3.1
https://play.google.com/store/apps/details?id=br.com.lardev.android.ra
streiocorreios&feature=apps_topselling_free
Nó em gravata
1.0.2
https://play.google.com/store/apps/details?id=me.greenpea.tieatie&fe
ature=apps_topselling_free
Privalia Mobile
2.1
https://itunes.apple.com/br/app/privalia-mobile/id394874573?mt=8
Simples MP3
1.1.20
https://play.google.com/store/apps/details?id=org.goldennuggetapps.s
impledl&feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5nb
2xkZW5udWdnZXRhcHBzLnNpbXBsZWRsIl0
Presto! Remote
2.0
https://play.google.com/store/apps/details?id=com.raks.niz.AndroPcC
ontroller&feature=search_result
ColorNote Bloco de
3.9.17
https://play.google.com/store/apps/details?id=com.socialnmobile.dicta
pps.notepad.color.note&feature=apps_topselling_free
0.14.8.3
https://play.google.com/store/apps/details?id=org.withouthat.acalenda
r&feature=apps_topselling_free
Grátis Português
Lembrete de
Aniversários
Free
Downloader
Notas Lista
aCalendar - Android
Calendar
106
WiFi Manager
2.6.7
https://play.google.com/store/apps/details?id=org.kman.WifiManager&
feature=apps_topselling_free
Astrid Lista de
4.5.3
https://play.google.com/store/apps/details?id=com.timsu.astrid&featur
Diário feliz PLUS
1.6
https://play.google.com/store/apps/details?id=net.qopo.diaryplus&feat
ure=apps_topselling_free
Fake Call & SMS
2.16
https://play.google.com/store/apps/details?id=com.popularapp.fakecal
l&feature=apps_topselling_free
Telefone celular
47
https://play.google.com/store/apps/details?id=com.zmobilevoip&featur
Wedding Planning
1.2
https://play.google.com/store/apps/details?id=com.wedplanning&featu
re=apps_topselling_free
Benji Bananas
1.6
https://play.google.com/store/apps/details?id=com.fingersoft.benjiban
anas&feature=top-new-free
Sleep as Android
Não
https://play.google.com/store/apps/details?id=com.urbandroid.sleep&f
eature=apps_topselling_free
Tarefas
Voip
infomada
Lupa (Magnifier HD)
3.2
https://play.google.com/store/apps/details?id=cps.mmxi.magnifier&fea
ture=apps_topselling_free
Emoji para Android
1.0
https://play.google.com/store/apps/details?id=com.teizeba.emoji&feat
Relax and Sleep
4.1
https://play.google.com/store/apps/details?id=com.mizusoft.relaxandsl
eep&feature=apps_topselling_free
EarthView
1.7
https://play.google.com/store/apps/details?id=com.exoprimus.earthvie
w&feature=apps_topselling_free
Postos combustível
1.02
https://play.google.com/store/apps/details?id=com.biblum.topgasbr&fe
Tv Show. Tracker
2.3.1
https://itunes.apple.com/app/tv-show-tracker-suivezvos/id334565283?mt=8
Tumblr
3.3
https://itunes.apple.com/br/app/tumblr/id305343404?mt=8
ShareFood
1.0
https://itunes.apple.com/jp/app/sharefood/id611219625?l=en&mt=8
Brasil
107
SoundCloud
2.5
https://itunes.apple.com/en/app/soundcloud/id336353151?mt=8
Taximetro Pro
2.1.2
https://play.google.com/store/apps/details?id=br.com.main&feature=a
pps_topselling_free
London
2.1.3
https://play.google.com/store/apps/details?id=com.visualit.tubeLondon
City&feature=apps_topselling_free
I am Here
1.3
https://play.google.com/store/apps/details?id=com.spacetimeapps.iam
here&feature=apps_topselling_free
Night Vision
1.1.15
https://play.google.com/store/apps/details?id=com.fingersoft.nightvis
ioncamera&feature=more_from_developer
1.2
https://itunes.apple.com/au/app/festas-ufsc/id469968458?mt=8
GlobeConvert
1.7.3
https://itunes.apple.com/app/globeconvert-currencyunits/id462208752?mt=8
MagicPlan
3.0.1
https://itunes.apple.com/ca/app/magicplan/id427424432?mt=8
NET
2.0.1
https://itunes.apple.com/us/app/net/id518321053?mt=8
Viddy
2.2
https://itunes.apple.com/app/viddy/id426294709
Bouncy Bill Easter
Não
Tales
informada
https://play.google.com/store/apps/details?id=mominis.Generic_And
roid.Bouncy_Bill_Easter_Tales&feature=apps_topselling_new_free
Xadrez
1.0
https://play.google.com/store/apps/details?id=cox.google.xndroid.ch
ess&feature=apps_topselling_new_free
Pet Shop Story:
1.0.5.9.1
https://play.google.com/store/apps/details?id=com.teamlava.petsho
p20&feature=apps_topselling_new_free
Piano Virtual
6.0
https://play.google.com/store/apps/details?id=com.androidgonzalez
2013.piano&feature=apps_topselling_new_free
Exercícios em casa
13030918
https://play.google.com/store/apps/details?id=emcasa.hdcar.in.exerc
iciosemcasa&feature=apps_topselling_new_free
Reuters
1.1
https://itunes.apple.com/us/app/reuters/id602660809?mt=8
Underground Tube
Map
Camera
Festas UFSC
Easter
108
Floripa VIP
1.1
https://itunes.apple.com/us/app/floripa-vip/id577778153?mt=8
Compras, moda e
3.038
https://play.google.com/store/apps/details?id=com.snapette&feature
=apps_promotion_30000ca_Fashi
1.3
https://itunes.apple.com/us/app/brasil-mobile-guiaturistico/id370843693?mt=8
liquidações
Brasil Mobile
Florianópolis
Medida Certa
1.4
https://play.google.com/store/apps/details?id=br.com.ftips.medidacert
a&feature=top-free
Nike+ Running
1.1.0
https://play.google.com/store/apps/details?id=com.nike.plusgps&featu
re=top-free
Android Massager
1.0
https://play.google.com/store/apps/details?id=br.com.ideatech.celsoari
.massageator&feature=top-free
Metas de Vida
1.0
https://play.google.com/store/apps/details?id=br.com.minhavida.metas
devida&feature=apps_topselling_free
Receita Móvel Free
2.0.0
https://play.google.com/store/apps/details?id=receita.movel.free&featu
re=apps_topselling_free
Saúde Vale
2.8
https://play.google.com/store/apps/details?id=com.saude.vale&feature
=apps_topselling_free
Nivea Sun
1.0.11
TeleListas
3.7
https://play.google.com/store/apps/details?id=br.com.agenciaclickisob
ar.niveasun&feature=apps_topselling_free#?t=W251bGwsMSwxLG51
bGwsImJyLmNvbS5hZ2VuY2lhY2xpY2tpc29iYXIubml2ZWFzdW4iXQ
..
https://play.google.com/store/apps/details?id=com.cellcity.telelistas&fe
Sabores do Brasil
2.7
https://play.google.com/store/apps/details?id=com.melicoapp.Sabores
iCaipirinha
1.1.2
https://play.google.com/store/apps/details?id=br.com.yottaapps.icaipiri
nha&feature=apps_topselling_free
Evernote Hello
1.3.1.26
https://play.google.com/store/apps/details?id=com.evernote.hello&feat
ProEstetica
1.0.1
https://play.google.com/store/apps/details?id=pro.bv.pack&feature=ap
ps_topselling_free
109
Qranio
1.3
https://itunes.apple.com/sn/app/qranio/id473459715?mt=8
Twitter
5.5
https://itunes.apple.com/us/app/twitter/id333903271?mt=8
Decolar.com Hotéis
1.4.1
https://play.google.com/store/apps/details?id=com.gm.decolar&featur
e=top-free
2.1
https://play.google.com/store/apps/details?id=com.usefull.phrasestran
slate&feature=top-free
1.0.4
https://play.google.com/store/apps/details?id=br.com.abril.mileumluga
res&feature=apps_topselling_free
1.3.3
https://play.google.com/store/apps/details?id=com.netpatia.android.filt
eredcompass&feature=apps_topselling_free
Hotel Hoje
1.1.1
https://play.google.com/store/apps/details?id=com.hotelzilla.android&f
eature=apps_topselling_free
minube
2.34
https://play.google.com/store/apps/details?id=com.minube.app&featur
Mochileiros
1.0.1
https://play.google.com/store/apps/details?id=com.quoord.tapatalkmo
chi.activity&feature=apps_topselling_free
Sushi BR
1.2
https://itunes.apple.com/br/app/sushi-br/id435613346?mt=8
EasyMeasure
11.2
https://itunes.apple.com/us/app/easymeasure-measure-yourcamera!/id349530105?mt=8
Photo Effects
2.0.1
Flash Card Demo
flash
https://play.google.com/store/apps/details?id=com.appspot.swisscode
monkeys.effectsfree&feature=search_result#?t=W251bGwsMSwxLD
EsImNvbS5hcHBzcG90LnN3aXNzY29kZW1vbmtleXMuZWZmZWN0
c2ZyZWUiXQ
https://play.google.com/store/apps/details?id=com.flashcards.demo&f
eature=search_result#?t=W251bGwsMSwyLDEsImNvbS5mbGFzaG
NhcmRzLmRlbW8iXQ
Dodol Phone
3.0.24
https://play.google.com/store/apps/details?id=demo.galmoori.datausa
ge&feature=search_result#?t=W251bGwsMSwxLDEsImRlbW8uZ2Fs
bW9vcmkuZGF0YXVzYWdlIl0
Prague Shopping
0.1
https://play.google.com/store/apps/details?id=com.wPragueShopping
Guide&feature=search_result#?t=W2
e Voos
Aprenda a falar
outras línguas
1001 Lugares no
Brasil
Bússola
estabilizada
Guide
110
APÊNDICE D – Formulário utilizado para registrar as avaliações
111
APÊNDICE E - Dados coletados na realização das avaliações
Aplicativos/Questões
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Bounce Bill Easter Tales
Pet Shop Story
Piano Virtual
Exercícios em casa
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
London Underground Tube Map
Benji Bananas
Postos Combustível Brasil
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Lembretes de Aniversário
Tempo de Trabalho
Presto! Remote
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
1
2
2
2
1
1
2
2
2
1
2
2
1
1
2
1
2
2
2
1
1
1
2
2
1
2
1
1
1
2
1
1
2
2
2
1
0
2
0
1
2
2
2
2
2
1
2
1
2
2
2
2
1
2
0
2
1
2
2
2
1
2
1
2
2
2
2
2
2
1
2
1
2
1
1
2
1
2
2
1
1
1
1
2
2
2
1
1
1
2
2
1
2
1
2
1
2
2
1
2
1
2
1
0
2
2
0
0
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
1
2
1
1
2
1
2
2
2
3
0
2
2
2
2
2
2
2
0
2
2
2
2
0
2
2
2
0
2
2
2
0
0
2
0
0
2
0
2
2
2
0
2
2
2
2
2
0
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
0
2
0
2
2
0
0
0
0
4
2
2
2
1
1
2
2
2
1
2
2
9
2
2
1
9
2
2
2
1
2
2
1
1
2
2
1
1
1
2
1
2
2
2
2
0
2
1
1
1
2
2
2
2
1
2
1
1
1
2
1
1
2
1
9
2
2
2
1
0
2
2
2
2
2
2
5
2
2
2
1
2
2
2
2
0
0
2
2
2
2
2
2
2
0
2
2
2
2
2
0
0
0
0
0
2
0
2
2
2
2
2
2
0
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
0
0
0
2
2
0
0
2
2
6
2
2
0
0
2
2
2
1
0
2
2
0
0
2
2
0
2
2
0
0
2
2
0
2
9
0
2
2
2
0
0
0
0
2
2
0
2
2
0
0
2
2
2
2
1
2
0
2
0
0
0
2
2
2
0
2
2
2
1
0
0
2
2
0
2
2
7
1
9
2
2
2
9
2
2
2
2
9
9
2
9
2
9
2
9
9
2
2
2
2
2
2
0
2
2
2
9
2
1
2
2
9
9
2
9
9
2
9
9
2
2
1
9
2
2
1
2
2
0
9
1
9
1
0
9
2
9
2
9
2
2
2
2
8
0
0
0
0
0
0
0
0
0
2
0
0
2
2
2
0
0
0
2
0
2
0
2
2
0
0
0
0
0
0
2
0
0
2
0
0
0
0
2
0
2
2
2
2
2
2
0
0
0
2
0
2
2
2
0
0
0
2
2
0
2
2
0
0
2
0
9
0
0
0
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
2
0
2
0
0
1
0
2
0
2
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
2
2
2
2
2
10
2
2
2
2
2
2
2
2
2
2
2
9
1
2
2
9
1
2
0
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
1
9
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
11
2
1
2
2
1
2
2
2
1
2
2
1
1
2
1
1
2
9
2
2
2
2
1
1
9
9
1
1
2
1
2
2
1
9
1
2
2
1
0
1
2
1
1
1
1
1
1
2
2
2
2
1
1
9
2
1
1
2
1
0
2
1
2
2
2
2
12
2
2
2
0
2
2
2
2
1
2
2
2
0
2
1
2
2
2
2
1
2
2
2
1
2
2
2
0
2
2
2
2
2
2
1
0
2
2
1
2
2
1
2
2
0
2
1
2
2
2
2
2
2
2
2
2
1
2
1
1
2
2
2
2
2
2
13
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
14
9
9
2
9
9
9
0
9
9
9
2
9
0
9
1
9
2
9
2
1
2
2
9
9
9
9
0
9
2
9
2
1
9
9
0
0
9
9
9
9
2
2
9
1
1
2
9
9
9
9
2
9
9
9
2
9
9
9
9
0
9
9
9
2
9
2
15
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
112
MyBaby Puzzle
Toddler Animal Sound
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Traficc Counter Extended
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
1
2
2
1
2
2
0
0
1
2
1
0
2
2
2
1
1
1
0
0
0
2
2
0
0
0
1
1
2
2
1
2
2
2
1
1
2
1
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
1
1
2
0
2
1
2
2
2
2
2
1
1
2
1
1
1
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
1
2
1
2
2
2
2
2
2
2
2
2
0
0
0
3
2
2
2
2
2
0
2
0
0
2
0
2
0
2
0
0
0
2
2
2
2
2
2
2
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
9
4
2
9
9
1
2
9
1
0
2
2
2
9
0
1
0
0
1
2
2
1
1
1
2
2
2
2
1
2
2
2
1
1
1
1
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
0
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
0
0
0
5
2
2
0
2
2
0
2
0
0
0
0
0
0
2
2
0
2
2
1
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
0
2
1
2
2
2
2
1
1
2
2
9
2
2
2
2
1
0
2
2
2
0
0
2
2
2
9
0
9
6
0
9
2
0
0
2
2
2
2
0
2
9
2
0
0
0
0
0
0
0
0
0
2
0
2
0
0
2
0
2
2
0
1
1
2
2
2
2
2
1
2
0
0
0
1
0
1
0
2
2
9
0
0
2
2
2
9
0
0
2
0
1
2
1
2
1
9
9
9
7
2
9
0
0
2
0
9
0
2
2
2
0
1
1
1
1
1
2
2
1
1
1
2
2
2
9
2
9
2
2
2
2
1
2
2
2
2
2
2
2
1
2
0
2
2
2
2
2
1
2
0
2
2
2
2
2
9
2
2
2
2
2
2
9
2
2
0
0
0
8
0
0
0
0
2
0
0
0
0
2
2
0
0
2
0
0
0
0
2
0
0
0
2
0
0
2
2
2
0
0
0
2
2
2
2
2
0
2
2
2
2
0
0
2
2
2
2
0
2
0
0
2
2
2
0
2
1
0
2
2
2
2
2
0
0
0
2
2
2
9
2
0
0
0
0
2
0
2
2
2
0
0
0
0
2
2
2
0
0
0
0
0
0
0
0
2
2
0
0
0
0
0
1
0
0
0
0
0
0
2
0
2
0
1
0
2
2
0
1
0
0
0
0
2
0
0
0
2
2
2
0
2
2
0
0
0
2
2
9
10
1
2
9
2
2
9
2
9
2
1
2
2
2
1
2
2
2
1
1
1
1
1
2
2
1
2
1
2
1
2
1
1
2
2
2
2
2
2
2
2
1
1
1
2
1
2
2
2
2
1
2
2
2
2
9
9
9
2
2
2
2
2
2
9
2
2
2
2
2
11
2
2
2
1
2
0
1
1
2
1
2
1
1
2
1
1
2
2
2
1
1
1
1
2
2
2
2
2
1
2
1
1
2
T
2
2
1
2
2
1
1
2
2
2
1
2
0
2
2
1
9
1
2
1
2
2
2
2
2
2
2
2
2
9
1
2
2
2
2
12
2
2
2
2
2
1
2
1
2
1
2
1
0
2
1
1
0
2
1
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
13
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
9
9
14
2
9
9
2
9
9
2
9
9
0
9
2
9
9
0
2
9
9
9
9
9
9
9
9
9
9
2
9
9
9
2
9
2
0
0
0
2
9
0
2
9
0
2
2
1
9
2
9
0
2
9
2
1
0
0
9
9
0
2
2
0
0
0
9
2
9
2
2
2
15
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
0
2
2
2
0
113
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Accupedo - Pedômetro
Apn Brasil
TrackPack
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
Áudio pessoal AUPEO iPhone
Guia de Aeroportos HD iPhone
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
InstaWeather Free iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
Mokriya Craigslist apps for iPhone
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
CliniCalc: Medical Calculator
Procedimentos SUS
Medicamentos A a Z: Pediatria Free
2
2
2
1
2
2
2
2
2
1
0
2
2
2
1
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
0
2
2
1
1
2
2
0
1
2
2
2
2
2
2
2
2
2
2
2
1
1
1
2
2
2
2
2
1
2
2
2
2
2
1
2
2
0
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
0
0
2
2
2
2
0
2
0
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
4
2
2
2
2
2
2
0
2
2
2
1
2
2
9
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
5
1
1
2
2
1
2
2
2
2
2
2
2
0
2
2
1
1
0
2
2
2
2
0
2
0
2
0
0
0
2
0
2
2
2
2
2
2
2
0
0
0
2
0
0
2
0
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
6
1
0
0
2
0
1
0
1
0
1
2
0
2
0
2
2
2
1
1
2
2
2
2
2
2
2
2
0
2
0
0
0
0
2
2
2
2
0
0
2
2
2
1
0
1
1
1
0
2
2
1
1
1
1
1
2
1
2
2
2
0
1
1
2
1
0
1
2
2
7
2
9
2
2
2
2
1
2
2
2
1
2
2
2
2
2
0
2
2
2
0
0
2
2
2
2
2
0
0
0
9
9
9
9
9
2
9
9
2
9
9
2
2
2
2
2
2
2
2
2
2
2
2
0
9
0
9
0
2
2
2
9
9
9
9
9
2
0
2
8
0
0
0
2
2
2
0
2
2
2
0
2
0
2
0
0
0
2
0
0
0
2
0
0
2
0
0
0
0
2
2
2
0
0
0
0
0
0
0
0
0
2
2
0
2
0
0
2
2
2
2
0
1
1
0
1
0
1
0
0
1
2
1
2
0
1
0
2
0
9
0
0
0
2
2
2
0
2
2
0
2
0
1
2
0
0
1
2
0
2
0
1
2
0
2
0
1
0
2
1
2
2
1
0
0
0
0
0
0
0
0
0
0
0
2
2
0
0
2
0
2
0
0
0
2
0
0
0
0
0
0
0
0
0
0
0
2
1
2
10
2
9
1
2
2
2
9
2
2
2
2
2
9
9
1
2
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
2
2
9
9
2
2
2
2
2
2
2
1
1
2
1
2
2
2
2
2
2
2
2
9
2
2
2
2
9
2
2
2
2
2
2
2
2
1
11
1
2
2
2
1
1
2
1
2
2
1
1
2
1
2
2
2
2
2
2
2
2
1
2
1
2
2
1
2
2
1
2
2
0
9
0
1
1
2
1
0
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
1
2
2
1
12
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
1
2
2
2
2
2
2
1
2
9
1
2
2
1
2
2
1
2
2
2
1
2
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
13
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
0
14
1
1
2
0
1
0
2
0
2
9
2
2
9
9
2
2
0
1
1
2
2
0
2
1
9
0
0
2
2
0
1
2
0
2
2
2
0
0
2
2
2
2
2
2
2
1
2
1
1
1
1
1
2
2
2
2
0
2
2
2
2
2
1
2
2
2
0
0
2
15
2
2
2
0
0
0
0
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
0
0
2
2
0
0
0
0
2
2
0
0
0
0
0
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
114
WBCBaseball iPhone
Partiu Balada iPhone
ArtFinder iPhone
EyeEm iPhone
Remember The Milk iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
TV Show Tracker iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Brasil Mobile iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
Ringtone Maker
Tv show favs
KCRW SongTag
Livraria Cultura eBook
Wales UK-Free Travel Guide
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
Dodol Phone
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Pet Shop Story
Piano Virtual
Exercícios em casa
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
2
1
2
2
2
1
2
2
2
1
2
2
2
2
0
2
2
1
9
1
9
0
1
2
2
1
2
2
2
9
2
2
2
9
0
1
0
2
2
2
1
2
2
2
2
1
2
1
1
1
2
2
2
2
2
1
2
2
2
2
2
2
0
2
2
1
2
2
2
2
0
1
1
2
1
2
1
2
2
2
2
9
2
2
2
2
2
2
9
1
2
0
2
2
2
2
2
2
2
9
0
0
0
2
2
2
9
0
2
2
2
3
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
0
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
9
9
9
2
2
9
0
9
9
9
9
9
9
0
9
2
9
9
9
2
0
9
9
0
0
9
9
2
2
2
4
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
0
2
2
0
2
2
1
2
2
5
1
2
2
0
2
0
0
2
0
0
1
2
2
0
2
1
2
2
2
2
0
2
2
2
2
1
2
1
0
0
0
2
2
2
2
0
1
0
2
9
9
9
0
9
9
2
9
2
9
9
9
9
0
9
9
9
9
9
9
9
9
9
9
2
9
9
1
2
1
6
1
0
2
0
2
0
2
0
2
2
1
0
0
2
1
0
0
2
0
2
0
2
2
2
9
9
9
0
2
0
2
2
1
0
0
1
0
0
2
9
2
9
9
9
9
9
9
9
2
2
9
9
2
9
9
9
9
2
2
9
1
2
0
9
9
9
2
2
2
7
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
2
9
2
2
1
9
2
2
2
2
2
1
2
2
2
0
2
2
9
2
9
2
9
9
9
9
9
9
9
2
2
9
9
0
9
9
9
9
2
2
1
2
2
2
9
9
9
0
0
0
8
2
2
2
0
0
2
0
2
0
0
0
2
2
2
2
2
2
0
0
2
0
0
0
2
2
2
0
0
1
0
0
2
0
0
0
0
2
0
2
1
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
9
2
2
2
2
2
2
2
2
9
9
0
0
0
9
0
0
2
2
0
2
0
2
0
0
0
0
2
2
2
2
0
0
0
2
0
2
9
0
0
0
0
0
0
2
0
0
0
0
2
0
2
0
0
2
2
2
0
0
9
1
9
2
9
2
9
9
2
9
1
9
2
9
2
2
2
9
2
2
9
9
2
0
2
10
2
2
2
2
2
2
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
9
9
9
0
2
9
9
2
2
2
2
2
2
2
2
2
2
9
9
1
9
9
9
0
9
9
9
9
2
9
0
9
0
9
2
9
2
1
2
2
0
9
9
9
2
2
2
11
2
1
2
1
2
2
2
1
1
2
2
1
2
2
1
1
2
2
2
1
2
2
9
0
2
2
9
9
1
1
2
1
1
2
2
2
1
0
2
1
2
2
2
2
2
2
9
2
0
0
2
2
2
2
2
2
2
9
2
2
2
2
2
2
0
0
2
2
2
12
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
0
0
2
2
2
9
2
0
2
2
2
2
2
0
2
0
2
1
1
2
2
2
1
1
2
2
1
2
2
1
1
1
1
2
2
2
1
1
1
2
2
1
1
1
2
2
2
13
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
1
2
2
1
2
2
1
2
2
1
2
2
1
2
2
2
1
2
2
1
2
2
2
2
2
2
2
2
9
2
1
2
1
14
2
2
1
1
2
1
1
1
1
2
1
2
1
1
1
2
2
2
2
2
2
2
2
9
9
9
2
9
9
0
0
0
0
0
1
0
1
0
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
9
2
0
0
0
15
2
0
0
0
2
0
2
0
2
0
0
0
0
0
0
0
0
0
2
0
0
0
0
2
0
0
0
0
2
0
0
2
2
2
0
0
0
2
0
2
2
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
9
0
115
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
Benji Bananas
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Tempo de Trabalho
Presto! Remote
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
MyBaby Puzzle
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
2
9
2
16
2
2
0
2
2
2
2
2
9
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
9
2
2
2
2
2
0
9
9
9
1
9
0
2
2
2
2
17
2
2
2
2
2
2
2
2
0
1
2
2
2
1
2
0
2
2
2
2
2
2
2
2
2
2
1
0
2
2
0
2
2
2
2
2
1
2
2
2
2
9
0
2
9
9
9
18
9
9
9
9
9
9
9
9
9
9
0
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
0
2
2
0
9
9
9
9
9
9
9
2
2
2
19
0
2
2
2
2
2
2
2
2
0
2
2
2
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
0
2
2
2
2
2
2
2
2
2
0
0
2
9
9
0
20
9
0
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
2
9
9
9
9
9
9
2
9
9
9
9
9
9
2
9
9
9
2
9
9
9
2
9
9
9
9
2
9
9
21
2
2
9
9
9
2
9
9
9
9
9
2
2
9
9
9
2
9
9
2
9
2
9
1
9
9
9
0
9
9
0
2
9
9
0
2
0
2
9
9
1
9
9
2
2
9
9
22
2
2
9
9
9
2
9
9
9
9
9
2
2
9
9
9
2
9
2
2
9
2
9
2
9
9
9
2
9
2
0
2
9
9
0
2
9
2
9
9
2
9
9
2
2
9
2
23
2
2
2
2
2
2
9
2
2
9
9
2
2
2
2
1
2
2
2
2
2
2
2
2
2
9
2
2
2
2
9
2
2
9
2
2
2
9
2
2
2
9
0
2
9
9
2
24
9
2
9
9
9
1
9
2
9
0
2
2
2
2
2
2
1
9
1
2
0
1
9
9
1
9
2
2
2
2
9
1
9
2
2
2
2
9
9
9
2
9
9
9
0
9
0
25
9
0
1
9
9
0
0
9
9
9
9
9
2
9
0
1
2
9
9
9
9
2
9
9
9
2
9
0
9
9
0
9
9
9
2
9
2
2
9
9
2
9
9
2
2
0
2
26
2
2
2
2
2
2
0
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
0
0
2
2
0
0
2
2
9
9
2
2
2
0
2
2
2
2
27
2
1
2
1
2
1
1
2
2
0
0
1
1
2
1
1
2
1
2
2
2
1
2
1
2
2
2
2
1
2
1
1
2
2
2
2
1
2
2
2
2
1
2
1
2
2
2
28
1
1
2
2
2
2
0
1
9
0
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
9
2
2
2
0
2
1
2
9
2
29
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
1
2
2
2
2
2
2
9
2
2
2
9
9
2
2
2
2
30
2
2
2
0
2
0
2
2
2
0
2
2
0
2
0
2
2
2
2
2
2
2
2
0
2
2
2
2
0
2
1
2
2
2
2
2
2
9
2
2
2
2
2
2
2
9
2
9
2
2
2
9
9
2
9
9
2
2
2
2
2
2
1
2
2
2
2
2
0
2
2
2
2
9
2
0
0
2
2
0
2
2
2
2
0
2
0
9
9
9
9
9
9
9
9
0
9
9
0
9
0
9
9
9
9
9
9
0
0
2
0
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
9
9
2
9
0
0
9
9
2
9
9
9
9
0
9
9
9
9
9
2
0
9
0
9
9
2
9
9
9
0
9
9
9
9
0
9
9
9
9
9
9
2
9
2
9
9
2
9
9
9
2
2
2
9
9
2
9
9
9
9
9
9
2
9
2
9
2
2
2
9
2
2
9
9
2
9
2
2
2
2
9
2
9
2
9
2
9
9
2
9
9
9
1
9
9
2
2
1
9
2
2
1
9
9
9
9
2
9
9
0
9
2
9
9
0
2
9
9
0
9
9
9
9
9
9
2
9
2
0
0
2
9
9
9
2
2
0
2
2
2
1
1
1
1
2
2
2
1
1
1
1
2
2
1
1
2
1
1
1
2
2
1
2
2
2
2
2
2
1
2
9
2
2
2
2
2
1
1
1
1
2
2
2
2
2
1
2
2
2
9
2
1
2
2
2
9
9
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
0
0
2
2
2
2
2
2
2
2
2
116
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Apn Brasil
TrackPack
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
2
2
2
16
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
9
2
2
2
0
2
2
2
2
0
2
1
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
2
2
2
2
2
2
2
0
2
2
2
2
2
17
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
0
2
2
2
2
2
0
2
1
0
2
1
2
2
2
2
2
2
2
9
0
0
2
2
0
2
2
9
9
9
18
9
9
9
9
0
0
2
1
2
9
1
2
9
2
9
9
9
2
1
9
2
9
2
9
9
0
2
9
9
0
9
2
9
2
0
9
9
9
9
9
2
9
9
9
9
0
2
9
2
2
9
9
9
2
9
9
9
2
9
9
9
9
2
9
9
2
2
2
19
0
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
9
9
9
20
2
9
9
2
0
2
2
2
9
9
2
2
9
9
9
1
0
9
0
9
0
0
2
9
2
1
0
2
9
0
9
0
0
2
1
9
1
9
9
0
1
2
9
9
2
0
9
9
0
0
9
9
2
9
9
9
9
9
2
2
2
2
0
9
9
2
0
9
21
9
9
2
0
1
0
1
2
9
0
0
0
9
9
0
0
0
2
2
0
0
0
9
9
2
1
9
9
0
0
2
0
0
0
1
1
1
0
1
0
1
0
1
9
0
1
0
9
0
0
2
9
0
9
9
9
9
9
9
2
2
9
0
2
2
2
0
9
22
9
9
9
0
1
2
1
0
9
0
0
0
9
9
0
0
0
2
2
0
0
0
9
9
2
2
9
9
0
0
2
0
0
0
2
1
1
0
1
0
0
0
1
9
0
1
0
9
0
0
0
2
0
9
9
9
9
9
9
2
0
9
2
0
0
2
2
2
23
2
2
2
1
0
2
2
9
2
2
2
9
2
0
0
2
0
2
0
2
2
0
2
2
1
2
0
9
2
1
0
1
1
0
0
2
2
0
0
2
0
2
9
2
2
2
2
0
0
1
2
2
2
0
0
2
2
9
2
2
2
9
2
2
2
9
0
2
24
9
2
9
9
1
2
2
2
1
9
2
0
0
1
9
2
1
1
1
2
2
1
0
9
1
2
1
1
1
1
9
2
0
0
2
2
2
2
1
9
0
1
9
9
2
2
2
1
2
1
2
2
2
0
9
2
2
2
9
2
2
9
1
2
2
9
2
9
25
9
9
2
9
1
0
2
1
2
9
1
2
9
1
2
2
1
9
1
9
2
2
9
2
1
2
9
9
9
0
2
2
1
2
2
2
1
9
9
2
2
1
2
2
2
2
2
2
2
2
9
2
9
9
0
2
2
2
1
1
2
2
2
2
1
2
2
2
26
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
1
2
2
2
2
9
2
2
9
9
2
2
2
9
2
2
9
2
9
2
2
2
2
2
9
9
2
1
2
2
2
2
2
2
0
2
2
2
2
27
1
2
2
2
2
1
2
1
2
2
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
2
2
1
1
2
2
2
2
1
1
2
1
2
2
2
2
2
2
2
2
2
28
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
1
2
2
1
2
2
2
1
1
2
1
2
2
2
2
2
2
2
9
1
2
2
2
0
2
2
1
1
2
2
2
1
2
2
2
9
2
0
2
2
2
2
2
2
2
2
2
2
2
29
2
2
2
2
2
1
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
0
2
2
2
2
2
9
9
2
2
2
2
9
9
2
2
2
1
2
2
9
1
2
2
2
2
9
1
2
2
2
2
2
2
2
2
2
2
2
2
2
30
2
2
2
2
2
0
2
0
2
0
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
0
2
2
2
2
2
0
0
0
2
2
2
2
2
2
0
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
117
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
Procedimentos SUS
WBCBaseball iPhone
ArtFinder iPhone
EyeEm iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
2
2
0
0
16
2
0
0
2
2
2
9
0
1
0
0
1
9
2
2
2
2
2
2
2
2
2
2
2
0
1
9
0
9
2
0
2
2
2
0
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
0
1
2
2
2
17
2
2
2
2
2
2
9
2
2
0
2
2
2
2
1
0
0
0
0
2
0
1
2
0
2
2
2
2
0
2
2
9
2
2
2
1
2
0
2
2
1
2
1
2
0
2
0
2
2
2
2
2
2
2
1
1
1
0
2
1
2
2
2
2
2
2
9
1
9
18
9
9
2
2
9
9
9
0
9
9
9
2
9
0
0
9
0
0
0
9
0
2
1
9
9
9
9
9
9
2
0
9
9
9
9
9
9
9
9
9
0
0
0
9
0
0
9
0
0
0
9
0
9
0
0
0
0
9
9
0
2
9
9
9
9
2
2
0
0
19
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
9
0
0
20
2
9
9
9
9
9
9
0
9
9
2
9
2
2
0
2
0
9
2
0
2
0
0
0
9
0
0
0
9
0
9
2
2
9
9
9
9
9
2
9
9
2
2
2
2
2
0
2
2
2
9
2
9
2
2
0
2
2
9
0
2
9
9
0
9
0
2
9
0
21
9
9
0
0
9
9
2
9
9
0
0
0
0
0
0
2
2
2
0
0
0
0
2
0
9
9
9
9
0
0
0
0
2
9
0
0
9
0
2
0
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
9
2
0
2
0
9
9
9
0
2
9
0
22
9
9
0
0
9
9
2
9
9
0
0
0
0
0
9
2
2
0
0
0
0
0
0
0
9
9
9
9
0
0
0
0
0
9
0
0
9
0
2
0
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
9
2
0
2
0
9
9
9
2
2
2
2
23
9
9
2
2
9
9
9
2
9
1
2
1
0
2
9
9
1
9
9
9
0
9
2
9
2
2
9
2
9
2
2
9
2
9
2
2
2
2
2
2
9
2
0
2
2
9
9
2
2
2
2
2
2
0
2
2
9
9
2
2
2
0
9
9
0
1
2
1
1
24
2
0
2
0
9
9
9
2
2
1
0
1
0
1
1
2
2
9
2
2
1
2
2
2
9
2
9
9
2
2
2
9
2
9
2
1
2
1
1
2
9
1
1
1
9
1
2
1
1
2
2
2
2
2
2
2
2
9
2
2
2
2
9
2
9
9
2
2
1
25
2
0
0
2
2
1
2
2
2
1
2
2
2
2
2
2
2
1
2
1
1
1
1
1
2
2
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
1
2
1
2
2
1
2
1
1
2
1
2
1
2
1
2
2
2
2
2
9
2
2
9
9
2
0
0
26
2
2
2
2
2
2
2
2
2
0
0
0
0
2
2
2
2
0
2
0
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
0
2
2
1
1
27
1
2
1
2
1
1
2
1
2
2
2
1
1
2
2
1
2
2
1
1
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
1
1
1
2
1
2
2
2
1
2
2
1
1
1
1
2
2
2
2
2
0
1
2
1
1
28
1
2
1
1
1
2
2
1
2
0
1
1
1
2
2
0
2
2
0
0
2
2
2
2
2
2
2
2
1
2
1
0
2
2
2
2
2
2
1
0
1
1
1
2
0
2
1
1
1
2
0
2
2
2
1
1
1
2
1
2
1
9
2
0
0
2
2
2
2
29
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
1
0
1
30
2
2
0
0
2
0
2
2
2
2
2
2
2
0
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
9
9
118
Ringtone Maker
Tv show favs
KCRW SongTag
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
Dodol Phone
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Pet Shop Story
Piano Virtual
Exercícios em casa
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
Benji Bananas
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Tempo de Trabalho
Presto! Remote
2
2
2
2
16
2
9
2
2
2
2
2
2
9
0
2
31
2
2
2
1
2
2
2
9
2
0
2
2
2
0
2
2
9
2
9
2
1
2
2
2
0
9
0
2
0
2
1
2
2
2
9
2
0
2
0
2
2
2
2
2
1
1
2
2
2
2
2
9
2
2
2
2
2
17
2
0
1
2
1
2
2
0
0
0
0
32
2
2
2
1
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
9
2
9
0
18
9
9
9
2
2
2
9
9
9
9
9
33
2
2
2
1
2
2
2
2
2
1
1
2
2
1
2
1
2
2
2
2
1
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
0
2
2
1
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
2
2
19
2
2
2
2
2
2
2
2
2
2
0
34
2
2
2
1
1
2
2
9
2
2
1
2
2
1
2
1
2
2
9
2
1
2
2
2
2
9
2
2
9
2
2
2
2
2
2
2
0
2
1
1
2
2
2
2
2
1
2
1
2
2
2
1
2
9
9
9
9
20
9
0
0
0
9
9
2
1
0
9
9
35
2
2
2
2
2
2
2
9
2
2
2
1
2
2
9
2
2
2
9
2
0
0
9
2
2
9
2
9
9
9
9
2
9
2
9
2
2
2
9
9
2
2
9
9
9
9
9
2
2
2
2
2
9
9
0
9
9
21
9
0
0
0
0
0
2
0
2
0
0
36
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
9
0
2
2
2
2
2
2
2
2
0
0
0
2
0
2
2
2
2
2
1
2
2
2
2
2
2
1
9
0
9
9
22
9
0
0
0
0
0
2
0
2
0
0
37
0
0
2
0
0
0
0
0
0
2
0
0
0
2
2
2
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
0
0
0
0
0
0
0
1
0
23
9
2
2
2
2
0
9
0
2
0
0
38
2
9
9
9
9
9
9
9
2
2
0
9
9
2
9
9
9
9
9
9
9
9
2
2
9
9
9
2
9
9
2
9
9
9
9
0
9
1
9
9
2
2
2
9
2
2
9
9
9
9
2
9
9
9
0
9
2
24
9
0
2
2
2
2
2
2
1
0
2
39
9
2
2
1
2
2
2
2
2
1
1
2
2
2
2
2
2
2
9
1
1
1
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
1
1
2
1
1
2
2
2
2
2
1
9
2
9
2
25
2
9
2
2
2
1
2
9
2
9
2
40
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
2
9
0
2
9
2
2
2
9
1
2
2
9
2
2
1
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
26
2
2
2
2
1
2
1
1
2
1
2
41
2
1
1
1
1
2
1
2
2
2
2
2
2
1
2
1
2
2
2
2
0
2
2
2
1
9
0
2
9
1
2
2
2
1
2
0
0
2
2
1
1
2
2
1
1
0
2
1
2
2
1
2
2
2
0
9
1
27
2
2
2
2
1
1
1
2
1
1
1
42
2
2
2
1
2
2
2
2
2
0
1
1
1
0
2
1
1
1
0
2
0
1
2
2
2
2
0
1
0
2
1
2
2
1
2
2
0
1
1
0
1
2
2
1
1
1
2
1
2
1
2
1
2
2
2
0
2
28
2
2
2
1
2
2
2
9
2
9
2
43
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
0
0
0
0
0
2
2
2
2
2
2
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
29
2
2
2
0
2
1
2
2
2
0
1
44
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
2
2
2
2
1
2
2
2
0
2
2
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
30
2
2
2
1
2
2
1
2
2
2
2
45
1
2
2
2
2
2
2
2
2
9
0
2
2
1
2
2
2
2
9
2
2
2
2
2
2
9
0
2
9
2
2
2
2
2
2
2
0
2
9
0
2
2
2
2
2
1
2
2
2
1
2
2
1
119
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
MyBaby Puzzle
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
2
2
2
2
31
0
2
0
0
2
2
2
2
2
2
2
9
2
2
9
9
1
2
2
2
9
9
2
9
9
9
2
0
0
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
1
2
2
2
2
2
1
2
2
1
2
1
2
2
2
2
2
9
9
2
2
2
2
32
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
33
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
34
2
2
2
1
2
2
2
2
2
2
2
2
2
2
9
9
2
2
9
2
9
2
2
2
9
9
2
1
1
1
2
1
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
9
2
2
2
2
2
2
2
2
2
2
2
9
2
35
9
2
2
9
2
2
9
9
2
9
9
9
9
2
9
9
9
2
9
9
9
9
2
2
9
9
9
9
9
9
9
1
2
2
2
2
2
2
2
9
9
9
9
2
9
9
9
9
1
9
9
9
2
9
2
2
9
2
9
2
9
2
2
9
9
0
2
2
1
36
2
2
2
2
2
2
2
2
2
2
9
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
1
1
2
2
2
2
2
2
2
1
2
1
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
0
0
0
0
37
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
0
0
0
0
0
2
2
0
0
0
0
0
2
2
0
0
2
0
2
0
0
0
0
2
2
0
0
0
0
0
0
2
2
0
9
9
38
0
9
2
1
2
2
9
2
2
9
9
9
9
9
9
9
0
2
9
0
9
9
1
9
9
9
2
0
0
9
9
9
9
9
9
9
9
9
9
2
9
9
9
2
1
9
2
0
0
1
1
2
0
1
0
0
0
2
0
1
0
0
0
0
1
1
1
2
1
39
1
2
1
1
2
2
2
2
2
1
0
2
2
2
2
0
2
2
1
2
2
2
2
2
2
9
2
1
1
2
2
2
1
1
1
2
1
1
2
1
2
0
2
0
2
0
0
9
2
0
0
9
1
2
0
0
0
2
0
2
1
0
0
0
0
1
2
2
2
40
9
2
2
2
2
1
2
2
2
2
9
2
0
2
9
2
1
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
9
2
2
2
2
0
9
0
1
2
1
1
41
9
2
2
1
2
1
2
2
1
2
9
2
2
2
9
2
1
2
9
2
2
2
2
2
2
2
2
2
2
1
2
0
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
0
2
2
2
1
2
2
2
2
2
2
9
1
2
1
2
42
0
1
0
1
2
2
1
1
2
1
2
1
1
2
1
1
1
2
1
2
2
2
2
1
0
0
2
0
0
0
2
1
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
43
0
2
1
2
2
2
2
0
2
2
0
0
0
2
2
0
2
2
0
2
0
0
2
0
2
0
1
2
2
0
2
2
2
2
2
2
2
2
1
2
0
0
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
1
2
2
2
44
1
1
2
1
2
2
2
2
2
2
9
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
2
1
1
1
1
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
45
0
2
9
9
2
2
0
0
2
2
9
9
2
2
2
9
1
2
2
2
9
9
1
0
9
0
2
2
2
1
2
1
2
2
2
1
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
0
2
9
2
2
2
2
2
2
2
2
9
120
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Apn Brasil
TrackPack
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
2
2
0
2
31
2
2
2
2
9
2
2
9
2
2
2
2
2
2
9
2
2
2
2
0
0
9
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
9
2
9
9
2
2
2
9
9
9
2
0
9
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
32
2
2
2
2
2
2
2
2
2
2
1
2
1
2
9
2
2
1
1
9
1
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
0
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
33
2
2
1
2
2
2
2
2
2
9
2
2
2
2
9
2
2
1
2
2
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
1
2
1
2
2
2
2
2
34
1
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
1
2
2
2
2
2
1
1
2
2
2
2
2
9
2
2
35
9
2
9
2
9
2
9
9
2
9
2
2
9
2
9
9
9
2
2
9
9
2
9
9
2
2
9
2
2
2
2
2
2
2
2
2
2
9
9
9
9
9
9
9
2
9
9
9
2
2
9
9
9
9
9
2
2
2
2
2
2
2
2
2
2
2
1
2
2
36
2
2
1
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
0
2
2
2
2
1
2
2
1
2
2
2
2
0
0
2
37
0
0
0
2
0
0
0
0
0
0
9
9
0
0
0
0
2
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
2
1
2
0
0
0
0
0
0
0
2
9
38
9
2
0
0
9
2
1
9
9
0
2
9
2
9
9
9
2
2
9
9
0
0
0
1
0
0
9
0
9
9
0
1
9
0
9
9
0
9
9
9
0
9
9
2
2
9
9
9
9
9
0
0
2
9
2
9
0
2
0
0
9
0
0
0
0
0
0
9
9
39
9
0
9
0
0
9
9
0
2
2
2
0
2
0
0
0
2
2
2
9
2
0
2
2
2
2
2
0
2
0
0
0
2
0
0
0
2
1
2
2
0
2
2
2
2
2
0
9
2
2
1
2
2
0
2
2
0
2
2
0
0
2
0
0
0
2
2
2
2
40
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
1
2
2
0
2
1
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
0
9
2
1
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
1
2
2
41
2
2
1
2
2
2
2
2
2
2
1
2
1
1
2
2
2
2
1
2
1
1
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
0
2
2
9
2
2
2
2
2
1
2
2
1
2
2
1
2
2
2
1
2
9
2
2
2
2
1
2
2
2
2
2
42
9
2
2
2
1
2
2
1
2
2
2
2
0
2
2
2
2
1
1
2
0
2
2
2
2
2
0
2
2
2
1
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
0
2
2
2
2
1
2
2
2
2
1
0
2
2
2
2
43
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
1
2
1
2
1
1
1
2
2
2
1
2
1
2
2
2
1
2
2
2
1
2
2
0
2
1
1
1
0
2
2
2
2
2
1
2
1
2
2
44
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
0
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
45
1
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
1
2
1
2
2
2
2
1
2
9
2
2
2
2
2
2
2
2
2
2
2
0
2
0
0
2
2
2
2
2
2
2
2
2
0
0
0
2
2
2
2
2
1
2
2
1
2
2
2
121
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
Procedimentos SUS
WBCBaseball iPhone
ArtFinder iPhone
EyeEm iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
Ringtone Maker
Tv show favs
KCRW SongTag
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
Dodol Phone
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
9
2
2
2
31
2
2
2
9
2
9
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
1
2
2
2
1
2
2
2
2
2
46
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
32
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
1
2
2
2
1
1
2
47
2
2
2
2
2
9
2
9
2
9
2
9
2
2
2
2
33
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
0
2
2
1
2
1
2
1
1
2
2
2
1
9
1
0
2
48
0
2
0
2
0
0
0
0
0
0
0
0
2
2
2
2
34
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
9
0
0
9
9
9
9
2
9
1
2
9
9
1
9
2
9
9
49
2
2
2
1
1
2
2
2
2
2
2
2
2
9
9
9
35
9
2
9
9
2
9
9
9
9
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
0
2
2
2
2
2
2
0
1
2
2
0
2
9
2
1
2
50
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
36
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
1
1
2
2
0
0
0
0
0
0
1
0
1
0
0
0
0
0
0
0
2
0
2
51
1
2
2
0
2
2
2
2
2
2
2
2
0
0
0
0
37
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
2
0
0
0
0
0
1
0
0
0
0
0
0
0
2
0
2
9
0
9
2
9
2
2
1
2
9
2
9
9
9
2
2
9
9
52
0
0
0
0
0
9
0
0
0
0
2
0
9
9
9
9
38
9
9
0
0
0
9
9
9
9
9
0
0
0
2
2
1
2
2
2
0
2
1
0
2
1
2
0
1
0
9
0
1
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
0
0
1
53
2
2
0
0
0
1
0
9
1
0
2
2
2
2
2
2
39
0
1
2
0
2
2
2
1
0
0
2
0
0
0
2
0
0
2
2
2
2
2
2
2
0
2
0
2
0
0
0
0
1
9
9
9
9
9
2
9
9
2
2
2
2
2
2
2
0
2
1
2
54
2
2
2
1
2
2
2
2
2
2
2
2
0
0
2
0
40
1
1
1
2
2
1
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
1
2
2
1
9
2
1
2
2
2
1
2
1
1
55
9
0
0
0
0
0
0
0
0
0
0
0
1
0
2
0
41
2
1
2
9
2
0
2
0
1
2
2
2
2
1
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
9
0
2
1
2
2
2
2
2
0
2
2
2
56
0
0
0
0
2
0
0
0
0
0
0
0
2
2
2
2
42
2
2
2
0
2
2
1
2
1
0
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
9
2
2
9
0
9
9
0
9
2
2
2
2
1
9
0
9
1
2
57
2
1
2
1
1
2
1
0
2
2
2
1
2
2
2
2
43
2
2
2
1
2
2
1
1
2
1
2
2
2
1
1
1
0
2
1
2
1
2
2
1
2
2
2
1
0
0
1
2
2
2
9
2
0
9
2
9
9
2
9
2
9
9
2
2
9
2
9
9
58
2
1
2
0
1
2
2
2
1
2
2
2
2
2
2
2
44
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
9
2
2
9
2
2
9
1
9
2
2
2
2
2
9
2
1
2
2
59
2
0
1
0
1
2
1
2
2
2
2
2
2
2
2
2
45
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
0
0
0
2
1
0
0
0
2
2
0
0
0
2
2
0
60
2
2
2
1
2
2
2
2
2
2
1
2
122
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Pet Shop Story
Piano Virtual
Exercícios em casa
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
Benji Bananas
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Tempo de Trabalho
Presto! Remote
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
MyBaby Puzzle
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
2
2
9
2
46
2
2
9
2
2
2
9
2
2
9
0
9
9
9
9
2
9
2
9
1
2
2
9
9
2
9
9
1
9
9
2
2
2
2
2
2
9
2
2
9
2
9
2
2
9
2
1
9
9
2
9
9
9
9
2
9
9
9
2
9
9
9
9
2
2
9
1
9
2
47
9
2
9
2
2
2
9
2
2
9
9
9
9
2
2
2
9
9
9
2
9
2
9
2
2
2
2
2
2
2
2
9
2
2
2
2
9
9
2
9
2
9
2
2
9
2
2
2
2
2
2
9
9
9
2
9
9
9
2
9
2
9
9
2
9
0
0
0
2
48
0
0
0
0
2
2
0
0
2
0
2
0
0
2
0
0
0
0
0
0
2
0
2
2
0
0
0
0
0
0
0
2
0
0
0
2
2
2
0
0
2
0
0
1
2
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
2
2
2
49
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
50
2
2
2
2
0
2
2
2
1
2
2
2
2
2
2
2
2
2
2
0
2
2
2
0
2
2
1
2
2
0
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
0
51
2
2
2
2
0
0
0
0
0
0
2
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
9
2
0
2
52
9
0
0
0
0
0
0
0
0
0
9
9
0
2
2
0
0
9
0
2
9
0
2
0
2
2
2
2
9
2
2
0
2
2
0
0
2
9
2
9
0
0
9
2
0
2
2
9
0
2
0
2
0
9
0
0
2
9
0
9
0
0
0
2
9
0
0
2
1
53
0
2
9
2
0
2
0
2
2
9
0
2
9
2
0
0
0
0
0
2
0
9
9
0
0
0
0
1
2
1
2
0
1
0
0
0
2
2
2
0
2
0
0
1
0
1
0
9
0
2
0
0
0
0
0
9
9
0
2
0
2
0
0
1
2
2
2
2
2
54
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
0
0
0
55
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
56
0
0
0
0
0
0
0
2
0
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
2
1
1
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
1
0
0
1
0
0
0
0
0
0
0
0
0
0
0
2
0
0
1
1
2
2
57
2
1
0
2
1
2
2
2
2
2
0
0
2
1
1
2
2
2
0
2
0
2
1
1
0
2
1
1
1
1
2
2
2
1
2
0
2
1
0
2
2
2
2
1
0
1
2
1
1
2
2
2
1
1
2
9
2
1
2
1
2
1
1
2
1
2
1
2
1
58
2
2
2
2
1
2
2
2
1
2
2
2
2
2
2
1
2
2
2
0
0
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
59
2
2
2
2
0
2
2
2
2
9
0
0
2
0
2
1
2
2
2
0
0
2
2
0
0
2
2
2
1
1
2
2
2
2
2
1
2
0
2
1
1
1
2
1
2
2
2
1
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
60
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
1
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
123
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Apn Brasil
TrackPack
9
9
9
9
46
9
2
9
2
1
1
1
2
2
2
2
9
9
9
9
2
9
2
1
2
1
9
9
9
2
2
2
2
9
2
2
2
9
2
1
9
9
2
1
1
2
1
2
2
2
9
2
9
9
2
9
2
2
9
2
9
9
9
9
2
9
9
2
2
9
9
9
2
9
47
9
2
2
2
9
9
9
2
9
9
9
2
2
9
2
9
9
2
2
2
2
2
9
2
2
2
2
9
2
2
2
2
2
2
2
2
9
2
1
2
2
2
2
9
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
0
0
0
0
48
0
2
0
0
1
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
1
0
0
1
0
0
2
0
0
0
1
0
0
0
2
0
2
0
0
0
0
2
0
2
0
0
2
0
0
0
0
0
1
0
0
0
0
0
0
0
0
2
2
2
2
49
2
2
2
1
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
50
2
2
2
0
2
2
2
1
2
2
2
1
2
2
2
2
2
1
2
1
2
2
2
2
1
1
1
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
1
2
51
2
2
2
2
0
0
0
1
2
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
1
2
2
2
1
2
2
2
0
2
2
0
1
2
2
2
2
1
1
0
2
2
1
2
2
1
1
1
1
1
2
1
2
1
2
2
2
2
2
2
9
2
2
0
52
0
9
9
2
9
9
9
0
9
9
9
9
0
9
0
9
9
2
0
0
0
2
9
0
2
2
0
0
2
0
2
2
9
0
0
0
9
2
0
0
2
0
2
2
2
0
2
2
0
0
2
0
9
2
0
0
0
2
2
0
0
2
0
0
0
0
9
1
0
53
0
0
0
0
2
2
2
0
2
0
1
0
9
2
2
0
0
1
0
0
1
2
2
2
1
2
0
9
0
2
2
1
1
1
1
9
0
0
2
2
2
2
0
0
0
0
2
2
0
2
2
2
2
2
1
2
0
2
1
0
1
1
0
1
0
2
2
2
1
54
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
1
2
0
2
1
0
0
1
2
2
2
0
0
0
0
55
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
1
0
2
0
0
0
0
0
0
9
9
9
0
0
0
0
0
0
0
0
9
9
9
0
0
0
0
0
0
0
9
1
0
0
0
0
1
0
0
56
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
1
1
0
0
1
0
0
2
0
0
0
1
0
0
0
1
0
0
9
9
9
0
0
0
0
2
2
1
1
9
2
9
0
0
0
1
0
0
0
9
2
2
0
0
1
1
2
1
57
1
2
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
2
0
1
2
2
2
2
2
2
2
2
1
2
2
0
2
2
2
2
2
1
1
2
2
2
1
2
2
1
2
2
2
2
2
1
58
1
2
2
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
0
2
2
1
2
2
2
2
2
2
2
2
59
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
1
2
1
2
2
2
2
9
2
2
2
2
9
9
2
2
2
2
2
2
2
2
2
60
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
124
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
Procedimentos SUS
WBCBaseball iPhone
ArtFinder iPhone
EyeEm iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
2
2
9
2
46
2
2
2
2
2
2
2
2
2
9
1
9
9
9
9
9
1
9
9
9
2
2
9
9
9
9
9
2
2
2
2
2
2
2
2
2
2
2
9
9
9
9
2
9
9
2
9
9
9
9
9
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
47
2
9
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
9
9
9
9
2
2
2
1
2
2
2
1
2
9
1
0
2
2
2
2
9
2
9
2
2
2
2
2
2
9
2
2
2
2
2
2
9
2
2
2
9
2
2
2
2
2
2
2
0
0
0
0
48
0
0
1
0
0
0
0
0
0
2
0
2
2
1
2
0
0
0
0
0
0
1
0
0
2
2
1
0
0
1
1
2
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
2
0
2
1
0
0
0
2
0
1
1
2
0
2
0
2
2
2
2
49
2
2
2
2
2
2
2
2
1
1
2
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
1
1
2
2
1
2
2
2
2
50
2
2
1
1
1
1
2
1
1
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
1
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
1
2
1
2
1
1
1
1
2
1
2
2
2
2
51
2
2
2
2
2
1
2
2
2
0
2
0
1
2
2
2
2
2
2
2
0
1
2
2
1
1
2
2
2
2
2
1
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
0
1
0
1
1
9
0
2
0
52
0
0
2
0
2
0
2
0
0
2
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
2
2
2
0
0
0
2
0
2
0
2
2
2
53
1
2
0
1
2
1
1
2
2
2
2
0
0
2
2
0
2
0
2
9
2
2
0
0
2
0
2
2
0
0
1
0
0
1
0
0
1
0
1
0
1
0
1
2
0
1
1
0
2
2
0
2
2
0
1
1
2
0
2
0
2
0
2
1
1
2
2
2
2
54
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
1
1
2
2
2
1
1
2
2
2
2
2
2
2
2
2
1
1
1
1
0
2
0
2
1
2
2
2
2
1
0
2
1
1
2
2
1
2
1
2
1
2
2
2
1
2
2
2
0
9
2
0
55
0
0
0
0
0
0
0
0
0
9
9
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
0
1
0
0
1
0
0
0
0
56
0
0
0
0
0
0
0
2
0
0
0
0
1
0
0
1
2
0
0
0
0
0
0
0
1
0
0
0
2
2
0
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
2
2
2
2
57
2
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
0
0
1
0
2
1
0
2
2
0
2
2
0
0
2
1
1
1
2
2
2
1
2
2
2
2
2
2
0
2
2
0
1
2
2
2
2
0
2
1
2
1
2
2
2
1
2
2
2
2
2
1
2
58
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
59
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
1
2
2
2
1
2
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
60
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
125
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
Ringtone Maker
Tv show favs
KCRW SongTag
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
Dodol Phone
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Pet Shop Story
Piano Virtual
Exercícios em casa
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
Benji Bananas
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
2
2
2
2
46
2
2
2
2
2
2
2
2
0
2
1
1
2
2
0
2
2
2
1
2
2
9
1
2
61
2
2
2
1
2
2
2
2
2
1
2
2
2
0
2
1
2
2
9
2
0
2
2
2
2
9
0
2
2
2
2
2
2
1
2
0
0
2
2
0
1
2
2
2
47
2
9
2
2
2
2
2
1
9
2
1
2
2
2
1
2
2
2
2
2
2
0
1
2
62
2
0
2
0
0
2
1
2
2
2
1
2
2
0
2
1
2
2
2
2
0
1
2
0
0
2
0
1
2
1
2
1
2
0
2
0
0
2
2
0
1
0
1
0
48
2
0
0
0
0
2
0
2
0
2
2
2
2
2
2
1
0
1
0
2
2
2
2
2
63
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
0
2
2
0
0
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
1
49
1
1
2
2
2
9
0
0
9
0
9
9
0
9
9
0
2
2
2
0
9
2
1
2
64
9
9
9
9
9
9
9
9
9
9
0
2
9
9
9
1
9
0
9
0
9
0
9
9
0
9
2
0
9
0
9
9
2
9
9
9
9
1
9
9
2
0
2
1
50
2
2
1
1
1
2
2
0
0
1
2
1
2
2
1
2
2
2
2
0
0
0
0
2
65
2
9
9
9
9
9
9
9
9
9
9
2
9
9
9
1
9
2
9
0
9
2
9
9
0
9
2
9
9
0
9
9
2
9
9
9
9
2
9
9
2
2
1
1
51
1
2
1
0
2
2
2
2
0
0
2
2
2
2
2
2
2
2
2
1
2
2
1
2
66
9
9
9
9
9
9
9
9
0
9
9
0
9
9
9
1
9
0
9
0
9
0
9
9
0
9
2
9
9
0
9
9
2
9
9
9
9
2
9
9
0
2
0
2
52
0
0
0
0
2
9
2
0
2
2
2
0
2
2
9
2
2
2
2
2
9
2
9
2
67
0
9
9
9
9
9
9
9
9
9
9
2
9
9
9
2
9
2
9
2
9
2
9
9
9
9
2
9
9
2
9
9
2
9
9
9
9
2
9
9
1
0
2
2
53
0
0
2
1
2
0
2
0
2
2
2
2
2
2
0
2
2
2
2
0
0
2
2
1
68
2
2
0
0
1
2
0
0
2
2
0
0
0
0
0
2
0
0
0
0
2
2
0
2
0
0
0
0
0
2
2
2
2
0
2
2
2
2
0
2
2
2
2
2
54
2
2
2
1
2
2
2
9
2
1
2
2
2
2
1
2
2
2
1
2
0
2
1
1
69
1
2
9
9
2
2
9
9
2
2
9
9
9
9
9
2
9
9
9
9
1
2
9
2
9
9
9
9
9
2
2
2
2
9
2
2
2
2
9
2
0
2
0
0
55
0
0
0
0
0
9
2
9
0
0
0
9
0
0
0
0
9
0
9
0
1
2
9
2
70
2
2
9
9
2
2
9
9
2
2
9
9
9
9
9
2
9
9
9
9
2
2
9
2
9
9
9
9
9
2
2
2
2
9
0
1
1
2
9
1
0
0
0
0
56
0
0
0
0
0
0
2
0
0
2
1
9
0
0
0
0
2
0
0
0
0
0
9
2
71
2
2
2
0
2
2
2
9
2
2
2
2
2
0
2
1
2
2
2
2
0
1
9
2
1
2
2
1
1
2
2
2
2
2
2
1
0
2
2
0
1
2
2
2
57
1
0
2
2
2
1
2
0
2
2
2
0
0
2
2
2
2
2
1
0
1
1
2
2
72
2
0
2
0
0
2
2
2
2
2
0
2
2
0
0
2
2
2
2
0
0
2
2
0
0
2
0
2
9
0
2
2
2
2
2
2
0
2
9
0
2
2
1
2
58
2
2
2
2
2
2
2
1
0
2
2
2
2
2
0
1
1
2
2
2
2
2
1
1
73
0
0
0
0
9
9
9
9
0
9
2
9
9
9
9
9
9
1
9
9
9
1
9
9
9
9
9
9
9
2
9
0
9
9
9
9
9
9
9
9
2
2
2
2
59
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
9
2
2
2
2
2
2
2
2
74
2
0
0
0
9
9
9
9
0
9
0
9
9
0
9
9
9
0
9
9
9
0
9
9
0
9
9
9
9
9
9
0
9
9
9
0
9
9
9
9
2
2
2
2
60
2
2
2
2
2
2
2
2
2
1
1
2
2
2
1
2
2
2
1
2
2
2
2
2
75
9
9
9
2
0
9
2
9
9
9
9
9
9
2
9
0
9
9
9
2
2
9
9
2
2
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
126
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Tempo de Trabalho
Presto! Remote
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
MyBaby Puzzle
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
1
2
1
2
61
2
0
2
1
2
2
2
2
1
0
2
2
2
1
2
1
0
2
2
1
2
2
2
9
2
1
2
9
1
1
2
2
2
2
2
2
2
1
1
1
0
0
0
2
0
1
1
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
1
2
2
2
2
0
2
62
0
0
1
1
2
2
2
0
2
0
2
1
1
2
2
1
2
1
2
1
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
1
1
2
2
1
1
1
2
2
0
0
0
0
2
2
2
2
2
2
2
2
1
2
1
2
2
1
2
2
2
2
2
2
0
63
2
2
2
2
2
2
0
2
0
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
2
2
2
0
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
9
9
9
9
64
9
9
9
9
0
9
9
0
0
9
2
9
0
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
0
9
9
9
9
9
9
9
0
9
9
0
9
9
9
9
9
0
0
9
9
9
9
9
9
65
9
9
9
9
2
9
9
2
0
9
2
9
2
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
1
9
9
9
9
9
9
9
0
9
9
1
9
9
9
9
9
9
0
9
9
9
9
9
9
66
9
9
9
9
0
9
9
0
0
9
2
9
0
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
2
9
9
9
9
9
9
9
0
9
9
0
9
9
9
9
9
0
0
9
9
9
9
9
9
67
9
9
9
9
2
9
9
2
2
9
2
9
2
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
2
9
9
9
9
9
9
9
2
9
9
2
9
9
9
9
9
0
2
9
9
0
0
0
1
68
0
2
0
0
0
0
0
0
2
2
0
0
0
0
0
2
0
0
2
0
0
2
2
0
0
0
0
0
0
2
2
0
0
0
0
0
0
0
0
2
0
0
2
2
0
0
0
0
0
0
0
2
2
2
0
0
0
0
2
0
2
0
2
2
2
9
9
9
2
69
9
2
9
9
9
9
9
9
2
2
9
9
9
9
9
2
9
9
2
9
9
2
2
9
9
9
9
9
9
2
2
9
9
9
9
9
9
9
9
2
9
9
2
2
9
9
9
9
9
9
9
2
2
2
9
9
9
9
2
9
2
9
2
1
2
9
9
9
2
70
9
2
9
9
9
9
9
9
2
2
9
9
9
9
9
2
9
9
2
9
9
2
2
9
9
9
9
9
9
2
2
9
9
9
9
9
9
9
9
2
9
9
2
2
9
9
9
9
9
9
9
2
2
2
9
9
9
9
2
9
2
9
2
2
1
2
2
1
2
71
1
0
2
1
2
2
2
2
1
1
2
2
2
0
2
1
0
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
1
2
9
2
2
1
2
1
1
1
2
0
2
2
2
1
2
2
2
2
2
1
2
2
2
1
1
2
1
2
2
2
2
2
0
2
72
1
2
1
0
2
0
1
2
0
0
2
2
2
9
1
1
9
1
2
2
0
2
2
2
2
2
2
2
0
2
2
2
0
2
2
2
2
2
9
2
9
9
2
2
0
0
0
0
0
2
2
2
2
2
2
2
2
2
2
2
2
9
0
2
2
9
9
9
9
73
0
9
9
9
9
0
9
9
9
9
0
9
0
9
9
9
9
0
0
9
9
2
9
9
9
9
9
9
9
9
9
9
0
9
9
9
9
9
9
0
9
9
9
0
2
9
9
9
2
2
9
9
9
2
9
0
9
9
2
2
2
2
2
9
1
9
0
0
9
74
2
0
9
9
9
2
9
9
9
9
0
9
0
9
9
0
9
1
1
9
9
2
9
9
9
9
9
9
9
9
9
9
0
9
9
9
9
9
9
0
9
9
9
0
2
9
0
0
0
9
9
9
9
9
9
0
9
9
0
0
2
2
0
9
1
2
9
9
9
75
9
9
9
9
2
9
9
9
9
9
9
9
9
9
9
9
9
9
9
2
2
2
2
9
9
9
9
9
9
9
2
9
9
9
9
9
9
9
9
2
9
9
2
2
2
9
9
9
9
9
9
9
9
9
9
9
9
9
2
2
2
2
2
9
2
127
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Apn Brasil
TrackPack
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
2
1
2
1
61
2
2
2
2
2
2
2
9
1
2
2
1
2
2
1
2
2
2
2
1
2
2
2
2
2
1
1
2
1
1
2
2
1
1
1
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
2
1
0
1
2
2
2
0
1
0
1
2
62
2
1
2
1
2
2
2
1
2
2
1
1
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
0
2
9
9
0
2
1
2
2
1
2
0
2
2
2
2
1
2
1
2
1
1
2
2
0
1
0
0
2
1
0
0
2
2
0
2
2
2
2
2
63
2
2
2
2
0
2
2
2
0
2
2
0
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
1
2
2
2
2
1
2
2
2
2
0
2
2
2
2
0
2
2
2
2
2
2
2
2
9
9
9
9
64
9
2
9
2
9
0
2
2
0
9
9
1
9
9
1
2
9
9
0
1
9
9
9
9
9
1
2
9
2
1
1
9
9
0
9
9
9
9
9
9
2
9
9
1
1
1
1
1
2
2
9
9
0
1
1
1
1
9
9
9
9
9
1
9
9
9
2
9
65
9
1
9
2
9
2
2
2
0
9
9
1
9
2
1
9
9
9
2
2
9
2
2
1
2
2
2
2
2
2
2
2
0
2
9
9
9
9
9
9
2
9
9
2
0
2
0
2
2
1
2
2
0
0
0
0
9
9
9
9
9
9
9
9
9
9
1
9
66
9
1
9
0
9
2
2
0
0
9
9
1
9
2
0
9
9
9
0
2
9
2
2
2
9
1
2
2
2
2
0
2
9
2
9
9
9
9
9
9
0
9
9
0
0
0
2
0
1
0
0
0
9
0
9
9
9
9
9
9
9
9
9
9
9
9
0
9
67
9
0
9
0
9
0
0
2
9
9
9
1
9
0
0
0
9
9
2
2
9
0
2
2
2
2
0
0
0
2
2
2
0
2
9
9
9
9
9
9
2
9
9
2
2
2
0
2
2
2
2
2
9
2
9
9
9
9
9
9
9
9
9
9
0
2
0
0
68
2
2
0
0
2
2
0
0
2
2
0
2
0
2
0
0
2
0
2
2
0
0
0
0
0
2
0
0
0
2
2
0
0
2
2
0
0
2
2
2
0
0
0
0
0
0
9
0
0
0
2
0
0
2
0
0
0
2
0
0
0
0
0
0
9
1
9
9
69
2
0
9
9
2
2
9
9
2
2
0
2
9
2
9
9
2
9
1
9
9
9
9
9
9
0
9
9
9
2
1
9
9
2
1
9
9
2
2
2
9
9
9
9
9
9
9
9
9
9
2
9
9
2
9
9
9
2
9
9
9
9
9
9
9
0
9
9
70
2
1
9
9
0
2
9
9
2
2
9
2
9
2
9
9
2
9
2
9
9
9
9
9
9
0
9
9
9
2
2
9
9
2
2
9
9
0
2
2
9
9
9
9
9
9
9
9
9
9
0
9
9
1
9
9
9
0
9
9
9
9
9
9
1
1
1
1
71
1
1
2
1
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
1
1
1
2
2
2
1
2
2
1
2
2
2
2
1
2
2
2
2
1
2
2
1
1
1
1
1
2
1
2
2
1
1
2
2
1
2
2
2
1
2
0
2
2
72
0
1
1
1
1
2
0
1
9
1
1
0
0
1
2
2
1
0
0
1
2
2
2
2
2
2
2
2
1
2
0
0
0
0
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
1
2
0
1
0
0
2
2
2
0
2
1
0
2
2
2
0
9
73
0
1
2
0
9
0
2
2
9
2
1
0
2
0
2
9
1
0
2
2
9
0
2
2
9
1
0
9
9
2
2
2
2
1
2
9
9
2
9
9
2
2
9
9
2
0
9
0
2
2
2
2
0
0
0
0
0
0
9
9
9
0
0
0
2
0
2
9
74
0
1
2
2
9
1
0
9
9
0
2
0
0
9
2
9
1
0
2
1
9
1
0
2
9
2
2
9
9
2
2
2
9
2
9
9
9
9
0
9
0
0
9
9
0
0
9
0
2
0
2
9
0
9
0
0
9
9
9
9
9
2
0
9
2
9
9
9
75
9
2
9
9
9
2
2
2
9
9
2
0
9
9
2
9
1
9
2
2
9
9
9
9
9
2
2
9
9
9
0
2
9
2
9
9
9
9
2
9
9
9
9
9
9
9
9
2
9
2
2
9
2
9
9
9
2
2
9
9
9
0
9
9
128
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
Procedimentos SUS
WBCBaseball iPhone
ArtFinder iPhone
EyeEm iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
Ringtone Maker
Tv show favs
KCRW SongTag
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
2
2
0
2
2
61
2
1
1
1
2
1
1
2
2
2
1
2
1
2
1
2
1
2
1
2
2
2
2
1
2
2
1
2
2
0
2
1
2
2
2
2
1
2
2
2
2
2
1
1
2
2
9
2
0
0
1
2
9
9
2
1
2
2
2
2
2
1
2
0
1
2
1
2
1
62
1
1
1
2
2
1
1
2
2
2
0
2
0
2
1
2
1
2
0
2
0
1
1
1
1
1
2
1
2
2
1
1
1
1
0
1
1
1
1
1
1
1
1
1
2
1
2
2
1
0
1
1
2
2
1
2
0
2
2
2
1
2
2
2
2
2
2
2
2
63
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
0
2
2
2
2
2
2
0
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
0
2
2
2
2
2
2
0
9
0
9
1
2
64
1
2
1
1
2
2
1
1
0
9
9
9
9
9
9
9
9
9
9
9
9
9
0
2
1
0
2
2
1
1
1
1
2
1
2
1
2
1
2
2
2
1
2
2
2
2
9
9
9
9
9
9
1
2
9
1
9
9
0
9
2
9
2
0
9
0
9
2
2
65
1
1
1
1
2
2
1
2
1
9
9
9
9
9
9
9
9
9
9
9
9
9
0
2
1
1
2
2
1
1
1
2
2
1
2
1
2
2
2
2
2
2
2
2
1
2
9
9
9
9
9
9
1
2
9
2
2
2
2
0
2
2
2
9
9
0
9
2
0
66
0
0
2
1
2
2
0
0
0
9
9
9
9
9
9
9
9
9
9
9
9
9
0
2
2
2
2
2
0
0
0
0
1
0
2
0
2
2
1
2
1
1
2
2
1
2
9
0
9
9
9
9
2
2
9
0
2
2
0
0
1
2
2
9
9
2
9
2
2
67
2
2
2
2
2
2
2
2
2
9
9
9
9
9
9
9
9
9
9
9
9
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
9
9
9
9
2
2
9
2
2
2
2
2
2
2
2
9
0
0
0
2
0
68
0
2
0
0
0
2
0
0
0
0
1
0
0
2
0
0
0
0
0
0
0
0
0
2
0
0
0
2
0
0
0
0
2
0
0
0
0
0
2
0
2
0
0
0
0
2
0
0
0
0
0
0
0
0
2
0
2
0
1
0
0
0
0
0
9
9
9
0
9
69
9
1
9
9
9
1
9
9
9
9
2
9
9
1
9
9
9
9
9
9
9
9
9
1
9
9
9
1
9
9
9
9
0
9
9
9
9
9
2
9
1
9
9
9
9
2
9
9
9
9
9
9
9
9
1
9
2
9
2
9
9
9
9
9
9
9
9
2
9
70
9
2
9
9
9
1
9
9
9
9
2
9
9
2
9
9
9
9
9
9
9
9
9
1
9
9
9
1
9
9
9
9
2
9
9
9
9
9
2
9
1
9
9
9
9
2
9
9
9
9
9
9
9
9
2
9
2
9
2
9
9
9
9
9
2
1
1
2
1
71
1
2
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
1
2
1
2
1
2
1
1
2
1
2
1
1
1
2
1
1
2
2
2
2
2
2
2
1
2
2
1
0
1
2
2
2
2
0
1
0
1
1
2
2
2
72
2
2
2
2
2
2
2
2
2
9
1
9
1
2
2
2
9
1
1
1
1
1
0
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
0
2
2
9
0
0
9
0
2
2
0
2
0
2
0
9
0
0
0
2
73
2
2
9
0
9
0
0
0
0
9
0
9
0
0
0
0
9
9
9
0
0
0
0
0
0
9
0
0
0
9
0
0
0
0
0
0
2
0
0
0
0
2
9
2
0
2
9
9
0
9
0
2
9
0
9
9
2
2
1
9
9
9
0
0
9
0
9
9
2
74
0
0
9
0
9
0
0
0
0
9
0
9
0
9
0
2
9
9
9
9
1
1
1
0
0
9
0
0
0
9
0
0
0
0
0
0
0
9
9
0
0
0
9
0
0
0
9
0
0
9
0
9
9
0
9
9
1
9
2
9
9
9
9
9
9
2
9
0
2
75
1
2
2
2
9
2
2
2
2
9
9
9
9
9
2
2
9
9
9
9
9
9
9
2
9
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
9
9
0
2
9
9
9
9
9
2
9
2
9
9
9
2
0
2
9
9
9
9
129
Dodol Phone
Dicionário Porto
Decolar.com
minube
Mochileiros
Hotel Hoje
Hotel Hoje
Palco MP3
Color Touch
TeleListas
ProEstetica
Sabores do Brasil
Evernote Hello
iCaipirinha
Nike+ Running
Receita Móvel
Saúde Vale
Android Massager
Metas de Vida
Medida Certa
Nivea Sun
Pet Shop Story
Piano Virtual
Exercícios em casa
Xadrez
Night Vision Camera
Taximetro Pro
Relax and Sleep
Benji Bananas
Earth View
Sleep as Android
Emoji
I am Here
Lupa
Mobile Voip
Happy Diary Plus
ColorNote
aCalendar
WiFi Manager
Call Assistant
Wedding Planning
Wikipedia Places
Rastreio Correios
Baby Names
Tempo de Trabalho
Presto! Remote
Battery Master
Nó em Gravata
CPF/CNPJ
Faces - Photo Fun
Horóscopo
Jogos Mentais
Guia TV BR
Alarme Antifurto
Logo Quiz
Google Play Books
Pou
2
76
1
2
2
76
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
0
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
1
77
1
2
2
77
2
2
2
2
9
2
2
1
2
2
2
9
2
2
2
9
2
1
2
9
2
2
9
2
9
9
9
9
2
9
2
9
2
2
2
9
9
2
2
9
9
9
9
2
2
2
2
2
2
9
2
2
9
2
9
2
2
9
2
2
9
9
2
9
2
78
1
2
2
78
2
2
2
1
9
2
2
2
2
2
2
9
2
2
2
9
2
2
2
9
2
2
9
2
9
9
9
9
2
9
2
9
2
9
2
9
9
2
2
9
9
9
9
2
2
2
2
2
2
9
2
2
9
2
9
2
2
9
2
2
9
9
2
9
2
79
2
2
2
79
1
2
2
2
2
2
1
1
1
1
0
2
1
1
1
0
2
0
1
2
2
2
2
0
1
0
2
2
2
2
1
2
1
0
1
1
0
1
1
1
1
1
1
2
1
2
1
2
1
2
1
2
1
2
0
1
1
0
2
2
1
1
2
1
2
80
2
1
2
80
2
2
2
2
2
2
1
1
2
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
0
2
1
0
1
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
1
2
2
2
1
81
2
2
2
81
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
82
2
1
1
82
0
1
2
2
2
1
2
1
1
2
1
2
1
2
2
2
2
0
1
2
2
2
9
0
1
9
1
2
2
2
2
2
0
0
2
2
0
1
2
1
2
2
1
2
1
2
2
2
1
1
0
2
2
1
9
2
1
1
2
2
1
2
2
2
9
9
83 84
1
0
1
0
2
0
83 84
1
0
1
2
2
0
1
0
2
0
1
0
1
0
0
0
1
2
1
0
1
0
2
0
1
0
2
2
1
0
2
0
2
0
1
0
1
0
2
0
2
0
2
0
9
0
0
0
1
2
2
9
1
0
1
2
1
2
0
0
2
2
2
2
1
2
0
2
1
0
2
0
0
0
1
0
2
2
1
2
2
2
2
0
1
2
2
0
1
2
2
2
1
2
2
2
1
0
1
0
0
2
1
2
2
0
1
0
2
0
2
2
1
2
0
0
2
2
2
0
1
0
2
2
2
2
2
0
85
2
2
2
85
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
86
2
2
2
86
2
2
2
2
2
2
1
2
2
1
2
2
2
1
2
9
2
2
2
2
2
2
9
9
2
1
1
2
2
2
2
9
1
2
2
2
1
0
2
2
2
2
2
2
1
2
2
2
2
2
1
9
2
2
1
2
2
1
2
2
1
2
2
2
9
87
2
2
2
87
2
1
2
2
2
1
1
1
2
1
1
2
1
2
2
2
2
2
1
2
2
2
9
2
2
2
2
1
1
0
2
2
1
0
2
2
1
1
2
1
2
2
2
2
1
2
1
2
1
1
1
2
2
2
2
2
2
0
2
2
1
2
2
2
9
88
2
2
2
88
2
2
2
2
2
2
1
2
2
1
2
2
1
2
2
9
2
2
2
2
2
2
9
2
9
0
2
1
2
1
2
9
2
9
2
0
1
1
1
2
1
1
1
2
1
2
2
1
9
2
1
9
2
2
0
2
1
0
2
1
1
2
2
1
89
2
2
2
89
2
2
2
2
2
2
1
2
2
2
2
2
2
9
1
9
2
1
2
2
2
2
9
2
1
1
2
2
1
1
2
2
1
9
2
2
1
1
2
2
2
2
1
2
2
2
2
2
9
1
0
9
2
2
1
2
2
1
2
1
2
2
2
2
2
0
90 91
2
2
2
1
2
2
90 91
2
0
2
1
2
2
2
1
2
2
2
1
2
2
2
2
2
2
2
2
1
1
2
2
2
1
0
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
9
9
0
0
2
1
0
9
0
2
2
2
2
2
2
2
2
2
2
2
2
0
0
0
2
2
2
2
1
0
1
2
2
2
1
2
2
2
2
1
1
2
2
2
2
1
2
2
2
2
2
2
2
0
2
1
1
0
2
2
2
2
2
2
0
9
2
2
1
1
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
92
9
2
2
92
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
0
2
2
2
2
9
2
2
2
2
2
2
2
0
2
9
2
2
2
2
2
2
2
2
0
2
2
2
2
2
0
2
2
0
9
2
1
9
2
2
9
2
2
2
9
9
130
MyBaby Puzzle
Galinha Pintadinha
Gues the Movie!
O que é o que é?
Change my voice
Maze Game
SkyDrive
Flashlight
Presidentes
iBeer
Lighter Free
PhotoGrid
Globo.com
Caça Palavras
Air Horn Free
Astro File Manager
Jogo da Forca
Qual é a resposta?
SimplePac
Dieta e Saúde
Kekanto
Vogue
Marie Claire
Crescer Mobile
Expedia
Diário Catarinense
Globo News
Spider Solitarie
Photaf Panorama
Converter
Radio Atlântida
Pessoa Física
Clean Master
Boa Compra
4shared
Google Drive
CineMark Brasil
Banco do Brasil
App2SD
DropBox
Shazam
Weather Channel
Climatempo
Tic Tac Toe
WhatsApp
Hotmail
Google Tradutor
QR Droid
Gmail
Baixaki
Consulta Visa Vale
Angry Birds
Google Goggles
IMDb
Saraiva eReader
Trip Advisor
PersonalFinance
Buscapé
Tela Transparente
FacebookMessenger
Consulta CEP
YouTube
Viber
Tavindo
Qual Operadora
Cadê Meu Banco
2
2
2
2
9
76
2
1
2
2
2
2
2
2
2
1
2
2
1
2
1
2
2
1
1
1
1
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
9
9
9
2
9
77
9
9
2
9
9
9
9
2
2
9
9
9
9
9
9
9
2
2
2
2
2
2
2
2
9
9
9
9
2
9
2
9
2
1
9
9
9
2
9
2
0
9
2
9
2
9
2
2
9
9
2
9
2
2
9
2
2
2
9
1
9
9
1
9
9
9
9
2
9
78
9
9
2
9
9
9
9
2
2
9
9
2
9
9
9
9
2
2
2
2
2
2
2
2
9
9
2
2
2
2
2
2
1
1
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
1
1
1
1
1
79
1
1
2
1
2
1
2
2
1
0
0
1
1
1
0
2
1
2
2
2
2
2
2
1
1
2
2
2
2
2
1
1
2
2
1
1
1
1
1
0
1
2
2
2
0
2
2
2
1
2
2
2
2
2
2
1
0
2
2
2
2
2
2
2
2
2
2
2
2
80
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
81
2
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
82
1
1
2
2
0
2
2
2
2
2
9
2
1
1
0
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
1
1
2
2
2
1
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
9
1
1
2
2
1
2
2
2
2
9
2
2
2
2
83
1
1
2
2
1
2
2
2
2
1
2
2
1
1
0
2
2
1
1
1
2
2
2
2
1
2
2
2
1
2
2
2
2
2
1
2
2
2
1
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
0
0
0
0
2
84
0
0
2
0
2
2
0
0
2
0
0
2
0
0
2
0
2
0
0
0
1
0
0
0
0
2
0
0
0
0
0
2
2
2
2
2
2
2
2
0
0
2
2
2
2
2
2
1
2
0
2
2
2
2
2
0
0
2
2
2
2
2
0
1
2
2
2
2
2
85
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
86
2
2
2
1
1
2
2
2
2
1
2
2
2
1
1
2
2
1
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
87
1
1
2
2
2
2
2
2
2
1
2
2
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
1
1
1
2
88
1
1
1
0
1
1
2
1
2
9
1
2
2
2
1
2
1
1
1
1
1
1
2
1
1
2
2
2
2
2
1
2
2
9
1
2
2
2
2
2
2
2
2
1
2
2
1
2
9
1
1
2
0
2
2
2
2
2
2
1
2
9
1
2
2
2
2
1
9
89
2
2
2
2
2
2
2
2
2
9
2
2
1
1
1
2
2
2
2
2
2
2
2
2
1
9
2
2
2
2
2
2
2
2
2
2
2
2
1
2
0
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
90
2
1
2
1
1
2
2
2
2
1
1
2
1
1
1
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
0
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
91
1
1
1
2
1
2
2
2
2
1
2
2
1
1
1
2
2
1
1
1
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
1
1
2
2
1
2
2
2
2
2
2
2
1
9
2
9
2
2
2
2
2
2
2
2
2
9
9
9
2
9
92
2
2
2
9
2
9
2
2
2
9
9
2
9
9
2
2
2
2
2
2
2
2
2
2
2
2
2
9
9
9
9
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
2
9
1
2
2
2
2
131
Wikipedia
Instagram
Ingresso.com
Churrascometro
Brasileirão
CamScanner iPhone
Buscapé iPhone
Groupon iPhone
Voos Online
Wase iPhone
Apn Brasil
TrackPack
AVG Mobilation
Facebook
CardioTrainer
Sky Sports iPhone
Shazam iPhone
EyeEm iPhone
Quora iPhone
Genéricos Brasil
Vacinas Brasil Lite
Pressão Arterial
Diabetes
Apgar
Medscape
Procedimentos TUSS
Alergias
Amamentação
Diabetes
Diabetes Diary Lite
bPresso.com
Foursquare iPhone
Any.Do iPhone
Wunderlist iPhone
Taxibeat iPhone
Passa Régua iPhone
Qello iPhone
Thirst iPhone
TouristEye iPhone
Gripe Suína
Psoríase
Appediatria
Meu Diário Mensal
Universo Médico
GlicoCare
Breastfeed
Aleitamento
GestaTools
Procedimentos SUS
2
2
1
2
1
76
2
2
2
2
1
2
2
2
2
2
1
2
2
1
2
0
1
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
9
9
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
1
9
2
9
77
9
9
2
2
9
2
2
9
9
9
1
9
2
2
2
2
2
2
2
2
2
2
9
9
9
9
9
9
9
2
9
9
9
2
9
9
9
9
9
9
2
2
2
2
2
0
2
2
2
2
2
9
9
9
9
2
9
9
2
9
9
9
9
1
2
2
2
1
78
2
2
2
2
2
2
2
9
2
2
1
2
2
0
2
0
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
1
1
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
79
0
2
1
2
2
0
0
2
2
2
9
2
2
2
2
1
0
2
2
0
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
0
2
2
1
1
1
0
1
2
0
1
0
2
2
2
2
0
2
2
0
1
1
0
2
1
2
2
2
2
2
80
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
81
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
82
2
2
2
2
2
2
2
2
2
1
2
9
2
2
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
0
2
2
2
2
2
1
2
1
2
1
2
2
2
2
2
2
2
2
1
2
2
2
83
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
0
2
2
2
2
2
1
2
1
2
1
2
2
2
2
2
2
2
2
0
0
0
0
84
2
0
0
0
2
2
1
2
2
2
2
0
0
0
0
0
0
0
0
0
2
0
0
0
0
0
2
2
2
2
2
0
2
1
2
2
2
1
0
2
0
2
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
0
2
2
0
2
2
2
2
2
2
85
2
2
2
1
2
2
2
2
2
2
2
9
9
2
2
2
2
2
2
2
2
2
2
2
0
9
2
2
2
0
2
2
2
1
2
2
1
1
0
2
2
2
2
2
2
2
2
2
2
2
9
1
2
1
2
2
1
1
2
2
2
1
2
2
2
2
2
2
86
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
9
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
87
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
0
2
2
88
2
0
1
1
2
2
2
2
1
2
1
2
2
2
2
0
2
2
2
2
1
2
1
2
2
2
2
2
0
2
9
0
9
2
0
2
2
0
2
1
2
2
2
2
2
1
1
2
2
2
2
2
2
2
2
2
2
9
2
2
9
2
2
2
2
2
2
2
89
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
9
2
2
0
2
2
2
2
1
9
2
1
1
0
2
2
2
2
2
1
2
1
2
2
2
9
2
2
9
2
2
2
9
2
2
2
90
2
2
2
2
2
2
2
2
2
2
2
1
1
2
0
2
0
0
0
1
2
1
2
2
2
0
2
2
2
2
1
0
0
2
0
0
1
0
0
1
1
1
1
1
0
0
1
0
1
1
0
2
2
2
0
0
0
0
2
1
0
1
0
1
2
2
2
2
91
2
2
2
1
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
0
2
2
2
2
0
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
92
2
2
2
0
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
0
9
0
0
9
2
2
0
9
0
0
9
2
2
9
2
2
2
2
2
2
2
0
2
2
2
9
9
9
9
9
2
9
9
9
0
2
2
0
132
WBCBaseball iPhone
ArtFinder iPhone
EyeEm iPhone
MusiXmatch iPhone
Split Pic iPhone
ShareFood iPhone
Privalia iPhone
yap TV Guide iPhone
Tumblr iPhone
Festas UFSC iPhone
SoundCloud iPhone
GlobeConvert iPhone
MagicPlan iPhone
NET iPhone
Viddy iPhone
Reuters iPhone
Floripa VIP iPhone
Qranio iPhone
Twitter iPhone
Insta College
Biblia Sagrada NVI
Shared Mp3
Ringtone Maker
Tv show favs
KCRW SongTag
Baby holidays
RadarG1
iCall
Eu atleta
Sonar
Sushi BR
Photo Effects
EasyMeasure
Flash Card Demo
Dodol Phone
2
2
2
2
1
2
76
2
0
2
0
1
1
2
0
2
1
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
0
2
1
1
2
1
1
9
1
1
1
2
9
2
2
2
1
2
77
2
0
2
2
2
2
0
0
1
2
1
2
2
1
0
2
2
1
9
9
0
9
9
2
2
9
0
9
2
2
9
0
2
9
2
9
9
1
2
1
1
2
2
78
2
1
2
1
1
1
1
1
2
1
2
2
2
2
0
2
2
1
2
2
1
2
2
2
2
2
0
1
2
2
2
1
2
2
1
2
2
0
2
2
0
0
0
79
2
1
2
0
2
0
2
2
2
2
0
2
2
0
0
2
1
2
2
2
0
2
2
1
0
0
2
0
2
2
2
2
0
0
0
0
2
2
2
2
2
2
2
80
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
2
2
2
2
2
2
2
81
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
1
2
9
2
2
2
1
2
2
82
2
1
1
2
2
1
2
1
2
1
2
1
2
2
1
1
2
2
9
2
2
9
2
2
2
2
2
9
2
2
2
2
0
2
2
0
2
2
2
2
2
1
2
83
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
2
2
2
2
2
2
0
0
0
0
0
2
84
1
0
0
1
0
0
0
0
2
0
0
0
0
0
0
0
0
1
0
2
2
2
2
2
1
2
0
0
0
0
0
2
0
1
2
2
2
1
2
2
2
2
0
85
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
9
2
2
2
2
2
2
2
9
2
2
2
2
0
2
2
2
2
2
2
1
2
2
2
2
86
2
2
1
2
2
2
2
2
1
1
2
2
2
2
2
1
2
2
2
2
9
1
2
2
9
9
2
2
2
2
2
2
1
2
1
2
2
2
2
2
1
1
2
87
2
2
2
1
2
1
2
2
1
2
2
2
2
2
1
1
2
2
9
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
1
2
2
1
2
1
0
1
1
88
1
1
0
0
2
0
1
1
0
0
1
2
1
1
0
2
2
2
2
1
9
2
0
1
9
9
2
2
2
2
1
0
2
2
0
0
2
2
2
2
1
1
2
89
2
1
1
0
1
1
2
2
2
1
1
2
1
1
1
1
2
1
2
2
9
2
2
2
9
9
2
2
1
2
2
2
0
2
1
9
2
1
2
1
1
2
1
90
1
1
2
2
0
1
1
1
2
1
2
2
1
2
1
1
1
2
9
2
2
2
2
2
2
2
2
0
2
2
2
2
1
9
2
0
2
1
2
2
2
2
2
91
2
2
1
1
2
0
2
2
2
2
2
1
2
2
1
2
2
2
9
2
2
9
9
2
2
2
2
0
2
2
2
2
2
2
2
0
2
0
2
2
2
2
0
92
2
2
2
0
2
2
2
0
2
2
2
0
2
0
2
2
2
2
9
2
2
2
2
2
2
2
9
9
0
2
2
2
2
2
2
2
2
133
APÊNDICE F - Parâmetros dos itens remanescentes no modelo dicotômico
Itens
I01
I02
I04
I06
I07
I11
I12
I13
I14
I17
I18
I20
I25
I26
I27
I30
I31
I32
I33
I34
I35
I36
I41
I42
I44
I45
I47
I48
I50
I54
I57
I58
I59
I60
I61
I62
I71
I76
I79
I80
I81
I82
I83
I86
I87
I89
I90
I91
Escala (0,1)
a
1,063
0,925
1,023
0,595
0,741
0,889
2,160
0,873
0,705
0,797
0,673
0,600
0,829
0,904
0,903
0,686
1,444
0,897
1,491
2,222
1,139
1,156
0,959
1,040
0,875
0,880
1,108
0,795
0,861
0,769
0,724
1,265
0,998
0,884
1,880
0,844
1,415
0,776
1,214
1,286
0,923
1,494
1,379
1,066
1,353
1,057
0,796
1,428
b
-1,198
-1,171
-1,547
0,199
-1,871
-0,580
-1,077
-3,517
-0,205
-1,613
0,414
-0,202
-0,849
-1,818
-0,663
-2,678
-1,711
-3,271
-1,717
-1,315
-2,672
-1,340
-1,226
-0,825
-2,308
-1,694
-2,771
-1,178
-1,428
-2,091
-0,871
-1,878
-1,818
-3,567
-0,601
-0,181
-0,516
-1,874
-0,130
-2,288
-4,114
-0,868
-0,947
-2,022
-1,400
-1,411
-0,960
-1,171
Escala (50,10)
a
0,1063
0,0925
0,1023
0,0595
0,0741
0,0889
0,2160
0,0873
0,0705
0,0797
0,0673
0,0600
0,0829
0,0904
0,0903
0,0686
0,1444
0,0897
0,1491
0,2222
0,1139
0,1156
0,0959
0,1040
0,0875
0,0880
0,1108
0,0795
0,0861
0,0769
0,0724
0,1265
0,0998
0,0884
0,1880
0,0844
0,1415
0,0776
0,1214
0,1286
0,0923
0,1494
0,1379
0,1066
0,1353
0,1057
0,0796
0,1428
b
38,0
38,3
34,5
52,0
31,3
44,2
39,2
14,8
47,9
33,9
54,1
48,0
41,5
31,8
43,4
23,2
32,9
17,3
32,8
36,9
23,3
36,6
37,7
41,8
26,9
33,1
22,3
38,2
35,7
29,1
41,3
31,2
31,8
14,3
44,0
48,2
44,8
31,3
48,7
27,1
8,9
41,3
40,5
29,8
36,0
35,9
40,4
38,3
134
APÊNDICE G – Notas atribuídas aos aplicativos
APLICATIVOS
NOTAS
Banco do Brasil
51,0
69,5
Eu atleta
50,7
FacebookMessenger
68,6
Relax and Sleep
50,3
66,7
EyeEm iPhone
50,3
Google Play Books
66,7
50,1
Trip Advisor
66,6
Sky Sports iPhone
50,0
Converter
65,9
Baby Names
49,8
Earth View
65,7
SoundCloud iPhone
49,8
Pessoa Física
65,6
Diabetes
49,7
GlicoCare
65,4
NET iPhone
49,5
Rastreio Correios
65,3
49,5
Hotel Hoje
65,2
Hotel Hoje
49,5
Shazam iPhone
64,7
49,1
Aleitamento
64,3
Thirst iPhone
48,7
Globo News
63,9
Hotmail
48,5
Wedding Planning
63,8
Presidentes
48,5
Appediatria
63,6
Viddy iPhone
48,4
Google Goggles
63,4
Buscapé iPhone
48,3
Biblia Sagrada NVI
63,2
Climatempo
48,0
Baixaki
63,0
47,9
Qual Operadora
62,9
CineMark Brasil
47,8
MusiXmatch iPhone
62,9
Pressão Arterial
47,5
62,7
2ulado Detran Free
47,5
iCaipirinha
62,7
47,5
ColorNote
62,4
Wikipedia
47,4
62,1
47,3
Gmail
62,0
GlobeConvert iPhone
47,2
Medscape
61,5
47,1
Apn Brasil
61,2
Ingresso.com
47,0
Diário Catarinense
61,1
TouristEye iPhone
47,0
Lighter Free
60,6
Photaf Panorama
47,0
60,5
Ringtone Maker
46,9
Apgar
60,4
Instagram
46,7
bPresso.com
59,9
CPF/CNPJ
46,6
Spider Solitarie
59,9
Psoríase
46,5
59,6
Groupon iPhone
46,5
Dieta e Saúde
59,4
Expedia
46,5
MyBaby Puzzle
59,2
IMDb
46,4
SkyDrive
59,0
EyeEm iPhone
46,3
AVG Mobilation
58,7
Sabores do Brasil
46,3
Clean Master
58,7
Boa Compra
46,2
135
Gues the Movie!
58,7
Wunderlist iPhone
46,2
DropBox
58,6
Consulta Visa Vale
46,2
Facebook
58,5
46,2
Tavindo
58,4
Tv show favs
46,2
Genéricos Brasil
58,1
46,1
Google Drive
58,1
CardioTrainer
46,0
Metas de Vida
58,0
iBeer
45,9
Piano Virtual
58,0
Any.Do iPhone
45,9
App2SD
57,9
QR Droid
45,8
Guia TV BR
57,8
Taximetro Pro
45,8
WhatsApp
57,7
Sonar
45,7
57,6
Flashlight
45,7
Android Massager
57,6
45,7
57,3
Voos Online
45,6
Twitter iPhone
56,9
Qello iPhone
45,6
Festas UFSC iPhone
56,8
4shared
45,6
Pet Shop Story
56,6
ArtFinder iPhone
45,5
YouTube
56,6
Lupa
45,4
56,6
45,4
Decolar.com
56,5
Call Assistant
45,4
Churrascometro
56,4
Buscapé
45,4
Logo Quiz
56,1
Breastfeed
45,3
I am Here
56,0
45,3
55,8
Marie Claire
45,2
CamScanner iPhone
55,8
Nivea Sun
45,1
55,7
Wase iPhone
45,1
Saúde Vale
55,7
45,1
Angry Birds
55,7
45,0
Quora iPhone
55,6
Floripa VIP iPhone
44,9
2ples MP3 Downloader
55,5
RadarG1
44,7
Cadê Meu Banco
55,4
Tempo de Trabalho
44,7
iCall
55,4
Crescer Mobile
44,5
Globo.com
55,3
Diabetes
44,3
Procedimentos TUSS
55,2
Xadrez
44,2
Meu Diário Mensal
55,1
44,1
Amamentação
55,1
TeleListas
44,0
Nó em Gravata
55,1
Mochileiros
43,8
55,0
Alarme Antifurto
43,1
Consulta CEP
55,0
yap TV Guide iPhone
42,9
Vacinas Brasil Lite
55,0
42,8
54,9
Vogue
42,4
Google Tradutor
54,8
Presto! Remote
42,3
136
Dicionário Porto
54,8
aCalendar
42,2
Dodol Phone
54,8
Tic Tac Toe
41,5
Horóscopo
54,7
Air Horn Free
41,3
54,7
Photo Effects
39,9
Viber
54,7
Alergias
39,4
Gripe Suína
54,6
Diabetes Diary Lite
39,3
Pou
54,6
Change my voice
38,8
O que é o que é?
54,5
Weather Channel
37,8
Tumblr iPhone
54,5
Caça Palavras
37,8
Procedimentos SUS
54,5
EasyMeasure
37,8
Receita Móvel
54,3
Happy Diary Plus
37,7
Benji Bananas
54,2
Shared Mp3
37,7
ShareFood iPhone
54,1
Night Vision Camera
37,6
TrackPack
54,0
Taxibeat iPhone
37,5
Galinha Pintadinha
54,0
37,4
KCRW SongTag
53,9
Sushi BR
37,3
Qranio iPhone
53,8
37,2
ProEstetica
53,7
37,0
GestaTools
53,7
36,9
Brasileirão
53,7
Passa Régua iPhone
36,9
Radio Atlântida
53,3
Split Pic iPhone
36,9
Foursquare iPhone
53,1
Maze Game
36,8
Privalia iPhone
52,8
Faces - Photo Fun
36,8
WiFi Manager
52,6
Wikipedia Places
36,6
Saraiva eReader
52,6
Exercícios em casa
36,6
Universo Médico
52,6
Color Touch
36,4
PersonalFinance
52,5
Sleep as Android
34,8
52,3
Kekanto
34,7
Shazam
52,2
Nike+ Running
32,7
MagicPlan iPhone
52,0
Battery Master
31,9
51,9
Flash Card Demo
30,2
51,9
2plePac
29,8
Insta College
51,8
Baby holidays
29,7
PhotoGrid
51,8
minube
28,8
Palco MP3
51,6
Jogos Mentais
28,6
Tela Transparente
51,5
Evernote Hello
27,9
51,3
Qual é a resposta?
27,7
WBCBaseball iPhone
51,2
27,7
Reuters iPhone
51,1
Jogo da Forca
27,6
Astro File Manager
51,1
Emoji
27,0
Medida Certa
25,2
Mobile Voip
21,0
137
APÊNDICE H – Tabelas de frequências de respostas
Categorias
Heurísticas
Questões
Não
Sim
NA
1.
Para cada ação do usuário o aplicativo oferece feedback imediato e
51
183
0
2.
Os componentes interativos selecionados são claramente distintos dos
demais?
10
60
177
0
3.
44
2
201
0
8
41
185
13
63
20
163
1
6.
aplicativo?
88
37
112
10
7.
21
23
152
51
8.
137
9
101
0
167
10
69
1
10. Quando uma mensagem é exibida o tempo de exibição é suficiente
para realizar a leitura?
3
34
184
26
11.
9
83
143
12
12.
12
36
196
3
4.
As mensagens sobre o status do aplicativo possuem uma linguagem
clara e concisa?
5.
sistema
Parcial
13
9.
Oferece outras formas de feedback além do textual (luminoso,
sonoro, vibração)?
Categorias
Heurísticas
Questões
Não
Sim
NA
1
14
232
0
40
36
86
85
15.
78
0
168
1
16.
28
13
180
26
39
19
179
10
18. No caso de aplicativos associados a cadastro de login ou contas de email, permite o fácil acesso de mais de um usuário?
41
5
34
167
19.
O usuário pode sair do aplicativo e retornar do ponto onde parou?
25
1
220
1
20.
O usuário pode cancelar uma ação em progresso (ex.: download)?
42
6
55
144
21.
O usuário pode desfazer (undo) uma ação?
69
13
61
104
O usuário pode refazer (redo) uma ação?
69
8
69
101
31
12
151
53
19
46
109
73
25.
20
37
105
85
13.
17.
Usuário
22.
O aplicativo deixa claro qual o próximo passo para realizar a tarefa?
Parcial
138
Categorias
Heurísticas
Questões
Não
Sim
NA
30
15
183
19
4
88
154
1
16
55
167
9
4
17
209
17
idioma?
30
8
205
4
31.
18
13
184
32
4
13
227
3
4
28
209
6
34.
A forma de navegação é consistente entre as telas no aplicativo?
3
29
189
26
35.
Os links são tratados de forma consistente entre as telas?
5
6
134
102
23
32
190
2
26.
As telas com o mesmo tipo de conteúdo possuem o mesmo título?
28.
Itens não clicáveis deixam evidente que não o são?
29.
O nome do botão/ícone é consistente com o nome da tela que abre?
32.
Funções diferentes são apresentadas de maneira distinta ao usuário?
Funções semelhantes são apresentadas de forma similar?
Parcial
Categorias
Heurísticas
Questões
Não
37. Nas primeiras interações do usuário com o aplicativo são mostradas
instruções básicas?
localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma
confirmação do usuário (como por exemplo a técnica slide-to-unlock
control usada pelos sistemas Android e Apple)?
Sim
NA
194
Parcial
6
36
11
57
18
63
109
Sim
NA
Categorias
Heurísticas
Questões
Não
60
37
130
20
9
29
193
16
14
49
171
13
27
51
160
9
43. Em todas as telas é possível reconhecer uma identidade visual (marca
ou nome do aplicativo, cores, etc)?
28
33
176
10
44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual
e conhecida pelo usuário?
2
33
205
7
27
22
182
16
46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão
de acordo com o conteúdo das telas que abrem?
3
19
134
91
47. Em campos onde há a necessidade de inserção de dados isso é
evidente?
2
10
169
66
39. A opção voltar é apresentada de acordo com o padrão dos aplicativos
para esta plataforma?
lembrança
Parcial
40.
Em cada opção do menu, a primeira palavra é a mais importante?
41.
Os títulos e rótulos são curtos?
45.
Os títulos das telas descrevem adequadamente seu conteúdo?
139
Categorias
Heurísticas
Questões
Não
48. O aplicativo apresenta problemas durante a interação (trava, botões
não funcionam no primeiro clique, etc)?
Parcial
NA
23
52
0
7
22
211
7
49.
O propósito/função do aplicativo é claro?
50.
As tarefas são relativamente simples de serem executadas?
13
50
184
0
51.
O aplicativo é carregado rapidamente?
24
37
186
0
133
0
76
38
99
42
92
14
8
39
199
1
214
10
6
17
cada usuário?
197
21
21
8
27
62
157
1
52. Oferece mecanismos de input alternativos como por voz, por lista, por
foto ou por QR-code?
Flexibilidade e Eficiência
de Uso
Sim
172
qual os usuários podem ir de uma tela para outra com apenas um click sem
ter que ir para uma outra página antes?
54.
57.
As funções mais utilizadas são facilmente acessadas?
O aplicativo utiliza objetos (ícones) ao invés de botões?
Categorias
Heurísticas
Questões
Não
Estética e Design
Minimalista
Sim
NA
58. São exibidas apenas informações relacionadas a tarefa que esta sendo
realizada?
11
22
214
0
indispensáveis?
13
30
198
6
2
12
231
2
20
58
161
8
tela?
38
76
131
2
63.
28
4
215
0
60.
Em textos o uso de abreviaturas é evitado?
61.
O menu é esteticamente simples e claro?
O aplicativo só apresenta funções que estão habilitadas?
Parcial
Categorias
Heurísticas
Questões
Não
Ajude o usuário a
reconhecer, diagnosticar e
recuperar de erros
Parcial
Sim
NA
35
35
150
64.
O aplicativo permite fácil recuperação de erros?
27
65.
As mensagens de erro são claras apontando a causa do erro?
17
23
65
142
48
13
41
145
16
1
86
144
66. As mensagens de erro, quando possível proveem uma ou mais opções
de navegação, como, por exemplo um link de "Voltar" para retornar à
página anterior, um link "Repetir" para tentar repetir a transação?
67.
As mensagens de erro são amigáveis com usuário?
Categorias
Heurísticas
Questões
Não
Sim
NA
169
Parcial
4
73
1
68.
O aplicativo possui uma opção de ajuda?
69.
É fácil localizar a ajuda?
5
14
58
170
70.
A ajuda é de fácil compreensão?
7
10
59
171
140
Categorias
Heurísticas
Questões
Não
71.
A navegação do aplicativo é intuitiva?
72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo
está na posição horizontal?
Pouca interação
homem/dispositivo
mais frequentes do usuário para que ele não precise digitá-las novamente,
oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)?
75.
O cadastro de usuário exige somente informações necessárias?
Sim
NA
12
Parcial
78
154
3
55
30
148
14
74
9
48
116
79
12
27
129
8
2
77
160
Categorias
Heurísticas
Questões
Não
Interação Física e
Ergonomia
Sim
NA
7
45
191
4
10
13
116
108
78. Possui espaço suficiente entre botões e links, evitando que o usuário
selecione outro elemento?
5
31
167
44
79. A navegação principal encontra-se na posição padrão dos aplicativos
para esta plataforma?
44
71
131
1
80. Os botões e controles podem ser facilmente acessados com qualquer
uma das mãos ou há opção para destro ou canhoto?
2
20
225
0
mesmos?
0
8
237
2
76.
Possui botões com tamanho adequado ao clique?
77.
Possui links com tamanho adequado ao clique?
Parcial
Categorias
Heurísticas
Questões
Não
Sim
NA
12
53
172
10
9
58
178
2
140
11
95
1
8
12
218
9
1
33
203
10
3
44
197
3
25
68
135
19
89. As imagens possuem cor e detalhamento favoráveis a leitura em uma
tela pequena?
6
45
177
19
90. O aplicativo realça conteúdos mais importantes, deixando-os maiores,
mais brilhosos, negrito ou mais detalhados?
31
51
161
4
91.
O alinhamento utilizado favorece a leitura?
13
40
185
9
92.
Quando utiliza o scroll é somente vertical ou somente horizontal?
22
2
183
40
82.
O espaçamento entrelinhas utilizado favorece a leitura?
83.
As fontes utilizadas favorecem a leitura?
84.
A interface do aplicativo se adapta a rotação da tela?
85. Independente da orientação e do uso do scroll, todo conteúdo fica
visível na tela, sem cortes?
86.
Os ícones possuem contraste suficiente em relação ao plano de fundo?
87.
Os textos tem contraste suficiente em relação ao plano de fundo?
88.
As imagens (gráficos, ícones, etc) também são descritas textualmente?
Parcial
141
APÊNDICE I – Escala de Medida do Grau de Usabilidade
Nível
Descrição
Heurística
Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre.....
13.É o usuário quem inicia e encerra tarefas e não o aplicativo?
Controle e liberdade do usuário
81.A área clicável dos botões e links ocupa toda a dimensão dos mesmos?
Interação física e ergonomia
60.Em textos o uso de abreviaturas é evitado?
30
35.Os links são tratados de forma consistente entre as telas?
30.Todas as informações textuais do aplicativo utilizam o mesmo idioma?
32.Funções semelhantes são apresentadas de forma similar?
4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e
concisa?
7. Fornece um update do status para operações mais lentas?
17. É possível retornar a tela anterior a qualquer momento?
31. Funções diferentes são apresentadas de maneira distinta ao usuário?
33. Controles que realizam a mesma função ficam em posições semelhantes na tela?
36. As informações textuais são apresentadas de forma padronizada? (tamanho da
fonte, cor)
40
44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida
pelo usuário?
Reconhecimento em vez de lembrança
58. São exibidas apenas informações relacionadas a tarefa que esta sendo
realizada?
59. São usados textos somente quando estes são realmente indispensáveis?
80. Os botões e controles podem ser facilmente acessados com qualquer uma das Interação física e ergonomia
mãos ou há opção para destro ou canhoto?
86. Os ícones possuem contraste suficiente em relação ao plano de fundo?
Legibilidade e layout
89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela
pequena?
1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado
sobre seu status?
02. Os componentes interativos selecionados são claramente distintos dos demais?
50
27. Controles e botões se distinguem do restante do layout, deixando evidente que Consistência e padrões
142
são clicáveis?
42. Os dados e mensagens mais importantes encontram-se na posição padrão dos
Reconhecimento em vez de lembrança
48. O aplicativo apresenta problemas durante a interação (trava, botões não
funcionam no primeiro clique, etc)?
90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais Legibilidade e layout
brilhosos, negrito ou mais detalhados?
6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo?
Visibilidade e status do sistema
14. É possível identificar o número de passos necessários para a realização de uma
tarefa?
18. No caso de aplicativos associados a cadastro de login ou contas de e-mail,
60
permite o fácil acesso de mais de um usuário?
62. O aplicativo exibe quantidades pequenas de informações em cada tela?
79. A navegação principal encontra-se na posição padrão dos aplicativos para esta Interação física e ergonomia
plataforma?
143
APÊNDICE J – Artigo
APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM
PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE
PARA DISPOSITIVOS CELULARES TOUCHSCREEN.
Ariane Talita Witt¹
1
Departamento de Informática e Estatística – Universidade Federal de Santa Catarina
(UFSC)
[email protected]
Resumo. O cenário atual é caracterizado pela presença de modernos aparelhos de
celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas
mudanças apresentam novas formas de interação, destacam-se nesse cenário os
touchscreen phones, celulares que possuem a tela sensível ao toque. O presente
trabalho tem como objetivo avaliar um conjunto de heurísticas de usabilidade para
dispositivos de celulares touchscreen realizando um estudo empírico onde é
concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação
de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados
aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item
que compõe o checklist.
1. Introdução
A evolução dos telefones celulares nas últimas décadas é expressiva. Os aparelhos
deixaram de ser apenas um dispositivo de telefonia móvel e passaram a receber muitas
outras funcionalidades, como jogos, câmeras fotográficas e acesso à internet (LANDIM,
2011). O cenário atual é caracterizado por modernos aparelhos celulares que são cada
vez menores e com mais funções e recursos disponíveis.
As vendas de smartphones no mundo totalizaram 210 milhões de unidades no primeiro
trimestre de 2013, até 42,9% de aumento em relação ao primeiro trimestre de 2012
(GARTNER, 2013). Smartphones estão entre celulares e computadores, não possuem o
hardware tão robusto quanto um computador e nem tão simples quanto um celular. Os
smartphones possuem funcionalidades avançadas que podem ser ampliadas por meio de
aplicativos executados no seu sistema operacional.
Destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível
ao toque, por isso dispensam o uso de teclados, pode-se tocar a tela e ela responderá
como se o toque fosse nos objetos mostrados nela. É uma tecnologia que integra não só
sensores na tela, mas também programas e interfaces específicas (ASSIS, 2009). A
venda desses modelos de dispositivos cresce com intensidade no mundo, a previsão de
aumento de unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de
1,6 bilhões) (LEE, 2011).
Os touchscreen phones apresentam novas formas de interação como voz, gestos,
sensores e dados de localização (WASSERMAN, 2010). Além das diferenças de
interação o ambiente de uso desses dispositivos também é diferenciado, os usuários
144
deste tipo de dispositivo estão cercados por outros estímulos, pois muitas vezes estão
em movimento, andando na rua ou na espera no ponto de ônibus buscando concluir
rapidamente tarefas simples, obter informações ou para se divertir, assistindo a vídeos
ou jogando (SALAZAR et al. 2012).
Avaliando essas diferenças apresentadas pelos dispositivos touchscreen phones,
questões de design de interface e usabilidade desses dispositivos também precisam ser
analisadas (SALAZAR et al. 2012), pois é muito importante que as interfaces sejam
eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário
(PREECE, 2005), essa característica deve estar presente também nos dispositivos
touchscreen phones e seus aplicativos.
Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de
heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em
dispositivos touchscreen phones (SALAZAR et al. 2012). Atualmente os resultados da
pesquisa são analisados por meio de um estudo empírico inicial. São comparados
resultados de testes de usabilidade com resultados de avaliações heurísticas adotando o
checklist desenvolvido. As avaliações foram realizadas em um aplicativo para iPhone
para acessar laudos de exames médicos (SALAZAR et al., 2012).
Nesse sentido, tendo como intuito avaliar a validade do checklist desenvolvido e
também gerar um conjunto mínimo de itens que permitam inferir o grau da usabilidade
de um aplicativo com o mínimo de esforço necessário, resume-se a hipótese de pesquisa
a ser analisada no presente trabalho da seguinte maneira: O conjunto proposto de
heurísticas/checklist de usabilidade para dispositivos celulares touchscreen mede o grau
de usabilidade desses aplicativos.
2. Metodologia
Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e validar um
checklist para avaliação de usabilidade em aplicativos para dispositivos touchscreen
phones. Para Barros e Lehfeld (2000), a pesquisa aplicada tem como motivação a
necessidade de produzir conhecimento para aplicação de seus resultados com o objetivo
de contribuir para fins práticos, visando à solução mais ou menos imediata do problema
encontrado na realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois
está relacionada à quantificação de dados obtidos por meio de pesquisa e baseada em
técnica estatística para o tratamento dos dados.
Neste trabalho é realizado o estudo da literatura sobre heurísticas de usabilidade para
dispositivos celulares touchscreen e o estudo da técnica estatística Teoria da Resposta
ao Item. Através dessa técnica estatística é realizada uma avaliação sobre um conjunto
de itens empregados para avaliar a usabilidade de aplicativos para dispositivos
touchscreen.
A Teoria da Resposta ao Item procura medir habilidades, atitudes, interesses,
desempenho, maturidade, conhecimentos ou proficiência de indivíduos ou sistemas por
meio de um questionário e da construção de uma escala na qual, o traço latente do
respondente e a dificuldade de um item podem ser comparados (TEZZA, 2009). A
escolha do modelo de TRI mais adequado depende, sobretudo do que se deseja medir e
da natureza dos dados disponíveis (TEZZA, 2009).
145
A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita a criação de
escalas a partir de um checklist que faz uso de conceitos de usabilidade (TEZZA, 2009).
No presente trabalho para a aplicação da TRI é utlilizado o Software BILOG-MG 3
(MISLEVY & BOCK, 2003). Este assume que os respondentes representam uma
amostra aleatória de uma população de proficiências que pode ser assumida como tendo
ou uma distribuição normal padrão, ou ainda uma distribuição discreta arbitrariamente
especificada pelo usuário, ou ainda uma distribuição empírica, a ser estimada
conjuntamente com os parâmetros dos itens (TEZZA, 2009).
A
metodologia de desenvolvimento deste trabalho é dividida em quatro etapas:
Etapa 1: É realizada uma análise de literatura na área de IHC em geral e posteriormente
enfatizando a área de heurísticas de usabilidade para dispositivos celulares touchscreen.
Também é estudada a técnica estatística da Teoria da Resposta ao Item.
Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de
Usabilidade.
Atividade 1.2: Analisar os dispositivos celulares touchscreen.
Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item.
Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade
existentes para o design de interface para celulares touchscreen. Para esta etapa é
utilizada a técnica de revisão sistemática de literatura.
Atividade 2.1: Definir a revisão sistemática da literatura.
Atividade 2.2: Executar a revisão sistemática da literatura.
Atividade 2.3: Analisar e interpretar as informações extraídas.
Atividade 2.4: Documentar e discutir os resultados.
Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando a teoria
estatística de Resposta ao Item. É realizado, também, o levantamento de aplicativos para
a realização da avaliação do conjunto de itens. As avaliações dos aplicativos para
celulares touchscreen para plataformas iOS ou Android são realizadas em duas
iterações.
Atividade 3.1: Definir a avaliação do primeiro conjunto.
Atividade 3.2: Levantamento de aplicativos para a realização da avalição.
Atividade 3.3: Primeira iteração das avaliações.
Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos (cerca de
50 aplicativos).
Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto.
Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto.
Atividade 3.4: Segunda iteração das avaliações.
Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos (cerca de
200 aplicativos).
Atividade 3.4.2: Analisar os resultados das avaliações do segundo conjunto.
Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto.
Atividade 3.5: Discutir os resultados.
3. Fundamentação Teórica
3.1Heurísticas para dispositivos móveis touchscreen phones
146
O contexto de uso de um computador de mesa (desktop) para o qual foram
desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de uso de um
dispositivo móvel. Dispositivos móveis geralmente são utilizados para aplicações
rápidas em um ambiente com muitas distrações, muitas vezes os usuários estão em
movimento, como por exemplo, andando na rua.
Os métodos tradicionais de avaliação de usabilidade não consideram essas
particularidades dos dispositivos móveis, por isso, existe uma necessidade do
desenvolvimento de novas técnicas de avalição de usabilidade para esses dispositivos
(INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se então necessário customizar as
heurísticas de Nielsen, adaptando-as ao paradigma dos dispositivos móveis.
Nesse sentido, alguns autores vêm realizando esforços com o objetivo de definir
heurísticas de usabilidade para dispositivos móveis touchscreen. Uma visão geral do
estado de arte referente às heurísticas de usabilidade para celulares touchscreen é
apresentado por Salazar et al (SALAZAR, et al. 2012). A revisão do estado arte
evidenciou que ainda não existem muitas pesquisas nessa área.
A revisão do estado da arte de Salazar et al (2012) obteve como resultado 13 artigos
relevantes no que diz respeito a heurísticas de usabilidade para celulares. Devido a essa
carência de trabalhos relacionados às heurísticas de usabilidade para celulares, o foco da
revisão do estado da arte foi ampliado a guias de estilo. Foram então selecionados os
guias de estilo de design das cinco plataformas de smartphones mais vendidas no
mundo em 2011 (SALAZAR et al. 2012). Apesar de existir forte correlação entre as
heurísticas propostas e as heurísticas tradicionais, muitas vezes as primeiras
reinterpretam e ajustam suas definições para dispositivos móveis. Alguns autores ainda
propuseram algumas heurísticas adicionais levando em consideração as características
específicas dos dispositivos móveis. A Tabela 1 apresenta o conjunto unificado de
heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos após a
revisão do estado da arte.
Tabela 1 – Conjunto de Heurísticas para dispositivos móveis
Heurísticas Tradicionais
Heurísticas Novas
Liberdade e controle do usuário
Compatibilidade entre diferentes plataformas
Interação física e ergonômica
Ajudar os usuários a reconhecer, diagnosticar e recuperar erros
Fonte: (adaptado de SALAZAR et al. 2012)
A análise do estado da arte demonstrou que até o momento não existe uma
visão/compreensão única sobre quais são as heurísticas de usabilidade relevantes para
os dispositivos touchscreen phones.
Nesse sentido, com a intenção de criar um conjunto unificado de heurísticas de
usabilidade (Tabela 01) com base na literatura e experiências práticas, o GQS – Grupo
de Qualidade de Software - está atualmente definindo um conjunto de heurísticas de
usabilidade para celulares touchscreen.
147
3.2. Checklist para avaliação heurística de aplicativos em touchscreen
phones
Para facilitar a realização de avaliações heurísticas usando o conjunto de heurísticas
unificadas, uma lista de verificação (checklist) foi desenvolvida pelo GQS – Grupo de
Qualidade de Software. Esta, por sua vez, objetiva auxiliar na avaliação de usabilidade
dos dispositivos touchscreen phones de uma maneira rápida, fácil e eficiente
(SALAZAR et al., 2012).
Como escala de resposta aos itens do checklist é adotada uma escala ordinal com quatro
opções:
• Sim (Se o aplicativo estiver de acordo com o item);
• Parcialmente (se o aplicativo atender parcialmente o item);
• Não (se não estiver de acordo com o item) e
• Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao
escopo da aplicação).
Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura 1.
Avaliadora:
Data:
Aplicativo/versão:
Sistema:
Heurísticas
Questões
sistema
9.
Dispositivo:
Para cada ação do usuário o aplicativo oferece feedback imediato e
10. Os itens selecionados são claramente distintos dos demais?
11. Prioriza mensagens relativas a informações críticas e contextuais
12. As mensagens sobre o status do aplicativo possuem uma linguagem
clara e concisa?
13. Todas as telas possuem identificação?
14. Todas as telas mantêm acessíveis menus e funções comuns do
aplicativo?
15. Fornece um update do status para operações mais lentas?
16. O aplicativo oferece informações sobre sua versão?
Anotações:
…
...
...
Figura 1: Lista de verificação aplicada a celulares touchscreen
Fonte: SALAZAR et al., 2012
N
P
S
NA
148
4 Estado da Arte
A revisão sistemática da literatura realizada teve como objetivo analisar e sintetizar a
literatura existente sobre a avaliação/validação de conjuntos de heurísticas de
usabilidade para aplicativos em dispositivos de touchscreen phones. O foco da revisão
está na seguinte questão: Como os conjuntos de heurísticas de usabilidade para celulares
touchscreen são validados?
Embora o foco principal estivesse relacionado a touchscreen phones, o escopo da
pesquisa foi ampliado para qualquer tipo de telefone celular, pois em uma busca inicial
não foi encontrada qualquer literatura relevante específica sobre touchscreen phones.
Em relação a validações dos conjuntos de heurísticas de usabilidade para celulares
touchscreen também não foi encontrada qualquer literatura relevante, por esse motivo, o
foco da pesquisa também foi ampliado para artigos que tivessem como foco a definição
de heurísticas de usabilidade para telefones móveis.
Foram pesquisados na Web artigos publicados na língua inglesa sobre heurísticas de
usabilidade para telefones celulares. As pesquisas foram realizadas nas mais
importantes bibliotecas digitais e bases de dados neste domínio (IEEEXplore, ACM
Digital Library, Science Direct, Wiley e Springer) através do acesso gratuito ao Portal
CAPES. Devido aos avanços tecnológicos apresentados pelos dispositivos estudados
foram considerados artigos publicados entre janeiro de 2006 e julho de 2012 e para
serem selecionados os artigos deveriam ter como foco a definição de heurísticas de
usabilidade para telefones móveis. Foram excluídos artigos que não apresentavam os
aspectos mencionados.
A realização da busca de artigos científicos foi realizada usando os termos de busca
especificados na Tabela 2. Devido ao fato de vários termos possuírem sinônimos foi
realizada uma pesquisa mais ampla, incluindo outros termos além de "smartphone",
como por exemplo, os termos “mobile”, “cell phone” e “handheld device”. No que diz
respeito às heurísticas o termo “usability guidelines” também foi utilizado além do
termo “usability heuristics”. A definição das mesmas é o resultado de várias calibrações
realizadas anteriormente. A pesquisa foi realizada em outubro de 2012.
Tabela 2: Strings de buscas nas bases de dados
IEEE
XPLORE
((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability
heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND
(pyr >= 2006AND pyr <= 2012).
ACM Digital
Library
("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability
heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR
"cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen
mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR
“usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal)
ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLEABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns
interface")
WILEY
Interscience
mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR
"touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND
149
"usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in
Abstract between years 2006 and 2012
SpringerLink
(mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published
(mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published
("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
(smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published
(smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters
("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))'
("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no
filters
("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))'
("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with
no filters
("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between
'1 Jan 2006' and '31 Jul 2012' with no filters
("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan
2006' and '31 Jul 2012' with no filters
A busca inicial retornou 429 artigos (193
no IEEE Xplore, 152 no ACM Digital Library, 10 no
ScienceDirect, 41 no Wiley e 33 no Springer). Após a realização de uma análise dos artigos
encontrados através da leitura dos titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos
respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos irrelevantes ou
duplicados foram removidos. Realizou-se então um exame desses 32 artigos, avaliando
a qualidade da informação apresentada. O resultado final foi a seleção de 15 artigos
considerados realmente relevantes. Posteriormente foi realizada a leitura dos artigos e
extraídos os dados referentes a validações de conjuntos de heurísticas/checklists
desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones.
A partir dos artigos resultantes da revisão sistemática de literatura a
leitura dos mesmos foi
realizada com o objetivo de analisar informações sobre a validação dos conjuntos de heurísitcas/checklist
propostos nos artigos. O resultado dessa leitura pode ser verificado na Tabela 3.
Tabela 3: Dados extraídos sobre validação do conjunto de heurísticas/checklist
Artigo
Realiza validação do conjunto de
heurísticas/checklist
(Hashim et al., 2010)
--3
(Lo & Tan, 2012)
--
(Fetaji & Fetaji, 2011)
--
(Zaibon & Shiratuddin 2012)
--
(Inostroza et al., 2012)
(Wesselset al., 2011)
--
(Rauch, 2011)
--
(Ayob et al., 2009)
--
(Billi et al., 2010)
--
(Gu, Gu & Laffey, 2011)
--
3
Não cita avaliações sobre as heurísticas de usabilidade propostos.
150
(Travis & Tay, 2011)
--
(Alsos et al., 2012)
--
(Nilsson, 2009)
--
(J.Gong & P.Tarasewich, 2004)
--
(E. Bertini et al., 2006)
Apesar da importância da usabilidade no contexto de dispositivos móveis o resultado
escasso da revisão sistemática de literatura demonstra uma falta de investigação nesta
área. Analisando a Tabela 3 fica evidente a falta da realização de uma validação do
conjunto de heurísticas/checklists propostos na literatura encontrada.
Somente dois artigos citam a realização de uma avalição do conjunto de heurísticas
propostos (Inostroza et al., 2012) e (Bertini et al., 2006).
Inostroza et al. (2012) realizaram a comparação de dois conjuntos de heurísticas, por um
estudo comparativo em que realizaram uma avaliação utilizando as heurísticas propostas
para dispositivos touchscreen e a outra realizada com as heurísticas tradicionais de
Nielsen. Dois grupos de avaliadores, compostos por dois avaliadores cada, utilizaram
um dispositivo touchscreen para a realização da avaliação heurística, um deles utilizou
as heurísticas de Nielsen e o outro utilizou as heurísticas propostas para dispositivos
móveis.
O resultado foi a identificação de um número um pouco maior de problemas de
usabilidade utilizando as heurísticas para dispositivos móveis touchscreen. Além de
identificarem mais problemas o grupo ainda classificou os problemas em maiores graus
de severidade. Posterior a essa avalição, os autores, utilizaram a média e a variância dos
valores dos graus de severidade dos problemas encontrados com cada conjunto de
heurística para avaliar a validade do conjunto proposto.
Apesar dessa primeira tentativa de validar o conjunto de heurísticas proposto os autores
destacaram o fato dessa avaliação ainda ser preliminar e a necessidade da realização de
mais experimentos para ser possível uma melhor conclusão.
Bertini et al. (2006) realizaram um estudo empírico com objetivo de comparar o apoio
prestado pelo novo conjunto de heurísticas móveis contra as heurísticas de usabilidade
padrão. O estudo envolveu oito especialistas em usabilidade e teve como resultado uma
avaliação mais precisa em termos de problemas detectados (mais falhas detectadas) com
a utilização das heurísticas para dispositivos móveis.
Observando essa falta em geral de avaliações mais rigorosas dos conjuntos de
heurísticas pospostos para dispositivos móveis o presente trabalho objetiva avaliar um
conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen
utilizando a Teoria da Resposta ao Item, pois a mesma permite a criação de um
instrumento de medição que possua uma escala padronizada e permita sistematização e
precisão dos resultados e, logo, comparabilidade dos mesmos. Essa técnica já foi
utilizada para avaliar outro conjunto de heurísticas como, por exemplo, na elaboração de
um conjunto de heurísticas referente a usabilidade em sites de e-commerce (TEZZA,
2009). O trabalho citado anteriormente indica a adequação do uso da técnica de TRI
para validar/avaliar checklists que dentro desse contexto podem ser compreendidos
como questionário padronizado, assim é possível citar alguns trabalhos que fizeram uso
151
da técnica de TRI para validar/avaliar questionários, como, por exemplo, questionários
para medir inteligência ou autismo infantil (SATO, 2009) ou questionários para medição
de fatores críticos da gestão pela qualidade (ALEXANDRE et al. 2001).
4. Avaliação das Heurísticas/checklist de usabilidade para aplicativos
em celulares touchscreen
O objetivo da avaliação é validar os itens do checklist para avaliação de usabilidade de
aplicativos dos dispositivos touchscreen phones.
Com esse objetivo é efetivado um estudo empírico onde é realizada uma série de
avaliações heurísticas utilizando o checklist para avaliação de aplicativos para
dispositivos celulares touchscreen proposto por Salazar et al. (2012).
A avaliação tem como foco aplicativos para dispositivos móveis e a principal
funcionalidade dos mesmos, portanto, as avaliações não levaram em consideração o
aplicativo como um todo e sim a sua principal função.
O estudo de caso é dividido em duas iterações:
Na primeira iteração são selecionados 50 aplicativos a serem avaliados. Os critérios
para a seleção dos aplicativos estão apresentados a seguir:
2. Número de downloads maior que 200 na página que o disponibiliza;
3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que
utilizaram os aplicativos após realizar o download dos mesmos nas páginas que
os disponibilizam.
Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção dos aplicativos
para a segunda iteração foi o seguinte:
2. Aplicativos gratuitos para realização de testes.
A Tabela 4 apresenta os 247 aplicativos selecionados ao total para a realização das
avaliações nas duas iterações.
Tabela 4: Aplicativos selecionados para a avaliação
Dicionário da Língua Portuguesa
Weather Channel
Google Drive
Google Goggles
App2SD
DropBox
Angry Birds
FacebookMessenger
Qual Operadora
Brasileirão
Groupon iPhone
Apn Brasil
CardioTrainer
Sky Sports iPhone
EyeEm iPhone
Converter
Sonar
Aplicativos Avaliados
Boa Lista - Lista de Compras
Google Tradutor
Gmail
IMDb
WhatsApp
Traffic Counter Extended
PersonalFinance
Trip Advisor
Cadê Meu Banco
Instagram
CamScanner iPhone
Wase
TrackPack
Facebook
Photaf Panorama
4Shared
Banco do Brasil
Consulta Visa Vale
Saraiva eReader
Consulta CEP
YouTube
Viber
Tavindo
Wikipedia
Churrascometro
Buscapé iPhone
Voos Online
AVG Mobilation
Shazam iPhone
Quora iPhone
Clean Master
Rádio Atlântida
152
Spider Solitaire
Guia de aeroportos HD
Radar G1
Diário Catarinense
Vogue Brasil Mobile
Expedia Hotels & Flights
Simple PAC
Bíblia Sagrada NVI
Ringtone Maker
ASTRO File Manager
Qello
Mokriya craigslist
WBCBaseball
Climatempo
Tela Transparente
Buscapé Mobile
Pedômetro - Accupedo
Photo Grid
Jogo da Forca
Remember The Milk
Passa Regua
Vacinas Brasil Lite
Diabetes
KCRW SongTag
iBeer FREE
Galinha Pintadinha
Guess The Movie
MyBaby: My puzzle for kids
Logo Quiz
Alergias
Diabetes Diary Lite
Medicamentos A a Z
GlicoCare
Dblcam
Horóscopo HD Grátis
WikipediaPlaces Free
CPF/CNPJ
Privalia Mobile
Telefone celular Voip
Sleep as Android
Relax and Sleep
Tumblr
Postos combustivel Brasil
I am Here
GlobeConvert
Viddy
Xadrez
Brasil Mobile Florianópolis
Medida Certa
Saúde Vale
Exercícios em casa
Sabores do Brasil
ProEstetica
Qranio
Hotel Hoje
Sushi BR
Dodol Phone
Pessoa física
iCall
Eu atleta
Globo News
Marie Claire Brasil Mobile
Dieta e Saúde
Shared MP3 Baixar músicas
Esboço do lápis
Wales, UK
Any.Do
TaxiBeat
ArtFinder
TouristEye
Foursquare
QRDroid
Tic Tac Toe - Pro
Dictionary.com
Globo.com
Qual é a resposta?
MusiXmatch
Partiu Balada
Pressão Arterial
Gripe Suína
Sky Drive
Google Play Books
Change my Voice
Flashlight
Presidentes
Livraria Cultura eBooks
Amamentação
Procedimentos SUS
Aleitamento
Universo Médico
Appedatria
Guia TV BR
Jogos Mentais
Lembretes de Aniversários
Baby Names
Nó em gravata
Tempo de trabalho
aCalendar
Diário feliz PLUS
Wedding Planning
Lupa (Magnifier HD)
EarthView
ShareFood
Taximetro Pro
Night Vision Camera
MagicPlan
Pet Shop Story: Easter
Reuters
Nike+ running
Metas de Vida
Nivea Sun
iCaipirinha
Color Touch
Twitter
minube
EasyMeasure
Rádio Pessoal AUPEO!
Baby holidays
Shared MP3
Kekanto
Crescer Mobile
Radar G1
Insta Collage
Letra de música e do YouTube
Malaysia Cari
IntaWeather Free
Thrist
Wunderlist
CineMark Brasil
Ingresso.com
Baixaki
Hotmail
Air Horn Free
Caça Palavras
Medscape
Split Pic
Genéricos Brasi
Apgar
TV Show Favs
O que é o que é
Lighter Free
Maze game
Toddler Animal Sounds
Pou
Procedimentos TUSS
Diabetes
bPresso.com
CliniCalc
Breastfeed
Meu diário Mensal
Psisoríase
Alarme AntiFurto
Battery Master
Faces - Photo Fun
Rastreio Correios
Presto! Remote
WiFi Manager
Fake Call & SMS
Benji Bananas
Emoji para Android
Tv Show. Tracker
SoundCloud
London Underground Tube
Festas UFSC
NET
Bouncy Bill Easter Tales
Piano Virtual
FloripaVIP
Android Massager
Receita Móvel Free
TeleListas
Evernote Hello
Palco MP3
Decolar.com Hotéis e Voos
Bússola estabilizada
Mochileiros
Photo Effects
4.2 Coleta de Dados
As avaliações heurísticas foram realizadas entre outubro de 2012 e abril de 2013. Cinco
153
pesquisadoras do GQS/INCoD/UFSC realizaram as avaliações. As avaliações
envolveram pesquisadores júnior com background na área de computação, na área de
usabilidade e uma pesquisadora formada em design.
A primeira etapa para a realização das avaliações foi o encontro entre todas as
pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma avaliação heurística
em conjunto, essa avaliação teve como principal objetivo a calibração das
pesquisadoras. Nesse primeiro encontro o checklist também foi avaliado e o resultado
foi a percepção de alguns problemas no mesmo.
Após a reformulação dos problemas encontrados no checklist cada pesquisadora
realizou duas avaliações individualmente. Foram selecionados dois aplicativos para a
realização dessas avaliações individuais e posteriormente foi realizado um segundo
encontro onde as avaliações de cada uma das pesquisadoras foram confrontadas com as
demais. O resultado foi o nivelamento entre todas as pesquisadoras no que diz respeito
ao entendimento e interpretação do checklist, bem como, o entendimento de como se
dariam as avaliações.
Foi estabelecido que, para a realização das avaliações, o primeiro passo seria executar o
aplicativo e realizar uma breve análise do mesmo como um todo. Posterior a essa
primeira análise a principal função deveria ser identificada e selecionada para dar
continuidade a avaliação.
Os dados resultantes das avaliações foram armazenados em uma planilha eletrônica do
Excel Web App, aplicativo baseado em navegador que permite editar e exibir arquivos
do Excel no navegador de forma colaborativa. Dessa forma os resultados das avaliações
permaneceram unificados.
Para a realização das avalições heurísticas foram utilizados 7 dispositivos móveis
touchscreen. Os dispositivos são de propriedade das avaliadoras e/ou fornecidos pelo
GQS.
4.3 Análise subjetiva do checklist
A primeira etapa de análise dos dados e validação do checklist foi a realização de uma
análise empírica, o início dessa análise se deu em um encontro entre todas as
pesquisadoras após a primeira iteração de 50 avaliações. Previamente ao encontro criouse um documento online onde cada pesquisadora registrou suas impressões a cerca do
checklist após a primeira iteração das avaliações. Nesse mesmo documento foi possível
que as pesquisadoras comentassem os registros das demais, assim, antes da realização
do encontro, todas já tinham conhecimento sobre os pontos que seriam discutidos.
Durante o encontro foram abordados os tópicos registrados e o resultado foi a
reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do checklist. O
resultado dessa avaliação foi a criação da versão 2.0 do checklist.
Posteriormente a geração da nova versão do checklist os aplicativos que haviam sido
avaliados na primeira iteração utilizando a versão 1.0 do checklist foram reavaliados
para que seus dados refletissem a nova configuração do checklist versão 2.0. A
reavaliação dos aplicativos foi realizada em Janeiro de 2013 por quatro pesquisadoras.
4.4 Análise estatística utilizando a Teoria da Resposta ao Item
Nesta seção serão mostrados, analisados e discutidos os resultados gerados pela TRI
referente aos 92 itens elaborados e a amostragem de 247 aplicativos para touchscreen
154
phones. A TRI foi mais uma ferramenta utilizada para auxiliar na validação do checklist.
O objetivo dessa análise foi realizar a avaliação dos dados obtidos através da realização
das avaliações heurísticas para que seja possível inferir quais itens que compõe o
checklist, contribuem mais para medir o traço latente, ou seja, a usabilidade. Usando a
TRI é possível avaliar a qualidade dos itens e classificar os aplicativos em relação ao
grau de usabilidade.
Para realizar essa análise foram utilizados os dados levantados através da amostra
composta por 247 avaliações. O tratamento dos dados foi realizado utilizando o
software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é específico para
auxiliar no procedimento de estimação dos parâmetros e do traço latente.
Para a criação da escala usabilidade dos aplicativos para touchscreen phones é
necessário atribuir valores comparáveis aos itens e aos aplicativos para que possam ser
posicionados na mesma escala. Entretanto, devido a natureza arbitrária dos valores para
posicioná-los na escala, criou-se um valor de referência onde a média é 50 e o desvio
padrão é 10. A escala criada é uma escala (50,10) que não tem significado prático, ou
seja, esta escala poderia ter qualquer valor, onde o valor 50 representa o desempenho
médio de usabilidade dos 247 aplicativos. Para que esses valores arbitrários tenham
significado quando os itens forem posicionados na escala, o conteúdo abordado em cada
item faz com que esses valores tenham uma interpretação para o traço latente medido,
nesse caso, o traço latente é a usabilidade.
Para análise dos dados é realizado um agrupamento de duas categorias. São
consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a resposta “2”
como a categoria “satisfaz” o requisito de usabilidade perguntado no item. A
interpretação dos resultados será a mesma, ou seja, estará sendo criada uma escala para
avaliar a usabilidade dos aplicativos, mas considerando apenas duas categorias.
Para itens com resposta dicotômica foi utilizado o modelo logístico dado por:
P(X ij  1 | , a i , b i ) 
1
1 e
a i (  j  bi )
sendo:
Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta não
satisfaz) do aplicativo j;
j o parâmetro do aplicativo, representa a nota de usabilidade do aplicativo j;
ai o parâmetro de discriminação do item i.
bi o parâmetro de posição, também chamado de dificuldade, do item i
O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos aplicativos atendem
determinada característica. O parâmetro ‘a’ mede quanto o item consegue diferenciar os
aplicativos que estão em um nível superior da escala atender suas características e os
aplicativos que estão em um nível inferior da escala não atender suas características.
Na estimação dos parâmetros dos itens e na nota de qualidade dos aplicativos, supõe-se
que a distribuição das notas dos aplicativos é normal com média 0 (zero) e desvio
padrão 1 (um), escala (0,1), essa suposição é feita nos softwares por questão de
conveniência. Para divulgação dos dados é conveniente ter uma escala que evite
155
números negativos. Assim, optou-se por uma distribuição das notas dos aplicativos com
média 50 e desvio padrão 10, escala (50,10).
4.5 Resultados
Nesta seção são mostrados, analisados e discutidos os resultados da análise estatística
gerados pela TRI referente aos 92 itens que compõem o checklist e a amostragem de
247 aplicativos para celulares touchscreen.
Primeiramente, antes de prosseguir com a análise, é importante ressaltar que um item
pode ser eliminado por falta de informação suficiente para conseguir medir a
característica de usabilidade indagada nele ou este item não está associado a
usabilidade. O importante é que dos itens remanescentes na análise, todos medem o
mesmo traço latente, ou seja, todos os itens estão medindo a usabilidade.
Os critérios estabelecidos para eliminação dos itens são feitos quando os itens têm os
parâmetros na escala (0,1). Os critérios foram:
• parâmetro de discriminação a<0,50;
• parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do intervalo
(-4;4)).
Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9, 10, 15, 16, 19,
21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55, 56, 63, 64, 65, 66, 67,
68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92.
Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto significa que é
muito provável que somente os melhores aplicativos analisados atendam as
especificações descritas nesses itens. Em compensação, os itens 13, 60 e 81 foram os
que tiveram o menor parâmetro “b”, logo, são itens que não discriminam aplicativos
com boa usabilidade dos demais aplicativos. Para estes itens é muito provável que
praticamente todos os aplicativos analisados atendam aos quesitos perguntados neles.
Pode-se afirmar que eles devem estar relacionados com requisitos básicos de
usabilidade de um aplicativo.
A Figura 2 apresenta a distribuição dos valores de usabilidade dos 247 aplicativos e o
posicionamento dos itens na escala.
156
Itens
I81
I60
I13
I32
I47
I30
I35
I44
I80
I54
I86
I58
I76
I07
I59
I26
I33
I31
I45
I17
I04
I89
I87
I36
I34
I50
I41
I01
I48
I91
I02
I12
I90
I83
I57
I82
I25
I42
I27
I61
I11
I71
I14
I20
I62
I79
I06
I18
Figura 2: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos
Observa-se, na Figura 2, que a maior parte dos itens está posicionada abaixo do nível 50
(referência como valor médio) e a maior parte dos aplicativos (128) está posicionado
acima do nível 50, evidenciando que a maior parte dos itens apresentados no
questionário são básicos para a usabilidade dos aplicativos. Ou seja, muitos aplicativos
possuem as características de usabilidade perguntadas nos itens.
A Figura 3 fornece informações sobre o checklist para avaliações de usabilidade de
aplicativos para touchscreen phones, apresentando informação total do conjunto de
itens. A partir da figura é possível identificar que a informação do teste é maior na
região abaixo dos 50, o que já era esperado tendo em vista que a maior parte dos itens
ficaram posicionados nessa região. Assim, pode-se concluir que o checklist proposto é
mais indicado para medir aplicativos que apresentam baixa usabilidade, logo, o erro da
nota para estes aplicativos é menor pois existem muitos aplicativos posicionados nessa
área. Em contrapartida para os aplicativos que estão posicionados acima dessa região o
erro padrão da nota é maior, pois existe pouca informação nessa área.
Figura 3: Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen
phones
Compreende-se que os 44 itens foram eliminados por apresentarem baixo poder de
157
discriminação, ou seja, não possuem capacidade de diferenciar aplicativos com boa
usabilidade dos aplicativos com usabilidade ruim. Essa capacidade é uma importante
característica que reflete a qualidade de um item. Um bom item é aquele que discrimina
os aplicativos com desempenho superior daqueles com desempenho inferior. Entende-se
que o checklist proposto é cumulativo, isso equivale a dizer que os aplicativos que
possuem as melhores avaliações, provavelmente, terão todas as caracteristicas
indagadas nos itens mais fáceis e provavelmente também terão as características
indagadas nos itens mais difíceis.
De forma geral, as questões que foram eliminadas eram atendidas por grande parte dos
aplicativos ou eram atendidas de forma distribuída, tanto por aplicativos classificados
com má quanto com boa usabilidade. Essa situação indica que tais questões não se
mostraram eficientes para diferenciar aplicativos com boa usabilidade. Contudo, seria
necessário um estudo mais detalhado para confirmar se tais questões realmente não se
referem a questões de usabilidade, que poderiam ser úteis no processo de
desenvolvimento de aplicativos, por exemplo.
4.6 Escala de Medida do Grau de Usabilidade
Com o objetivo de realizar uma interpretação qualitativa dos valores obtidos com a
aplicação do checklist, permitindo identificar em que nível de grau de usabilidade os
aplicativos avaliados se encontram, bem como em quais aspectos atendem ou não
questões de usabilidade, é construída uma escala de medida do grau de usabilidade. A
escala de medida é uma escala arbitrária onde o importante são as relações de ordem
existentes entre seus pontos e não necessariamente sua magnitude (ANDRADE et al.
2000). A construção da escala permite identificar quais requisitos correspondem ao
maior ou menor grau de usabilidade.
Na Tabela 4, estão as características referentes aos 4 níveis do grau de usabilidade
A definifição dos níveis da escala foi realizada pelas pesquisadoras do GQS. Os níveis
apresentados na escala são provenientes da região da escala onde há informação
disponível (a partir do nível 20 até o nível 60). Após a definição da escala foi realizada a
interpretação de cada um dos níveis, onde foram analisados o conjunto de itens que os
compõem e que caracterizam cada nível.
Tabela 4: Escala de Medida do Grau de Usabilidade
Nível
Descrição
Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou
sempre.....
30
Evitam abreviaturas e utilizam o mesmo idioma em textos.
Apresentam os links de forma consistente entre as telas.
Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos.
Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo.
As funções similares são apresentadas de forma semelhante.
Em campos onde há a necessidade de inserção de dados isso é evidente.
40
Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos.
Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário.
Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de
fundo e são apresentados de forma padronizada.
Permitem que as funções mais utilizadas sejam facilmente acessadas.
Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são
apresentadas de maneira distinta ao usuário.
Possibilitam o retorno a tela anterior a qualquer momento.
Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e
158
possuem o mesmo título quando o conteúdo é o mesmo.
As informações exibidas somente estão relacionadas com a tarefa que está sendo executada.
50
Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro
o próximo passo para realizar a tarefa.
O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos
dados e mensagens mais importantes..
Possuem feedback imediato e adequado sobre seu status para cada ação do usuário.
Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas.
Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos.
Não apresentam problemas durante a interação.
Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados.
Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se
distinguem dos demais.
60
Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns
do aplicativo.
Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário
cancele uma ação em progresso.
Seguem os padrões da plataforma para a navegação principal.
Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil acesso de mais de um
usuário.
Considera-se que o nível 30 possui, na escala proposta, um grau de exigência de
usabilidade baixo, portanto, os itens que o compõem abordam requisitos básicos de
usabilidade. A heurística de usabilidade predominante neste nível é a heurística
‘Consistência e Padrões’, ligada à organização das informações na interface de forma
que o aplicativo ofereça uma navegação consistente entre as telas e permita que o
usuário utilize conhecimentos adquiridos na interação com outros aplicativos.
Na escala proposta, considera-se o grau de usabilidade de nível 40 maior que o nível 30,
sendo assim, os itens que representam o nível 40 possuem maior exigência que os itens
que representam o nível 30. Entende-se que o checklist proposto é cumulativo, o que
significa dizer que aplicativos que apresentam as características abordadas pelo nível 40
provavelmente apresentam também as características abordadas pelos itens do nível 30.
Os itens pertencentes ao nível 40 estão distribuídos entre as 9 heurísticas que compõem
o checklist, porém a heurística mais presente nesse nível novamente é a heurística
‘Consistência e Padrões’ seguida da heurística ‘Legibilidade e layout’.
A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais baixos da escala
tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim, pode-se concluir que essa
heurística consegue avaliar muito bem os aplicativos com baixa usabilidade.
O próximo nível da escala é o nível 50, o que significada dizer que os aplicativos que
apresentam as características abordadas pelo nível 50 provavelmente também
apresentam as características abordadas pelos níveis 30 e 40. O nível 50 pode ser
considerado como sendo um grau de usabilidade médio, portanto, os itens que
compõem essa heurística abordam requisitos de usabilidade não tão fáceis quanto os
níveis inferiores e também não tão difíceis como no nível superior. As heurísticas
predominantes nesse nível são as heurísticas ‘Visibilidade do status do sistema’,
‘Legibilidade e layout’ e ‘Flexibilidade e eficiência de uso’.
Essas três heurísticas que compõem, predominantemente, o nível 50 tem a capacidade
de diferenciar aplicativos com usabilidade média. Pode-se então dizer que
características relacionadas a essas heurísticas agregam maior grau de usabilidade aos
aplicativos em comparação com a heurística ‘Consistência e Padrões’. Conclui-se que
159
aspectos relacionados a consistência e padrões são mais fáceis de serem cumpridos
pelos aplicativos. Após estas características serem cumpridas o que diferencia os
aplicativos para um nível de usabilidade um pouco maior são os aspectos relacionados a
Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de
uso.
O nível mais alto da escala é o nível 60, portanto, aplicativos que apresentam as
características abordadas pelos itens que compõem esse nível possivelmente apresentam
também as características abordadas nos itens dos níveis anteriores. Somente quatro
heurísticas compõem esse nível. Sendo a heurística ‘Controle e liberdade do usuário’ a
heurística dominante, essa refere-se ao controle do usuário sobre sua navegação, como
quando optam por engano por uma funcionalidade que não pretendiam.
No nível 60, as características de controle e liberdade do usuário são o aspecto principal.
Já no nível 30 os principais aspectos estão relacionados a consistências e padrões. Essa
distinção permite concluir que os aspectos abordados no nível 60, quando comparados
aos aspectos abordados no nível 30, exigem um grau maior de usabilidade. Pode-se
afirmar que características relacionadas ao controle e liberdade do usuário agregam
maior grau de usabilidade que características relacionadas a consistências e padrões.
Embora a falta de padrões e consistência torne a interação com o aplicativo mais difícil,
a presença dessas falhas provavelmente não impedirão que os usuários realizem
determinada tarefa ou ação. Por exemplo, possuir botões com tamanho adequado ao
clique (item 76) pode facilitar a interação do usário com o aplicativo, mas dificilmente
impedirá que o usuário conclua suas ações. Já problemas ligados ao controle e liberdade
do usuário podem impedir, ou dificultar expressivamente a realização de determinada
ação. Por exemplo, impedir que o usuário cancele uma ação em progresso (ex.:
download)(item 20), pode impedir que o usuário de continuidade a uma tarefa ou alterne
para outra tarefa que ele deseja realizar.
Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor nível da escala, não
apresentam nem as características básicas de usabilidade.
4.7 Checklist proposto
Como resultado da análise estatística do checklist, uma nova versão do mesmo
foi proposta. A nova versão pode ser observada na Figura 4.
Como escala de resposta aos itens do checklist é adotada uma escala ordinal com
três opções:
Sim (Se o aplicativo estiver de acordo com o item);
Não (se não estiver de acordo com o item) e
Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao
escopo da aplicação).
É importante destacar que a opção ‘parcial’ não está presente na nova
configuração do checklist. Esta categoria foi agrupada a categoria ‘não’.
160
Avaliador:
Data:
Aplicativo/versão:
Sistema:
Dispositivo:
Heurísticas
Questões
sistema
2.
dos demais?
3.
4.
aplicativo?
5.
6.
7.
Anotações:
Usuário
8.
9.
É possível identificar o número de passos necessários para a
10.
Anotações:
idioma?
usuário?
Anotações:
lembrança
N6
S7
NA8
161
27.
evidente?
Anotações:
Uso
28. O aplicativo funciona corretamente, sem apresentar problemas
durante a ainteração (trava, botões não funcionam no primeiro
clique, etc)?
Anotações:
sendo realizada?
indispensáveis?
tela?
Anotações:
Pouca interação
homem/dispositivo
Anotações:
mesmos?
Anotações:
fundo?
uma tela pequena?
Anotações:
162
Figura 4: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen
phones
5 Conclusão
No presente trabalho o objetivo principal foi avaliar a validade de um conjunto de
heurísticas de usabilidade para dispositivos celulares touchscreen. A avaliação teve
como objetivo verificar se o conjunto de heurística/checklist mede o grau de usabilidade
dos aplicativos para touchscreen phones. Essa validação se deu a partir da validação da
qualidade dos itens que compõem o checklist. O checklist foi aplicado a 247 aplicativos
e os resultados obtidos foram analisados utilizando a Teoria da Resposta ao Item. O
checklist inicial era composto por 92 itens, o resultado da análise eliminou 44 itens por
falta de consistência ao conjunto, resultando assim em um checklist com 48 itens. A da
hipótese definida incialmente é verdadeira e foi confirmada a partir dos resultados
alcançados. O conjunto de heurísticas resultante após a análise estatística é válido e
portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis
touchscreen phones.
A contribuição do presente trabalho está na criação de uma escala padronizada do grau
de usabilidade permitindo assim, a comparabilidade entre aplicativos para dispositivos
touchscreen phones. O presente trabalho também permite inferir a usabilidade de um
aplicativo com um esforço mínimo necessário. Os resultados obtidos podem ser
utilizados para avaliar o grau de usabilidade de aplicativos para dispositivos
touchscreen phones visando a melhora a usabilidade dos mesmos.
Os resultados deste trabalho permitem que outras oportunidades de pesquisa na área de
usabilidade e aplicativos possam ser desenvolvidas. Avaliações que envolvam usuários
não foram utilizadas no presente trabalho, portanto recomenda-se a realização de testes
de usabilidade com o objetivo de avaliar o checklist proposto. Testes de usabilidade
simulam situações de uso e avaliam um produto através da observação sistemática dos
usuários interagindo com o sistema.
Outra importante oportunidade de pesquisa é a ampliação do checklist. Essa ampliação
deve ser realizada explorando conceitos mais particulares das interfaces dos dispositivos
touchscreen phones com o objetivo de permitir medir a usabilidade de aplicativos com
maior grau de usabilidade.
6. Referências
ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma
proposta de analise de um construto para a medição dos fatores críticos da gestão pela
qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001
ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and
form factor on doctor–patient communication. International Journal of Medical Informatics,
81, 12–28. 2012
ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos
e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000.
163
ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível
em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telas-sensiveis-ao-toquetouch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012.
AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile
Application. International Conference on Information Management and Engineering
(ICIME),427-431. Malaysia. 2009.
BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia
para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000.
BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic Evaluation
Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced
Visual interfaces, Venezia, Italy. 2006.
BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. &
PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of
mobile applications. Universal Acess in the Information Society, (9), 337–356. 2010.
FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd
International Conference on Information Technology Interfaces (ITI), 275- 280.
GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in
First Quarter of 2013. Disponível em: < http://www.gartner.com/newsroom/id/2482816>.
Acesso em: 22 mai. 2013.
GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.Proc.
of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004.
GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the
move. 2011. Journal of Computer Assisted Learning, (27), 204–215.
HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and
Requirements for the M-Learning Application Development. International Conference on
User Science Engineering (i-USEr), 226-231. Malaysia. 2010.
INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability
Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on
Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada. 2012.
LANDIM, W.. A evolução dos celulares. 2011. Disponível em:
<http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico-.html>.
Acesso em: 13 mai 2012.
LEE, D.The State of the Touch-Screen Panel Market. Disponível em:
<http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market.pdf>.
Acesso em: 14 mai 2012.
LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile
Environments. 6th International Conference on Wireless Communications Networking and
Mobile Computing (WiCOM), 1-4. 2010. Disponível em:
<http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2Fieeex
164
plore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumber%3D5600162
>. Acesso em: 09 set. 2012.
NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in
Engineering Software, (40), 1318–1328. 2009.
PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homemcomputador. Porto Alegre (RS): Bookman, 2005. 548p.
RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing
documentation on Kindle, tablets, and smartphones. IEEE International Professional
Communication Conference (IPCC). 2011. OH, USA.
SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A.
Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio
Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, 2012.
SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von.
Systematic Literature Review on Usability Heuristics for Mobile Phones. International
Journal of Mobile Human Computer Interaction, 5(2), 2013.
SATO, F. P. Validação da versão em português de um questionário área avaliação de
autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP,
2008.
TEZZA, R. Proposta de um construto para medir usabilidade em sites de e-commerce
utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f. Dissertação
(Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de PósGraduação em Engenharia de Produção.
TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a
engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção –
ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro – RJ:
ABEPRO, 2009. v 1.
TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the
American Society for Information Science and Technology, 38 (1), 24–29. 2011.
WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development.
2010. In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA.
WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile
Devices. 8th International Conference onInformation Technology: New Generations (ITNG),
1066- 067. 2011. Las Vegas, Nevada, USA.
ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile GameBased Learning. 6th IEEE International Conference on Wireless, Mobile and Ubiquitous
Technologies in Education (WMUTE), 127-131.2010. Kaohsiung, Taiwan.

Aplicação da Técnica Estatística Teoria da Resposta ao Item para

Transcrição

Documentos relacionados

Tabela de preços

A DOTSCREEN desenvolve um aplicativo do Apple Watch para a

Módulo 9 Plataformas móveis

Instruções Instalação Software XCPPRO

Linx desenvolve aplicativos para redes de food service

1° ITON 2016

INFORMÁTICA Para além da Acessibilidade às TIC: a

Data.gov no SciVerse Hub

artigo 3 texto modificado.p65

Como passar de nível rápido no Pokémon GO