Aplicação da Técnica Estatística Teoria da Resposta ao Item para
Transcrição
Aplicação da Técnica Estatística Teoria da Resposta ao Item para
UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA ARIANE TALITA WITT APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. FLORIANÓPOLIS 2013 Ariane Talita Witt APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Orientadora:Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP Coorientador : Prof. Dr. Adriano Ferreti Borgatto FLORIANÓPOLIS 2013 Ariane Talita Witt APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Florianópolis, 10 de junho de 2013 _____________________________________________ Profa. Christiane Gresse von Wangenheim, INE/UFSC Professora Orientadora _____________________________________________ Prof. Adriano Ferreti Borgatto INE/UFSC Professor Coorientador _____________________________________________ Prof. Paulo José Ogliari INE/UFSC Membro da Banca Examinadora AGRADECIMENTOS À professora e orientadora Christiane Gresse von Wangenheim por sua dedicação, por estar sempre presente e por seu apoio. Ao professor coorientador Adriano Ferreti Borgatto, pelo apoio e sua paciência em compartilhar seus conhecimentos sobre a Teoria da Resposta ao Item. Ao professor Paulo José Ogliari, por ser um exemplo como profissional, por sua contribuição para a melhoria desse trabalho e por ter aceitado participar da banca examinadora. Aos membros do Grupo de Qualidade de Software, Juliane, Thaisa, Caroline e Laís, por todo auxílio e ajuda que permitiram a realização desse trabalho. Aos professores do Curso de Sistemas de Informação pela formação profissional proporcionada. Aos meus colegas de curso Gabriel e Danilo pelo companheirismo e amizade durante toda a trajetória acadêmica. Aos meus amigos, por todo carinho. Aos meus pais, pelo apoio incondicional, amor, compreensão e seus esforços em garantir minha qualificação profissional. RESUMO WITT, Ariane Talita. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen.164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013. O cenário atual é caracterizado pela presença de modernos aparelhos de celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas mudanças apresentam novas formas de interação, destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque. Os touchscreen phones apresentam novas formas de interação como voz, gestos e sensores. Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, por esse motivo questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop. Mas devido as diferenças apresentadas por esses dispositivos em relação a sistemas desktop faz-se necessário analisar questões de design de interface e usabilidade desses dispositivos. É importante que esses dispositivos e seus aplicativos sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário. Assim estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Nesse contexto o presente trabalho tem como objetivo avaliar esse conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen realizando um estudo empírico onde é concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item que compõe o checklist. Como resultado as questões de usabilidade que até então eram teóricas são discutidas sob o ponto de vista matemático da TRI. A partir da análise realizada foi possível identificar estaticamente quais itens que compõem o checklist realmente medem o mesmo traço latente. Foram eliminados do checklist 44 itens que apresentaram problemas. Restando, assim, 48 itens para compor o checklist e para construir a escala de medida do grau de usabilidade. Com base na análise, pode-se concluir que o checklist é ideal para medir aplicativos com baixa usabilidade. Palavras chave: Usabilidade. Touchscreen phones. Heurísticas de Usabilidade. Teoria da resposta ao Item. LISTA DE FIGURAS Figura 1 - Uso e Contexto da Interação Humano-Computador ..................................... 19 Figura 2 – Estrutura de usabilidade .............................................................................. 20 Figura 3 – Ciclo de vida do modelo ISO/IEC 13407. ..................................................... 21 Figura 4 – Freqüência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos analisados.............................................................................................................27 Figura 5 – Lista de verificação aplicada a celulares touchscreen. ................................. 30 Figura 6 – Modelos de touchscreen phones. ................................................................ 31 Figura 7 – Funcionamento do sistema resistivo. ........................................................... 32 Figura 8 – Funcionamento do sistema capacitivo. ........................................................ 32 Figura 9 – Satisfação dos usuários em relação aos seus smartphones. ....................... 34 Figura 10 – Exemplo de web site móvel........................................................................ 36 Figura 11 – Exemplo de aplicativo. ............................................................................... 37 Figura 12 – Etapas do processo de avaliação............................................................... 43 Figura 13 – Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos. ............................................................................................................. 58 Figura 14 – Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen phones ............................................................................................. 59 Figura 15 – Checklist proposto para avaliação de usabilidade dos dispositivos touchscreen phones ..................................................................................................... 75 LISTA DE TABELAS Tabela 1 – Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade ................................................................................................................... 23 Tabela 2 – Conjunto de Heurísticas para dispositivos móveis....................................... 27 Tabela 3 – Principais sistemas operacionais ................................................................ 33 Tabela 4 - Principais fabricantes de smartphones......................................................... 33 Tabela 5 – Comparativo entre modelos touchscreen phones........................................ 35 Tabela 6 – Strings de buscas nas bases de dados ....................................................... 39 Tabela 7 – Dados extraídos sobre validação do conjunto de heurísticas/checklist ........ 40 Tabela 8 – Aplicativos selecionados para a avaliação .................................................. 44 Tabela 9 – Especificações do Samsung Galaxy Ace .................................................... 47 Tabela 10 – Especificações do Samsung Galaxy YGT-S5360B ................................... 47 Tabela 11 – Especificações do Samsung GT-I5500B ................................................... 47 Tabela 12 – Especificações do HTC Magic................................................................... 48 Tabela 13 – Especificações do iPhone 4S .................................................................... 48 Tabela 14 – Especificações do Samsung Galaxy Ace Duos ......................................... 48 Tabela 15 – Especificações do Motorola XT390 ........................................................... 48 Tabela 16 – Itens modificados após avaliação empírica do checklist ............................ 50 Tabela 17 – Itens inclusos no checklist após avaliação empírica .................................. 51 Tabela 18 – Itens retirados após avaliação empírica do checklist ................................ .51 Tabela 19 – Escala de respostas do cheklist ............................................ .....................53 Tabela 20 – Itens eliminados referentes a heurística Visibilidade e Status do Sistema .60 Tabela 21 – Itens eliminados referentes a heurística Controle e Liberdade do Usuário. 60 Tabela 22 – Itens eliminados referentes a heurística Consistência e Padrões .............. 61 Tabela 23 – Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança.................................................................................................................... 62 Tabela 24 – Itens eliminados referentes a heurística Flexibilidade e Eficiência de Uso 62 Tabela 25 – Itens eliminados referentes a heurística Pouca interação homem/ dispositivo ..................................................................................................................... 64 Tabela 26 – Itens eliminados referentes a heurística Interação Física e Ergonomia ..... 65 Tabela 27 – Itens eliminados referentes a heurística Legibilidade e Layout .................. 66 Tabela 28 – Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros ................................ 67 Tabela 29 – Escala de Medida do Grau de Usabilidade................................................ 70 LISTA DE ABREVIATURA E SIGLAS ANATEL – Agência Nacional de Telecomunicações CPU - Central Processing Unit RAM - Random-Access Memory CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior GQS – Grupo de Qualidade de Software INCoD - Instituto Nacional de Convergência Digital UFSC – Universidade Federal de Santa Catarina TRI – Teoria da Resposta ao Item IHC - Interação humano-computador SUMÁRIO 1 INTRODUÇÃO ........................................................................................................ 10 1.1 Problema ............................................................................................................ 12 1.2 Objetivos ............................................................................................................... 13 1.2.1 Objetivo Geral .................................................................................................... 13 1.2.2 Objetivos Específicos ......................................................................................... 14 1.3 Limites .................................................................................................................. 14 1.4 Método de Pesquisa ............................................................................................. 14 1.4.1 Metodologia ....................................................................................................... 16 1.5 Estrutura do Trabalho ........................................................................................... 17 2 FUNDAMENTAÇÃO TEÓRICA ............................................................................... 18 2.1 Usabilidade ........................................................................................................... 18 2.1.1 Interação Humano-Computador ......................................................................... 18 2.1.2 Engenharia de Usabilidade ................................................................................ 21 2.1.3 Heurísticas de Usabilidade ................................................................................ 23 2.1.3.1 Heurísticas de Usabilidade para dispositivos móveis touchscreen phones.......25 2.1.3.2 Avaliação Heurística............................................................................................28 2.1.3.2.1Checklist para avaliação heurística de aplicativos em touchscreen phones....29 2.4 Caracterização do dispositivo touchscreen phone ................................................ 30 2.4.1 Métodos de touchscreen........................................................................................31 2.4.2 Plataformas/sistemas operacionais........................................................................32 2.4.3 Caracterização dos dispositivos.............................................................................34 2.4.4 Tipos de Aplicações móveis...................................................................................35 3 ESTADO DA ARTE ................................................................................................. 38 3.1 Definição da revisão da literatura .......................................................................... 38 3.2 Validação do conjunto de heurísticas/checklist ..................................................... 40 4 AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA APLICATIVOS EM CELULARES TOUCHSCREEN................................................... 43 4.1 Definição da Avaliação ......................................................................................... 43 4.2 Execução da Avaliação ......................................................................................... 46 4.2.1 Coleta de Dados.....................................................................................................46 4.2.2 Equipamentos........................................................................................................47 4.3 Análise dos Dados ................................................................................................49 4.3.1 Análise Empírica do checklist.................................................................................49 4.3.2 Análise Estatística do checklist utilizando a Teoria da Resposta ao Item............52 4.3.2.1 Resultados..........................................................................................................56 4.3.2.1.1 Itens eliminados................................................................................................59 4.3.2.1.2 Escala de Medida do Grau de Usabilidade......................................................69 4.3.2.1.3 Checklist proposto............................................................................................73 5 DISCUSSÃO ........................................................................................................... 76 5.1 Ameaças à validade .............................................................................................. 77 6 CONCLUSÃO .......................................................................................................... 79 REFERÊNCIAS .......................................................................................................... 81 APÊNDICE A - Checklist versão 1.0 ........................................................................ 86 APÊNDICE B - Checklist versão 2.0 ........................................................................ 90 APÊNDICE C – Aplicativos Avaliados ..................................................................... 94 APÊNDICE D – Formulário utilizado para registrar as avaliações ...................... 110 APÊNDICE E - Dados coletados na realização das avaliações ........................... 111 APÊNDICE F – Parâmetros dos itens remanescentes no modelo dicotômico ... 133 APÊNDICE G – Notas atribuídas aos aplicativos ................................................. 134 APÊNDICE H – Tabelas de frequência de respostas ............................................ 137 APÊNDICE I – Escala de Medida de Grau de Usabilidade.................................... 141 APÊNDICE J – Artigo .............................................................................................. 143 10 1 INTRODUÇÃO A evolução dos telefones celulares nas últimas décadas é expressiva. Os aparelhos deixaram de ser apenas um dispositivo de telefonia móvel e passaram a receber muitas outras funcionalidades, como jogos, câmeras fotográficas e acesso à internet (LANDIM, 2011). Na década de 80 utilizar um celular era uma experiência pouco prática, muitas vezes o celular demandava a utilização de uma pasta auxiliar ou, muitas vezes, necessitava de um carro para que pudesse ser utilizado. O cenário atual é caracterizado por modernos aparelhos celulares que são cada vez menores e com mais funções e recursos disponíveis. As vendas mundiais de telefones celulares totalizaram cerca de 426 milhões de unidades no primeiro trimestre de 2013, um ligeiro aumento de 0,7% em relação ao mesmo período do ano passado (GARTNER, 2013). As vendas de smartphones no mundo totalizaram 210 milhões de unidades no primeiro trimestre de 2013, até 42,9% de aumento em relação ao primeiro trimestre de 2012 (GARTNER, 2013). Segundo a ANATEL (2012) no final de 2012, o Brasil contava com 261,8 milhões de acessos do Serviço Móvel Pessoal (SMP), tendo registrado 19,5 milhões de novas habilitações. Com esse resultado, o país permaneceu em sexto lugar no ranking mundial de acessos da telefonia móvel, atrás, apenas, de China, Índia, Estados Unidos, Rússia e Indonésia. Essa evolução foi causada, em grande parte, pelo uso cada vez maior de novas funcionalidades, como, por exemplo, os terminais dedicados a conexões de dados. Nesse contexto destacam-se os celulares smartphones. Smartphones estão entre celulares e computadores, não possuem o hardware tão robusto quanto um computador e nem tão simples quanto um celular. Os smartphones possuem funcionalidades avançadas que podem ser ampliadas por meio de aplicativos executados no seu sistema operacional. Os sistemas operacionais utilizados nos smartphones permitem que novos aplicativos possam ser desenvolvidos por qualquer pessoa que tiver interesse. 11 As vendas significativamente, mundiais no primeiro de smartphones trimestre de estão 2013, os aumentando smartphones representaram 49,3% das vendas de telefones celulares em todo o mundo. Isso representa um aumento de 34,8% em relação ao primeiro trimestre de 2012, e 44% em relação ao quarto trimestre de 2012 (GARTNER, 2013). Destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque, por isso dispensam o uso de teclados, podese tocar a tela e ela responderá como se o toque fosse nos objetos mostrados nela. É uma tecnologia que integra não só sensores na tela, mas também programas e interfaces específicas (ASSIS, 2009). A venda desses modelos de dispositivos cresce com intensidade no mundo, a previsão de aumento de unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de 1,6 bilhões) (LEE, 2011). Os touchscreen phones apresentam novas formas de interação como voz, gestos, sensores e dados de localização (WASSERMAN, 2010). Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, os usuários deste tipo de dispositivo estão cercados por outros estímulos, pois muitas vezes estão em movimento, andando na rua ou na espera no ponto de ônibus buscando concluir rapidamente tarefas simples, obter informações ou para se divertir, assistindo a vídeos ou jogando (SALAZAR et al. 2012). Avaliando essas diferenças apresentadas pelos dispositivos touchscreen phones, questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas (SALAZAR et al. 2012), pois é muito importante que as interfaces sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário (PREECE, 2005), essa característica deve estar presente também nos dispositivos touchscreen phones e seus aplicativos. Segundo Cybis et al. (2010) a usabilidade é a qualidade que caracteriza o uso de um sistema interativo. Ela se refere à relação que se estabelece entre usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual o usuário utiliza o sistema. Uma forma para conceituar usabilidade seria utilizando heurísticas de usabilidade (PREECE, 2005). Segundo Nielsen (1994) 12 heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. Visibilidade do status, prevenção de erros e compatibilidade com o mundo real são alguns exemplos de heurísticas que podem ser utilizadas para o design de interfaces. Uma avaliação rápida e de baixo custo que pode ser criada a partir das heurísticas de usabilidade é o checklist. O checklist é criado com base num conjunto de heurísticas e tem como objetivo ser usado para avaliar o grau de usabilidade e localizar problemas de usabilidade presentes em interfaces. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop, as heurísticas de Nielsen citadas acima são um exemplo de heurísticas desenvolvidas para sistemas desktop (NIELSEN, 1994). Devido a variedade de sistemas existentes hoje (celulares, tablets, TV Digital, entre outros) algumas customizações desse conjunto de heurísticas já foram criadas para sistemas específicos, como por exemplo, para celulares (SALAZAR, et al. 2013)(GONG; TARASEWICH, 2004)(BERTINI et al., 2006). A qualidade das heurísticas e do checklist resultante representa um grande impacto na qualidade da avaliação, pois indiretamente infere-se o grau de usabilidade a partir de uma avalição teórica assumindo que as heurísticas que foram transformadas em medidas na elaboração do checklist indicam o grau de usabilidade. Checklists bem elaborados devem produzir resultados mais uniformes e abrangentes, em termos de identificação de problemas de usabilidade (TEZZA, 2009). Dessa forma é importante avaliar a validade, confiabilidade dos itens do checklist, bem como verificar se os itens estão medindo o traço latente, ou seja, a usabilidade. 1.1 Problema Para que os resultados obtidos através da aplicação do checklist possam ser validados pode-se fazer uso de escalas de medidas alicerçadas em conceitos matemáticos e de usabilidade (TEZZA, 2009). 13 Elaborar um instrumento de avaliação envolve diferentes características como, por exemplo, o número de itens, o tipo de item (fechado ou aberto), o número de categorias de respostas dos itens fechados e o método de aplicação. Não existe um padrão mais adequado para essas características e, por esse motivo, diferentes tipos de instrumentos podem ser encontrados e formulados, dependendo da situação (CÚRI, 2006). Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones (SALAZAR et al. 2012). Atualmente os resultados da pesquisa são analisados por meio de um estudo empírico inicial. São comparados resultados de testes de usabilidade com resultados de avaliações heurísticas adotando o checklist desenvolvido. As avaliações foram realizadas em um aplicativo para iPhone para acessar laudos de exames médicos (SALAZAR et al., 2012). Nesse sentido, tendo como intuito avaliar a validade do checklist desenvolvido e também gerar um conjunto mínimo de itens que permitam inferir o grau da usabilidade de um aplicativo com o mínimo de esforço necessário, resume-se a hipótese de pesquisa a ser analisada no presente trabalho da seguinte maneira: O conjunto proposto de heurísticas/checklist de usabilidade para dispositivos celulares touchscreen mede o grau de usabilidade desses aplicativos. 1.2 Objetivos 1.2.1 Objetivo Geral Avaliar a qualidade de um conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen a partir da validação da qualidade dos itens presentes no checklist utilizando a Teoria da Resposta ao Item. 14 1.2.2 Objetivos Específicos Os objetivos específicos são: Analisar a teoria da área de usabilidade em termos de heurísticas de usabilidade focando dispositivos celulares touchscreen e utilizar a técnica estatística Teoria da Resposta ao Item. Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade em geral e para dispositivos celulares touchscreen. Avaliar um conjunto de itens empregados para avaliar a usabilidade de dispositivos celulares touchscreen. 1.3 Limites O presente trabalho possui as seguintes limitações: 1. Será focado na avaliação de um conjunto de itens empregados para avaliar a usabilidade de dispositivos celulares touchscreen. 2. A avaliação só será realizada em dispositivos celulares touchscreen que possuam sistema operacional iOS ou Android. 3. A realização da avaliação adotará somente a técnica estatística da Teoria da Resposta ao Item. 1.4 Método de Pesquisa Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e validar um checklist para avaliação de usabilidade em aplicativos para dispositivos touchscreen phones. Para Barros e Lehfeld (2000), a pesquisa aplicada tem como motivação a necessidade de produzir conhecimento para aplicação de seus resultados com o objetivo de contribuir para fins práticos, visando à solução mais ou menos imediata do problema encontrado na realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois está relacionada à quantificação de dados obtidos por meio de pesquisa e baseada em técnica estatística para o tratamento dos dados. 15 Neste trabalho é realizado o estudo da literatura sobre heurísticas de usabilidade para dispositivos celulares touchscreen e o estudo da técnica estatística Teoria da Resposta ao Item. Através dessa técnica estatística é realizada uma avaliação sobre um conjunto de itens empregados para avaliar a usabilidade de aplicativos para dispositivos touchscreen. Segundo Andrade et al. (2000) a Teoria da Resposta ao Item é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar certa resposta a um item como função dos parâmetros do item e da habilidade (ou habilidades) do respondente. Essa relação é sempre expressa de tal forma que quanto maior a habilidade, maior a probabilidade de acerto no item. A Teoria da Resposta ao Item procura medir habilidades, atitudes, interesses, desempenho, maturidade, conhecimentos ou proficiência de indivíduos ou sistemas por meio de um questionário e da construção de uma escala na qual, o traço latente do respondente e a dificuldade de um item podem ser comparados (TEZZA, 2009). A escolha do modelo de TRI mais adequado depende, sobretudo do que se deseja medir e da natureza dos dados disponíveis (TEZZA, 2009). Segundo Andrade et al. (2000) atualmente, em várias áreas do conhecimento, particularmente em avaliação educacional, vem crescendo o interesse na aplicação de técnicas derivadas da TRI, que propõe modelos para os traços latentes, ou seja, características do indivíduo que não podem ser observadas diretamente. Esse tipo de variável deve ser inferida a partir da observação de variáveis secundárias que estejam relacionadas a ela. O que esta metodologia sugere são formas de representar a relação entre a probabilidade de um indivíduo dar uma certa resposta a um item e seus traços latentes, proficiências ou habilidades na área de conhecimento avaliada. A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita a criação de escalas a partir de um checklist que faz uso de conceitos de usabilidade (TEZZA, 2009). No presente trabalho para a aplicação da TRI é utlilizado o Software BILOG-MG 3 (MISLEVY & BOCK, 2003). Este assume que os respondentes representam uma amostra aleatória de uma população de proficiências que 16 pode ser assumida como tendo ou uma distribuição normal padrão, ou ainda uma distribuição discreta arbitrariamente especificada pelo usuário, ou ainda uma distribuição empírica, a ser estimada conjuntamente com os parâmetros dos itens (TEZZA, 2009). 1.4.1 Metodologia A metodologia de desenvolvimento deste trabalho é dividida em quatro etapas: Etapa 1: É realizada uma análise de literatura na área de IHC em geral e posteriormente enfatizando a área de heurísticas de usabilidade para dispositivos celulares touchscreen. Também é estudada a técnica estatística da Teoria da Resposta ao Item. Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de Usabilidade. Atividade 1.2: Analisar os dispositivos celulares touchscreen. Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item. Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa é utilizada a técnica de revisão sistemática de literatura. Atividade 2.1: Definir a revisão sistemática da literatura. Atividade 2.2: Executar a revisão sistemática da literatura. Atividade 2.3: Analisar e interpretar as informações extraídas. Atividade 2.4: Documentar e discutir os resultados. Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando a teoria estatística de Resposta ao Item. É realizado, também, o levantamento de aplicativos para a realização da avaliação do conjunto de itens. As avaliações dos aplicativos para celulares touchscreen para plataformas iOS ou Android são realizadas em duas iterações. Atividade 3.1: Definir a avaliação do primeiro conjunto. 17 Atividade 3.2: Levantamento de aplicativos para a realização da avalição. Atividade 3.3: Primeira iteração das avaliações. Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos (cerca de 50 aplicativos). Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto. Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto. Atividade 3.4: Segunda iteração das avaliações. Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos (cerca de 200 aplicativos). Atividade 3.4.2: Analisar os resultados das avaliações do segundo conjunto. Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto. Atividade 3.5: Discutir os resultados. 1.5 Estrutura do Trabalho Este trabalho está estruturo em seis capítulos. No capítulo dois a fundamentação teórica é apresentada. São abordados os temas que apoiam a pesquisa. No capítulo três é realizada uma análise do estado atual em que se encontram as pesquisas relacionadas ao tema do trabalho: validações de conjuntos heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. No capítulo quatro os resultados obtidos são apresentados e avaliados. No capítulo cinco os resultados são discutidos. No capítulo seis são apresentadas as conclusões e recomendações para trabalhos futuros. 18 2 FUNDAMENTAÇÃO TEÓRICA No presente capítulo são abordados os conceitos teóricos relacionados ao trabalho. São contextualizados conceitos referentes às áreas de Engenharia de Usabilidade, heurísticas de usabilidade, Interação Humano-Computador (IHC) e dispositivos celulares touchscreen. 2.1 Usabilidade 2.1.1 Interação Humano-Computador Quando surgiu o conceito de interface, ela era geralmente entendida como o hardware e o software com o qual homem e computador podiam se comunicar, porém a evolução do conceito levou à inclusão dos aspectos cognitivos e emocionais do usuário durante a experiência com algum tipo de interface (ROCHA; BARANAUSKAS, 2003). Tem sido cada vez mais presente no desenvolvimento de produtos a ideia de que uma melhora no aspecto físico da interface do usuário proporciona maiores chances de sucesso dos mesmos (ROCHA; BARANAUSKAS, 2003). Para Carvalho (2003) o desenvolvimento adequado das interfaces entre o ser humano e o computador é uma tarefa complexa devido aos aspectos humano das relações. Por esse motivo o campo de estudo que aborda a interação entre os seres humanos e as máquinas deve ser considerado quando novos produtos são desenvolvidos. Interação humanocomputador (IHC) surgiu no início de 1980, inicialmente como uma área especial da Ciência da Computação. IHC tem se expandido rapidamente e de forma constante durante as três últimas décadas, atraindo profissionais de muitas outras disciplinas e incorporando diversos conceitos e abordagens (CARROL, 2009). Interação humano-computador é uma disciplina relacionada ao projeto, avaliação e implementação de sistemas computacionais interativos para uso humano e ao estudo dos principais fenômenos que os cercam (ACM, 2009). Alguns temas que a área da interação humano-computador está preocupada são: desempenho das tarefas realizadas por seres humanos e máquinas conjuntamente, estrutura de comunicação entre máquina e humano; 19 capacidade de aprendizado de interfaces; algoritmos e programação da própria interface; preocupações de engenharia que possam surgir na concepção e construção de interfaces, o processo de especificação, projeto e implementação de interfaces (ACM, 2009). O contexto de uso e as circunstâncias específicas nas quais um dispositivo é usado são diretamente ligados ao nível de usabilidade alcançada pelo mesmo. O contexto de uso consiste de usuários, tarefas, equipamentos (hardware, software e materiais), e do ambiente físico e social, pois todos esses podem influenciar a usabilidade de um produto dentro de um sistema de trabalho (ISO 9241-11). A Figura 1 ilustra o contexto de uso de IHC, destacando ao lado esquerdo o lado humano e ao lado direto o lado computador. Figura 1: Uso e Contexto da Interação Humano-Computador Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade. Para Nielsen (2003), a usabilidade é um atributo qualitativo que determina quão fácil é usar as interfaces do usuário. O termo usabilidade também se refere aos métodos para melhorar a facilidade do uso durante o processo de design. 20 É importante que se perceba que usabilidade não é uma propriedade única e unidimensional de uma interface (NIELSEN, 1994). A norma ISO 9241-11 define usabilidade como medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. Eficácia se refere a quanto um produto é bom em fazer o que se espera dele. Eficiência se refere a maneira como o produto auxilia aos usuários na realização de suas tarefas (PREECE, 2005). Satisfação mede a extensão pela qual os usuários estão livres de desconforto e suas atitudes em relação ao uso do produto (ISO 9241-11). De modo a especificar ou medir usabilidade é necessário identificar os objetivos e decompor eficácia, eficiência e satisfação e os componentes do contexto de uso em subcomponentes com atributos mensuráveis e verificáveis (ISO 9241-11). Os componentes e o relacionamento entre eles estão ilustrados na Figura 2. Figura 2: Estrutura de usabilidade Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade. (Associação Brasileira de Normas Técnicas) Segundo Tyldesley (1988) o processo através do qual a usabilidade é especificada quantitativamente permitindo que se demonstre se um produto final atinge ou não os níveis exigidos de usabilidade é chamado de Engenharia da Usabilidade. 21 2.1.2 Engenharia de Usabilidade A Engenharia de Usabilidade tem como objetivo apresentar técnicas e métodos que possam ser empregados sistematicamente para garantir qualidade em termos de usabilidade da interface de produtos (PÁDUA, 2011). Para que um produto possa ser considerado de qualidade em termos de usabilidade é necessário que o seu desenvolvimento realize uma série de atividades que podem ser organizadas como um processo (PÁDUA, 2011). Existem vários modelos de processo de Engenharia de Usabilidade, entre eles o processo Centrado no Usuário (User-Centered Design) definido pela Norma ISO/IEC 13407 (1999) é um dos modelos mais conhecidos. O design centrado no usuário é uma abordagem interativa que tem como objetivo o desenvolvimento de sistemas usáveis (ISO/IEC 13407, 1999). O projeto centrado no usuário tem como princípio o foco no usuário desde o inicio do desenvolvimento dos produtos, ele é composto por etapas de análise, síntese e avaliação. A estratégia desse processo consiste em refazer as etapas continuamente, identificando e refinando o conhecimento sobre o contexto de uso do produto desenvolvido. As etapas são refeitas até que seja alcançado um resultado aceitável. Pode-se afirmar que o emprego dessa estratégia no desenvolvimento reduz o risco de falhas e garante que, a cada ciclo, o sistema responda cada vez melhor às expectativas e necessidades dos usuários em suas tarefas (HOBOLD; COELHO, 2011). O processo centrado no usuário pode ser observado na Figura 3. Figura 3: Ciclo de vida do modelo ISO/IEC 13407. (Associação Brasileira de Normas Técnicas) 22 A primeira etapa, a etapa de análise, é quando é preciso especificar e analisar o contexto de uso, ainda nessa etapa são explicitadas as características dos usuários, das tarefas que serão executadas e o ambiente no qual o produto será utilizado. A partir da análise as próximas atividades serão executadas. A etapa de síntese vale-se das informações analisadas na etapa anterior e juntamente com conhecimentos de interface humano-computador são desenhadas soluções para o desenvolvimento do produto. Nessa etapa podem ser criados protótipos que permitem explorar várias possibilidades de soluções. Um protótipo é uma representação limitada de um design que permite que os usuários interajam com ele e explorem a sua conveniência. Todas as decisões de design são tomadas dentro do contexto dos usuários, seu trabalho e seu ambiente (PREECE, 2005). O feedback do usuário é muito importante, pois permite avaliar, modificar e melhorar os protótipos A próxima etapa é a avalição da solução escolhida. Nessa etapa devese avaliar se os requisitos e objetivos de usabilidade definidos foram alcançados dentro do contexto de uso do sistema. Para Preece (2005) até que um resultado satisfatório não seja encontrado o ciclo dessas atividades deve continuar, terminando somente quando a avaliação da solução escolhida esteja de acordo com os requisitos do usuário. As técnicas de avaliação de usabilidade podem ser classificadas em três categorias: avaliações analíticas, avaliações heurísticas e inspeções por listas de verificação (CYBIS, 2007). Segundo Cybis (2007) as avaliações analíticas enfocam a estrutura da tarefa com um dispositivo informatizado e se caracterizam por algum tipo de decomposição da tarefa para verificar a complexidade ou estimar os tempos de interações propostas. As avaliações heurísticas enfocam principalmente a interface do sistema e se baseiam nos conhecimentos ergonômicos e na experiência dos avaliadores que percorrem a interface ou seu projeto para identificar aspectos que possam atrapalhar os usuários durante as interações (CYBIS, 2007). 23 Os métodos de avaliação de usabilidade também podem ser divididos entre os que são realizados sem a participação do usuário e os que são realizados com a participação do usuário. Pode-se citar os seguintes métodos como os que não utilizam a participação do usuário: avaliação heurística, avaliações baseadas em modelos e inspeções cognitivas. Como método que necessita da presença do usuário para sua realização pode-se citar os testes de usabilidade (TEZZA, 2009, p 32). As descrições, vantagens e desvantagens das técnicas citadas acima podem ser observadas na Tabela 1. Tabela 1: Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade Método de Avaliação Analítico Empírico Técnica Descrição Vantagens Desvantagens Avaliação Heurística Análise de conformidade do sistema diante de padrões de qualidade ou heurísticas definidas por especialista usando ckecklist. - Rapidez de aplicação, - Baixo custo, - Abrangência e -Facilidade de identificação dos problemas Avaliação baseada em modelos Decomposição da tarefa para verificar a complexidade ou estimar os tempos das interações propostas Confronto entre as lógicas de operação do projetista e de um usuário novato. Modo formalizado de imaginar os pensamentos e as ações dos usuários leigos É bastante útil para comparar alternativas de interface - Requer conhecimento e experiências do avaliador. - São necessários de três a cinco avaliadores para um bom resultado. - Subjetiva e pouco sistemática. Não leva em consideração erros ou incidentes de interação Inspeções Cognitivas (Cognitive Walkthrough) Teste de usabilidade Simulação de situações de uso objetivando constatar problemas medir seus impactos e identificar suas causas. - Pode ser aplicado já no início do ciclo de desenvolvimento. - Permite que analistas, designers e atuem como avaliadores. - Reconhece a forma com que o usuário executa tarefas e realiza a análise cuidadosa de tarefas. - Abrangência - Verificação de situações reais de uso - Não leva à identificação imediata do problema. - Requer muito tempo. - Alto custo - Requer tempo e pessoas - Pode não ser totalmente imparcial. Fonte: adaptado de TEZZA (2009) 2.1.3 Heurísticas de Usabilidade Segundo Nielsen (1994) heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. 24 Existem vários conjuntos de heurísticas para projetos de interfaces. Esses conjuntos de heurísticas foram desenvolvidos inicialmente para sistemas desktop, entre eles pode-se destacar as dez heurísticas de usabilidade de Jakob Nielsen (NIELSEN, 1994), os critérios ergonômicos de Scapin e Bastien (1993) e as oito regras de ouro de Shneiderman (2004). A seguir estão apresentadas as dez heurísticas de Jakob Nielsen. Esses princípios podem ser usados para explicar muitos problemas encontrados em projetos de interface (NIELSEN, 1994). 1. Visibilidade do status do sistema: o sistema deve sempre manter o usuário informado. 2. Compatibilidade entre sistema e mundo real: o sistema deve falar a linguagem do usuário ao invés de usar termos orientados ao sistema. 3. Controle e liberdade para o usuário: usuários precisam ter a possibilidade de sair do estado não desejado e essa opção deve estar claramente marcada. 4. Consistência e padrões: usuários não devem ter que se perguntar se palavras, situações, ou ações diferentes significam a mesma coisa. 5. Prevenção de erros: melhor do que boas mensagens de erro é um design, que previne que problemas ocorram. 6. Reconhecimento no lugar da lembrança: Evite acionar a memória do usuário o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente antes de ser executada. 7. Flexibilidade e eficiência de uso: permite que usuários possam customizar ações frequentes. 8. Projeto minimalista e estético: cada unidade de informação extra compete com informações relevantes e reduz a sua visibilidade relativa. 9. Auxiliar os usuários a reconhecer, diagnosticar e recuperar erros: fornecer mensagens de erro claras instruindo de forma construtiva a resolução dos erros no menor número de passos possíveis. 10. Ajuda e documentação: um bom conjunto de documentação e ajuda deve ser utilizado para orientar o usuário em caso de dúvida. Deve ser visível e de fácil acesso. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. 25 Empregando estas regras pode ser realizada a avaliação heurística. A avaliação heurística é uma técnica de avaliação muito atrativa, porém o conjunto de heurísticas de Nielsen (1994) foi desenvolvido para desktops e quando é aplicado a outros tipos de dispositivos ou aplicações ele precisa ser customizado. Determinadas heurísticas de Nielsen são muito gerais e precisam ser moldadas aos novos produtos que chegam ao mercado (PREECE, 2005). Algumas customizações já foram realizadas, como por exemplo, heurísticas para comércio eletrônico (TEZZA, 2009), heurísticas para celulares (BERTINI et al. 2006) (GONG, TARASEWICH, 2004). 2.1.3.1 Heurísticas para dispositivos móveis touchscreen phones O contexto de uso de um computador de mesa (desktop) para o qual foram desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de uso de um dispositivo móvel. Dispositivos móveis geralmente são utilizados para aplicações rápidas em um ambiente com muitas distrações, muitas vezes os usuários estão em movimento, como por exemplo, andando na rua. Durante a utilização de dispositivos móveis, os usuários normalmente estão envolvidos em várias atividades que ocorrem simultaneamente, a atenção pode estar dividida entre o uso do equipamento, as outras atividades que ele está realizando e o ambiente que o cerca, dessa maneira, o foco principal pode não ser a interação com o equipamento, mas a busca da informação enquanto interage com o ambiente a sua volta (CYBIS, 2007) (SALAZAR, et al. 2012). Outro aspecto importante se refere ao fato de que o usuário móvel estar sujeito a diversas interrupções durante a interação (CYBIS, 2007). Os métodos tradicionais de avaliação de usabilidade não consideram essas particularidades dos dispositivos móveis, por isso, existe uma necessidade do desenvolvimento de novas técnicas de avalição de usabilidade para esses dispositivos (INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se então necessário customizar as heurísticas de Nielsen, adaptando-as ao paradigma dos dispositivos móveis. 26 Nesse sentido, alguns autores vêm realizando esforços com o objetivo de definir heurísticas de usabilidade para dispositivos móveis touchscreen. Uma visão geral do estado de arte referente às heurísticas de usabilidade para celulares touchscreen é apresentado por Salazar et al (SALAZAR, et al. 2012). A revisão do estado arte evidenciou que ainda não existem muitas pesquisas nessa área. A revisão do estado da arte de Salazar et al (2012) obteve como resultado 13 artigos relevantes no que diz respeito a heurísticas de usabilidade para celulares. Devido a essa carência de trabalhos relacionados às heurísticas de usabilidade para celulares, o foco da revisão do estado da arte foi ampliado a guias de estilo. Foram então selecionados os guias de estilo de design das cinco plataformas de smartphones mais vendidas no mundo em 2011 (SALAZAR et al. 2012). Guias de estilo expõem em detalhes como deve ser a interface dos aplicativos desenvolvidos para uma determinada plataforma e, na maioria das vezes, também descrevem heurísticas de usabilidade num nível mais abstrato (também chamados de principles) que se aplicam ao design dos seus aplicativos (SALAZAR et al. 2012). A partir das informações obtidas através da revisão do estado da arte, observou-se, de uma maneira geral, uma forte correspondência entre as heurísticas tradicionais e as heurísticas propostas para dispositivos móveis (SALAZAR et al. 2012). A Figura 4 quantifica as frequências de incidência das heurísticas tradicionais nos artigos encontrados na revisão sistemática de literatura (SALAZAR et al. 2012). 27 Figura 4: Frequência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos analisados. Fonte: SALAZAR et al. (2012). Apesar de existir forte correlação entre as heurísticas propostas e as heurísticas tradicionais, muitas vezes as primeiras reinterpretam e ajustam suas definições para dispositivos móveis. Alguns autores ainda propuseram algumas heurísticas adicionais levando em consideração as características específicas dos dispositivos móveis. A Tabela 2 apresenta o conjunto unificado de heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos após a revisão do estado da arte. Tabela 2 – Conjunto de Heurísticas para dispositivos móveis Heurísticas Tradicionais Heurísticas Novas Visibilidade do status do sistema Compatibilidade entre diferentes plataformas Liberdade e controle do usuário Pouca interação homem/dispositivo Consistência e padrões Interação física e ergonômica Prevenção de erros Legibilidade e Layout Flexibilidade e eficiência de uso Estética e design minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar erros Fonte: (adaptado de SALAZAR et al. 2012) 28 A análise do estado da arte demonstrou que até o momento não existe uma visão/compreensão única sobre quais são as heurísticas de usabilidade relevantes para os dispositivos touchscreen phones. Nesse sentido, com a intenção de criar um conjunto unificado de heurísticas de usabilidade (Tabela 02) com base na literatura e experiências práticas, o GQS – Grupo de Qualidade de Software - está atualmente definindo um conjunto de heurísticas de usabilidade para celulares touchscreen. O desenvolvimento de um conjunto de heurísticas customizadas específicas para touchscreen phones aprimorará o guia de design de interfaces e a avaliação heurística de aplicações para esse tipo de dispositivo, colaborando assim à melhora da usabilidade das mesmas (SALAZAR et al., 2012). 2.1.3.2 Avaliação Heurística Segundo Preece (2005) em algumas ocasiões os usuários não estão facilmente acessíveis, nessas circunstâncias especialistas podem fornecer o feedback. Dentro desse contexto, no início dos anos 90, começaram a ser desenvolvidas algumas técnicas de inspeção como alternativa. Uma dessas técnicas é avaliação heurística. A avaliação heurística (NIELSEN, 1994) é um método de avaliação sistemático que possibilita encontrar problemas de usabilidade em um design de interface. Envolve um pequeno grupo de avaliadores que examinam a interface e a avaliam de acordo com os princípios de usabilidades (heurísticas de usabilidade). A avalição heurística é uma técnica relativamente barata e de fácil aprendizado, também é eficaz e pode ser utilizada em qualquer estágio de um projeto de design, a combinação desses fatores torna a avaliação heurística uma técnica de avaliação atrativa (PREECE, 2005). Segundo Cybis (2007) uma avaliação heurística representa um julgamento de valor sobre as qualidades de usabilidade das Interfaces Humano-Computador. Essa avaliação é realizada por especialistas em usabilidade, com base na sua experiência e competência no assunto. 29 Nielsen (1993) recomenda que sejam utilizados de três a cinco avaliadores. Cada avaliador deve realizar a sua inspeção individualmente evitando a comunicação entre eles durante a avaliação, assim são garantias avaliações independentes e sem influência. Durante a sessão de avaliação, o avaliador percorre a interface diversas vezes e inspeciona os seus elementos comparando-os com uma lista de princípios de usabilidade (as heurísticas). Para que a avaliação heurística seja realizada são definidas listas de verificação ou checklists que permitem o levantamento de dados durante a realização da avaliação. Os checklists permitem uma análise uniforme da usabilidade tendo como base as heurísticas (SALAZAR et al., 2012). Segundo Nielsen (2003), cada avaliador tem a liberdade de considerar heurísticas específicas que se aplicam a classes de produtos os sistemas específicos. São necessários conjuntos diferentes de heurísticas para avaliar diferentes dispositivos ou sistemas, portanto, os avaliadores devem desenvolver seus próprios, moldando as heurísticas de Nielsen, exatamente quais heurísticas são as melhores e quantas são necessárias é discutível e depende do produto (PREECE, 2005). A seleção de heurísticas apropriadas é decisiva para a realização da avaliação, pois as mesmas enfocam a atenção dos especialistas em questões particulares do design da interface (PREECE, 2005). 2.1.3.2.1 Checklist para avaliação heurística de aplicativos em touchscreen phones Para facilitar a realização de avaliações heurísticas usando o conjunto de heurísticas unificadas, uma lista de verificação (checklist) foi desenvolvida pelo GQS – Grupo de Qualidade de Software. Esta, por sua vez, objetiva auxiliar na avaliação de usabilidade dos dispositivos touchscreen phones de uma maneira rápida, fácil e eficiente (SALAZAR et al., 2012). Como escala de resposta aos itens do checklist é adotada uma escala ordinal com quatro opções: • Sim (Se o aplicativo estiver de acordo com o item); • Parcialmente (se o aplicativo atender parcialmente o item); 30 • Não (se não estiver de acordo com o item) e • Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura 5 e o checklist completo pode ser visualizado no Apêndice A. CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliadora: Data: Aplicativo/versão: Heurísticas Sistema: Dispositivo: Questões Visibilidade do status do 1. sistema N P S Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os itens selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem identificação? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? Anotações: … ... ... Figura 5: Lista de verificação aplicada a celulares touchscreen Fonte: SALAZAR et al., 2012 Legenda: N – Não P - Parcial S – Sim NA – Não se aplica 2.4 Caracterização do Dispositivo touchscreen phone Touchscreen phones são celulares que possuem a tela sensível ao toque, dispensando o uso de teclados físicos, pode-se tocar a tela e ela responderá como se o toque fosse nos objetos mostrados nela. Geralmente os NA 31 touchscreen phones são capazes de realizar muitas funções que um computador realiza, tipicamente possuem uma tela relativamente grande e um sistema operacional capaz de executar aplicações de uso geral, comumente possui um display de alta resolução, conectividade WiFi, capacidade de navegação na Web, a capacidade de aceitar aplicações sofisticadas, possui uma CPU mais poderosa, mais espaço de armazenamento e mais memória RAM (JANSSEN, 2012) Na Figura 6 estão apresentados alguns modelos de touchscreen phones. À esquerda o modelo Samsung S4 e a direita o iPhone 4S. Figura 6: Exemplos de modelos de touchscreen phones Fonte: http://samsung.com.br/, http://apple.com.br 2.4.1 Métodos de touchscreen Os touchscreen phones podem usar diferentes métodos para detectar a presença do toque na tela, as tecnologias mais utilizadas são o sistema resistivo e o sistema capacitivo. O sistema resistivo é composto por um painel de vidro normal, recoberto por uma camada metálica condutora e uma resistiva. Estas duas camadas são mantidas afastadas por espaçadores e uma camada resistente a riscos é colocada por cima de todo o conjunto. Uma corrente elétrica passa através das duas camadas enquanto a tela está sendo usado. Quando uma pessoa toca na tela, as duas camadas fazem contato exatamente naquele ponto. A mudança no campo elétrico é percebida e as coordenadas do ponto de contato são calculadas pelo computador. Logo que as coordenadas são conhecidas, um driver especial traduz o toque em algo que o sistema operacional possa entender (HAMMERSCHMIDT, 2008). A Figura 7 apresenta o funcionamento do sistema resistivo. 32 Já no sistema capacitivo, uma camada que armazena a carga elétrica é colocada no painel de vidro do monitor. Quando alguém clica no monitor com seu dedo, parte da carga é transferida para essa pessoa, de modo que a carga na camada capacitiva diminui. Esta diminuição é medida nos circuitos localizados em cada canto do monitor. Considerando as diferenças relativas de carga em cada canto, o computador calcula exatamente onde ocorreu o toque e então envia esta informação para o software do driver da tela sensível. Uma vantagem que o sistema capacitivo apresenta sobre o resistivo é que ele transmite quase 90% da luz do monitor, enquanto o sistema resistivo transmite apenas 75%. Isso dá ao sistema capacitivo uma imagem muito mais clara do que o sistema resistivo (HAMMERSCHMIDT, 2008). A Figura 8 mostra o funcionamento das telas capacitivas. Figura 7: Funcionamento do sistema resistivo Fonte: http://my-tablet-world.com/differencebetween-resistive-touch-screen-andcapacitive-touch-screen/ Figura 8: Funcionamento do sistema capacitivo Fonte:http://www.telecomcircle.com/2010/03/ touchscreen/ As tecnologias apresentadas acima permitem a utilização das telas multi-touch. Para uma tela ser considerada multi-touch ela deve ser capaz de responder a múltiplos toques dos dedos ao mesmo tempo. A utilização da tela multi-touch possui algumas limitações, dependendo do hardware e software utilizados no touchscreen phone. 2.4.2 Plataformas/sistemas operacionais No que diz respeito ao software de touchscreen phones, existem hoje vários sistemas operacionais instalados em diferentes modelos. Segundo a Gartner em uma pesquisa realizada no segundo trimestre de 2012 o sistema operacional Android ampliou sua liderança no mercado, seguido do sistema operacional iOS e Symbian respectivamente. A Tabela 3 mostra as vendas de smartphones no que diz respeito ao sistema operacional. 33 Tabela 3: Principais sistemas operacionais Segundo trimestre de 2012 Sistema Operacional Unidades vendidas em milhões Segundo trimestre de 2012 - Fatia de Mercado (%) 98,529.3 28,935.0 9,071.5 7,991.2 4,208.8 4,087.0 863.3 153,686.1 64.1 18.8 5.9 5.2 2.7 2.7 0.6 100.0 Android iOS Symbian Research In Motion Bada Microsoft Others Total Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015 Pode-se observar na Tabela 3 que o sistema operacional Android ocupa a maior fatia de mercado. O Android é um sistema operacional para dispositivos móveis baseado no sistema operacional Linux e é desenvolvido pela Google. O sistema operacional iOS, o qual aparece em segundo lugar em unidades vendidas, é um sistema operacional para dispositivos móveis desenvolvido e distribuído pela Apple Inc. Enquanto o sistema operacional Android é utilizado por vários fabricantes o iOS é de uso exclusivo dos produtos desenvolvido pela Apple. Em relação aos fabricantes destaca-se a Samsung que aumentou sua vantagem sobre a Nokia e Apple (GARTNER, 2012). A Tabela 4 ilustra o crescimento da fabricante Samsung. Tabela 4: Principais fabricantes de smartphones Segundo trimestre de 2012 Fabricante Samsung Nokia Apple ZTE LG Electronics Huawei Device TCL Communications HTC Motorola Research In Motion Others Total Unidades vendidas em milhões Segundo trimestre de 2012 - Fatia de Mercado (%) 90,432.1 83,420.1 28,935.0 17,936.4 14,345.4 10,894.2 9,355.7 9,301.2 9,163.2 7,991.2 137,233.4 419,007.90 21.6 19.9 6.9 4.3 3.4 2.6 2.2 2.2 2.2 1.9 32.8 100.0 Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015 34 Uma outra pesquisa realizada pela ChangeWave Research em junho de 2012 obteve um indicador sobre as satisfação dos clientes em relação aos seus smartphones, como pode ser observado na Figura 9. Figura 9: Satisfação dos usuários em relação aos seus smartphones Fonte: http://www.changewaveresearch.com/ Como apresentado na Figura 9 a Apple destaca-se das demais fabricantes com 71% dos proprietários de iPhones satisfeitos com seus aparelhos. A Samsung vem em segundo lugar seguida da Motorola. 2.4.3 Caracterização dos dispositivos Considerando os dados apresentados na seção anterior foram selecionados três modelos de touchscreen phones para elaborar uma Tabela comparativa do principal modelo dos principais fabricantes. Os dispositivos selecionados foram: Samsung Galaxy S4 com sistema operacional Android 4.2.2 Jelly Bean, Nokia Lumia com sistema operacional o Windows Phone 7.5 e o iPhone 4S com sistema operacional iOS. A Tabela 5 mostra o comparativo entre os modelos. 35 Tabela 5: Comparativo entre modelos de touchscreen phones Samsung Galaxy S4 Nokia Lumia iPhone 4S Tela 4.99” 3.7” 3.5” Resolução 1080x1920 480 x 800 pixels 640 x 960 pixels Armazenamento 64GB 16GB 16/32/64 Câmera Frontal 2 MP - VGA Câmera Traseira 13 MP 8.0 MP 8 MP Internet Wi-Fi/3G/4G Wi-Fi/3G Wi-Fi/3G Bluetooth Sim Sim Sim GPS Sim Sim Sim Peso (g) 130 142 140 Medidas (mm) 136.6 x 69.8 x 7.9 116.5 x 61.2 x 12.1 115.2 x 58.6 x 9.3 Acelerômetro Sensor de Proximidade Giroscópio de três eixos Giroscópio Acelerômetro Acelerômetro Sensor de Proximidade Bússola Sensor de proximidade Sensores Bússola Sensor de luz ambiente Barômetro Fontes: http://www.nokia.com/br-pt/produtos/lumia/ http://www.samsung.com/ http://www.apple.com/br/iphone/features/ As características dos touchscreen phones devem ser levadas em consideração quando se trata da usabilidade dos mesmos, o uso desses dispositivos está associado ao fato de sua disponibilidade e portabilidade. A portabilidade dos touchscreen phones é uma questão muito importante que deve ser ponderada, pois o contexto de uso desses dispositivos pode ter grandes variações, por serem móveis são equipamentos que permitem o transporte com conteúdo e proporcionam recursos de comunicação a qualquer hora e em qualquer lugar. 2.4.4 Tipos de aplicações móveis As duas alternativas mais conhecidas de aplicações móveis são os web sites móveis e os aplicativos (FLING, 2009). Cada uma dessas ferramentas é apresentada a seguir. 36 Sites móveis Um site para dispositivos móveis é um site especificamente projetado para esse tipo específico de dispositivo, não deve-se confundir sites móveis com a simples visualização de um site desenvolvido para desktop em um browser móvel (FLING, 2009). Sites móveis são caracterizados por sua arquitetura simples de drilldown ou somente a apresentação de links de navegação que levam o usuário para as páginas de nível mais baixo. O design dos sites móveis são, na maioria das vezes, simples e informativos oferecendo alguns dos elementos interativos disponíveis nos sites para desktops. Embora sites móveis sejam relativamente fáceis de criar, eles não conseguem ser consistentes em diferentes navegadores móveis (FLING, 2009). A Figura 10 mostra um exemplo de um web site móvel. Figura 10: Exemplo de web site móvel Aplicativos Aplicativos são desenvolvidos para uma plataforma específica. Devido ao fato dos aplicativos estarem na camada acima da plataforma eles podem aproveitar a maioria dos recursos dos dispositivos, trabalhando on-line ou offline. Os aplicativos possibilitam a utilização dos recursos disponíveis nos dispositivos como, por exemplo, câmera, GPS e sistemas de arquivos (FLING, 2009). 37 Aplicativos são softwares utilizados para funções específicas em dispositivos móveis. Estes programas são instalados e embarcados nos aparelhos. A maior parte dos aplicativos são certificados, vendidos ou distribuídos através de uma loja de aplicativos on-line (FLING, 2009). A Figura 11 mostra um exemplo de um aplicativo. É importante destacar que o presente trabalho tem como objetivo a avaliação de aplicativos e não tem como objetivo a avaliação de sites móveis. Figura 11: Exemplo de aplicativo 38 3 ESTADO DA ARTE O presente capítulo apresenta o estado atual em que se encontram as pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. A análise do estado da arte foi realizada seguindo o método de revisão sistemática de literatura definido por Kitchenham (2004). 3.1 Definição da revisão da literatura A revisão sistemática da literatura realizada teve como objetivo analisar e sintetizar a literatura existente sobre a avaliação/validação de conjuntos de heurísticas de usabilidade para aplicativos em dispositivos de touchscreen phones. O foco da revisão está na seguinte questão: Como os conjuntos de heurísticas de usabilidade para celulares touchscreen são validados? Embora o foco principal estivesse relacionado a touchscreen phones, o escopo da pesquisa foi ampliado para qualquer tipo de telefone celular, pois em uma busca inicial não foi encontrada qualquer literatura relevante específica sobre touchscreen phones. Em relação a validações dos conjuntos de heurísticas de usabilidade para celulares touchscreen também não foi encontrada qualquer literatura relevante, por esse motivo, o foco da pesquisa também foi ampliado para artigos que tivessem como foco a definição de heurísticas de usabilidade para telefones móveis. Foram pesquisados na Web artigos publicados na língua inglesa sobre heurísticas de usabilidade para telefones celulares. As pesquisas foram realizadas nas mais importantes bibliotecas digitais e bases de dados neste domínio (IEEEXplore, ACM Digital Library, Science Direct, Wiley e Springer) através do acesso gratuito ao Portal CAPES. Devido aos avanços tecnológicos apresentados pelos dispositivos estudados foram considerados artigos publicados entre janeiro de 2006 e julho de 2012 e para serem selecionados os artigos deveriam ter como foco a definição de heurísticas de usabilidade para telefones móveis. Foram excluídos artigos que não apresentavam os aspectos mencionados. 39 A realização da busca de artigos científicos foi realizada usando os termos de busca especificados na Tabela 6. Devido ao fato de vários termos possuírem sinônimos foi realizada uma pesquisa mais ampla, incluindo outros termos além de "smartphone", como por exemplo, os termos “mobile”, “cell phone” e “handheld device”. No que diz respeito às heurísticas o termo “usability guidelines” também foi utilizado além do termo “usability heuristics”. A definição das mesmas é o resultado de várias calibrações realizadas anteriormente. A pesquisa foi realizada em outubro de 2012. Tabela 6: Strings de buscas nas bases de dados IEEE XPLORE ((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND (pyr >= 2006AND pyr <= 2012). ACM Digital Library ("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal) ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLEABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") WILEY Interscience mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND "usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in Abstract between years 2006 and 2012 SpringerLink (mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters (smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM Digital Library, 10 no ScienceDirect, 41 no Wiley e 33 no Springer). Após a realização de uma análise dos artigos encontrados através da leitura dos titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos 40 irrelevantes ou duplicados foram removidos. Realizou-se então um exame desses 32 artigos, avaliando a qualidade da informação apresentada. O resultado final foi a seleção de 15 artigos considerados realmente relevantes. Posteriormente foi realizada a leitura dos artigos e extraídos os dados referentes a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. 3.2 Validação do conjunto de heurísticas/checklists A partir dos artigos resultantes da revisão sistemática de literatura a leitura dos mesmos foi realizada com o objetivo de analisar informações sobre a validação dos conjuntos de heurísitcas/checklist propostos nos artigos. O resultado dessa leitura pode ser verificado na Tabela 7. Tabela 7: Dados extraídos sobre validação do conjunto de heurísticas/checklist Artigo Realiza validação do conjunto de heurísticas/checklist (Hashim et al., 2010) --1 (Lo & Tan, 2012) -- (Fetaji & Fetaji, 2011) -- (Zaibon & Shiratuddin 2012) -- (Inostroza et al., 2012) Avaliação heurística comparativa (Wesselset al., 2011) -- (Rauch, 2011) -- (Ayob et al., 2009) -- (Billi et al., 2010) -- (Gu, Gu & Laffey, 2011) -- (Travis & Tay, 2011) -- (Alsos et al., 2012) -- (Nilsson, 2009) -- (J.Gong & P.Tarasewich, 2004) -- (E. Bertini et al., 2006) Avaliação heurística comparativa 2 1 Não cita avaliações sobre as heurísticas de usabilidade propostos. 41 Apesar da importância da usabilidade no contexto de dispositivos móveis o resultado escasso da revisão sistemática de literatura demonstra uma falta de investigação nesta área. Analisando a Tabela 7 fica evidente a falta da realização de uma validação do conjunto de heurísticas/checklists propostos na literatura encontrada. Somente dois artigos citam a realização de uma avalição do conjunto de heurísticas propostos (Inostroza et al., 2012) e (Bertini et al., 2006). Inostroza et al. (2012) realizaram a comparação de dois conjuntos de heurísticas, por um estudo comparativo em que realizaram uma avaliação utilizando as heurísticas propostas para dispositivos touchscreen e a outra realizada com as heurísticas tradicionais de Nielsen. Dois grupos de avaliadores, compostos por dois avaliadores cada, utilizaram um dispositivo touchscreen para a realização da avaliação heurística, um deles utilizou as heurísticas de Nielsen e o outro utilizou as heurísticas propostas para dispositivos móveis. O resultado foi a identificação de um número um pouco maior de problemas de usabilidade utilizando as heurísticas para dispositivos móveis touchscreen. Além de identificarem mais problemas o grupo ainda classificou os problemas em maiores graus de severidade. Posterior a essa avalição, os autores, utilizaram a média e a variância dos valores dos graus de severidade dos problemas encontrados com cada conjunto de heurística para avaliar a validade do conjunto proposto. Apesar dessa primeira tentativa de validar o conjunto de heurísticas proposto os autores destacaram o fato dessa avaliação ainda ser preliminar e a necessidade da realização de mais experimentos para ser possível uma melhor conclusão. Bertini et al. (2006) realizaram um estudo empírico com objetivo de comparar o apoio prestado pelo novo conjunto de heurísticas móveis contra as heurísticas de usabilidade padrão. O estudo envolveu oito especialistas em usabilidade e teve como resultado uma avaliação mais precisa em termos de problemas detectados (mais falhas detectadas) com a utilização das heurísticas para dispositivos móveis. Observando essa falta em geral de avaliações mais rigorosas dos 42 conjuntos de heurísticas pospostos para dispositivos móveis o presente trabalho objetiva avaliar um conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen utilizando a Teoria da Resposta ao Item, pois a mesma permite a criação de um instrumento de medição que possua uma escala padronizada e permita sistematização e precisão dos resultados e, logo, comparabilidade dos mesmos. Essa técnica já foi utilizada para avaliar outro conjunto de heurísticas como, por exemplo, na elaboração de um conjunto de heurísticas referente a usabilidade em sites de e-commerce (TEZZA, 2009). O trabalho citado anteriormente indica a adequação do uso da técnica de TRI para validar/avaliar checklists que dentro desse contexto podem ser compreendidos como questionário padronizado, assim é possível citar alguns trabalhos que fizeram uso da técnica de TRI para validar/avaliar questionários, como, por exemplo, questionários para medir inteligência ou autismo infantil (SATO, 2009) ou questionários para medição de fatores críticos da gestão pela qualidade (ALEXANDRE et al. 2001). 43 4. AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA APLICATIVOS EM CELULARES TOUCHSCREEN No presente capítulo é relatado o processo de avaliação/validação do conjunto de heurísticas/checklist para avaliação de usabilidade de aplicativos para dispositivos celulares touchscreen. O processo de avaliação é composto por cinco etapas: Definição, Planejamento, Operação, Análise e Interpretação e Documentação (WOHLIN, 2012) (Figura 12). Figura 12: Etapas do processo de avaliação Fonte: WOHLIN, 2012 4.1 Definição da Avaliação O objetivo da avaliação é validar os itens do checklist para avaliação de usabilidade de aplicativos dos dispositivos touchscreen phones. Com esse objetivo é efetivado um estudo empírico onde é realizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen proposto por Salazar et al. (2012). A avaliação tem como foco aplicativos para dispositivos móveis e a principal funcionalidade dos mesmos, portanto, as avaliações não levaram em consideração o aplicativo como um todo e sim a sua principal função. O estudo de caso é dividido em duas iterações: Na primeira iteração são selecionados 50 aplicativos a serem avaliados. Os critérios para a seleção dos aplicativos estão apresentados a seguir: 1. Aplicativos gratuitos; 2. Número de downloads maior que 200 na página que o disponibiliza; 44 3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que utilizaram os aplicativos após realizar o download dos mesmos nas páginas que os disponibilizam. Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção dos aplicativos para a segunda iteração foi o seguinte: 1. Aplicativos gratuitos; 2. Aplicativos gratuitos para realização de testes. A Tabela 8 apresenta os 247 aplicativos selecionados ao total para a realização das avaliações nas duas iterações. Demais informações sobre os aplicativos, como versão e site de download estão disponíveis no Apêndice C. Tabela 8: Aplicativos selecionados para a avaliação Dicionário da Língua Portuguesa Weather Channel Google Drive Google Goggles App2SD DropBox Angry Birds FacebookMessenger Qual Operadora Wallpapers HD iPhone Brasileirão Groupon iPhone Apn Brasil CardioTrainer Catarinense 2013 iPhone Sky Sports iPhone EyeEm iPhone Converter Sonar Spider Solitaire Guia de aeroportos HD Radar G1 Diário Catarinense Vogue Brasil Mobile Expedia Hotels & Flights Simple PAC Bíblia Sagrada NVI Ringtone Maker ASTRO File Manager Qello Mokriya craigslist WBCBaseball Climatempo Tela Transparente Buscapé Mobile Pedômetro - Accupedo Photo Grid Jogo da Forca Remember The Milk Aplicativos Avaliados Boa Lista - Lista de Compras Google Tradutor Gmail IMDb WhatsApp Traffic Counter Extended PersonalFinance Trip Advisor Cadê Meu Banco Instagram CamScanner iPhone Wase TrackPack Facebook Internacional SporTV iPhone GloboEsporte.com iPhone Dictionary.com iPhone Photaf Panorama Simulado Detran Free Pessoa física iCall Eu atleta Globo News Marie Claire Brasil Mobile Dieta e Saúde Shared MP3 Baixar músicas Esboço do lápis Wales, UK Any.Do TaxiBeat ArtFinder TouristEye Foursquare QRDroid Tic Tac Toe - Pro Dictionary.com Globo.com Qual é a resposta? MusiXmatch 4Shared Banco do Brasil Consulta Visa Vale Saraiva eReader Consulta CEP YouTube Viber Tavindo Wikipedia Churrascometro Buscapé iPhone Voos Online AVG Mobilation Feriados 2013 iPhone Night Sky Lite iPhone Shazam iPhone Quora iPhone Clean Master Rádio Atlântida Rádio Pessoal AUPEO! Baby holidays Shared MP3 Kekanto Crescer Mobile Radar G1 Insta Collage Letra de música e do YouTube Malaysia Cari IntaWeather Free Thrist Wunderlist CineMark Brasil Ingresso.com Baixaki Hotmail Air Horn Free Caça Palavras Medscape Split Pic 45 Passa Regua Vacinas Brasil Lite Diabetes Diário de Pressão Sanguinea KCRW SongTag iBeer FREE Galinha Pintadinha Guess The Movie MyBaby: My puzzle for kids Logo Quiz Alergias Diabetes Diary Lite Medicamentos A a Z Dengue Adulto e Criança GlicoCare Rotinas Terapeuticas Dblcam Engraçado Tones SMS Horóscopo HD Grátis WikipediaPlaces Free CPF/CNPJ Privalia Mobile Simples MP3 Downloader Astrid Lista de Tarefas Telefone celular Voip Sleep as Android Relax and Sleep Tumblr Postos combustivel Brasil I am Here GlobeConvert Viddy Xadrez Brasil Mobile Florianópolis Medida Certa Saúde Vale Exercícios em casa Sabores do Brasil ProEstetica Qranio Aprenda a falar outras línguas Hotel Hoje Sushi BR Dodol Phone Partiu Balada Pressão Arterial Gripe Suína GAPS - Antibiótico na Urgência Sky Drive Google Play Books Change my Voice Flashlight Presidentes Livraria Cultura eBooks Amamentação Myway Diabetes Manager Procedimentos SUS Aleitamento Universo Médico Appedatria Guia TV BR Jogos Mentais Lembretes de Aniversários Baby Names Nó em gravata Tempo de trabalho aCalendar Diário feliz PLUS Wedding Planning Lupa (Magnifier HD) EarthView ShareFood Taximetro Pro Night Vision Camera MagicPlan Compras, moda e liquidações Pet Shop Story: Easter Reuters Nike+ running Metas de Vida Nivea Sun iCaipirinha Color Touch Twitter 1001 Lugares no Brasil minube EasyMeasure Prague Shopping Guide Genéricos Brasi Guia Médico Nacional Unimed Apgar TV Show Favs O que é o que é Lighter Free Maze game Toddler Animal Sounds Pou Procedimentos TUSS Diabetes bPresso.com CliniCalc Breastfeed Meu diário Mensal Psisoríase Alarme AntiFurto Fácil Voz Bloco de Notas Battery Master Faces - Photo Fun Rastreio Correios Presto! Remote WiFi Manager Fake Call & SMS Benji Bananas Emoji para Android Tv Show. Tracker SoundCloud London Underground Tube Festas UFSC NET Bouncy Bill Easter Tales Piano Virtual FloripaVIP Android Massager Receita Móvel Free TeleListas Evernote Hello Palco MP3 Decolar.com Hotéis e Voos Bússola estabilizada Mochileiros Photo Effects O checklist utilizado na realização da primeira iteração de avaliações é apresentado no Apêndice A (versão 1.0). O checklist utilizado para as avaliações na segunda iteração e para a reavaliação dos aplicativos da iteração 1 é apresentado no Apêndice B (versão 2.0). O formulário utilizado para registrar as avaliações é apresentado no Apêndice D. 46 4.2 Execução da Avaliação 4.2.1 Coleta de Dados As avaliações heurísticas foram realizadas entre outubro de 2012 e abril de 2013. Cinco pesquisadoras realizaram as avaliações, sendo quatro delas do GQS/INCoD/UFSC e a quinta a autora do presente trabalho. As avaliações envolveram pesquisadores júnior com background na área de computação, na área de usabilidade e uma pesquisadora formada em design. A primeira etapa para a realização das avaliações foi o encontro entre todas as pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma avaliação heurística em conjunto, essa avaliação teve como principal objetivo a calibração das pesquisadoras. Nesse primeiro encontro o checklist também foi avaliado e o resultado foi a percepção de alguns problemas no mesmo. Após a reformulação dos problemas encontrados no checklist cada pesquisadora realizou duas avaliações individualmente. Foram selecionados dois aplicativos para a realização dessas avaliações individuais e posteriormente foi realizado um segundo encontro onde as avaliações de cada uma das pesquisadoras foram confrontadas com as demais. O resultado foi o nivelamento entre todas as pesquisadoras no que diz respeito ao entendimento e interpretação do checklist, bem como, o entendimento de como se dariam as avaliações. Foi estabelecido que, para a realização das avaliações, o primeiro passo seria executar o aplicativo e realizar uma breve análise do mesmo como um todo. Posterior a essa primeira análise a principal função deveria ser identificada e selecionada para dar continuidade a avaliação. Os dados resultantes das avaliações foram armazenados em uma planilha eletrônica do Excel Web App, aplicativo baseado em navegador que permite editar e exibir arquivos do Excel no navegador de forma colaborativa. Dessa forma os resultados das avaliações permaneceram unificados. Os dados coletados podem ser observados no Apêndice E. 47 4.2.2 Equipamentos Para a realização das avalições heurísticas foram utilizados 7 dispositivos móveis touchscreen. As Tabelas 9, 10, 11, 12, 13, 14 e 15 descrevem os equipamentos. Os dispositivos são de propriedade das avaliadoras e/ou fornecidos pelo GQS. Tamanho da Tela Tabela 9: Especificações do Samsung Galaxy Ace 3.5 polegadas Resolução da tela 320 x 480 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3.6 Peso 113 g Fonte: http://www.samsung.com.br Tabela 10: Especificações do Samsung Galaxy Y GT-S5360B Tamanho da Tela 3.0 polegadas Resolução da tela 240 x 320 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3.5 Peso 97.5 g Fonte: http://www.samsung.com.br Tamanho da Tela Tabela 11: Especificações do Samsung GT-I5500B 2.8 polegadas Resolução da tela 240 x 320 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.1 Peso 102 g Fonte: http://www.samsung.com.br 48 Tabela 12: Especificações do HTC Magic 3.2 polegadas Tamanho da Tela Resolução da tela 320 x 480 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 1.6 Peso 118.5 g Fonte: http://www.htv.com/br Tabela 13: Especificações do iPhone 4S 3.5 polegadas Tamanho da Tela Resolução da tela 640 x 960 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional iOS 5 Peso 140 g Fonte: http://www.aple.com/br Tamanho da Tela Tabela 14: Especificações do Samsung Galaxy Ace Duos 3.5 polegadas Resolução da tela 320X480 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3 Gingerbread Peso 113 g Fonte: http://www.samsung.com.br Tamanho da Tela Tabela 15: Especificações do Motorola XT390 3.5 polegadas Resolução da tela 480x320 pixels Método touchscreen TFT capacitive touchscreen Sistema operacional Android 2.3 Peso 107g Fonte: http://www.motorola.com.br 49 4.3 Análise dos dados 4.3.1 Análise subjetiva do checklist A primeira etapa de análise dos dados e validação do checklist foi a realização de uma análise empírica, o início dessa análise se deu em um encontro entre todas as pesquisadoras após a primeira iteração de 50 avaliações. Previamente ao encontro criou-se um documento online onde cada pesquisadora registrou suas impressões a cerca do checklist após a primeira iteração das avaliações. Nesse mesmo documento foi possível que as pesquisadoras comentassem os registros das demais, assim, antes da realização do encontro, todas já tinham conhecimento sobre os pontos que seriam discutidos. Durante o encontro foram abordados os tópicos registrados e o resultado foi a reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do checklist. O resultado dessa avaliação foi a criação da versão 2.0 do checklist, que pode ser obervada no Apêndice B. Os itens reformulados podem ser observados na Tabela 16. A modificação desses itens teve como finalidade deixá-los mais claros, objetivos e alinhados ao escopo. Na coluna da esquerda estão os itens antes da modificação e a coluna da direita apresenta os itens reformulados. 50 Tabela 16: Itens modificados após avaliação empírica do checklist Itens selecionados para modificações Itens após modificações 2. Os itens selecionados são claramente distintos dos demais? Os componentes interativos selecionados são claramente distintos dos demais? 5. Todas as telas possuem identificação? Todas as telas possuem título? 37. Utiliza o nome da tela anterior ao invés de “voltar” para nomes de botões e links? A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? 39. Os títulos das telas são curtos? Os títulos e rótulos são curtos? 41. Há padronização de cores para identificação e sinalização das áreas do aplicativo? Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 44. Os rótulos dos links descrevem adequadamente seu conteúdo? Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? As mensagens de erro são claras apontando a causa do erro? 62. As mensagens apontam qual a causa do erro? 64. As mensagens de erro são claras e precisas? 65. As mensagens de erro são agressivas com usuário? As mensagens de erro são amigáveis com usuário (não ofendem)? 82. Todo o texto fica visível na tela, independente da orientação? Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? 85. Informações transmitidas na forma de gráficos também são descritas textualmente? As imagens (gráficos, ícones, etc) também são descritas textualmente? Nessa primeira análise foram incluídos dez novos itens. A necessidade desses novos itens foi percebida durante a realização das avaliações, pois, entendeu-se que alguns problemas de usabilidade encontrados durante a utilização dos aplicativos não eram abordados no checklist. Os novos itens podem ser observados na Tabela 17, na qual também estão apresentadas as respectivas heurísticas as quais os novos itens foram associados. 51 Tabela 17: Itens inclusos no checklist após avaliação empírica Heurística Novos Itens Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? Visibilidade do status do sistema Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? O aplicativo pode ser fechado e não apenas minimizado? Controle e Liberdade do Usuário No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário? Consistência e Padrões As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Flexibilidade e Eficiência de Uso O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? Estética e Design Minimalista O aplicativo só apresenta funções que estão habilitadas? Pouca interação homem/dispositivo O cadastro de necessárias? usuário exige somente informações O alinhamento utilizado favorece a leitura? Legibilidade e Layout Quando utiliza o scroll é somente vertical ou somente horizontal? Ainda nessa primeira análise do checklist foi decidido pela retirada de quatro itens, pois se percebeu que eles não eram pertinentes ou sempre eram verdadeiros, como por exemplo, o item 17: É possível sair da tela atual a qualquer momento? Em dispositivos móveis sempre é possível sair da tela atual através dos botões de controle do próprio dispositivo. Os itens eliminados e a justificava para a eliminação podem ser observados na Tabela 18. Tabela 18: Itens retirados após avaliação empírica do checklist Itens Retirados Justificativa 9. As interações propostas no aplicativo são semelhantes Percebeu-se que nem sempre usar a metáfora é a ações reais (como por exemplo, descartar um arquivo necessário, arrastando-o para a lixeira)? interações serem consistentes com o modelo proposto pois considera-se mais importante as pela plataforma do que com ações reais. 14. O aplicativo oferece mensagens de fechamento para Esse item já é avaliado no item: “Para cada ação do tarefas que envolvam um conjunto de etapas? usuário o aplicativo oferece feedback imediato e adequado sobre seu status? ” 17. É possível sair da tela atual a qualquer momento? Esse item nunca teria resposta negativa, pois sempre é possível sair da tela atual utilizando o botão de controle do aparelho. 46. Os dados do usuário são salvos (login, itens Esse item está contido no item “O aplicativo evita a buscados)? digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)?” 52 Após essa primeira análise e reavaliação do checklist foi criada uma nova versão do mesmo contendo todas as modificações apresentadas. A nova versão do checklist (versão 2.0) pode ser observada no Apêndice B. Posteriormente a geração da nova versão do checklist os aplicativos que haviam sido avaliados na primeira iteração utilizando a versão 1.0 do checklist foram reavaliados para que seus dados refletissem a nova configuração do checklist versão 2.0. A reavaliação dos aplicativos foi realizada em Janeiro de 2013 por quatro pesquisadoras. Os dados coletados podem ser observados na íntegra no Apêndice E. 4.3.2 Análise estatística utilizando a Teoria da Resposta ao Item Nesta seção serão mostrados, analisados e discutidos os resultados gerados pela TRI referente aos 92 itens elaborados e a amostragem de 247 aplicativos para touchscreen phones. A TRI foi mais uma ferramenta utilizada para auxiliar na validação do checklist. O objetivo dessa análise foi realizar a avaliação dos dados obtidos através da realização das avaliações heurísticas para que seja possível inferir quais itens que compõe o checklist, contribuem mais para medir o traço latente, ou seja, a usabilidade. Usando a TRI é possível avaliar a qualidade dos itens e classificar os aplicativos em relação ao grau de usabilidade. Para realizar essa análise foram utilizados os dados levantados através da amostra composta por 247 avaliações. O tratamento dos dados foi realizado utilizando o software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é específico para auxiliar no procedimento de estimação dos parâmetros e do traço latente. O checklist é composto por 92 itens que estão divididos em doze Heurísticas de Usabilidade. Cada item possui uma escala likert de resposta que varia de ‘0’ a ‘2’, como pode ser observado na Tabela 19. Ainda na Tabela 19 pode observar-se a interpretação e um exemplo de resposta para cada item da escala. 53 Tabela 19: Escala de respostas do cheklist Opção Valor Interpretação Exemplo Não atende 0 Associado ao perfil negativo de Para o Item: “As fontes utilizados favorecem a leitura?” o aplicativo de usabilidade do aplicativo exemplo não atende a esse requisito, pois as fontes são muito pequenas dificultando a leitura. Aplicativo: Benji Bananas Atende 1 parcialmente Associado ao perfil intermediário Para o item: “Controles e botões se distinguem do restante do layout, de usabilidade do aplicativo deixando evidente que são clicáveis?” o aplicativo de exemplo atende parcialmente, pois os componentes interativos superiores, em um primeiro momento parecem ser somente para visualização, mas após algumas interações com o aplicativo verificou-se que os componentes eram clicáveis, portanto, a interação com esses componentes não é evidente. Aplicativo: POU Satisfaz 2 Associado ao perfil positivo de Para o item: “O menu é esteticamente simples e claro?” o aplicativo usado usabilidade do aplicativo como exemplo satisfaz plenamente esse requisito, pois o menu é simples, claro e objetivo. Aplicativo: Google Books Não 9 apresentado Requisito de usabilidade não Para o item: “É possível prever o tamanho da tela pelo tamanho do scroll?” o pertence ao escopo do item aplicativo utilizado no exemplo não possui scrool em nenhuma das telas, portanto, o requisito indagado no item não é apresentado pelo aplicativo. Aplicativo: Bounce Bill Easter Tales O único item para o qual essa escala não se aplica é o item 48, onde a categoria ‘2’ está associado ao perfil negativo e a categoria ‘0’ está associado ao perfil positivo de usabilidade. Para realizar a análise o item 48 foi recodificado onde as respostas com valor ‘2’ foram recodificadas para o valor 54 ‘0’ e as respostas com valor ‘0’ foram recodificadas para o valor ‘2’, dessa maneira, todos os 92 itens utilizam a categoria ‘2’ para representar os aspectos positivos de usabilidade. Para a criação da escala usabilidade dos aplicativos para touchscreen phones é necessário atribuir valores comparáveis aos itens e aos aplicativos para que possam ser posicionados na mesma escala. Entretanto, devido a natureza arbitrária dos valores para posicioná-los na escala, criou-se um valor de referência onde a média é 50 e o desvio padrão é 10. A escala criada é uma escala (50,10) que não tem significado prático, ou seja, esta escala poderia ter qualquer valor, onde o valor 50 representa o desempenho médio de usabilidade dos 247 aplicativos. Para que esses valores arbitrários tenham significado quando os itens forem posicionados na escala, o conteúdo abordado em cada item faz com que esses valores tenham uma interpretação para o traço latente medido, nesse caso, o traço latente é a usabilidade. Para posicionar os aplicativos e os itens com respostas graduadas nessa escala é necessário utilizar um modelo estatístico. Em razão da natureza das respostas dos itens uma das opções é adotar o modelo de resposta gradual. Esse modelo assume que categorias de respostas de item podem estar ordenadas entre si. Pode-se então afirmar que a probabilidade de um aplicativo j estar selecionado a uma categoria k (k = 0, 1, 2) é dada por: Pi,k () 1 1 e a i ( j bi,k ) 1 1 e a i ( j bi,k 1 ) onde i é o índice do item e um item que possui 3 categorias assume a restrição em que b=0, apresentando dois valores do parâmetro de dificuldade (b1, b2) que deverão ser estimados, além do parâmetro de discriminação do item (a) e os valores do traço latente () de cada aplicativo. Os parâmetros dos itens e o traço latente do aplicativo determinarão a probabilidade de ele estar em uma das categorias para um dado item. As Curvas Características do Item identificam essas probabilidades. Nesse modelo deve-se ter uma ordenação entre os parâmetros de dificuldade das categorias de um dado item, ou seja b i,1 b i,2 . 55 O modelo descrito não será utilizado no presente trabalho, devido ao fato que algumas categorias obtiveram poucas respostas. Em razão disso, para análise dos dados é realizado um agrupamento de duas categorias. São consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a resposta “2” como a categoria “satisfaz” o requisito de usabilidade perguntado no item. A interpretação dos resultados será a mesma, ou seja, estará sendo criada uma escala para avaliar a usabilidade dos aplicativos, mas considerando apenas duas categorias. Agora para itens com resposta dicotômica foi utilizado o modelo logístico dado por: P(X ij 1 | , a i , b i ) 1 1 e a i ( j bi ) sendo: Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta não satisfaz) do aplicativo j; j o parâmetro do aplicativo, representa a nota de usabilidade do aplicativo j; ai o parâmetro de discriminação do item i. bi o parâmetro de posição, também chamado de dificuldade, do item i. O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos aplicativos atendem determinada característica. O parâmetro ‘a’ mede quanto o item consegue diferenciar os aplicativos que estão em um nível superior da escala atender suas características e os aplicativos que estão em um nível inferior da escala não atender suas características. Na estimação dos parâmetros dos itens e na nota de qualidade dos aplicativos, supõe-se que a distribuição das notas dos aplicativos é normal com média 0 (zero) e desvio padrão 1 (um), escala (0,1), essa suposição é feita nos softwares por questão de conveniência. Para divulgação dos dados é conveniente ter uma escala que evite números negativos. Assim, optou-se por uma distribuição das notas dos aplicativos com média 50 e desvio padrão 10, escala (50,10). 56 4.3.2.1 Resultados Nesta seção são mostrados, analisados e discutidos os resultados da análise estatística gerados pela TRI referente aos 92 itens que compõem o checklist e a amostragem de 247 aplicativos para celulares touchscreen. Primeiramente, antes de prosseguir com a análise, é importante ressaltar que um item pode ser eliminado por falta de informação suficiente para conseguir medir a característica de usabilidade indagada nele ou este item não está associado a usabilidade. O importante é que dos itens remanescentes na análise, todos medem o mesmo traço latente, ou seja, todos os itens estão medindo a usabilidade. Os critérios estabelecidos para eliminação dos itens são feitos quando os itens têm os parâmetros na escala (0,1). Os critérios foram: • parâmetro de discriminação a<0,50; • parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do intervalo (-4;4)). Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9, 10, 15, 16, 19, 21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55, 56, 63, 64, 65, 66, 67, 68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92. Os parâmetros dos itens remanescentes no modelo dicotômico são apresentados no Apêndice F. Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto significa que é muito provável que somente os melhores aplicativos analisados atendam as especificações descritas nesses itens. Em compensação, os itens 13, 60 e 81 foram os que tiveram o menor parâmetro “b”, logo, são itens que não discriminam aplicativos com boa usabilidade dos demais aplicativos. Para estes itens é muito provável que praticamente todos os aplicativos analisados atendam aos quesitos perguntados neles. Pode-se afirmar que eles devem estar relacionados com requisitos básicos de usabilidade de um aplicativo. Uma vez que todos os parâmetros dos itens e que todos os valores das notas dos aplicativos estão numa mesma métrica (escala), ou seja, quando todos os parâmetros interpretáveis. são comparáveis, pode-se construir escalas 57 As escalas são definidas por níveis âncoras, que são os pontos da escala que serão interpretados. Esses pontos são caracterizados por um conjunto de itens, de preferência itens âncoras, sendo que dificilmente um instrumento com poucos itens, terá informação suficiente para caracterizar todos os pontos da escala. O critério adotado para o posicionamento do item na escala é feito usando dois níveis âncora consecutivos Y e Z, com Y<Z. Um item é âncora para o nível Z, se e somente se, obedecer simultaneamente as condições abaixo: P(U=1|=Z) ≥ 0,65 P(U=1|=Y) < 0,50 P(U=1|=Z) - P(U=1|=Y) ≥ 0,30 Portanto, um item é âncora se em um determinado nível âncora da escala é marcado ‘sim’ por pelo menos 65% dos aplicativos com o mesmo nível do traço latente e por uma proporção de no máximo 50% de aplicativos com o nível do traço latente imediatamente anterior. Além disso, a diferença entre a proporção de aplicativos nesses níveis de habilidade que marcaram ‘sim’ nesse item deve ser de pelo menos 30%. Em outras palavras, para um item ser âncora ele deve ser um item “típico” daquele nível, ou seja, bastante marcado nas categorias ‘sim’ por aplicativos com aquele nível de traço latente e pouco marcado com ‘sim’ por aplicativos com um nível de traço latente imediatamente inferior (ANDRADE et al. 2000). Uma das desvantagens desta metodologia é que não há garantia que existirão no instrumento aplicado itens âncoras para todos os níveis âncoras determinados. Para tanto, é fundamental que os níveis âncoras sejam escolhidos não muito próximos uns dos outros e também que o número de itens aplicados seja bastante grande de modo a possibilitar a construção e a interpretação da escala de usabilidade. Adotamos aqui, os níveis âncora com distância de um desvio padrão. Os itens que permaneceram no checklist são posicionados em algum ponto da escala, mesmo que não satisfaçam o critério de item âncora. Para posicioná-los foi adotado apenas o primeiro critério, ou seja, P(U=1|=Z) ≥ 0,65. 58 A Figura 13 apresenta a distribuição dos valores de usabilidade dos 247 aplicativos e o posicionamento dos itens na escala. Itens I81 I60 I13 I32 I47 I30 I35 I44 I80 I54 I86 I58 I76 I07 I59 I26 I33 I31 I45 I17 I04 I89 I87 I36 I34 I50 I41 I01 I48 I91 I02 I12 I90 I83 I57 I82 I25 I42 I27 I61 I11 I71 I14 I20 I62 I79 I06 I18 Figura 13: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos Observa-se, na Figura 13, que a maior parte dos itens está posicionada abaixo do nível 50 (referência como valor médio) e a maior parte dos aplicativos (128) está posicionado acima do nível 50, evidenciando que a maior parte dos itens apresentados no questionário são básicos para a usabilidade 59 dos aplicativos. Ou seja, muitos aplicativos possuem as características de usabilidade perguntadas nos itens. Para cada aplicativo, foi medido o grau de usabilidade representado por meio de uma nota, sendo estas apresentadas no Apêndice G. A Figura 14 fornece informações sobre o checklist para avaliações de usabilidade de aplicativos para touchscreen phones, apresentando informação total do conjunto de itens. A partir da figura é possível identificar que a informação do teste é maior na região abaixo dos 50, o que já era esperado tendo em vista que a maior parte dos itens ficaram posicionados nessa região. Assim, pode-se concluir que o checklist proposto é mais indicado para medir aplicativos que apresentam baixa usabilidade, logo, o erro da nota para estes aplicativos é menor pois existem muitos aplicativos posicionados nessa área. Em contrapartida para os aplicativos que estão posicionados acima dessa região o erro padrão da nota é maior, pois existe pouca informação nessa área. Figura 14: Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen phones 4.3.2.1.1 Itens eliminados A construção de uma escala de medida de usabilidade, ou qualquer outra escala prática, necessita de reflexões práticas referente ao assunto que 60 se está propondo medir (TEZZA, 2009). Dessa maneira nesta seção é discutido a eliminação dos itens sob o ponto de vista prático. A Tabela 20 apresenta os cinco itens eliminados referentes a heurística Visibilidade e Status do Sistema. Tabela 20: Itens eliminados referentes a heurística Visibilidade e Status do Sistema Item Descrição 3 Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 5 Todas as telas possuem título? 8 O aplicativo oferece informações sobre sua versão? 9 Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? 10 Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? A Heurística ‘Visibilidade e status do sistema’ refere-se a informar ao usuário sobre sua localização dentro do sistema e quaisquer mudanças do estado do mesmo. O item 3, ‘Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede?’, por exemplo, elaborado com base em Billi et al. (2010) defende que o usuário deve ter acesso constante a informações como status da bateria e da rede, que interferem diretamente em sua interação. Contudo esse item não possui a capacidade de diferenciar os aplicativos em termos de usabilidade, bem como, os demais itens dessa heurística que foram eliminados. Tabela 21: Itens eliminados referentes a heurística Controle e Liberdade do Usuário Item Descrição 15 O aplicativo pode ser fechado e não apenas minimizado? 16 É possível prever o tamanho da tela pelo tamanho do scroll? 19 O usuário pode sair do aplicativo e retornar do ponto onde parou? 21 O usuário pode desfazer (undo) uma ação? 22 O usuário pode refazer (redo) uma ação? 23 Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 24 Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? Os itens 15, 16, 19, 21, 22, 23 e 24 apresentados na Tabela 21, referemse a heurística ‘Controle e liberdade do usuário’. O item 15 ‘O aplicativo pode ser fechado e não apenas minimizado?’ foi elaborado após a realização da análise subjetiva do checklist, de uma maneira geral, pode-se concluir que o 61 item está mais relacionado com a usabilidade do aparelho em si do que com a usabilidade do aplicativo, pois o aplicativo não ser encerrado após o uso prejudica o desempenho do dispositivo e não do aplicativo. Pode-se inferir que esta característica está relacionada com um contexto mais amplo de usabilidade e merece mais estudos posteriores. O item 19 ‘O usuário pode sair do aplicativo e retornar do ponto onde parou?’ foi elaborado com base em Zaibon e Shiratuddin (2012) onde os autores afirmam que interrupções devem ser tratadas de forma natural pelo sistema, oferecendo ao usuário a possibilidade de reiniciar imediatamente suas ações. Esse item pode ser considerado importante para a usabilidade dos aplicativos, pois interrupções em celulares são constantes, como por exemplo, o recebimento de chamadas, mensagens e e-mails. Por esse motivo, torna-se importante que o usário posso retomar, do ponto onde parou, as tarefas que estava realizando no dispositivo. Porém esse item não consegue discriminar os aplicativos em termos de usabilidade. Os itens 21 ‘O usuário pode desfazer (undo) uma ação?’ e 22 ‘O usuário pode refazer (redo) uma ação?’ foram itens que levantaram muitas dúvidas entre as pesquisadoras durante a realização da avaliação subjetiva do checklist, pois aplicativos geralmente possuem tarefas mais simples de serem realizadas e não oferecem, e muitas vezes nem precisam oferecer, opções para desfazer/refazer uma ação. Conclui-se que as dúvidas levantadas eram pertinentes e foram confirmadas através da eliminação dos itens. Tabela 22: Itens eliminados referentes a heurística Consistência e Padrões Item Descrição 28 Itens não clicáveis deixam evidente que não o são? 29 O nome do botão/ícone é consistente com o nome da tela que abre? Os itens 28, ‘Itens não clicáveis deixam evidente que não o são?’ e 29 ‘O nome do botão/ícone é consistente com o nome da tela que abre?’, referemse a heurística ‘Consistência e padrões’ e estão apresentados na Tabela 22. Essa heurística, proporcionalmente, foi a heurística que menos teve itens eliminados. Apesar desta heurística ter forte correlação com as heurísticas tradicionais suas definições foram reinterpretadas e ajustadas para dispositivos 62 móveis. Pode-se então presumir que o reajuste realizado foi pertinente e essa heurística pode ser considerada relacionada ao escopo do conjunto de heurísticas desenvolvidas para dispositivos móveis. Essa característica vem de encontro com os resultados encontrados por Salazar et al. (2012) através da revisão do estado da arte realizado, que teve como objetivo fornecer uma visão geral sobre o conjunto existente de heurísticas de usabilidade para touchscreen phones. Os autores afirmam que entre os artigos resultantes dessa revisão, a heurística ‘Consistência e padrões’ foi uma das mais citadas, indicando um consenso comum sobre a relevância dessa heurística também para telefones móveis. Tabela 23: Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança Item Descrição 39 A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? 40 Em cada opção do menu, a primeira palavra é a mais importante? 43 Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 46 Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? A Tabela 23 apresenta os itens 39, 40, 43 e 46 que se referem a heurística ‘Reconhecimento em vez de lembrança’. Esta heurística, segundo Nielsen (1994) deve evitar acionar a memória do usuário o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente antes de ser executada. As características que essa heurística aborda estão intimamente relacionadas com os sistemas operacionais que os dispositivos possuem, pois espera-se que os aplicativos se comportem de acordo com a plataforma para qual eles foram desenvolvidos. Se assim for, os usuários não precisarão lembrar como são realizadas as tarefas do aplicativo e sim recordar-se como os mesmos comandos são executados em seu sistema operacional. Tabela 24: Itens eliminados referentes a heurística Flexibilidade e Eficiência de uso Item Descrição 49 O propósito/função do aplicativo é claro? 51 O aplicativo é carregado rapidamente? 52 Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 53 O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 55 Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 56 É possível personalizar a interface de acordo com a preferência de cada usuário? 63 Na Tabela 24 podem ser observados os itens 49, 51, 52, 55 e 56, estes referem-se a heurística ‘Flexibilidade e eficiência de uso’. O item 52 ‘Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QRcode?’ é um item que pode ser considerado importante para dispositivos móveis, pois na interação com esses dipositivos os usuários geralmente estão envolvidos em mais distrações e buscam concluir rapidamente as tarefas e muitas vezes não estão com as mãos disponíveis, por esses motivos, entendese que esse item é importante para a usabilidade dos aplicativos. Porém esse item não se mostrou pertinente ao escopo do cheklist proposto. Através da análise prática percebe-se que é muito difícil um aplicativo cumprir a característica indagada no item 55 ‘Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas?’. Permitir que os usuários criem caminhos preferenciais demanda mais complexidade ao aplicativo e consequentemente faria que o mesmo ficasse maior, exigindo mais espaço de armazenamento. Entende-se que espaço, em dispositivos móveis, muitas vezes é restrito, pois estes possuem recursos limitados, portanto, criar funções além das necessárias nem sempre é viável. O item 56 ‘É possível personalizar a interface de acordo com a preferência de cada usuário?’ foi elaborado com base em Billi et al. (2010) onde os autores sugerem que baseado nos dados do usuário e de contexto, o sistema deve, sempre que possível, apoiar e sugerir opções de personalização para ações frequentes. Esse item não conseguiu distinguir os aplicativos com boa e má usabilidade, por isso foi eliminado. Do mesmo modo, esse item, como o anterior, também exige mais complexidade do aplicativo e consequentemente mais espaço de armazenamento, portanto, nem sempre é viável disponiblizar tais opções para o usuário. 64 Tabela 25: Itens eliminados referentes a heurística Pouca interação homem/dispositivo Item Descrição 72 O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 73 O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)? 74 Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? 75 O cadastro de usuário exige somente informações necessárias? Os itens 72, 73, 74 e 75 referem se a heurística ‘Pouca interação homem/dispositivo’ e são apresentados na Tabela 25. Esta foi uma das heurísticas adicionais propostas levando em consideração as características específicas dos dispositivos móveis. Destaca-se o fato dessa heurística ter quase todos os seus itens eliminados, somente um item permaneceu após a análise estatística. A eliminação desses itens pode ter sido ocasionada por falta de informação suficiente para conseguir medir a característica de usabilidade indagadas nos itens. O item 72 ‘O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal?’ foi elaborado com base em Hashim et al. (2010) e Travis (2011) onde os autores afirmam que os os aplicativos devem evitar, o uso de scroll, especialmente para a visualização de links e quando o dispositivo for utilizado na posição horizontal (WESSELS et al., 2011). Contudo, é possível que pelo tipo de interação mais direta do usuário com um celular touchscreen, o incômodo gerado pelo uso do scroll seja relativizado. O item 73 ‘O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)?’ e 74 ‘Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações?’ são indicações das guias de estilo do Android. As guias de estilo indicam que os aplicativos devem saber as preferências dos usuários conforme o mesmo vai utilizando os recursos disponíveis. O aplicativo não deve pedir que os usuários façam as mesmas escolhas repetidamente, portanto deve-se disponibilizar, através de um fácil acesso, as escolhas realizadas anteriormente. Ruach (2011) e Nilsson (2009) também chamam a atenção para essa questão e 65 afirmam que para reduzir a entrada de dados, pode-se fornecer recursos como auto-completar, caixas-texto com sugestões, botões, menus, listas com valores pré-definidos. Podem ser utilizados dados do histórico e de personalização, como a cache de respostas usadas frequentemente. Rauch (2011) e Lo e Tan (2012) ressaltam que devem ser tolerados erros de digitação e abreviações. Para Billi et al. (2010) pelo tamanho do dispositivo móvel e seu contexto de uso (em movimento, com uma das mãos, etc), é importante que seja reduzido o esforço de interação. Porém, devido ao fato da heurística ‘Pouca interação homem/dispositivo’ ter apresentado muitos itens eliminados, indica-se que seja realizada uma nova avaliação da mesma. Sugere-se que os itens sejam repensandos, revisados e reformulados no sentido de determinar a importância ou não dessa heurística. Tabela 26: Itens eliminados referentes a heurística Interação física e ergonomia Item Descrição 77 Possui links com tamanho adequado ao clique? 78 Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? A Tabela 26 apresenta os itens 77 e 78 que referem-se a heurística ‘Interação física e ergonomia’. Esta heurística também é uma das heurísticas adicionais propostas. Dos seis itens que a compunham, somente dois foram eliminados. Pode-se inferir que essa heurística é relevante para dispositivos móveis touchscreen. Os itens eliminados foram os itens 77 ‘Possui links com tamanho adequado ao clique?’ e 78 ‘Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?’, estes itens foram elaborados com base em Rauch (2011), Lo e Tan (2012) e Travis e Tay (2011) onde os autores afirmam que os controles de navegação mais comuns devem estar ao alcance do usuário, podendo ser pressionados facilmente com o polegar. Os autores ainda sugerem que os elementos de controle sensíveis ao toque devem ter tamanho e espaçamento adequados para que os usuários possam tocá-los facilmente com os dedos, e, no caso de links contidos em texto, devem utilizadas aproximadamente três palavras. Destaca-se que os itens eliminados referem-se a presença de links nas interfaces dos aplicativos, pode-se inferir então que os aspectos relacionados a presença de links não 66 interferem significativamente na usabilidade dos aplicativos, até mesmo por não serem recorrentes. Tabela 27: Itens eliminados referentes a heurística Legibilidade e Layout Item Descrição 84 A interface do aplicativo se adapta a rotação da tela? 85 Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? 88 As imagens (gráficos, ícones, etc) também são descritas textualmente? 92 Quando utiliza o scroll é somente vertical ou somente horizontal? Os itens 84, 85, 88 e 92 (Tabela 27) referem-se a heurística ‘Legibilidade e layout’ outra heurística criada levando em consideração as características específicas dos dispositivos móveis. O item 88 ‘As imagens (gráficos, ícones, etc) também são descritas textualmente?’ foi elaborado com base em Travis e Tay (2011) onde os autores afirmam que o aplicativo deve fornecer descrição textual como alternativa às informações veiculadas com gráficos. O item 92 ‘Quando utiliza o scroll é somente vertical ou somente horizontal?’ foi elaborado pelas pesquisadoras do GQS durante a avaliação subjetiva do checklist, pois foi percebido que alguns aplicativos utilzavam em suas telas scroll horizontal e vertical ao mesmo tempo, dificultando a exibição do conteúdo. A heurística ‘Legibilidade e layout’ era composta por onze itens e somente quatro itens foram eliminados demonstrando assim a relevância da mesma. Pode-se afirmar que as características indagadas nos itens pertencentes a essa heurística conseguem medir a usabilidade dos aplicativos e diferenciar os aplicativos com boa e má usabilidade. Tabela 28: Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros Item Descrição 37 Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 38 Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)? 64 O aplicativo permite fácil recuperação de erros? 65 As mensagens de erro são claras apontando a causa do erro? 66 As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 67 As mensagens de erro são amigáveis com usuário (não ofendem)? 68 O aplicativo possui uma opção de ajuda? 69 É fácil localizar a ajuda? 70 A ajuda é de fácil compreensão? 67 As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda, diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados, os mesmos estão apresentados na Tabela 28. Essas heurísticas não se mostraram capazes de diferenciar os aplicativos em termos de usabilidade. A eliminação desses itens vem de encontro com as afirmações de Salazar et al. (2012) onde os autores expoem o resultado da revisão do estado da arte realizado pelos mesmos. Os resultados indicaram que heurísticas, tais como Prevenção de Erros e Ajuda e Documentação basicamente não foram citadas nos artigos encontrados. Esses resultados indicam que, pela maioria dos autores, essas heurísticas são consideradas irrelevantes para dispositivos de celulares touchscreen. Durante a realização das avaliações percebeu-se que alguns desses itens muitas vezes eram discutíveis, por exemplo os itens 68 ‘O aplicativo possui uma opção de ajuda?’, 69 ‘É fácil localizar a ajuda?’, 70 ‘A ajuda é de fácil compreensão?’ e o item 37 ‘Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?’. Pode-se considerar de uma maneira geral que essas características são importantes para a usabilidade, mas isso nem sempre é verdadeiro, em muitas situações essas características não são importantes. Aplicativos muitos simples, geralmente, não precisam de ajuda e nem instruções básicas para a sua utilização. As guias de estilo do iOS, que orientam o desenvolvimento dos aplicativos para essa plataforma, recomendam que os aplicativos sejam intuitivos e fáceis de usar para que os usuários não precisem de conteúdo de ajuda, pois os usuários de dispositivos móveis não tem tempo nem desejo de ler um grande conteúdo de ajuda, além disso, o conteúdo de ajuda ocupa espaço de armazenamento, que em dispositivos móveis é restrito. Em contrapartida o item 38 ‘Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)?’ foi elaborado com base em Rauch (2011) onde o autor sugere que sejam fornecidas ações de confirmação para determinadas ações, como excluir. As guias de estilo do Android reforçam esse ideia quando indicam que em algumas situações é uma 68 boa ideia pedir ao usuário que ele confirme a ação que ele está executando antes de prosseguir. As guias de estilo do iOS abordam essa questão e afirmam que os usuários esperam ter uma chance de confirmar a sua intenção de realizar uma ação potencialmente irreversível. O item 38 pode ser considerado importante em relação a usabilidade dos aplicativos. É importante lembrar que dispositivos móveis são usados em ambientes diversos e com muita distração, portanto pode ocorrer que o usuário execute uma ação irreversível por engano ou por um toque impreciso, justifica-se assim a importância do item para prevenir que o usuário cometa erros ou execute ações de forma inadvertida. A eliminação deste item, não significa que ele não represente uma característica importante de usabilidade, todavia, não se apresentou alinhado ao checklist desenvolvido. Os itens 64 ‘O aplicativo permite fácil recuperação de erros?’, 65 ‘As mensagens de erro são claras apontando a causa do erro?’, 66 ‘As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação?’ e 67 ‘As mensagens de erro são amigáveis com usuário (não ofendem)?’ referem-se e a heurística ‘Ajuda, diagnóstico e recuperação de erros’ e foram todos eliminados após a análise estatística. Nielsen (1994) recomenda que as mensagens de erro devem ser expressas de forma clara (sem códigos), indicando precisamente o problema, e sugerindo construtivamente uma solução. Porém quando se trata de aplicativos para dispositivos móveis touchscreen essa heurística pode ser considerada irrelavante. Compreende-se que os 44 itens foram eliminados por apresentarem baixo poder de discriminação, ou seja, não possuem capacidade de diferenciar aplicativos com boa usabilidade dos aplicativos com usabilidade ruim. Essa capacidade é uma importante característica que reflete a qualidade de um item. Um bom item é aquele que discrimina os aplicativos com desempenho superior daqueles com desempenho inferior. Entende-se que o checklist proposto é cumulativo, isso equivale a dizer que os aplicativos que possuem as melhores avaliações, provavelmente, terão todas as caracteristicas indagadas nos itens mais fáceis e provavelmente também terão as características indagadas nos 69 itens mais difíceis. De forma geral, as questões que foram eliminadas eram atendidas por grande parte dos aplicativos ou eram atendidas de forma distribuída, tanto por aplicativos classificados com má quanto com boa usabilidade. Essa situação indica que tais questões não se mostraram eficientes para diferenciar aplicativos com boa usabilidade. Contudo, seria necessário um estudo mais detalhado para confirmar se tais questões realmente não se referem a questões de usabilidade, que poderiam ser úteis no processo de desenvolvimento de aplicativos, por exemplo. 4.3.2.1.2 Escala de Medida do Grau de Usabilidade Com o objetivo de realizar uma interpretação qualitativa dos valores obtidos com a aplicação do checklist, permitindo identificar em que nível de grau de usabilidade os aplicativos avaliados se encontram, bem como em quais aspectos atendem ou não questões de usabilidade, é construída uma escala de medida do grau de usabilidade. A escala de medida é uma escala arbitrária onde o importante são as relações de ordem existentes entre seus pontos e não necessariamente sua magnitude (ANDRADE et al. 2000). A construção da escala permite identificar quais requisitos correspondem ao maior ou menor grau de usabilidade. Na Tabela 29, estão as características referentes aos 4 níveis do grau de usabilidade. Os itens que compõem cada nível da escala, bem como a heurística as quais eles pertencem podem ser observados no Apêndice I. A definifição dos níveis da escala foi realizada pelas pesquisadoras do GQS. Os níveis apresentados na escala são provenientes da região da escala onde há informação disponível (a partir do nível 20 até o nível 60). Após a definição da escala foi realizada a interpretação de cada um dos níveis, onde foram analisados o conjunto de itens que os compõem e que caracterizam cada nível. 70 Tabela 29: Escala de Medida do Grau de Usabilidade Nível 30 40 50 60 Descrição Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre..... Evitam abreviaturas e utilizam o mesmo idioma em textos. Apresentam os links de forma consistente entre as telas. Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos. Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo. As funções similares são apresentadas de forma semelhante. Em campos onde há a necessidade de inserção de dados isso é evidente. Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos. Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário. Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de fundo e são apresentados de forma padronizada. Permitem que as funções mais utilizadas sejam facilmente acessadas. Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são apresentadas de maneira distinta ao usuário. Possibilitam o retorno a tela anterior a qualquer momento. Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e possuem o mesmo título quando o conteúdo é o mesmo. As informações exibidas somente estão relacionadas com a tarefa que está sendo executada. Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro o próximo passo para realizar a tarefa. O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos dados e mensagens mais importantes.. Possuem feedback imediato e adequado sobre seu status para cada ação do usuário. Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas. Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos. Não apresentam problemas durante a interação. Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados. Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se distinguem dos demais. Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns do aplicativo. Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário cancele uma ação em progresso. Seguem os padrões da plataforma para a navegação principal. Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil acesso de mais de um usuário. Considera-se que o nível 30 possui, na escala proposta, um grau de exigência de usabilidade baixo, portanto, os itens que o compõem abordam requisitos básicos de usabilidade. A heurística de usabilidade predominante neste nível é a heurística ‘Consistência e Padrões’, ligada à organização das informações na interface de forma que o aplicativo ofereça uma navegação consistente entre as telas e permita que o usuário utilize conhecimentos adquiridos na interação com outros aplicativos. Essa heurística tem como objetivo estabelecer um padrão, ou seja, coerência na exibição das informações. A utilização de um padrão permite que o usuário consiga reconhecer os elementos, rótulos e ações. Em touchscreen phones, 71 caracterizados por possuírem um pequeno espaço de exibição, o usuário está mais suscetível a desistência ou perda de foco, portanto eles precisam assimilar as informações de uma maneira rápida diminuindo as chances de falharem ao tentar executar uma ação. Na escala proposta, considera-se o grau de usabilidade de nível 40 maior que o nível 30, sendo assim, os itens que representam o nível 40 possuem maior exigência que os itens que representam o nível 30. Entende-se que o checklist proposto é cumulativo, o que significa dizer que aplicativos que apresentam as características abordadas pelo nível 40 provavelmente apresentam também as características abordadas pelos itens do nível 30. Os itens pertencentes ao nível 40 estão distribuídos entre as 9 heurísticas que compõem o checklist, porém a heurística mais presente nesse nível novamente é a heurística ‘Consistência e Padrões’ seguida da heurística ‘Legibilidade e layout’. A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais baixos da escala tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim, pode-se concluir que essa heurística consegue avaliar muito bem os aplicativos com baixa usabilidade. O próximo nível da escala é o nível 50, o que significada dizer que os aplicativos que apresentam as características abordadas pelo nível 50 provavelmente também apresentam as características abordadas pelos níveis 30 e 40. O nível 50 pode ser considerado como sendo um grau de usabilidade médio, portanto, os itens que compõem essa heurística abordam requisitos de usabilidade não tão fáceis quanto os níveis inferiores e também não tão difíceis como no nível superior. As heurísticas predominantes nesse nível são as heurísticas ‘Visibilidade do status do sistema’, ‘Legibilidade e layout’ e ‘Flexibilidade e eficiência de uso’. A heurística ‘Visibilidade do status do sistema’ aborda as características que permitem que o usuário tenha conhecimento de todas as informações importantes sobre o status do aplicativo e das tarefas que ele está executando (NIELSEN, 1994). O aplicativo deve manter o usuário informado sobre o que está acontecendo, fornecendo um feedback adequado dentro de um tempo razoável. 72 A heurística ‘Legibilidade e layout’ é uma das heurísticas adicionais propostas e refere-se as características específicas de layout que os dispositivos touchscreen phones apresentam. Os aplicativos para esses dispositivos devem levar em consideração as diferentes condições de iluminação, o contraste entre texto e fundo ou ícones e fundo, também é importante limitar o número de cores utilizadas (SALAZAR et al. 2012). A heurística ‘Flexibilidade e eficiência de uso’ diz respeito a adaptação da interface ao contexto e as necessidades do usuário, ou seja, a interface deve apresentar eficiência de uso (NIELSEN, 1994). O aplicativo deve ser de fácil interação para usuários inexperientes e ao mesmo tempo deve permitir que os usuários mais experientes consigam personalizar ações frequentes. Essa heurística é especialmente importante no contexto de aplicativos para celulares touchscreen que apresentam uma interação mais rápida e fragmentada. Essas três heurísticas que compõem, predominantemente, o nível 50 tem a capacidade de diferenciar aplicativos com usabilidade média. Pode-se então dizer que características relacionadas a essas heurísticas agregam maior grau de usabilidade aos aplicativos em comparação com a heurística ‘Consistência e Padrões’. Conclui-se que aspectos relacionados a consistência e padrões são mais fáceis de serem cumpridos pelos aplicativos. Após estas características serem cumpridas o que diferencia os aplicativos para um nível de usabilidade um pouco maior são os aspectos relacionados a Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso. O nível mais alto da escala é o nível 60, portanto, aplicativos que apresentam as características abordadas pelos itens que compõem esse nível possivelmente apresentam também as características abordadas nos itens dos níveis anteriores. Somente quatro heurísticas compõem esse nível. Sendo a heurística ‘Controle e liberdade do usuário’ a heurística dominante, essa referese ao controle do usuário sobre sua navegação, como quando optam por engano por uma funcionalidade que não pretendiam. Em situações assim, o usuário deseja sair da funcionalidade errada e retornar a tarefa a partir de algum ponto sem precisar percorrer um longo diálogo (NIELSEN, 1994). Dessa maneira o usuário deve sempre poder sair da tela atual, cancelar uma ação 73 executada ou uma ação em progresso. No nível 60, as características de controle e liberdade do usuário são o aspecto principal. Já no nível 30 os principais aspectos estão relacionados a consistências e padrões. Essa distinção permite concluir que os aspectos abordados no nível 60, quando comparados aos aspectos abordados no nível 30, exigem um grau maior de usabilidade. Pode-se afirmar que características relacionadas ao controle e liberdade do usuário agregam maior grau de usabilidade que características relacionadas a consistências e padrões. Embora a falta de padrões e consistência torne a interação com o aplicativo mais difícil, a presença dessas falhas provavelmente não impedirão que os usuários realizem determinada tarefa ou ação. Por exemplo, possuir botões com tamanho adequado ao clique (item 76) pode facilitar a interação do usário com o aplicativo, mas dificilmente impedirá que o usuário conclua suas ações. Já problemas ligados ao controle e liberdade do usuário podem impedir, ou dificultar expressivamente a realização de determinada ação. Por exemplo, impedir que o usuário cancele uma ação em progresso (ex.: download)(item 20), pode impedir que o usuário de continuidade a uma tarefa ou alterne para outra tarefa que ele deseja realizar. Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor nível da escala, não apresentam nem as características básicas de usabilidade. 4.3.2.1.3 Checklist proposto Como resultado da análise estatística do checklist, uma nova versão do mesmo foi proposta. A nova versão pode ser observada na Figura 15. Como escala de resposta aos itens do checklist é adotada uma escala ordinal com três opções: Sim (Se o aplicativo estiver de acordo com o item); Não (se não estiver de acordo com o item) e Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). É importante destacar que a opção ‘parcial’ não está presente na nova configuração do checklist. Esta categoria foi agrupada a categoria ‘não’. 74 CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliador: Data: Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões Visibilidade do status do sistema 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os componentes interativos selecionados são claramente distintos dos demais? 3. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 4. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 5. Fornece um update do status para operações mais lentas? 6. O significado de símbolos e ícones são compreensíveis e intuitivos? 7. As informações são dispostas em uma ordem lógica e natural? Anotações: Controle e Liberdade do Usuário 8. É o usuário quem inicia e encerra tarefas e não o aplicativo? 9. É possível identificar o número de passos necessários para a realização de uma tarefa? 10. É possível retornar a tela anterior a qualquer momento? 11. No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário? 12. O usuário pode cancelar uma ação em progresso (ex.: download)? 13. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: Consistência e Padrões 14. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 15. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? 16. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 17. Funções diferentes são apresentadas de maneira distinta ao usuário? 18. Funções semelhantes são apresentadas de forma similar? 19. Controles que realizam a mesma função ficam em posições semelhantes na tela? 20. A forma de navegação é consistente entre as telas no aplicativo? 21. Os links são tratados de forma consistente entre as telas? 22. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Anotações: 23. Os títulos e rótulos são curtos? 24. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? Reconhecimento em vez de lembrança 25. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 26. Os títulos das telas descrevem adequadamente seu conteúdo? 27. Em campos onde há a necessidade de inserção de dados isso é evidente? N6 S7 NA8 75 Anotações: Flexibilidade e Eficiência de Uso 28. O aplicativo funciona corretamente, sem apresentar problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 29. As tarefas são relativamente simples de serem executadas? 30. As funções mais utilizadas são facilmente acessadas? 31. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista 32. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 33. São usados textos somente quando estes são realmente indispensáveis? 34. Em textos o uso de abreviaturas é evitado? 35. O menu é esteticamente simples e claro? 36. O aplicativo exibe quantidades pequenas de informações em cada tela? Anotações: Pouca interação homem/dispositivo 37. A navegação do aplicativo é intuitiva? Interação Física e Ergonomia 38. Possui botões com tamanho adequado ao clique? Anotações: 39. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 40. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 41. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Anotações: Legibilidade e Layout 42. O espaçamento entrelinhas utilizado favorece a leitura? 43. As fontes utilizadas favorecem a leitura? 44. Os ícones possuem contraste suficiente em relação ao plano de fundo? 45. Os textos tem contraste suficiente em relação ao plano de fundo? 46. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 47. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 48. O alinhamento utilizado favorece a leitura? Anotações: Figura 15: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen phones Legenda: N - Não S – Sim NA – Não se aplica 76 5 DISCUSSÃO A partir da análise realizada foi possível identificar estatiscamente quais itens que compõem o checklist realmente medem o mesmo traço latente, ou seja, os itens que contribuem mais para medir a usabilidade. Os 44 itens que apresentaram problemas, ou seja, não contribuíram para medir a usabilidade, foram eliminados do checklist. Restando, assim, 48 itens para compor o mesmo e para construir a escala de medida do grau de usabilidade. Com base na análise, conclui-se também que o checklist é ideal para medir aplicativos com baixa usabilidade. Os resultados alcançados indicam que, a princípio, o conjunto de heurísticas resultante após a análise estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis touchscreen phones. Dentre as doze heurísticas propostas inicialmente, nove heurísticas podem ser consideradas pertinentes ao escopo dos aplicativos para touchscreen phones e foram mantidas no checklist. Destaca-se a importância da heurística ‘Consistência e padrões’ na avaliação dos aplicativos. Essa heurística mostrou-se presente, predominantemente, nos dois níveis mais baixos da escala e, portanto, consegue avaliar muito bem os aplicativos com baixa usabilidade. A heurística ‘Consistência e padrões’ aborda os aspectos mais básicos de usabilidade dos aplicativos. Já no nível mais alto da escala a heurística predominante é a heurística ‘Controle e liberdade do usuário’. Pode-se concluir que os aspectos ligadas a essa heurística agregam maior grau de usabilidade aos aplicativos. Em relação as novas heurísticas propostas, a heurística ‘Pouca interação homem/dispositivo’ merece mais estudos, pois apresentou muitos itens eliminados, restando somente um item para compor a mesma. Sugere-se, então, que os itens eliminados sejam reformulados e reavaliados ou novos itens sejam criados no sentido de determinar a validade ou não dessa heurística. Em contrapartida as novas heurísticas ‘Interação física e ergonomia’ e ‘Legibilidade e layout’ apresentaram poucos itens eliminados, portanto pode- 77 se inferir que as mesmas são relevantes para dispositivos móveis touchscreen e os itens pertencentes a essas heurísticas conseguem medir a usabilidade dos aplicativos e diferenciar os aplicativos com boa e má usabilidade As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda, diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados. Evidenciando, assim, que essas heurísticas podem ser consideradas irrelevantes para dispositivos celulares touchscreen. A eliminação dessas heurísticas vem de encontro com as análises teórica e prática sobre as mesmas. 5.1 Ameaças à validade No desenvolvimento de pesquisas científicas faz-se necessário observar ameaças que possam interferir na validade e confiabilidade dos resultados. No presente trabalho pode-se considerar como uma ameaça o fato das avaliações heurísticas requererem conhecimento e experiências dos pesquisadores. A ação de controle tomada frente a essa ameaça foi a realização da calibração das pesquisadoras. Outra ameaça que deve ser considerada são as diferentes características apresentadas pelos dispositivos celulares touchscreen. Essas diferenças podem influenciar os resultados das avaliações heurísticas. A ação de controle adotada para diminuir essa ameaça é a utilização de sete aparelhos distintos que contribuíram para diversificar as avaliações heurísticas. Em relação aos aplicativos escolhidos para realizar as avaliações a ameaça presente é a escolha correta dos aplicativos. A amostra deveria ser diversificada, tanto aplicativos ruins quantos bons para que os resultados fossem relevantes. A ação tomada foi a mudança do critério de seleção dos aplicativos, percebeu-se que os critérios adotados na primeira iteração fizeram com que a amostra não fosse bem distribuída, então, para a segunda iteração de avaliações os critérios foram revisados e modificados para que ao final os dados ficassem melhor distribuídos. Vale ressaltar uma outra ameaça que pode interferir na validade e confiabilidade dos resultados, é a fadiga das pesquisadoras por realizar um 78 grande número de avaliações, esta ameaça foi controlada através da divisão do número de avaliações entre as avaliadoras e a realização das avaliações dentro de um período de tempo adequado. 79 6 CONCLUSÃO No presente trabalho o objetivo principal foi avaliar a validade de um conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen. A avaliação teve como objetivo verificar se o conjunto de heurística/checklist mede o grau de usabilidade dos aplicativos para touchscreen phones. Essa validação se deu a partir da validação da qualidade dos itens que compõem o checklist. O checklist foi aplicado a 247 aplicativos e os resultados obtidos foram analisados utilizando a Teoria da Resposta ao Item. O checklist inicial era composto por 92 itens, o resultado da análise eliminou 44 itens por falta de consistência ao conjunto, resultando assim em um checklist com 48 itens. A da hipótese definida incialmente é verdadeira e foi confirmada a partir dos resultados alcançados. O conjunto de heurísticas resultante após a análise estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis touchscreen phones. Neste trabalho foi estudado, fundamentado e analisado os aspectos teóricos que envolvem questões de usabilidade dos dispositivos móveis touchscreen phones. Também foi estudado alguns aspectos da Teoria da Resposta ao Item. Foi realizada uma revisão sistemática do estado da arte em relação a pesquisas correlatas referente a avaliações/validações de heurísticas de usabilidade. A revisão sistemática apontou que existe um número muito pequeno de artigos que citam validações/avaliações de heurísticas. Apenas dois artigos mencionavam validações preliminares, portanto, necessitando a realização de mais estudos para que fosse possível obter melhores conclusões. Estes resultados evidenciam a carência de estudos nessa área, indicando a contribuição deste trabalho. A contribuição do presente trabalho está na criação de uma escala padronizada do grau de usabilidade permitindo assim, a comparabilidade entre aplicativos para dispositivos touchscreen phones. O presente trabalho também permite inferir a usabilidade de um aplicativo com um esforço mínimo necessário. Os resultados obtidos podem ser utilizados para avaliar o grau de usabilidade de aplicativos para dispositivos touchscreen phones visando a melhora a usabilidade dos mesmos. 80 Os resultados deste trabalho permitem que outras oportunidades de pesquisa na área de usabilidade e aplicativos possam ser desenvolvidas. Avaliações que envolvam usuários não foram utilizadas no presente trabalho, portanto recomenda-se a realização de testes de usabilidade com o objetivo de avaliar o checklist proposto. Testes de usabilidade simulam situações de uso e avaliam um produto através da observação sistemática dos usuários interagindo com o sistema. Outra importante oportunidade de pesquisa é a ampliação do checklist. Essa ampliação deve ser realizada explorando conceitos mais particulares das interfaces dos dispositivos touchscreen phones com o objetivo de permitir medir a usabilidade de aplicativos com maior grau de usabilidade. É importante destacar que existem várias categorias de aplicativos e algumas são bem específicas, como por exemplo, os jogos, esses aplicativos apresentam características particulares de uso e interação. Essas características representam uma possibilidade de desenvolvimento de um estudo para a criação de um conjunto de heurísticas e um checklist para inferir a usabilidade destes aplicativos. 81 REFERÊNCIAS ACM SIGCHI. ACM Special Interest Group on Computer-Human Interaction. 2009. Disponível em: <http://old.sigchi.org/cdg/>. Acesso em: 10 ago. 2012. AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório de Acompanhamento 2011. Brasília, 2011. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao =273912&pub=principal&filtro=1&documentoPath=273912.pdf> Acesso em: 13 mai 2012. AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório Anual 2010. Brasília, 2011. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao =260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=CidadaoBiblioteca-Acervo%20Documental&filtro=1&documentoPath=260639.pdf> Acesso em: 13 mai 2012. AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório 2012. Brasília, 2012. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao =297390&pub=original&filtro=1&documentoPath=297390.pdf> Acesso em: 22 mai 2013. ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma proposta de analise de um construto para a medição dos fatores críticos da gestão pela qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001 ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and form factor on doctor–patient communication. International Journal of Medical Informatics, 81, 12–28. 2012 ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000. ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telassensiveis-ao-toque-touch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012. AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile Application. International Conference on Information Management and Engineering (ICIME),427-431. Malaysia. 2009. BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000. BASTIEN, J. M. C., SCAPIN, D. Ergonomic Criteria for the Evaluation of HumanComputer interfaces. Institut National de recherche en informatique et en automatique, France, 1993. 82 BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic Evaluation Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced Visual interfaces, Venezia, Italy. 2006. BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. & PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of mobile applications. Universal Acess in the Information Society, (9), 337–356. 2010. CARROLL, J. M. Human Computer Interaction (HCI). In: Soegaard, Mads and Dam, Rikke Friis (eds.). "Encyclopedia of Human-Computer Interaction". Aarhus, Denmark: The Interaction Design Foundation. 2009. Disponível em: <http://www.interactiondesign.org/encyclopedia/human_computer_interaction_hci.html>. Acesso em: 10 ago. 2012. CARVAJAL, R. I. Usability Heuristics for Touchscreen-based Mobile Devices. Pontificia Universidad Católica de Valparaíso Facultad de Ingeniería. Valparaíso, 2012. CARVALHO, J. O. F. de. O papel da interação humanocomputador na inclusão digital. Revista Transinformação. Programa de Pós-Graduação em Ciência da Informação da Pontifícia Universidade Católica de Campinas. Campinas, SP. v. 15, n. 3, setembro/dezembro, p. 75-89, 2003. CASTRO, S. M. J. Teoria da resposta ao item: Aplicação na avaliação da intensidade de sintomas depressivos. 2008. Tese (Doutorado em Epidemiologia) – Programa de Pós- Graduação em Epidemiologia, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2008. CHANGEWAVE RESEARCH. Disponível em: <http://www.changewaveresearch.com/>. Acesso em: 29 ago. 2012 COELHO, L. S.; HOBOLD, G. C. Desenvolvimento de Protótipos de Interfaces Humano-Computador na Área de Saúde para Convergência Digital. Trabalho de Conclusão de Curso. (Graduação em Sistemas de Informação) – Universidade Federal de Santa Catarina. 2011. COSTA, F. M. da. O Modelo de Samejima no estudo da relação NSE x Desempenho. Dissertação (Mestrado em Matemática e Estatística) - Universidade Federal do Pará. 2010. CÚRI, M. Análise de questionários com itens constrangedores. Tese (Doutorado em Estatística) – Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, 2006. Disponível em: <http://www.teses.usp.br/teses/disponiveis/45/45133/tde-06072009-155633/pt-br.php>. Acesso em: 20 abr. 2013. CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec 2007. FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd International Conference on Information Technology Interfaces (ITI), 275- 280. 83 FLING, B. Mobile design and development. Sebastopol: O’Reilly Media, 2009. GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011a; Smartphone Sales Increased 42 Percent. Disponível em: <http://www.gartner.com/it/page.jsp?id=1848514>. Acesso em: 14 mai 2012. GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011b; Gartner Says Worldwide Sales of Mobile Phones Declined 2.3 Percent in Second Quarter of 2012. Disponível em: < http://www.gartner.com/it/page.jsp?id=2120015>. Acesso em: 29 ago. 2012. GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in First Quarter of 2013. Disponível em: < http://www.gartner.com/newsroom/id/2482816>. Acesso em: 22 mai. 2013. GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.Proc. of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004. GRESSE VON WANGENHEIM, C. Material da disciplina INE5624 - Engenharia de Usabilidade, INE/UFSC, 2012. GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the move. 2011. Journal of Computer Assisted Learning, (27), 204–215. HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and Requirements for the M-Learning Application Development. International Conference on User Science Engineering (i-USEr), 226-231. Malaysia. 2010. INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada. 2012. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 13407: Humancentred design processes for interactive systems (1999). JANSSEN, C. Touch Screen. 2012. Disponível em: <http://www.techopedia.com/definition/3055/touch-screen>. Acesso em: 13 mai 2012. HAMMERSCHMIDT, R. O que é Touch Screen? 2008. Disponível em : <http://www.tecmundo.com.br/multitouch/177-o-que-e-touch-screen-.htm>. Acesso em: 13 mai 2012. KITCHENHAM, B.A. Procedures for Performing Systematic Reviews. Tech. Report TR/SE-0401, Keele University. Inglaterra. 2004. 84 LANDIM, W.. A evolução dos celulares. 2011. Disponível em: <http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico.html>. Acesso em: 13 mai 2012. LEE, D.The State of the Touch-Screen Panel Market. Disponível em: <http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market. pdf>. Acesso em: 14 mai 2012. LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile Environments. 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM), 1-4. 2010. Disponível em: <http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2 Fieeexplore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumb er%3D5600162>. Acesso em: 09 set. 2012. NIELSEN, J. Usability 101: Introduction to Usability. 2003. Disponível em: <http://www.useit.com/alertbox/20030825.html>. Acesso em: 13 ago. 2012. NIELSEN, J., (1994) Heuristic evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods. New York: John Wiley & Sons, Inc. NIELSEN, J. Ten Usability Heuristics. 1994. Disponível em: <http://www.useit.com/alertbox/20030825.html>. Acesso em: 10 ago. 2012. NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in Engineering Software, (40), 1318–1328. 2009. PÁDUA, C. I.P S. Engenharia de Usabilidade – Material de Referência. UFMG, Belo Horizonte, MG. PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homem-computador. Porto Alegre (RS): Bookman, 2005. 548p. RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing documentation on Kindle, tablets, and smartphones. IEEE International Professional Communication Conference (IPCC). 2011. OH, USA. ROCHA, H. V. da; BARANAUSKAS, Maria Cecília Calani. Design e avaliação de interfaces humano-computador. Campina: NIED/ UNICAMP, 2003. SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A. Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, 2012. SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von. Systematic Literature Review on Usability Heuristics for Mobile Phones. International Journal of Mobile Human Computer Interaction, 5(2), 2013. SATO, F. P. Validação da versão em português de um questionário área avaliação de autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP, 2008. 85 SHNEIDERMAN, B.; PLAISANT, C. Designing the User Interface: Strategies for Effective Human-Computer Interaction. Addison Wesley Publ. Boston, 2004. TECMUNDO. Disponível em: <http://tecmundo.com.br>. Acesso em 24 mai 2012. TECHOPEDIA. Disponível em: <http://www.techopedia.com/definition/2977/smartphone>. Acesso em: 29 set. 2012. TEZZA, R. Proposta de um construto para medir usabilidade em sites de ecommerce utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção. TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção – ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro – RJ: ABEPRO, 2009. v 1. TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the American Society for Information Science and Technology, 38 (1), 24–29. 2011. TYLDESLEY, D. A. Employing Usability Engineering in the Development of Office Products. The Computer Journal, Vol. 31, No. 5, 1988 WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development. 2010. In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA. WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile Devices. 8th International Conference onInformation Technology: New Generations (ITNG), 1066- 067. 2011. Las Vegas, Nevada, USA. WOHLIN, C. et al. Experimentation in Software Engineering. Norwell, MA: Kluwer, 2012. ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile Game-Based Learning. 6th IEEE International Conference on Wireless, Mobile and Ubiquitous Technologies in Education (WMUTE), 127-131.2010. Kaohsiung, Taiwan. ZIMOWSKI, M. F., MURAKI, E., MISLEVY, R. J., & BOCK, R.D. (2003). BILOG-MG 3 for Windows: Multiple-group IRT analysis and test maintenance for binary items [Computer software]. Skokie, IL: Scientific Software International, Inc. 86 APÊNDICE A - Checklist versão 1.0 CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliadora: Data: Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões Visibilidade do status do sistema 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os itens selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem identificação? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? Anotações: Correspondência entre sistema e mundo real 9. As interações propostas no aplicativo são semelhantes a ações reais (como por exemplo, descartar um arquivo arrastando-o para a lixeira)? 10. O significado de símbolos e ícones são compreensíveis e intuitivos? 11. As informações são dispostas em uma ordem lógica e natural? Anotações: Controle e Liberdade do Usuário 12. É o usuário quem inicia e encerra tarefas e não o aplicativo? 13. É possível identificar o número de passos necessários para a realização de uma tarefa? 14. O aplicativo oferece mensagens de fechamento para tarefas que envolvam um conjunto de etapas? 15. É possível prever o tamanho da tela pelo tamanho do scroll? 16. É possível retornar a tela anterior a qualquer momento? 17. É possível sair da tela atual a qualquer momento? 18. O usuário pode sair do aplicativo e retornar do ponto onde parou? 19. O usuário pode cancelar uma ação em progresso (ex.: download)? 20. O usuário pode desfazer (undo) uma ação? 21. O usuário pode refazer (redo) uma ação? 22. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 23. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? 24. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: Consistência e Padrões 25. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 26. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? 27. Itens não clicáveis deixam evidente que não o são? N P S NA 87 28. O nome do botão/ícone é consistente com o nome da tela que abre? 29. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 30. Funções diferentes são apresentadas de maneira distinta ao usuário? 31. Funções semelhantes são apresentadas de forma similar? 32. Controles que realizam a mesma função ficam em posições semelhantes na tela? 33. A forma de navegação é consistente entre as telas no aplicativo? 34. Os links são tratados de forma consistente entre as telas? Anotações: Prevenção de erros 35. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 36. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)? Anotações: Reconhecimento em vez de 37. Utiliza o nome da tela anterior ao invés de “voltar” para nomes de lembrança botões e links? 38. Em cada opção do menu, a primeira palavra é a mais importante? 39. Os títulos das telas são curtos? 40. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? 41. Há padronização de cores para identificação e sinalização das áreas do aplicativo? 42. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 43. Os títulos das telas descrevem adequadamente seu conteúdo? 44. Os rótulos dos links descrevem adequadamente seu conteúdo? 45. Em campos onde há a necessidade de inserção de dados isso é evidente? Anotações: Flexibilidade e Eficiência de Uso 46. Os dados do usuário são salvos (login, itens buscados)? 47. O propósito/função do aplicativo é claro? 48. As tarefas são relativamente simples de serem executadas? 49. O aplicativo é carregado rapidamente? 50. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 51. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 52. As funções mais utilizadas são facilmente acessadas? 53. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 54. É possível personalizar a interface de acordo com a preferência de cada usuário? 88 55. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista 56. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 57. São usados textos somente quando estes são realmente indispensáveis? 58. Em textos o uso de abreviaturas é evitado? 59. O menu é esteticamente simples e claro? 60. O aplicativo exibe quantidades pequenas de informações em cada tela? Anotações: Ajude o usuário a reconhecer, diagnosticar e recuperar de erros 61. O aplicativo permite fácil recuperação de erros? 62. As mensagens de erro são claras e precisas? 63. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 64. As mensagens apontam qual a causa do erro? 65. As mensagens de erro são agressivas com usuário? Anotações: Ajuda e Documentação 66. O aplicativo possui uma opção de ajuda? 67. É fácil localizar a ajuda? 68. A ajuda é de fácil compreensão? Anotações: Pouca interação homem/dispositivo 69. A navegação do aplicativo é intuitiva? 70. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 71. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)? 72. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? Anotações: Interação Física e Ergonomia 73. Possui botões com tamanho adequado ao clique? 74. Possui links com tamanho adequado ao clique? 75. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? 76. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 77. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 78. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Anotações: Legibilidade e Layout 79. O espaçamento entrelinhas utilizado favorece a leitura? 80. As fontes utilizadas favorecem a leitura? 81. A interface do aplicativo se adapta a rotação da tela? 82. Todo o texto fica visível na tela, independente da orientação? 89 83. Os ícones possuem contraste suficiente em relação ao plano de fundo? 84. Os textos tem contraste suficiente em relação ao plano de fundo? 85. Informações transmitidas na forma de gráficos também são descritas textualmente? 86. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 87. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? Legenda: N – Não P - Parcial S – Sim NA – Não se aplica 90 APÊNDICE B - Checklist versão 2.0 CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliadora: Data: Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões Visibilidade do status do sistema 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os componentes interativos selecionados são claramente distintos dos demais? 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Todas as telas possuem título? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 7. Fornece um update do status para operações mais lentas? 8. O aplicativo oferece informações sobre sua versão? 9. Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? 10. Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? 11. O significado de símbolos e ícones são compreensíveis e intuitivos? 12. As informações são dispostas em uma ordem lógica e natural? Anotações: Controle e Liberdade do Usuário 13. É o usuário quem inicia e encerra tarefas e não o aplicativo? 14. É possível identificar o número de passos necessários para a realização de uma tarefa? 15. O aplicativo pode ser fechado e não apenas minimizado? 16. É possível prever o tamanho da tela pelo tamanho do scroll? 17. É possível retornar a tela anterior a qualquer momento? 18. No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário? 19. O usuário pode sair do aplicativo e retornar do ponto onde parou? 20. O usuário pode cancelar uma ação em progresso (ex.: download)? 21. O usuário pode desfazer (undo) uma ação? 22. O usuário pode refazer (redo) uma ação? 23. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 24. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? 25. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: Consistência e Padrões 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 27. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? N P S NA 91 28. Itens não clicáveis deixam evidente que não o são? 29. O nome do botão/ícone é consistente com o nome da tela que abre? 30. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 31. Funções diferentes são apresentadas de maneira distinta ao usuário? 32. Funções semelhantes são apresentadas de forma similar? 33. Controles que realizam a mesma função ficam em posições semelhantes na tela? 34. A forma de navegação é consistente entre as telas no aplicativo? 35. Os links são tratados de forma consistente entre as telas? 36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Anotações: Prevenção de erros 37. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? 38. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slideto-unlock control usada pelos sistemas Android e Apple)? Anotações: Reconhecimento em vez de 39. A opção voltar é apresentada de acordo com o padrão dos lembrança aplicativos para esta plataforma? 40. Em cada opção do menu, a primeira palavra é a mais importante? 41. Os títulos e rótulos são curtos? 42. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? 43. Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 45. Os títulos das telas descrevem adequadamente seu conteúdo? 46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? 47. Em campos onde há a necessidade de inserção de dados isso é evidente? Anotações: Flexibilidade e Eficiência de Uso 48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 49. O propósito/função do aplicativo é claro? 50. As tarefas são relativamente simples de serem executadas? 51. O aplicativo é carregado rapidamente? 52. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? 53. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 54. As funções mais utilizadas são facilmente acessadas? 92 55. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 56. É possível personalizar a interface de acordo com a preferência de cada usuário? 57. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista 58. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 59. São usados textos somente quando estes são realmente indispensáveis? 60. Em textos o uso de abreviaturas é evitado? 61. O menu é esteticamente simples e claro? 62. O aplicativo exibe quantidades pequenas de informações em cada tela? 63. O aplicativo só apresenta funções que estão habilitadas? Anotações: Ajude o usuário a reconhecer, diagnosticar e recuperar de erros 64. O aplicativo permite fácil recuperação de erros? 65. As mensagens de erro são claras apontando a causa do erro? 66. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 67. As mensagens de erro são amigáveis com usuário (não ofendem)? Anotações: Ajuda e Documentação 68. O aplicativo possui uma opção de ajuda? 69. É fácil localizar a ajuda? 70. A ajuda é de fácil compreensão? Anotações: Pouca interação homem/dispositivo 71. A navegação do aplicativo é intuitiva? 72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? 73. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)? 74. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? 75. O cadastro de usuário exige somente informações necessárias? Anotações: Interação Física e Ergonomia 76. Possui botões com tamanho adequado ao clique? 77. Possui links com tamanho adequado ao clique? 78. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? 79. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 80. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 81. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? 93 Anotações: Legibilidade e Layout 82. O espaçamento entrelinhas utilizado favorece a leitura? 83. As fontes utilizadas favorecem a leitura? 84. A interface do aplicativo se adapta a rotação da tela? 85. Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? 86. Os ícones possuem contraste suficiente em relação ao plano de fundo? 87. Os textos tem contraste suficiente em relação ao plano de fundo? 88. As imagens (gráficos, ícones, etc) também são descritas textualmente? 89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 91. O alinhamento utilizado favorece a leitura? 92. Quando utiliza o scroll é somente vertical ou somente horizontal? Anotações: Legenda: N – Não P - Parcial S – Sim NA – Não se aplica 94 APÊNDICE C – Aplicativos Avaliados Aplicativo Versão Endereço de download Dicionário da 1.1 https://play.google.com/store/apps/details?id=pt.portoeditora.android. dicionario.lingua_portuguesa&feature=apps_topselling_free 2.0.2 https://play.google.com/store/apps/details?id=net.dotlegend.boalista&f eature=related_apps#?t=W251bGwsMSwxLDEwOSwibmV0LmRvdG xlZ2VuZC5ib2FsaXN0YSJd 4Shared 1.1.2 https://play.google.com/store/apps/details?id=com.forshared WhatsApp 2.8.5732 https://play.google.com/store/apps/details?id=com.whatsapp&feature= search_result#?t=W251bGwsMSwxLDEsImNvbS53aGF0c2FwcCJd App2SD 2.6 https://play.google.com/store/apps/details?id=com.a0soft.gphone.app 2sd&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hMH NvZnQuZ3Bob25lLmFwcDJzZCJd Weather Channel 3.8.3 https://play.google.com/store/apps/details?id=com.weather.Weather&f eature=search_result#?t=W251bGwwxLDEsImNvbS53ZWF0aGVyLld lYXRoZXIiXQsMS Google Tradutor 2.5.1 https://play.google.com/store/apps/details?id=com.google.android.app s.translate&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS 5nb29nbGUuYW5kcm9pZC5hcHBzLnRyYW5zbGF0ZSJd Banco do Brasil 5.0.4 https://play.google.com/store/apps/details?id=br.com.bb.android&feat ure=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5iYi5hbm Ryb2lkIl0 DropBox 2.2 https://play.google.com/store/apps/details?id=com.dropbox.android Traffic Counter 1.7.1b https://play.google.com/store/apps/details?id=com.carl.trafficcounter&f eature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRy YWZmaWNjb3VudGVyIl0 Google Drive 1.1.4.29 https://play.google.com/store/apps/details?id=com.google.android.app s.docs&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb 29nbGUuYW5kcm9pZC5hcHBzLmRvY3MiXQ Gmail 2.3.6 https://play.google.com/store/apps/details?id=com.carl.trafficcounter&f eature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRy YWZmaWNjb3VudGVyIl0 Consulta Visa Vale 2.3.1 https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeG FraSJd Angry Birds 2.3.0 Google Goggles 1.9 https://play.google.com/store/apps/details?id=com.rovio.angrybirds&fe ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb3Zpby5hb mdyeWJpcmRzIl0 https://play.google.com/store/apps/details?id=com.google.android.app s.unveil&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5n b29nbGUuYW5kcm9pZC5hcHBzLnVudmVpbCJd Língua Portuguesa Porto Editora Boa Lista - Lista de Compras Extended Captura de Tela 95 IMDb 2.7.5.10 275000 https://play.google.com/store/apps/details?id=com.imdb.mobile&featur e=apps_topselling_free Saraiva eReader 1.813 https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLm NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0. Trip Advisor 2.0.5 https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLm NvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0. PersonalFinance 2.1.6 https://play.google.com/store/apps/details?id=incomeincloud.android.a ctivity&feature=top-fre FacebookMessenge 2.1.2 https://play.google.com/store/apps/details?id=com.facebook.orc Consulta CEP 2.0.0 https://play.google.com/store/apps/details?id=com.carvtech.android.c e YouTube 2.3.4 https://play.google.com/store/apps/details?id=com.google.android.you tube Viber 2.2.3 https://play.google.com/store/apps/details?id=com.viber.voip&feature= search_result#?t=W251bGwsMSwyLDEsImNvbS52aWJlci52b2lwIl0 Tavindo 1.3 https://play.google.com/store/apps/details?id=br.eti.erickcouto.tavind Qual Operadora 2.0.5 http://www.baixaki.com.br/android/download/qual-operadora-.htm Cadê Meu Banco 2.03 https://play.google.com/store/apps/details?id=br.com.buscabanc Wikipedia 1.3.1 https://play.google.com/store/apps/details?id=org.wikipedi Wallpapers HD 1.6 https://itunes.apple.com/br/app/wallpapers-hd-for-iphoneipod/id398383945?mt=8 Instagram 3.4.0 https://play.google.com/store/apps/details?id=com.instagram.android& feature=apps_topselling_free Churrascometro 1.4 https://play.google.com/store/apps/details?id=br.com.kazap.churrasco metro r iPhone 96 Brasileirão 1.0.17 https://play.google.com/store/apps/details?id=br.com.zynger.brasileira o2012&feature=apps_topselling_free CamScanner 1.5.0.0 https://itunes.apple.com/br/app/camscanner-free/id388627783?mt=8 Buscapé iPhone 3.6.3 https://itunes.apple.com/br/app/buscape/id296987450?mt= Groupon iPhone 2.2 https://itunes.apple.com/br/app/groupon/id352683833?mt=8 Voos Online 1.7 https://play.google.com/store/apps/details?id=br.gov.infraer Wase 3.5.1 https://itunes.apple.com/br/app/futebol/id361393520?mt=8 Apn Brasil 1.2 https://play.google.com/store/apps/details?id=br.com.droidbrasil.apnbr as TrackPack 2.5.0 https://play.google.com/store/apps/details?id=br.com.tribotech.trackpa c AVG Mobilation 3.0.0.174 https://play.google.com/store/apps/details?id=com.antivirus&feature=s earch_result#?t=W251bGwsMSwxLDEsImNvbS5hbnRpdmlydXMiXQ iPhone 757 CardioTrainer 3.6.7 https://play.google.com/store/apps/details?id=com.wsl.CardioTrainer Facebook 2.1.2 https://play.google.com/store/apps/details?id=com.facebook.katan Feriados 2013 1.4 https://itunes.apple.com/br/app/feriados-2013/id558677448?mt=8 1.1 https://itunes.apple.com/br/app/campeonato-catarinense2013/id591876570?mt=8 2.5.3 https://itunes.apple.com/br/app/internacionalsportv/id482569445?mt=8 1.9.1 ps://itunes.apple.com/br/app/the-night-sky-lite/id502998318?mt=8 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone 97 Sky Sports iPhone 1.1 https://itunes.apple.com/br/app/sky-sports/id591874478?mt=8 Shazam iPhone 5.5.3 https://itunes.apple.com/br/app/shazam/id284993459?mt=8 GloboEsporte.com 1.4 https://itunes.apple.com/br/app/futebol/id361393520?mt=8 EyeEm iPhone 3.3.1 https://itunes.apple.com/br/app/eyeem-foto-filtroscamera/id445638931?mt=8 Dictionary.com 3.7 https://itunes.apple.com/br/app/dictionary.comdictionary/id308750436?mt=8 Quora iPhone 2.1 https://itunes.apple.com/br/app/quora/id456034437?mt=8 Converter 1.2.8 https://play.google.com/store/apps/details?id=com.blogspot.asifrc.Con verter&feature=search_result#?t=W251bGwsMSwyLDEsImNvbS5ibG 9nc3BvdC5hc2lmcmMuQ29udmVydGVyIl0 Photaf Panorama 3.2.1 https://play.google.com/store/apps/details?id=obg1.Photaf&feature=se arch_result#?t=W251bGwsMSwxLDEsIm9iZzEuUGhvdGFmIl0 Clean Master 2.5.1.30 https://play.google.com/store/apps/details?id=com.cleanmaster.mguar d&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jbGVhb m1hc3Rlci5tZ3VhcmQiXQ Sonar 1.1.107 https://play.google.com/store/apps/details?id=me.sonar.android&featu re=apps_topselling_fr Simulado Detran 2 http://www.baixaki.com.br/android/download/simulado-detran-free.htm Rádio Atlântida 1.0.2 https://play.google.com/store/apps/details?id=com.clicrbs.atlantida&fe ature=search_resu Spider Solitaire 1.0.2 https://play.google.com/store/apps/details?id=com.magmamobile.gam e.SpiderSolitaire&feature=apps_topselling_free Pessoa física 1.0.0 https://play.google.com/store/apps/details?id=br.gov.fazenda.receita.p essoafisica&feature=search_result#?t=W251bGwsMSwyLDEsImJyL mdvdi5mYXplbmRhLnJlY2VpdGEucGVzc29hZmlzaWNhIl0 Rádio Pessoal 1.3.4 https://itunes.apple.com/br/app/radio-pessoal-aupeo!musica/id453001420?mt=8 1.0.2 https://itunes.apple.com/br/app/guia-de-aeroportoshd/id424032540?mt=8 iPhone iPhone Free AUPEO! Guia de aeroportos HD 98 iCall 2.1.48 https://itunes.apple.com/br/app/icall-chamadas-telefonebate/id293837001?mt=8 Baby holidays 1.1.1 https://itunes.apple.com/br/app/baby-holidays-picturemaker/id574376508?mt=8 Radar G1 2.1.48 https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8 Eu atleta 1.2.2 https://itunes.apple.com/br/app/eu-atleta/id572977180?mt=8 Diário Catarinense - Globo News 1.3 https://play.google.com/store/apps/details?id=com.clicrbs.dc&feature= personalizedrecommendations#?t=W251bGwsMSwxLDIxMywiY29tLmNsaWNyYn MuZGMiXQ https://play.google.com/store/apps/details?id=com.fingertips.android.g lobonews&feature=related_apps Kekanto - Bares e 5.0.2 https://play.google.com/store/apps/details?id=com.kekanto.android&fe ature=nav_result#?t=W251bGwsMSwyLDNd Vogue Brasil Mobile 2.4 https://play.google.com/store/apps/details?id=br.com.edglobo.vogue&f eature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5lZGds b2JvLnZvZ3VlIl0 Marie Claire Brasil 1.13 https://play.google.com/store/apps/details?id=br.com.editoraglobo.mar ieclaire.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsI mJyLmNvbS5lZGl0b3JhZ2xvYm8ubWFyaWVjbGFpcmUuc2l0ZW1vY mlsZSJd https://play.google.com/store/apps/details?id=br.com.editoraglobo.cre scer.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsImJ yLmNvbS5lZGl0b3JhZ2xvYm8uY3Jlc2Nlci5zaXRlbW9iaWxlIl0 Restaurantes Mobile Crescer Mobile 1.12 Expedia Hotels & 2.3 https://play.google.com/store/apps/details?id=com.expedia.bookings& feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5leHBlZGlh LmJvb2tpbmdzIl0 Dieta e Saúde 2.5.7 https://play.google.com/store/apps/details?id=com.buscaalimento.and roid&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5idXNj YWFsaW1lbnRvLmFuZHJvaWQiXQ Radar G1 2.1.48 https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8 Simple PAC 1.4 https://play.google.com/store/apps/details?id=org.gunnm.simplepac&f eature=nav_result#?t=W251bGwsMSwxLDMsIm9yZy5ndW5ubS5za W1wbGVwYWMiXQ Shared MP3 Baixar 1.4 https://play.google.com/store/apps/details?id=br.com.sharedmp3.shar edmp3&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG5 1bGwsImJyLmNvbS5zaGFyZWRtcDMuc2hhcmVkbXAzIl0 Flights músicas 99 Insta Collage 1.01 https://play.google.com/store/apps/details?id=com.instacollage.androi d&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGw sImNvbS5pbnN0YWNvbGxhZ2UuYW5kcm9pZCJd Bíblia Sagrada NVI 1.5 Minimalistic Text 3.0.10.2 https://play.google.com/store/apps/details?id=br.com.telmoandrade.bi bliasagradanvi&feature=apps_topselling_new_free#?t=W251bGwsMS wyLG51bGwsImJyLmNvbS50ZWxtb2FuZHJhZGUuYmlibGlhc2Fncm FkYW52aSJd https://play.google.com/store/apps/details?id=de.devmil.minimaltext&f eature=featured-apps Myway Diabetes 0.9.2 https://play.google.com/store/apps/details?id=myway.prompt&feature= also_installed#?t=W251bGwsMSwxLDEwNCwibXl3YXkucHJvbXB0Il 0. Ringtone Maker 2.2.1 https://play.google.com/store/apps/details?id=com.proringtonemaker& feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsI mNvbS5wcm9yaW5ndG9uZW1ha2VyIl0 Wales, UK 2.3.2.1 Livraria Cultura 1.0.10 https://play.google.com/store/apps/details?id=com.mobilereference.Tr avelWalesAppFree&feature=search_result#?t=W251bGwsMSwyLDEs ImNvbS5tb2JpbGVyZWZlcmVuY2UuVHJhdmVsV2FsZXNBcHBGcm VlIl0 https://play.google.com/store/apps/details?id=br.cultura.loja.ebooks.an droid&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmN1bH R1cmEubG9qYS5lYm9va3MuYW5kcm9pZCJd Manager eBooks ASTRO File 3.1.427 https://play.google.com/store/apps/details?id=com.metago.astro&feat ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5tZXRhZ28uYX N0cm8iXQ Any.Do 1.8.1 https://itunes.apple.com/br/app/any.do-to-do-list/id497328576?mt=8 IntaWeather Free 2.1.2 https://itunes.apple.com/us/app/instaweather-free/id564147490?mt=8 Qello 1.3.2 https://itunes.apple.com/us/app/qello-watch-hd-musicconcerts/id491069819?mt=8 TaxiBeat 3.5 https://itunes.apple.com/gr/app/taxibeat/id436031420?mt=8 Thrist 2.0.2 https://itunes.apple.com/us/app/thirst/id594730520?mt=8 Mokriya craigslist 1.1 https://itunes.apple.com/us/app/mokriya-craigslist-appfor/id597638475?ls=1&mt=8 ArtFinder 5.0.1 https://itunes.apple.com/us/app/artfinder/id477518205?mt=8 Wunderlist 2.0.6 https://itunes.apple.com/ca/app/wunderlist/id406644151?mt=8.. Manager 100 WBCBaseball 1.0.0 https://itunes.apple.com/us/app/2013-world-baseballclassic/id596233358?mt=8 TouristEye 2.1 https://itunes.apple.com/us/app/touristeye-travel-guidetrip/id363369132?mt=8 Foursquare 5.5 https://itunes.apple.com/br/app/foursquare/id306934924?mt=8 CineMark Brasil 1.2.1 https://play.google.com/store/apps/details?id=com.cinemar Ingresso.com 1.1.4 https://play.google.com/store/apps/details?id=br.eti.faces.ingress Climatempo 1.1 https://play.google.com/store/apps/details?id=com.mobimidia.climaTe mp Tela Transparente 1.1 https://play.google.com/store/apps/details?id=com.ellipselab.android.t ransparentscreen.free QRDroid 5.3 https://play.google.com/store/apps/details?id=la.droid.qr&feature=sear ch_result#?t=W251bGwsMSwxLDEsImxhLmRyb2lkLnFyIl0 Baixaki 1.2.1 https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeG FraSJd Buscapé Mobile 3.6.3 https://play.google.com/store/apps/details?id=br.com.buscape.MainPa ck&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5id XNjYXBlLk1haW5QYWNrIl0 Tic Tac Toe - Pro 5.0.1 https://play.google.com/store/apps/details?id=com.tictactoe.wintrino&f eature=apps_topselling_fr Hotmail 7.8.2.8 https://play.google.com/store/apps/details?id=com.hotmail.Z7&feature =apps_topselling_free Pedômetro - 2.4.7 https://play.google.com/store/apps/details?id=com.corusen.accupedo. te&feature=apps_topselling_free Dictionary.com 3.7 https://itunes.apple.com/br/app/dictionary.comdictionary/id308750436?mt=8 Air Horn Free 6.0 https://play.google.com/store/apps/details?id=com.progimax.airhorn.fr ee&feature=search_result Accupedo 101 Photo Grid 4.26 https://play.google.com/store/apps/details?id=com.roidapp.photogrid& feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb2lkYXB wLnBob3RvZ3JpZCJd Globo.com 2.3 https://play.google.com/store/apps/details?id=com.globo&feature=sea rch_result#?t=W251bGwsMSwyLDEsImNvbS5nbG9ibyJd Caça Palavras 1.0 https://play.google.com/store/apps/details?id=com.berniiiiiiii.braz&feat ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5iZXJuaWlpaWl paWkuYnJheiJd Jogo da Forca 1.93 https://play.google.com/store/apps/details?id=br.com.gtlsistemas.forc a&feature=more_from_developer#?t=W251bGwsMSwxLDEwMiwiYnI uY29tLmd0bHNpc3RlbWFzLmZvcmNhIl0 Qual é a resposta? 1.99 https://play.google.com/store/apps/details?id=br.com.gtlsistemas.jogo deperguntas&feature=nav_result#?t=W251bGwsMSwxLDMsImJyLm NvbS5ndGxzaXN0ZW1hcy5qb2dvZGVwZXJndW50YXMiXQ Medscape 2.2.1 tps://play.google.com/store/apps/details?id=com.medscape.android&f eature=top-free Remember The Milk 3.0.1 https://itunes.apple.com/app/remember-the-milk/id293561396?mt=8 MusiXmatch 2.3.1 https://itunes.apple.com/us/app/musixmatchlyrics/id454723812?mt=12 Split Pic 2.0.1 https://itunes.apple.com/br/app/split-pic-2.0-cloneyourself/id570748340?mt=8 Passa Regua 1.5 https://itunes.apple.com/br/app/passa-regua/id449074589?mt=8 Partiu Balada 1.4 https://itunes.apple.com/br/app/partiubalada/id544524369?mt=8 Genéricos Brasi 1.0 https://play.google.com/store/apps/details?id=br.com.petax.genericos &feature=top-free Vacinas Brasil Lite 2.1 https://play.google.com/store/apps/details?id=lite.vacinas.vandfald.net &feature=top-free Pressão Arterial 1..2.9 https://play.google.com/store/apps/details?id=com.szyk.myheart&feat ure=top-free Guia Médico 1.0.1 https://play.google.com/store/apps/details?id=com.unimed.guiamdico &feature=top-free Nacional Unimed 102 Diário de Pressão 1.4.21 https://play.google.com/store/apps/details?id=com.ptashek.bplog&feat ure=related_apps#?t=W251bGwsMSwxLDEwOSwiY29tLnB0YXNoZ WsuYnBsb2ciXQ.. 1.3 https://play.google.com/store/apps/details?id=appinventor.ai_flptuon.in feccao&feature=also_installed TV Show Favs 3.5.5 https://play.google.com/store/apps/details?id=com.tvshowfavs&featur e=search_result#?t=W251bGwsMSwyLDEsImNvbS50dnNob3dmYXZ zIl0. Diabetes 3.0 Gripe Suína 1.0 https://play.google.com/store/apps/details?id=appinventor.ai_rsepulve dapalamara.Diabetes&feature=more_from_developer#?t=W251bGws MSwyLDEwMiwiYXBwaW52ZW50b3IuYWlfcnNlcHVsdmVkYXBhbGF tYXJhLkRpYWJldGVzIl0. https://itunes.apple.com/br/app/gripe-suina/id315185762?mt=8 Apgar 0.2 https://play.google.com/store/apps/details?id=appinventor.ai_fernando _ivan.Apgar_portugues&feature=apps_topselling_free KCRW SongTag 1.6 https://play.google.com/store/apps/details?id=com.norvan.SongTag&f eature=also_installed#?t=W251bGwsMSwyLDEwNCwiY29tLm5vcnZ hbi5Tb25nVGFnIl0. Sky Drive 1.1 https://play.google.com/store/apps/details?id=com.microsoft.skydrive& feature=nav_result#?t=W251bGwsMSwyLDNd O que é o que é 3.1 https://play.google.com/store/apps/details?id=br.com.arnapio&feature =search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5hcm5hcGlvIl 0. iBeer FREE 1.3.1 https://play.google.com/store/apps/details?id=com.hottrix.ibeerfree&fe ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ob3R0cml4L mliZWVyZnJlZSJd Google Play Books 2.7.38 https://play.google.com/store/apps/details?id=com.google.android.app s.books&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5n b29nbGUuYW5kcm9pZC5hcHBzLmJvb2tzIl0. Lighter Free 6.0 https://play.google.com/store/apps/details?id=com.progimax.lighter.fre e&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5wcm9na W1heC5saWdodGVyLmZyZWUiXQ.. Maze game 25.3 https://play.google.com/store/apps/details?id=com.guruas.mazegamej &feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ndXJ1YX MubWF6ZWdhbWVqIl0. Change my Voice 1.9.8 https://play.google.com/store/apps/details?id=com.coolapps.changem yvoice&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jb2 9sYXBwcy5jaGFuZ2VteXZvaWNlIl0. Galinha Pintadinha 1.4 Guess The Movie 1.234567 https://play.google.com/store/apps/details?id=br.com.warpzone.zerou m.galinha&feature=search_result#?t=W251bGwsMSwxLDEsImJyLm NvbS53YXJwem9uZS56ZXJvdW0uZ2FsaW5oYSJd https://play.google.com/store/apps/details?id=com.june.guessthemovi e&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5qdW5lL md1ZXNzdGhlbW92aWUiXQ.. Sanguinea GAPS - Antibiótico na Urgência 89 103 Flashlight 1.1.9 Toddler Animal 1.3 Sounds MyBaby: My puzzle https://play.google.com/store/apps/details?id=com.intellectualflame.le dflashlight.washer&feature=search_result#?t=W251bGwsMSwxLDEsI mNvbS5pbnRlbGxlY3R1YWxmbGFtZS5sZWRmbGFzaGxpZ2h0Lndh c2hlciJd https://play.google.com/store/apps/details?id=com.kidstatic.toddlerani malsounds&feature=apps_topselling_free 1.3 https://play.google.com/store/apps/details?id=org.example.babypuzzle &feature=apps_topselling_free Presidentes 1.0 https://play.google.com/store/apps/details?id=br.com.cre8.presidentes &feature=apps_topselling_free Pou 1.2.14 https://play.google.com/store/apps/details?id=me.pou.app&feature=na v_result#?t=W251bGwsMSwyLDNd Logo Quiz 11.3 https://play.google.com/store/apps/details?id=logos.quiz.companies.g ame&feature=search_result#?t=W251bGwsMSwxLDEsImxvZ29zLnF 1aXouY29tcGFuaWVzLmdhbWUiXQ.. Procedimentos 1.2.1 https://play.google.com/store/apps/details?id=thirtyideas.ptuss&featur e=apps_topselling_free Alergias 1.5 https://play.google.com/store/apps/details?id=info.diegoramos&featur e=apps_topselling_free Breast-feeding 1.9.8 https://play.google.com/store/apps/details?id=com.whisperarts.kids.br eastfeeding&feature=apps_topselling_free Diabetes Diary Lite 1.0.4 https://play.google.com/store/apps/details?id=jp.hideki.diabeteslite&fe ature=search_result Jogos Mentais 1.0 https://play.google.com/store/apps/details?id=com.thepapership.brain games.espanol&feature=search_result#?t=W251bGwsMSwxLDEsIm NvbS50aGVwYXBlcnNoaXAuYnJhaW5nYW1lcy5lc3Bhbm9sIl0. bPresso.com 0.9.2 https://play.google.com/store/apps/details?id=com.freshware.bpresso &feature=more_from_developer Medicamentos A a 1.0 https://itunes.apple.com/br/app/medicamentos-z-pediatriafree/id492015261?mt=8# Procedimentos SUS 1.2.5 https://itunes.apple.com/br/app/procedimentossus/id502701842?mt=8 CliniCalc: Medical 1.7 https://itunes.apple.com/br/app/clinicalc-medicalcalculator/id353404314?mt=8 1.0 https://itunes.apple.com/br/app/gestatools/id458897590?mt=8 for kids TUSS Z: Pediatria Free Calculator GestaTools 104 Dengue Adulto e 2.0 https://itunes.apple.com/br/app/dengue-adulto-ecrianca/id512107567?mt=8 Aleitamento 1.0.3 https://itunes.apple.com/br/app/aleitamento/id506198319?mt=8 Breastfeed 1.0.0 https://itunes.apple.com/br/app/breastfeed/id519547920?mt=8 GlicoCare 1.0 https://itunes.apple.com/br/app/glicocare/id477974723 Universo Médico 2.0 https://itunes.apple.com/br/app/universo-medico/id461429319?mt=8 Meu diário Mensal 1.1 https://itunes.apple.com/br/app/meu-diariomensal/id539888761?mt=8 Rotinas 1.0 https://itunes.apple.com/br/app/rotinas-terapeuticashospital/id571776048?mt=8 Appedatria 1.0 https://itunes.apple.com/br/app/appediatra/id573010328?mt=8 Psisoríase 1.3 https://itunes.apple.com/br/app/psoriase/id459472409?mt=8 Guia TV BR 3.0 https://play.google.com/store/apps/details?id=guiatvbrlite.com&feature =featured-apps Dblcam 1.0.1 https://itunes.apple.com/br/app/dblcam/id605269890?mt=8 Alarme AntiFurto 1.7.01 https://play.google.com/store/apps/details?id=br.com.verde.alarme&fe ature=top-free Engraçado Tones 1.2.1 https://play.google.com/store/apps/details?id=com.sancronringtones.f unnysmssb&feature=apps_topselling_free Diabetes 1.0.06 https://play.google.com/store/apps/details?id=com.szyk.diabetes&feat ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5zenlrLmRpYW JldGVzIl0. Fácil voz Bloco de 1.3 https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.e asyvoicenotepad&feature=search_result#?t=W251bGwsMSwxLDEsI mpwLnNvbWV0aGluZ2dvb2Rzb2Z0LmVhc3l2b2ljZW5vdGVwYWQiX Q.. Criança Terapeuticas SMS Notas 105 Horóscopo HD 1.28 https://play.google.com/store/apps/details?id=ch.smalltech.horoscope. free&feature=search_result#?t=W251bGwsMSwxLDEsImNoLnNtYWx sdGVjaC5ob3Jvc2NvcGUuZnJlZSJd 1.0 https://play.google.com/store/apps/details?id=in.androbolt.android.birt hdaybook&feature=search_result#?t=W251bGwsMSwxLDEsImluLmF uZHJvYm9sdC5hbmRyb2lkLmJpcnRoZGF5Ym9vayJd Battery Master 1.4.1 https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.b atterymasterf&feature=search_result#?t=W251bGwsMSwxLDEsImpw LnNvbWV0aGluZ2dvb2Rzb2Z0LmJhdHRlcnltYXN0ZXJmIl0. WikipediaPlaces 2.27 https://play.google.com/store/apps/details?id=org.msq.WikiPlaces.free &feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5tc3EuV2lr aVBsYWNlcy5mcmVlIl0 Baby Names 1.3 https://play.google.com/store/apps/details?id=org.msq.babynames&fe ature=more_from_developer Faces - Photo Fun 2.48 https://play.google.com/store/apps/details?id=org.msq.Face&feature= more_from_developer#?t=W251bGwsMSwxLDEwMiwib3JnLm1zcS5 GYWNlIl0. CPF/CNPJ 3.6 https://play.google.com/store/apps/details?id=br.com.livetouch.serasa consulta&feature=top-free Tempo de trabalho 1.7.2 https://play.google.com/store/apps/details?id=com.oversense.worktim e&feature=apps_topselling_free Rastreio Correios 1.3.1 https://play.google.com/store/apps/details?id=br.com.lardev.android.ra streiocorreios&feature=apps_topselling_free Nó em gravata 1.0.2 https://play.google.com/store/apps/details?id=me.greenpea.tieatie&fe ature=apps_topselling_free Privalia Mobile 2.1 https://itunes.apple.com/br/app/privalia-mobile/id394874573?mt=8 Simples MP3 1.1.20 https://play.google.com/store/apps/details?id=org.goldennuggetapps.s impledl&feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5nb 2xkZW5udWdnZXRhcHBzLnNpbXBsZWRsIl0 Presto! Remote 2.0 https://play.google.com/store/apps/details?id=com.raks.niz.AndroPcC ontroller&feature=search_result ColorNote Bloco de 3.9.17 https://play.google.com/store/apps/details?id=com.socialnmobile.dicta pps.notepad.color.note&feature=apps_topselling_free 0.14.8.3 https://play.google.com/store/apps/details?id=org.withouthat.acalenda r&feature=apps_topselling_free Grátis Português Lembrete de Aniversários Free Downloader Notas Lista aCalendar - Android Calendar 106 WiFi Manager 2.6.7 https://play.google.com/store/apps/details?id=org.kman.WifiManager& feature=apps_topselling_free Astrid Lista de 4.5.3 https://play.google.com/store/apps/details?id=com.timsu.astrid&featur e=apps_topselling_free Diário feliz PLUS 1.6 https://play.google.com/store/apps/details?id=net.qopo.diaryplus&feat ure=apps_topselling_free Fake Call & SMS 2.16 https://play.google.com/store/apps/details?id=com.popularapp.fakecal l&feature=apps_topselling_free Telefone celular 47 https://play.google.com/store/apps/details?id=com.zmobilevoip&featur e=apps_topselling_free Wedding Planning 1.2 https://play.google.com/store/apps/details?id=com.wedplanning&featu re=apps_topselling_free Benji Bananas 1.6 https://play.google.com/store/apps/details?id=com.fingersoft.benjiban anas&feature=top-new-free Sleep as Android Não https://play.google.com/store/apps/details?id=com.urbandroid.sleep&f eature=apps_topselling_free Tarefas Voip infomada Lupa (Magnifier HD) 3.2 https://play.google.com/store/apps/details?id=cps.mmxi.magnifier&fea ture=apps_topselling_free Emoji para Android 1.0 https://play.google.com/store/apps/details?id=com.teizeba.emoji&feat ure=apps_topselling_free Relax and Sleep 4.1 https://play.google.com/store/apps/details?id=com.mizusoft.relaxandsl eep&feature=apps_topselling_free EarthView 1.7 https://play.google.com/store/apps/details?id=com.exoprimus.earthvie w&feature=apps_topselling_free Postos combustível 1.02 https://play.google.com/store/apps/details?id=com.biblum.topgasbr&fe ature=apps_topselling_free Tv Show. Tracker 2.3.1 https://itunes.apple.com/app/tv-show-tracker-suivezvos/id334565283?mt=8 Tumblr 3.3 https://itunes.apple.com/br/app/tumblr/id305343404?mt=8 ShareFood 1.0 https://itunes.apple.com/jp/app/sharefood/id611219625?l=en&mt=8 Brasil 107 SoundCloud 2.5 https://itunes.apple.com/en/app/soundcloud/id336353151?mt=8 Taximetro Pro 2.1.2 https://play.google.com/store/apps/details?id=br.com.main&feature=a pps_topselling_free London 2.1.3 https://play.google.com/store/apps/details?id=com.visualit.tubeLondon City&feature=apps_topselling_free I am Here 1.3 https://play.google.com/store/apps/details?id=com.spacetimeapps.iam here&feature=apps_topselling_free Night Vision 1.1.15 https://play.google.com/store/apps/details?id=com.fingersoft.nightvis ioncamera&feature=more_from_developer 1.2 https://itunes.apple.com/au/app/festas-ufsc/id469968458?mt=8 GlobeConvert 1.7.3 https://itunes.apple.com/app/globeconvert-currencyunits/id462208752?mt=8 MagicPlan 3.0.1 https://itunes.apple.com/ca/app/magicplan/id427424432?mt=8 NET 2.0.1 https://itunes.apple.com/us/app/net/id518321053?mt=8 Viddy 2.2 https://itunes.apple.com/app/viddy/id426294709 Bouncy Bill Easter Não Tales informada https://play.google.com/store/apps/details?id=mominis.Generic_And roid.Bouncy_Bill_Easter_Tales&feature=apps_topselling_new_free Xadrez 1.0 https://play.google.com/store/apps/details?id=cox.google.xndroid.ch ess&feature=apps_topselling_new_free Pet Shop Story: 1.0.5.9.1 https://play.google.com/store/apps/details?id=com.teamlava.petsho p20&feature=apps_topselling_new_free Piano Virtual 6.0 https://play.google.com/store/apps/details?id=com.androidgonzalez 2013.piano&feature=apps_topselling_new_free Exercícios em casa 13030918 https://play.google.com/store/apps/details?id=emcasa.hdcar.in.exerc iciosemcasa&feature=apps_topselling_new_free Reuters 1.1 https://itunes.apple.com/us/app/reuters/id602660809?mt=8 Underground Tube Map Camera Festas UFSC Easter 108 Floripa VIP 1.1 https://itunes.apple.com/us/app/floripa-vip/id577778153?mt=8 Compras, moda e 3.038 https://play.google.com/store/apps/details?id=com.snapette&feature =apps_promotion_30000ca_Fashi 1.3 https://itunes.apple.com/us/app/brasil-mobile-guiaturistico/id370843693?mt=8 liquidações Brasil Mobile Florianópolis Medida Certa 1.4 https://play.google.com/store/apps/details?id=br.com.ftips.medidacert a&feature=top-free Nike+ Running 1.1.0 https://play.google.com/store/apps/details?id=com.nike.plusgps&featu re=top-free Android Massager 1.0 https://play.google.com/store/apps/details?id=br.com.ideatech.celsoari .massageator&feature=top-free Metas de Vida 1.0 https://play.google.com/store/apps/details?id=br.com.minhavida.metas devida&feature=apps_topselling_free Receita Móvel Free 2.0.0 https://play.google.com/store/apps/details?id=receita.movel.free&featu re=apps_topselling_free Saúde Vale 2.8 https://play.google.com/store/apps/details?id=com.saude.vale&feature =apps_topselling_free Nivea Sun 1.0.11 TeleListas 3.7 https://play.google.com/store/apps/details?id=br.com.agenciaclickisob ar.niveasun&feature=apps_topselling_free#?t=W251bGwsMSwxLG51 bGwsImJyLmNvbS5hZ2VuY2lhY2xpY2tpc29iYXIubml2ZWFzdW4iXQ .. https://play.google.com/store/apps/details?id=com.cellcity.telelistas&fe ature=apps_topselling_free Sabores do Brasil 2.7 https://play.google.com/store/apps/details?id=com.melicoapp.Sabores &feature=apps_topselling_free iCaipirinha 1.1.2 https://play.google.com/store/apps/details?id=br.com.yottaapps.icaipiri nha&feature=apps_topselling_free Evernote Hello 1.3.1.26 https://play.google.com/store/apps/details?id=com.evernote.hello&feat ure=apps_topselling_free ProEstetica 1.0.1 https://play.google.com/store/apps/details?id=pro.bv.pack&feature=ap ps_topselling_free 109 Qranio 1.3 https://itunes.apple.com/sn/app/qranio/id473459715?mt=8 Twitter 5.5 https://itunes.apple.com/us/app/twitter/id333903271?mt=8 Decolar.com Hotéis 1.4.1 https://play.google.com/store/apps/details?id=com.gm.decolar&featur e=top-free 2.1 https://play.google.com/store/apps/details?id=com.usefull.phrasestran slate&feature=top-free 1.0.4 https://play.google.com/store/apps/details?id=br.com.abril.mileumluga res&feature=apps_topselling_free 1.3.3 https://play.google.com/store/apps/details?id=com.netpatia.android.filt eredcompass&feature=apps_topselling_free Hotel Hoje 1.1.1 https://play.google.com/store/apps/details?id=com.hotelzilla.android&f eature=apps_topselling_free minube 2.34 https://play.google.com/store/apps/details?id=com.minube.app&featur e=apps_topselling_free Mochileiros 1.0.1 https://play.google.com/store/apps/details?id=com.quoord.tapatalkmo chi.activity&feature=apps_topselling_free Sushi BR 1.2 https://itunes.apple.com/br/app/sushi-br/id435613346?mt=8 EasyMeasure 11.2 https://itunes.apple.com/us/app/easymeasure-measure-yourcamera!/id349530105?mt=8 Photo Effects 2.0.1 Flash Card Demo flash https://play.google.com/store/apps/details?id=com.appspot.swisscode monkeys.effectsfree&feature=search_result#?t=W251bGwsMSwxLD EsImNvbS5hcHBzcG90LnN3aXNzY29kZW1vbmtleXMuZWZmZWN0 c2ZyZWUiXQ https://play.google.com/store/apps/details?id=com.flashcards.demo&f eature=search_result#?t=W251bGwsMSwyLDEsImNvbS5mbGFzaG NhcmRzLmRlbW8iXQ Dodol Phone 3.0.24 https://play.google.com/store/apps/details?id=demo.galmoori.datausa ge&feature=search_result#?t=W251bGwsMSwxLDEsImRlbW8uZ2Fs bW9vcmkuZGF0YXVzYWdlIl0 Prague Shopping 0.1 https://play.google.com/store/apps/details?id=com.wPragueShopping Guide&feature=search_result#?t=W2 e Voos Aprenda a falar outras línguas 1001 Lugares no Brasil Bússola estabilizada Guide 110 APÊNDICE D – Formulário utilizado para registrar as avaliações 111 APÊNDICE E - Dados coletados na realização das avaliações Aplicativos/Questões Dicionário Porto 1001 Lugares no Brasil Decolar.com minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa Xadrez Night Vision Camera Taximetro Pro Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip Happy Diary Plus ColorNote aCalendar WiFi Manager Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou 1 2 2 2 1 1 2 2 2 1 2 2 1 1 2 1 2 2 2 1 1 1 2 2 1 2 1 1 1 2 1 1 2 2 2 1 0 2 0 1 2 2 2 2 2 1 2 1 2 2 2 2 1 2 0 2 1 2 2 2 1 2 1 2 2 2 2 2 2 1 2 1 2 1 1 2 1 2 2 1 1 1 1 2 2 2 1 1 1 2 2 1 2 1 2 1 2 2 1 2 1 2 1 0 2 2 0 0 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 1 2 1 1 2 1 2 2 2 3 0 2 2 2 2 2 2 2 0 2 2 2 2 0 2 2 2 0 2 2 2 0 0 2 0 0 2 0 2 2 2 0 2 2 2 2 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 0 2 0 2 2 0 0 0 0 4 2 2 2 1 1 2 2 2 1 2 2 9 2 2 1 9 2 2 2 1 2 2 1 1 2 2 1 1 1 2 1 2 2 2 2 0 2 1 1 1 2 2 2 2 1 2 1 1 1 2 1 1 2 1 9 2 2 2 1 0 2 2 2 2 2 2 5 2 2 2 1 2 2 2 2 0 0 2 2 2 2 2 2 2 0 2 2 2 2 2 0 0 0 0 0 2 0 2 2 2 2 2 2 0 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 0 0 0 2 2 0 0 2 2 6 2 2 0 0 2 2 2 1 0 2 2 0 0 2 2 0 2 2 0 0 2 2 0 2 9 0 2 2 2 0 0 0 0 2 2 0 2 2 0 0 2 2 2 2 1 2 0 2 0 0 0 2 2 2 0 2 2 2 1 0 0 2 2 0 2 2 7 1 9 2 2 2 9 2 2 2 2 9 9 2 9 2 9 2 9 9 2 2 2 2 2 2 0 2 2 2 9 2 1 2 2 9 9 2 9 9 2 9 9 2 2 1 9 2 2 1 2 2 0 9 1 9 1 0 9 2 9 2 9 2 2 2 2 8 0 0 0 0 0 0 0 0 0 2 0 0 2 2 2 0 0 0 2 0 2 0 2 2 0 0 0 0 0 0 2 0 0 2 0 0 0 0 2 0 2 2 2 2 2 2 0 0 0 2 0 2 2 2 0 0 0 2 2 0 2 2 0 0 2 0 9 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 0 2 0 0 1 0 2 0 2 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 2 2 2 2 2 10 2 2 2 2 2 2 2 2 2 2 2 9 1 2 2 9 1 2 0 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 1 9 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 11 2 1 2 2 1 2 2 2 1 2 2 1 1 2 1 1 2 9 2 2 2 2 1 1 9 9 1 1 2 1 2 2 1 9 1 2 2 1 0 1 2 1 1 1 1 1 1 2 2 2 2 1 1 9 2 1 1 2 1 0 2 1 2 2 2 2 12 2 2 2 0 2 2 2 2 1 2 2 2 0 2 1 2 2 2 2 1 2 2 2 1 2 2 2 0 2 2 2 2 2 2 1 0 2 2 1 2 2 1 2 2 0 2 1 2 2 2 2 2 2 2 2 2 1 2 1 1 2 2 2 2 2 2 13 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 14 9 9 2 9 9 9 0 9 9 9 2 9 0 9 1 9 2 9 2 1 2 2 9 9 9 9 0 9 2 9 2 1 9 9 0 0 9 9 9 9 2 2 9 1 1 2 9 9 9 9 2 9 9 9 2 9 9 9 9 0 9 9 9 2 9 2 15 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 112 MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Aplicativos/Questões Gues the Movie! O que é o que é? Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News Spider Solitarie Photaf Panorama Converter Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox Shazam Weather Channel Climatempo Tic Tac Toe WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds Google Goggles IMDb Saraiva eReader Trip Advisor PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco 1 2 2 1 2 2 0 0 1 2 1 0 2 2 2 1 1 1 0 0 0 2 2 0 0 0 1 1 2 2 1 2 2 2 1 1 2 1 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 1 1 2 0 2 1 2 2 2 2 2 1 1 2 1 1 1 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 1 2 1 2 2 2 2 2 2 2 2 2 0 0 0 3 2 2 2 2 2 0 2 0 0 2 0 2 0 2 0 0 0 2 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 9 4 2 9 9 1 2 9 1 0 2 2 2 9 0 1 0 0 1 2 2 1 1 1 2 2 2 2 1 2 2 2 1 1 1 1 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 0 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 0 0 0 5 2 2 0 2 2 0 2 0 0 0 0 0 0 2 2 0 2 2 1 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 0 2 1 2 2 2 2 1 1 2 2 9 2 2 2 2 1 0 2 2 2 0 0 2 2 2 9 0 9 6 0 9 2 0 0 2 2 2 2 0 2 9 2 0 0 0 0 0 0 0 0 0 2 0 2 0 0 2 0 2 2 0 1 1 2 2 2 2 2 1 2 0 0 0 1 0 1 0 2 2 9 0 0 2 2 2 9 0 0 2 0 1 2 1 2 1 9 9 9 7 2 9 0 0 2 0 9 0 2 2 2 0 1 1 1 1 1 2 2 1 1 1 2 2 2 9 2 9 2 2 2 2 1 2 2 2 2 2 2 2 1 2 0 2 2 2 2 2 1 2 0 2 2 2 2 2 9 2 2 2 2 2 2 9 2 2 0 0 0 8 0 0 0 0 2 0 0 0 0 2 2 0 0 2 0 0 0 0 2 0 0 0 2 0 0 2 2 2 0 0 0 2 2 2 2 2 0 2 2 2 2 0 0 2 2 2 2 0 2 0 0 2 2 2 0 2 1 0 2 2 2 2 2 0 0 0 2 2 2 9 2 0 0 0 0 2 0 2 2 2 0 0 0 0 2 2 2 0 0 0 0 0 0 0 0 2 2 0 0 0 0 0 1 0 0 0 0 0 0 2 0 2 0 1 0 2 2 0 1 0 0 0 0 2 0 0 0 2 2 2 0 2 2 0 0 0 2 2 9 10 1 2 9 2 2 9 2 9 2 1 2 2 2 1 2 2 2 1 1 1 1 1 2 2 1 2 1 2 1 2 1 1 2 2 2 2 2 2 2 2 1 1 1 2 1 2 2 2 2 1 2 2 2 2 9 9 9 2 2 2 2 2 2 9 2 2 2 2 2 11 2 2 2 1 2 0 1 1 2 1 2 1 1 2 1 1 2 2 2 1 1 1 1 2 2 2 2 2 1 2 1 1 2 T 2 2 1 2 2 1 1 2 2 2 1 2 0 2 2 1 9 1 2 1 2 2 2 2 2 2 2 2 2 9 1 2 2 2 2 12 2 2 2 2 2 1 2 1 2 1 2 1 0 2 1 1 0 2 1 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 13 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 9 9 14 2 9 9 2 9 9 2 9 9 0 9 2 9 9 0 2 9 9 9 9 9 9 9 9 9 9 2 9 9 9 2 9 2 0 0 0 2 9 0 2 9 0 2 2 1 9 2 9 0 2 9 2 1 0 0 9 9 0 2 2 0 0 0 9 2 9 2 2 2 15 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 0 2 2 2 0 113 Wikipedia Wallpapers HD iPhone Instagram Aplicativos/Questões Ingresso.com Churrascometro Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS Medicamentos A a Z: Pediatria Free 2 2 2 1 2 2 2 2 2 1 0 2 2 2 1 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 0 2 2 1 1 2 2 0 1 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2 2 2 2 2 1 2 2 2 2 2 1 2 2 0 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 0 0 2 2 2 2 0 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 4 2 2 2 2 2 2 0 2 2 2 1 2 2 9 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 5 1 1 2 2 1 2 2 2 2 2 2 2 0 2 2 1 1 0 2 2 2 2 0 2 0 2 0 0 0 2 0 2 2 2 2 2 2 2 0 0 0 2 0 0 2 0 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 6 1 0 0 2 0 1 0 1 0 1 2 0 2 0 2 2 2 1 1 2 2 2 2 2 2 2 2 0 2 0 0 0 0 2 2 2 2 0 0 2 2 2 1 0 1 1 1 0 2 2 1 1 1 1 1 2 1 2 2 2 0 1 1 2 1 0 1 2 2 7 2 9 2 2 2 2 1 2 2 2 1 2 2 2 2 2 0 2 2 2 0 0 2 2 2 2 2 0 0 0 9 9 9 9 9 2 9 9 2 9 9 2 2 2 2 2 2 2 2 2 2 2 2 0 9 0 9 0 2 2 2 9 9 9 9 9 2 0 2 8 0 0 0 2 2 2 0 2 2 2 0 2 0 2 0 0 0 2 0 0 0 2 0 0 2 0 0 0 0 2 2 2 0 0 0 0 0 0 0 0 0 2 2 0 2 0 0 2 2 2 2 0 1 1 0 1 0 1 0 0 1 2 1 2 0 1 0 2 0 9 0 0 0 2 2 2 0 2 2 0 2 0 1 2 0 0 1 2 0 2 0 1 2 0 2 0 1 0 2 1 2 2 1 0 0 0 0 0 0 0 0 0 0 0 2 2 0 0 2 0 2 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 2 1 2 10 2 9 1 2 2 2 9 2 2 2 2 2 9 9 1 2 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 2 2 9 9 2 2 2 2 2 2 2 1 1 2 1 2 2 2 2 2 2 2 2 9 2 2 2 2 9 2 2 2 2 2 2 2 2 1 11 1 2 2 2 1 1 2 1 2 2 1 1 2 1 2 2 2 2 2 2 2 2 1 2 1 2 2 1 2 2 1 2 2 0 9 0 1 1 2 1 0 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 1 2 2 1 12 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 1 2 2 2 2 2 2 1 2 9 1 2 2 1 2 2 1 2 2 2 1 2 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 13 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 0 14 1 1 2 0 1 0 2 0 2 9 2 2 9 9 2 2 0 1 1 2 2 0 2 1 9 0 0 2 2 0 1 2 0 2 2 2 0 0 2 2 2 2 2 2 2 1 2 1 1 1 1 1 2 2 2 2 0 2 2 2 2 2 1 2 2 2 0 0 2 15 2 2 2 0 0 0 0 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 0 0 2 2 0 0 0 0 2 2 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 114 WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone Aplicativos/Questões EyeEm iPhone Remember The Milk iPhone MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo Dodol Phone Dicionário Porto 1001 Lugares no Brasil Decolar.com minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 2 1 2 2 2 1 2 2 2 1 2 2 2 2 0 2 2 1 9 1 9 0 1 2 2 1 2 2 2 9 2 2 2 9 0 1 0 2 2 2 1 2 2 2 2 1 2 1 1 1 2 2 2 2 2 1 2 2 2 2 2 2 0 2 2 1 2 2 2 2 0 1 1 2 1 2 1 2 2 2 2 9 2 2 2 2 2 2 9 1 2 0 2 2 2 2 2 2 2 9 0 0 0 2 2 2 9 0 2 2 2 3 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 0 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 9 9 9 2 2 9 0 9 9 9 9 9 9 0 9 2 9 9 9 2 0 9 9 0 0 9 9 2 2 2 4 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 0 2 2 0 2 2 1 2 2 5 1 2 2 0 2 0 0 2 0 0 1 2 2 0 2 1 2 2 2 2 0 2 2 2 2 1 2 1 0 0 0 2 2 2 2 0 1 0 2 9 9 9 0 9 9 2 9 2 9 9 9 9 0 9 9 9 9 9 9 9 9 9 9 2 9 9 1 2 1 6 1 0 2 0 2 0 2 0 2 2 1 0 0 2 1 0 0 2 0 2 0 2 2 2 9 9 9 0 2 0 2 2 1 0 0 1 0 0 2 9 2 9 9 9 9 9 9 9 2 2 9 9 2 9 9 9 9 2 2 9 1 2 0 9 9 9 2 2 2 7 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 2 9 2 2 1 9 2 2 2 2 2 1 2 2 2 0 2 2 9 2 9 2 9 9 9 9 9 9 9 2 2 9 9 0 9 9 9 9 2 2 1 2 2 2 9 9 9 0 0 0 8 2 2 2 0 0 2 0 2 0 0 0 2 2 2 2 2 2 0 0 2 0 0 0 2 2 2 0 0 1 0 0 2 0 0 0 0 2 0 2 1 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 9 2 2 2 2 2 2 2 2 9 9 0 0 0 9 0 0 2 2 0 2 0 2 0 0 0 0 2 2 2 2 0 0 0 2 0 2 9 0 0 0 0 0 0 2 0 0 0 0 2 0 2 0 0 2 2 2 0 0 9 1 9 2 9 2 9 9 2 9 1 9 2 9 2 2 2 9 2 2 9 9 2 0 2 10 2 2 2 2 2 2 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 9 9 9 0 2 9 9 2 2 2 2 2 2 2 2 2 2 9 9 1 9 9 9 0 9 9 9 9 2 9 0 9 0 9 2 9 2 1 2 2 0 9 9 9 2 2 2 11 2 1 2 1 2 2 2 1 1 2 2 1 2 2 1 1 2 2 2 1 2 2 9 0 2 2 9 9 1 1 2 1 1 2 2 2 1 0 2 1 2 2 2 2 2 2 9 2 0 0 2 2 2 2 2 2 2 9 2 2 2 2 2 2 0 0 2 2 2 12 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 0 0 2 2 2 9 2 0 2 2 2 2 2 0 2 0 2 1 1 2 2 2 1 1 2 2 1 2 2 1 1 1 1 2 2 2 1 1 1 2 2 1 1 1 2 2 2 13 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 1 2 2 1 2 2 1 2 2 1 2 2 1 2 2 2 1 2 2 1 2 2 2 2 2 2 2 2 9 2 1 2 1 14 2 2 1 1 2 1 1 1 1 2 1 2 1 1 1 2 2 2 2 2 2 2 2 9 9 9 2 9 9 0 0 0 0 0 1 0 1 0 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 9 2 0 0 0 15 2 0 0 0 2 0 2 0 2 0 0 0 0 0 0 0 0 0 2 0 0 0 0 2 0 0 0 0 2 0 0 2 2 2 0 0 0 2 0 2 2 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 9 0 115 Xadrez Night Vision Camera Taximetro Pro Aplicativos/Questões Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip Happy Diary Plus ColorNote aCalendar WiFi Manager Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Gues the Movie! O que é o que é? Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News 2 9 2 16 2 2 0 2 2 2 2 2 9 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 9 2 2 2 2 2 0 9 9 9 1 9 0 2 2 2 2 17 2 2 2 2 2 2 2 2 0 1 2 2 2 1 2 0 2 2 2 2 2 2 2 2 2 2 1 0 2 2 0 2 2 2 2 2 1 2 2 2 2 9 0 2 9 9 9 18 9 9 9 9 9 9 9 9 9 9 0 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 0 2 2 0 9 9 9 9 9 9 9 2 2 2 19 0 2 2 2 2 2 2 2 2 0 2 2 2 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 0 2 2 2 2 2 2 2 2 2 0 0 2 9 9 0 20 9 0 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 2 9 9 9 9 9 9 2 9 9 9 9 9 9 2 9 9 9 2 9 9 9 2 9 9 9 9 2 9 9 21 2 2 9 9 9 2 9 9 9 9 9 2 2 9 9 9 2 9 9 2 9 2 9 1 9 9 9 0 9 9 0 2 9 9 0 2 0 2 9 9 1 9 9 2 2 9 9 22 2 2 9 9 9 2 9 9 9 9 9 2 2 9 9 9 2 9 2 2 9 2 9 2 9 9 9 2 9 2 0 2 9 9 0 2 9 2 9 9 2 9 9 2 2 9 2 23 2 2 2 2 2 2 9 2 2 9 9 2 2 2 2 1 2 2 2 2 2 2 2 2 2 9 2 2 2 2 9 2 2 9 2 2 2 9 2 2 2 9 0 2 9 9 2 24 9 2 9 9 9 1 9 2 9 0 2 2 2 2 2 2 1 9 1 2 0 1 9 9 1 9 2 2 2 2 9 1 9 2 2 2 2 9 9 9 2 9 9 9 0 9 0 25 9 0 1 9 9 0 0 9 9 9 9 9 2 9 0 1 2 9 9 9 9 2 9 9 9 2 9 0 9 9 0 9 9 9 2 9 2 2 9 9 2 9 9 2 2 0 2 26 2 2 2 2 2 2 0 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 0 0 2 2 0 0 2 2 9 9 2 2 2 0 2 2 2 2 27 2 1 2 1 2 1 1 2 2 0 0 1 1 2 1 1 2 1 2 2 2 1 2 1 2 2 2 2 1 2 1 1 2 2 2 2 1 2 2 2 2 1 2 1 2 2 2 28 1 1 2 2 2 2 0 1 9 0 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 9 2 2 2 0 2 1 2 9 2 29 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 1 2 2 2 2 2 2 9 2 2 2 9 9 2 2 2 2 30 2 2 2 0 2 0 2 2 2 0 2 2 0 2 0 2 2 2 2 2 2 2 2 0 2 2 2 2 0 2 1 2 2 2 2 2 2 9 2 2 2 2 2 2 2 9 2 9 2 2 2 9 9 2 9 9 2 2 2 2 2 2 1 2 2 2 2 2 0 2 2 2 2 9 2 0 0 2 2 0 2 2 2 2 0 2 0 9 9 9 9 9 9 9 9 0 9 9 0 9 0 9 9 9 9 9 9 0 0 2 0 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 9 9 2 9 0 0 9 9 2 9 9 9 9 0 9 9 9 9 9 2 0 9 0 9 9 2 9 9 9 0 9 9 9 9 0 9 9 9 9 9 9 2 9 2 9 9 2 9 9 9 2 2 2 9 9 2 9 9 9 9 9 9 2 9 2 9 2 2 2 9 2 2 9 9 2 9 2 2 2 2 9 2 9 2 9 2 9 9 2 9 9 9 1 9 9 2 2 1 9 2 2 1 9 9 9 9 2 9 9 0 9 2 9 9 0 2 9 9 0 9 9 9 9 9 9 2 9 2 0 0 2 9 9 9 2 2 0 2 2 2 1 1 1 1 2 2 2 1 1 1 1 2 2 1 1 2 1 1 1 2 2 1 2 2 2 2 2 2 1 2 9 2 2 2 2 2 1 1 1 1 2 2 2 2 2 1 2 2 2 9 2 1 2 2 2 9 9 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2 2 2 116 Spider Solitarie Photaf Panorama Converter Aplicativos/Questões Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox Shazam Weather Channel Climatempo Tic Tac Toe WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds Google Goggles IMDb Saraiva eReader Trip Advisor PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iPhone Instagram Ingresso.com Churrascometro Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone 2 2 2 16 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 9 2 2 2 0 2 2 2 2 0 2 1 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 2 2 2 2 2 2 2 0 2 2 2 2 2 17 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 0 2 2 2 2 2 0 2 1 0 2 1 2 2 2 2 2 2 2 9 0 0 2 2 0 2 2 9 9 9 18 9 9 9 9 0 0 2 1 2 9 1 2 9 2 9 9 9 2 1 9 2 9 2 9 9 0 2 9 9 0 9 2 9 2 0 9 9 9 9 9 2 9 9 9 9 0 2 9 2 2 9 9 9 2 9 9 9 2 9 9 9 9 2 9 9 2 2 2 19 0 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 9 9 9 20 2 9 9 2 0 2 2 2 9 9 2 2 9 9 9 1 0 9 0 9 0 0 2 9 2 1 0 2 9 0 9 0 0 2 1 9 1 9 9 0 1 2 9 9 2 0 9 9 0 0 9 9 2 9 9 9 9 9 2 2 2 2 0 9 9 2 0 9 21 9 9 2 0 1 0 1 2 9 0 0 0 9 9 0 0 0 2 2 0 0 0 9 9 2 1 9 9 0 0 2 0 0 0 1 1 1 0 1 0 1 0 1 9 0 1 0 9 0 0 2 9 0 9 9 9 9 9 9 2 2 9 0 2 2 2 0 9 22 9 9 9 0 1 2 1 0 9 0 0 0 9 9 0 0 0 2 2 0 0 0 9 9 2 2 9 9 0 0 2 0 0 0 2 1 1 0 1 0 0 0 1 9 0 1 0 9 0 0 0 2 0 9 9 9 9 9 9 2 0 9 2 0 0 2 2 2 23 2 2 2 1 0 2 2 9 2 2 2 9 2 0 0 2 0 2 0 2 2 0 2 2 1 2 0 9 2 1 0 1 1 0 0 2 2 0 0 2 0 2 9 2 2 2 2 0 0 1 2 2 2 0 0 2 2 9 2 2 2 9 2 2 2 9 0 2 24 9 2 9 9 1 2 2 2 1 9 2 0 0 1 9 2 1 1 1 2 2 1 0 9 1 2 1 1 1 1 9 2 0 0 2 2 2 2 1 9 0 1 9 9 2 2 2 1 2 1 2 2 2 0 9 2 2 2 9 2 2 9 1 2 2 9 2 9 25 9 9 2 9 1 0 2 1 2 9 1 2 9 1 2 2 1 9 1 9 2 2 9 2 1 2 9 9 9 0 2 2 1 2 2 2 1 9 9 2 2 1 2 2 2 2 2 2 2 2 9 2 9 9 0 2 2 2 1 1 2 2 2 2 1 2 2 2 26 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 1 2 2 2 2 9 2 2 9 9 2 2 2 9 2 2 9 2 9 2 2 2 2 2 9 9 2 1 2 2 2 2 2 2 0 2 2 2 2 27 1 2 2 2 2 1 2 1 2 2 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 1 1 2 2 2 2 1 1 2 1 2 2 2 2 2 2 2 2 2 28 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 1 2 2 1 2 2 2 1 1 2 1 2 2 2 2 2 2 2 9 1 2 2 2 0 2 2 1 1 2 2 2 1 2 2 2 9 2 0 2 2 2 2 2 2 2 2 2 2 2 29 2 2 2 2 2 1 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 0 2 2 2 2 2 9 9 2 2 2 2 9 9 2 2 2 1 2 2 9 1 2 2 2 2 9 1 2 2 2 2 2 2 2 2 2 2 2 2 2 30 2 2 2 2 2 0 2 0 2 0 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 0 0 0 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 117 Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Aplicativos/Questões Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS Medicamentos A a Z: Pediatria Free WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone EyeEm iPhone Remember The Milk iPhone MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide 2 2 0 0 16 2 0 0 2 2 2 9 0 1 0 0 1 9 2 2 2 2 2 2 2 2 2 2 2 0 1 9 0 9 2 0 2 2 2 0 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 0 1 2 2 2 17 2 2 2 2 2 2 9 2 2 0 2 2 2 2 1 0 0 0 0 2 0 1 2 0 2 2 2 2 0 2 2 9 2 2 2 1 2 0 2 2 1 2 1 2 0 2 0 2 2 2 2 2 2 2 1 1 1 0 2 1 2 2 2 2 2 2 9 1 9 18 9 9 2 2 9 9 9 0 9 9 9 2 9 0 0 9 0 0 0 9 0 2 1 9 9 9 9 9 9 2 0 9 9 9 9 9 9 9 9 9 0 0 0 9 0 0 9 0 0 0 9 0 9 0 0 0 0 9 9 0 2 9 9 9 9 2 2 0 0 19 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 9 0 0 20 2 9 9 9 9 9 9 0 9 9 2 9 2 2 0 2 0 9 2 0 2 0 0 0 9 0 0 0 9 0 9 2 2 9 9 9 9 9 2 9 9 2 2 2 2 2 0 2 2 2 9 2 9 2 2 0 2 2 9 0 2 9 9 0 9 0 2 9 0 21 9 9 0 0 9 9 2 9 9 0 0 0 0 0 0 2 2 2 0 0 0 0 2 0 9 9 9 9 0 0 0 0 2 9 0 0 9 0 2 0 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 9 2 0 2 0 9 9 9 0 2 9 0 22 9 9 0 0 9 9 2 9 9 0 0 0 0 0 9 2 2 0 0 0 0 0 0 0 9 9 9 9 0 0 0 0 0 9 0 0 9 0 2 0 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 9 2 0 2 0 9 9 9 2 2 2 2 23 9 9 2 2 9 9 9 2 9 1 2 1 0 2 9 9 1 9 9 9 0 9 2 9 2 2 9 2 9 2 2 9 2 9 2 2 2 2 2 2 9 2 0 2 2 9 9 2 2 2 2 2 2 0 2 2 9 9 2 2 2 0 9 9 0 1 2 1 1 24 2 0 2 0 9 9 9 2 2 1 0 1 0 1 1 2 2 9 2 2 1 2 2 2 9 2 9 9 2 2 2 9 2 9 2 1 2 1 1 2 9 1 1 1 9 1 2 1 1 2 2 2 2 2 2 2 2 9 2 2 2 2 9 2 9 9 2 2 1 25 2 0 0 2 2 1 2 2 2 1 2 2 2 2 2 2 2 1 2 1 1 1 1 1 2 2 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 1 2 1 2 2 1 2 1 1 2 1 2 1 2 1 2 2 2 2 2 9 2 2 9 9 2 0 0 26 2 2 2 2 2 2 2 2 2 0 0 0 0 2 2 2 2 0 2 0 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 0 2 2 1 1 27 1 2 1 2 1 1 2 1 2 2 2 1 1 2 2 1 2 2 1 1 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 1 1 1 2 1 2 2 2 1 2 2 1 1 1 1 2 2 2 2 2 0 1 2 1 1 28 1 2 1 1 1 2 2 1 2 0 1 1 1 2 2 0 2 2 0 0 2 2 2 2 2 2 2 2 1 2 1 0 2 2 2 2 2 2 1 0 1 1 1 2 0 2 1 1 1 2 0 2 2 2 1 1 1 2 1 2 1 9 2 0 0 2 2 2 2 29 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 1 0 1 30 2 2 0 0 2 0 2 2 2 2 2 2 2 0 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 9 9 118 Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Aplicativos/Questões Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo Dodol Phone Aplicativos/Questões Dicionário Porto 1001 Lugares no Brasil Decolar.com minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa Xadrez Night Vision Camera Taximetro Pro Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip Happy Diary Plus ColorNote aCalendar WiFi Manager Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote 2 2 2 2 16 2 9 2 2 2 2 2 2 9 0 2 31 2 2 2 1 2 2 2 9 2 0 2 2 2 0 2 2 9 2 9 2 1 2 2 2 0 9 0 2 0 2 1 2 2 2 9 2 0 2 0 2 2 2 2 2 1 1 2 2 2 2 2 9 2 2 2 2 2 17 2 0 1 2 1 2 2 0 0 0 0 32 2 2 2 1 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 9 2 9 0 18 9 9 9 2 2 2 9 9 9 9 9 33 2 2 2 1 2 2 2 2 2 1 1 2 2 1 2 1 2 2 2 2 1 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 0 2 2 1 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 19 2 2 2 2 2 2 2 2 2 2 0 34 2 2 2 1 1 2 2 9 2 2 1 2 2 1 2 1 2 2 9 2 1 2 2 2 2 9 2 2 9 2 2 2 2 2 2 2 0 2 1 1 2 2 2 2 2 1 2 1 2 2 2 1 2 9 9 9 9 20 9 0 0 0 9 9 2 1 0 9 9 35 2 2 2 2 2 2 2 9 2 2 2 1 2 2 9 2 2 2 9 2 0 0 9 2 2 9 2 9 9 9 9 2 9 2 9 2 2 2 9 9 2 2 9 9 9 9 9 2 2 2 2 2 9 9 0 9 9 21 9 0 0 0 0 0 2 0 2 0 0 36 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 9 0 2 2 2 2 2 2 2 2 0 0 0 2 0 2 2 2 2 2 1 2 2 2 2 2 2 1 9 0 9 9 22 9 0 0 0 0 0 2 0 2 0 0 37 0 0 2 0 0 0 0 0 0 2 0 0 0 2 2 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 1 0 23 9 2 2 2 2 0 9 0 2 0 0 38 2 9 9 9 9 9 9 9 2 2 0 9 9 2 9 9 9 9 9 9 9 9 2 2 9 9 9 2 9 9 2 9 9 9 9 0 9 1 9 9 2 2 2 9 2 2 9 9 9 9 2 9 9 9 0 9 2 24 9 0 2 2 2 2 2 2 1 0 2 39 9 2 2 1 2 2 2 2 2 1 1 2 2 2 2 2 2 2 9 1 1 1 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 1 1 2 1 1 2 2 2 2 2 1 9 2 9 2 25 2 9 2 2 2 1 2 9 2 9 2 40 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 2 9 0 2 9 2 2 2 9 1 2 2 9 2 2 1 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 26 2 2 2 2 1 2 1 1 2 1 2 41 2 1 1 1 1 2 1 2 2 2 2 2 2 1 2 1 2 2 2 2 0 2 2 2 1 9 0 2 9 1 2 2 2 1 2 0 0 2 2 1 1 2 2 1 1 0 2 1 2 2 1 2 2 2 0 9 1 27 2 2 2 2 1 1 1 2 1 1 1 42 2 2 2 1 2 2 2 2 2 0 1 1 1 0 2 1 1 1 0 2 0 1 2 2 2 2 0 1 0 2 1 2 2 1 2 2 0 1 1 0 1 2 2 1 1 1 2 1 2 1 2 1 2 2 2 0 2 28 2 2 2 1 2 2 2 9 2 9 2 43 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0 0 0 0 0 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 29 2 2 2 0 2 1 2 2 2 0 1 44 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 2 2 2 2 1 2 2 2 0 2 2 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 30 2 2 2 1 2 2 1 2 2 2 2 45 1 2 2 2 2 2 2 2 2 9 0 2 2 1 2 2 2 2 9 2 2 2 2 2 2 9 0 2 9 2 2 2 2 2 2 2 0 2 9 0 2 2 2 2 2 1 2 2 2 1 2 2 1 119 Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Aplicativos/Questões Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Gues the Movie! O que é o que é? Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News Spider Solitarie Photaf Panorama Converter Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox Shazam Weather Channel Climatempo Tic Tac Toe WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds 2 2 2 2 31 0 2 0 0 2 2 2 2 2 2 2 9 2 2 9 9 1 2 2 2 9 9 2 9 9 9 2 0 0 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 1 2 2 2 2 2 1 2 2 1 2 1 2 2 2 2 2 9 9 2 2 2 2 32 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 33 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 34 2 2 2 1 2 2 2 2 2 2 2 2 2 2 9 9 2 2 9 2 9 2 2 2 9 9 2 1 1 1 2 1 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 9 2 2 2 2 2 2 2 2 2 2 2 9 2 35 9 2 2 9 2 2 9 9 2 9 9 9 9 2 9 9 9 2 9 9 9 9 2 2 9 9 9 9 9 9 9 1 2 2 2 2 2 2 2 9 9 9 9 2 9 9 9 9 1 9 9 9 2 9 2 2 9 2 9 2 9 2 2 9 9 0 2 2 1 36 2 2 2 2 2 2 2 2 2 2 9 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1 1 2 2 2 2 2 2 2 1 2 1 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 2 2 0 0 0 0 0 2 2 0 0 2 0 2 0 0 0 0 2 2 0 0 0 0 0 0 2 2 0 9 9 38 0 9 2 1 2 2 9 2 2 9 9 9 9 9 9 9 0 2 9 0 9 9 1 9 9 9 2 0 0 9 9 9 9 9 9 9 9 9 9 2 9 9 9 2 1 9 2 0 0 1 1 2 0 1 0 0 0 2 0 1 0 0 0 0 1 1 1 2 1 39 1 2 1 1 2 2 2 2 2 1 0 2 2 2 2 0 2 2 1 2 2 2 2 2 2 9 2 1 1 2 2 2 1 1 1 2 1 1 2 1 2 0 2 0 2 0 0 9 2 0 0 9 1 2 0 0 0 2 0 2 1 0 0 0 0 1 2 2 2 40 9 2 2 2 2 1 2 2 2 2 9 2 0 2 9 2 1 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 9 2 2 2 2 0 9 0 1 2 1 1 41 9 2 2 1 2 1 2 2 1 2 9 2 2 2 9 2 1 2 9 2 2 2 2 2 2 2 2 2 2 1 2 0 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 0 2 2 2 1 2 2 2 2 2 2 9 1 2 1 2 42 0 1 0 1 2 2 1 1 2 1 2 1 1 2 1 1 1 2 1 2 2 2 2 1 0 0 2 0 0 0 2 1 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 43 0 2 1 2 2 2 2 0 2 2 0 0 0 2 2 0 2 2 0 2 0 0 2 0 2 0 1 2 2 0 2 2 2 2 2 2 2 2 1 2 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 1 2 2 2 44 1 1 2 1 2 2 2 2 2 2 9 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2 1 1 1 1 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 45 0 2 9 9 2 2 0 0 2 2 9 9 2 2 2 9 1 2 2 2 9 9 1 0 9 0 2 2 2 1 2 1 2 2 2 1 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 0 2 9 2 2 2 2 2 2 2 2 9 120 Google Goggles IMDb Saraiva eReader Trip Advisor Aplicativos/Questões PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iPhone Instagram Ingresso.com Churrascometro Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone 2 2 0 2 31 2 2 2 2 9 2 2 9 2 2 2 2 2 2 9 2 2 2 2 0 0 9 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 9 2 9 9 2 2 2 9 9 9 2 0 9 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 32 2 2 2 2 2 2 2 2 2 2 1 2 1 2 9 2 2 1 1 9 1 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 0 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 33 2 2 1 2 2 2 2 2 2 9 2 2 2 2 9 2 2 1 2 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 1 2 1 2 2 2 2 2 34 1 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 1 2 2 2 2 2 1 1 2 2 2 2 2 9 2 2 35 9 2 9 2 9 2 9 9 2 9 2 2 9 2 9 9 9 2 2 9 9 2 9 9 2 2 9 2 2 2 2 2 2 2 2 2 2 9 9 9 9 9 9 9 2 9 9 9 2 2 9 9 9 9 9 2 2 2 2 2 2 2 2 2 2 2 1 2 2 36 2 2 1 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 0 2 2 2 2 1 2 2 1 2 2 2 2 0 0 2 37 0 0 0 2 0 0 0 0 0 0 9 9 0 0 0 0 2 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 1 2 0 0 0 0 0 0 0 2 9 38 9 2 0 0 9 2 1 9 9 0 2 9 2 9 9 9 2 2 9 9 0 0 0 1 0 0 9 0 9 9 0 1 9 0 9 9 0 9 9 9 0 9 9 2 2 9 9 9 9 9 0 0 2 9 2 9 0 2 0 0 9 0 0 0 0 0 0 9 9 39 9 0 9 0 0 9 9 0 2 2 2 0 2 0 0 0 2 2 2 9 2 0 2 2 2 2 2 0 2 0 0 0 2 0 0 0 2 1 2 2 0 2 2 2 2 2 0 9 2 2 1 2 2 0 2 2 0 2 2 0 0 2 0 0 0 2 2 2 2 40 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 1 2 2 0 2 1 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 0 9 2 1 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 1 2 2 41 2 2 1 2 2 2 2 2 2 2 1 2 1 1 2 2 2 2 1 2 1 1 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 0 2 2 9 2 2 2 2 2 1 2 2 1 2 2 1 2 2 2 1 2 9 2 2 2 2 1 2 2 2 2 2 42 9 2 2 2 1 2 2 1 2 2 2 2 0 2 2 2 2 1 1 2 0 2 2 2 2 2 0 2 2 2 1 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 0 2 2 2 2 1 2 2 2 2 1 0 2 2 2 2 43 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 1 2 1 2 1 1 1 2 2 2 1 2 1 2 2 2 1 2 2 2 1 2 2 0 2 1 1 1 0 2 2 2 2 2 1 2 1 2 2 44 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 0 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 45 1 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 1 2 1 2 2 2 2 1 2 9 2 2 2 2 2 2 2 2 2 2 2 0 2 0 0 2 2 2 2 2 2 2 2 2 0 0 0 2 2 2 2 2 1 2 2 1 2 2 2 121 Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Aplicativos/Questões Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS Medicamentos A a Z: Pediatria Free WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone EyeEm iPhone Remember The Milk iPhone MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo Dodol Phone Aplicativos/Questões Dicionário Porto 1001 Lugares no Brasil Decolar.com minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica 9 2 2 2 31 2 2 2 9 2 9 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 1 2 2 2 1 2 2 2 2 2 46 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 32 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 1 2 2 2 1 1 2 47 2 2 2 2 2 9 2 9 2 9 2 9 2 2 2 2 33 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 0 2 2 1 2 1 2 1 1 2 2 2 1 9 1 0 2 48 0 2 0 2 0 0 0 0 0 0 0 0 2 2 2 2 34 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 9 0 0 9 9 9 9 2 9 1 2 9 9 1 9 2 9 9 49 2 2 2 1 1 2 2 2 2 2 2 2 2 9 9 9 35 9 2 9 9 2 9 9 9 9 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 0 2 2 2 2 2 2 0 1 2 2 0 2 9 2 1 2 50 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 36 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 1 1 2 2 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 2 0 2 51 1 2 2 0 2 2 2 2 2 2 2 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 0 0 0 0 0 1 0 0 0 0 0 0 0 2 0 2 9 0 9 2 9 2 2 1 2 9 2 9 9 9 2 2 9 9 52 0 0 0 0 0 9 0 0 0 0 2 0 9 9 9 9 38 9 9 0 0 0 9 9 9 9 9 0 0 0 2 2 1 2 2 2 0 2 1 0 2 1 2 0 1 0 9 0 1 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0 0 1 53 2 2 0 0 0 1 0 9 1 0 2 2 2 2 2 2 39 0 1 2 0 2 2 2 1 0 0 2 0 0 0 2 0 0 2 2 2 2 2 2 2 0 2 0 2 0 0 0 0 1 9 9 9 9 9 2 9 9 2 2 2 2 2 2 2 0 2 1 2 54 2 2 2 1 2 2 2 2 2 2 2 2 0 0 2 0 40 1 1 1 2 2 1 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 1 2 2 1 9 2 1 2 2 2 1 2 1 1 55 9 0 0 0 0 0 0 0 0 0 0 0 1 0 2 0 41 2 1 2 9 2 0 2 0 1 2 2 2 2 1 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 9 0 2 1 2 2 2 2 2 0 2 2 2 56 0 0 0 0 2 0 0 0 0 0 0 0 2 2 2 2 42 2 2 2 0 2 2 1 2 1 0 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 9 2 2 9 0 9 9 0 9 2 2 2 2 1 9 0 9 1 2 57 2 1 2 1 1 2 1 0 2 2 2 1 2 2 2 2 43 2 2 2 1 2 2 1 1 2 1 2 2 2 1 1 1 0 2 1 2 1 2 2 1 2 2 2 1 0 0 1 2 2 2 9 2 0 9 2 9 9 2 9 2 9 9 2 2 9 2 9 9 58 2 1 2 0 1 2 2 2 1 2 2 2 2 2 2 2 44 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 9 2 2 9 2 2 9 1 9 2 2 2 2 2 9 2 1 2 2 59 2 0 1 0 1 2 1 2 2 2 2 2 2 2 2 2 45 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 0 0 0 2 1 0 0 0 2 2 0 0 0 2 2 0 60 2 2 2 1 2 2 2 2 2 2 1 2 122 Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Aplicativos/Questões Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa Xadrez Night Vision Camera Taximetro Pro Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip Happy Diary Plus ColorNote aCalendar WiFi Manager Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Gues the Movie! O que é o que é? Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com 2 2 9 2 46 2 2 9 2 2 2 9 2 2 9 0 9 9 9 9 2 9 2 9 1 2 2 9 9 2 9 9 1 9 9 2 2 2 2 2 2 9 2 2 9 2 9 2 2 9 2 1 9 9 2 9 9 9 9 2 9 9 9 2 9 9 9 9 2 2 9 1 9 2 47 9 2 9 2 2 2 9 2 2 9 9 9 9 2 2 2 9 9 9 2 9 2 9 2 2 2 2 2 2 2 2 9 2 2 2 2 9 9 2 9 2 9 2 2 9 2 2 2 2 2 2 9 9 9 2 9 9 9 2 9 2 9 9 2 9 0 0 0 2 48 0 0 0 0 2 2 0 0 2 0 2 0 0 2 0 0 0 0 0 0 2 0 2 2 0 0 0 0 0 0 0 2 0 0 0 2 2 2 0 0 2 0 0 1 2 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 2 2 49 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 50 2 2 2 2 0 2 2 2 1 2 2 2 2 2 2 2 2 2 2 0 2 2 2 0 2 2 1 2 2 0 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 0 51 2 2 2 2 0 0 0 0 0 0 2 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 9 2 0 2 52 9 0 0 0 0 0 0 0 0 0 9 9 0 2 2 0 0 9 0 2 9 0 2 0 2 2 2 2 9 2 2 0 2 2 0 0 2 9 2 9 0 0 9 2 0 2 2 9 0 2 0 2 0 9 0 0 2 9 0 9 0 0 0 2 9 0 0 2 1 53 0 2 9 2 0 2 0 2 2 9 0 2 9 2 0 0 0 0 0 2 0 9 9 0 0 0 0 1 2 1 2 0 1 0 0 0 2 2 2 0 2 0 0 1 0 1 0 9 0 2 0 0 0 0 0 9 9 0 2 0 2 0 0 1 2 2 2 2 2 54 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 0 0 0 55 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 56 0 0 0 0 0 0 0 2 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 2 1 1 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 2 0 0 1 1 2 2 57 2 1 0 2 1 2 2 2 2 2 0 0 2 1 1 2 2 2 0 2 0 2 1 1 0 2 1 1 1 1 2 2 2 1 2 0 2 1 0 2 2 2 2 1 0 1 2 1 1 2 2 2 1 1 2 9 2 1 2 1 2 1 1 2 1 2 1 2 1 58 2 2 2 2 1 2 2 2 1 2 2 2 2 2 2 1 2 2 2 0 0 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 59 2 2 2 2 0 2 2 2 2 9 0 0 2 0 2 1 2 2 2 0 0 2 2 0 0 2 2 2 1 1 2 2 2 2 2 1 2 0 2 1 1 1 2 1 2 2 2 1 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 60 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 1 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 123 Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Aplicativos/Questões Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News Spider Solitarie Photaf Panorama Converter Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox Shazam Weather Channel Climatempo Tic Tac Toe WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds Google Goggles IMDb Saraiva eReader Trip Advisor PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iPhone Instagram Ingresso.com Churrascometro Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack 9 9 9 9 46 9 2 9 2 1 1 1 2 2 2 2 9 9 9 9 2 9 2 1 2 1 9 9 9 2 2 2 2 9 2 2 2 9 2 1 9 9 2 1 1 2 1 2 2 2 9 2 9 9 2 9 2 2 9 2 9 9 9 9 2 9 9 2 2 9 9 9 2 9 47 9 2 2 2 9 9 9 2 9 9 9 2 2 9 2 9 9 2 2 2 2 2 9 2 2 2 2 9 2 2 2 2 2 2 2 2 9 2 1 2 2 2 2 9 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 0 0 0 0 48 0 2 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0 2 0 0 0 1 0 0 0 2 0 2 0 0 0 0 2 0 2 0 0 2 0 0 0 0 0 1 0 0 0 0 0 0 0 0 2 2 2 2 49 2 2 2 1 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 50 2 2 2 0 2 2 2 1 2 2 2 1 2 2 2 2 2 1 2 1 2 2 2 2 1 1 1 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 2 1 2 51 2 2 2 2 0 0 0 1 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 1 2 2 2 1 2 2 2 0 2 2 0 1 2 2 2 2 1 1 0 2 2 1 2 2 1 1 1 1 1 2 1 2 1 2 2 2 2 2 2 9 2 2 0 52 0 9 9 2 9 9 9 0 9 9 9 9 0 9 0 9 9 2 0 0 0 2 9 0 2 2 0 0 2 0 2 2 9 0 0 0 9 2 0 0 2 0 2 2 2 0 2 2 0 0 2 0 9 2 0 0 0 2 2 0 0 2 0 0 0 0 9 1 0 53 0 0 0 0 2 2 2 0 2 0 1 0 9 2 2 0 0 1 0 0 1 2 2 2 1 2 0 9 0 2 2 1 1 1 1 9 0 0 2 2 2 2 0 0 0 0 2 2 0 2 2 2 2 2 1 2 0 2 1 0 1 1 0 1 0 2 2 2 1 54 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 1 2 0 2 1 0 0 1 2 2 2 0 0 0 0 55 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 2 0 0 0 0 0 0 9 9 9 0 0 0 0 0 0 0 0 9 9 9 0 0 0 0 0 0 0 9 1 0 0 0 0 1 0 0 56 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 0 0 1 0 0 2 0 0 0 1 0 0 0 1 0 0 9 9 9 0 0 0 0 2 2 1 1 9 2 9 0 0 0 1 0 0 0 9 2 2 0 0 1 1 2 1 57 1 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 2 0 1 2 2 2 2 2 2 2 2 1 2 2 0 2 2 2 2 2 1 1 2 2 2 1 2 2 1 2 2 2 2 2 1 58 1 2 2 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 0 2 2 1 2 2 2 2 2 2 2 2 59 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 1 2 1 2 2 2 2 9 2 2 2 2 9 9 2 2 2 2 2 2 2 2 2 60 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 124 AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Aplicativos/Questões Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS Medicamentos A a Z: Pediatria Free WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone EyeEm iPhone Remember The Milk iPhone MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone 2 2 9 2 46 2 2 2 2 2 2 2 2 2 9 1 9 9 9 9 9 1 9 9 9 2 2 9 9 9 9 9 2 2 2 2 2 2 2 2 2 2 2 9 9 9 9 2 9 9 2 9 9 9 9 9 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 47 2 9 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 9 9 9 9 2 2 2 1 2 2 2 1 2 9 1 0 2 2 2 2 9 2 9 2 2 2 2 2 2 9 2 2 2 2 2 2 9 2 2 2 9 2 2 2 2 2 2 2 0 0 0 0 48 0 0 1 0 0 0 0 0 0 2 0 2 2 1 2 0 0 0 0 0 0 1 0 0 2 2 1 0 0 1 1 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 2 0 2 1 0 0 0 2 0 1 1 2 0 2 0 2 2 2 2 49 2 2 2 2 2 2 2 2 1 1 2 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 1 1 2 2 1 2 2 2 2 50 2 2 1 1 1 1 2 1 1 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 1 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 1 2 1 2 1 1 1 1 2 1 2 2 2 2 51 2 2 2 2 2 1 2 2 2 0 2 0 1 2 2 2 2 2 2 2 0 1 2 2 1 1 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 0 1 0 1 1 9 0 2 0 52 0 0 2 0 2 0 2 0 0 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 2 2 2 0 0 0 2 0 2 0 2 2 2 53 1 2 0 1 2 1 1 2 2 2 2 0 0 2 2 0 2 0 2 9 2 2 0 0 2 0 2 2 0 0 1 0 0 1 0 0 1 0 1 0 1 0 1 2 0 1 1 0 2 2 0 2 2 0 1 1 2 0 2 0 2 0 2 1 1 2 2 2 2 54 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 1 1 2 2 2 1 1 2 2 2 2 2 2 2 2 2 1 1 1 1 0 2 0 2 1 2 2 2 2 1 0 2 1 1 2 2 1 2 1 2 1 2 2 2 1 2 2 2 0 9 2 0 55 0 0 0 0 0 0 0 0 0 9 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 0 56 0 0 0 0 0 0 0 2 0 0 0 0 1 0 0 1 2 0 0 0 0 0 0 0 1 0 0 0 2 2 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 2 2 2 2 57 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 0 0 1 0 2 1 0 2 2 0 2 2 0 0 2 1 1 1 2 2 2 1 2 2 2 2 2 2 0 2 2 0 1 2 2 2 2 0 2 1 2 1 2 2 2 1 2 2 2 2 2 1 2 58 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 59 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 1 2 2 2 1 2 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 60 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 125 GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Aplicativos/Questões Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo Dodol Phone Aplicativos/Questões Dicionário Porto 1001 Lugares no Brasil Decolar.com minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa Xadrez Night Vision Camera Taximetro Pro Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip 2 2 2 2 46 2 2 2 2 2 2 2 2 0 2 1 1 2 2 0 2 2 2 1 2 2 9 1 2 61 2 2 2 1 2 2 2 2 2 1 2 2 2 0 2 1 2 2 9 2 0 2 2 2 2 9 0 2 2 2 2 2 2 1 2 0 0 2 2 0 1 2 2 2 47 2 9 2 2 2 2 2 1 9 2 1 2 2 2 1 2 2 2 2 2 2 0 1 2 62 2 0 2 0 0 2 1 2 2 2 1 2 2 0 2 1 2 2 2 2 0 1 2 0 0 2 0 1 2 1 2 1 2 0 2 0 0 2 2 0 1 0 1 0 48 2 0 0 0 0 2 0 2 0 2 2 2 2 2 2 1 0 1 0 2 2 2 2 2 63 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 0 2 2 0 0 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 1 49 1 1 2 2 2 9 0 0 9 0 9 9 0 9 9 0 2 2 2 0 9 2 1 2 64 9 9 9 9 9 9 9 9 9 9 0 2 9 9 9 1 9 0 9 0 9 0 9 9 0 9 2 0 9 0 9 9 2 9 9 9 9 1 9 9 2 0 2 1 50 2 2 1 1 1 2 2 0 0 1 2 1 2 2 1 2 2 2 2 0 0 0 0 2 65 2 9 9 9 9 9 9 9 9 9 9 2 9 9 9 1 9 2 9 0 9 2 9 9 0 9 2 9 9 0 9 9 2 9 9 9 9 2 9 9 2 2 1 1 51 1 2 1 0 2 2 2 2 0 0 2 2 2 2 2 2 2 2 2 1 2 2 1 2 66 9 9 9 9 9 9 9 9 0 9 9 0 9 9 9 1 9 0 9 0 9 0 9 9 0 9 2 9 9 0 9 9 2 9 9 9 9 2 9 9 0 2 0 2 52 0 0 0 0 2 9 2 0 2 2 2 0 2 2 9 2 2 2 2 2 9 2 9 2 67 0 9 9 9 9 9 9 9 9 9 9 2 9 9 9 2 9 2 9 2 9 2 9 9 9 9 2 9 9 2 9 9 2 9 9 9 9 2 9 9 1 0 2 2 53 0 0 2 1 2 0 2 0 2 2 2 2 2 2 0 2 2 2 2 0 0 2 2 1 68 2 2 0 0 1 2 0 0 2 2 0 0 0 0 0 2 0 0 0 0 2 2 0 2 0 0 0 0 0 2 2 2 2 0 2 2 2 2 0 2 2 2 2 2 54 2 2 2 1 2 2 2 9 2 1 2 2 2 2 1 2 2 2 1 2 0 2 1 1 69 1 2 9 9 2 2 9 9 2 2 9 9 9 9 9 2 9 9 9 9 1 2 9 2 9 9 9 9 9 2 2 2 2 9 2 2 2 2 9 2 0 2 0 0 55 0 0 0 0 0 9 2 9 0 0 0 9 0 0 0 0 9 0 9 0 1 2 9 2 70 2 2 9 9 2 2 9 9 2 2 9 9 9 9 9 2 9 9 9 9 2 2 9 2 9 9 9 9 9 2 2 2 2 9 0 1 1 2 9 1 0 0 0 0 56 0 0 0 0 0 0 2 0 0 2 1 9 0 0 0 0 2 0 0 0 0 0 9 2 71 2 2 2 0 2 2 2 9 2 2 2 2 2 0 2 1 2 2 2 2 0 1 9 2 1 2 2 1 1 2 2 2 2 2 2 1 0 2 2 0 1 2 2 2 57 1 0 2 2 2 1 2 0 2 2 2 0 0 2 2 2 2 2 1 0 1 1 2 2 72 2 0 2 0 0 2 2 2 2 2 0 2 2 0 0 2 2 2 2 0 0 2 2 0 0 2 0 2 9 0 2 2 2 2 2 2 0 2 9 0 2 2 1 2 58 2 2 2 2 2 2 2 1 0 2 2 2 2 2 0 1 1 2 2 2 2 2 1 1 73 0 0 0 0 9 9 9 9 0 9 2 9 9 9 9 9 9 1 9 9 9 1 9 9 9 9 9 9 9 2 9 0 9 9 9 9 9 9 9 9 2 2 2 2 59 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 9 2 2 2 2 2 2 2 2 74 2 0 0 0 9 9 9 9 0 9 0 9 9 0 9 9 9 0 9 9 9 0 9 9 0 9 9 9 9 9 9 0 9 9 9 0 9 9 9 9 2 2 2 2 60 2 2 2 2 2 2 2 2 2 1 1 2 2 2 1 2 2 2 1 2 2 2 2 2 75 9 9 9 2 0 9 2 9 9 9 9 9 9 2 9 0 9 9 9 2 2 9 9 2 2 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 126 Happy Diary Plus ColorNote aCalendar WiFi Manager Aplicativos/Questões Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Gues the Movie! O que é o que é? Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News Spider Solitarie Photaf Panorama Converter Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox 1 2 1 2 61 2 0 2 1 2 2 2 2 1 0 2 2 2 1 2 1 0 2 2 1 2 2 2 9 2 1 2 9 1 1 2 2 2 2 2 2 2 1 1 1 0 0 0 2 0 1 1 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 1 2 2 2 2 0 2 62 0 0 1 1 2 2 2 0 2 0 2 1 1 2 2 1 2 1 2 1 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 1 1 2 2 1 1 1 2 2 0 0 0 0 2 2 2 2 2 2 2 2 1 2 1 2 2 1 2 2 2 2 2 2 0 63 2 2 2 2 2 2 0 2 0 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 9 9 9 9 64 9 9 9 9 0 9 9 0 0 9 2 9 0 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 0 9 9 9 9 9 9 9 0 9 9 0 9 9 9 9 9 0 0 9 9 9 9 9 9 65 9 9 9 9 2 9 9 2 0 9 2 9 2 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 1 9 9 9 9 9 9 9 0 9 9 1 9 9 9 9 9 9 0 9 9 9 9 9 9 66 9 9 9 9 0 9 9 0 0 9 2 9 0 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 2 9 9 9 9 9 9 9 0 9 9 0 9 9 9 9 9 0 0 9 9 9 9 9 9 67 9 9 9 9 2 9 9 2 2 9 2 9 2 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 2 9 9 9 9 9 9 9 2 9 9 2 9 9 9 9 9 0 2 9 9 0 0 0 1 68 0 2 0 0 0 0 0 0 2 2 0 0 0 0 0 2 0 0 2 0 0 2 2 0 0 0 0 0 0 2 2 0 0 0 0 0 0 0 0 2 0 0 2 2 0 0 0 0 0 0 0 2 2 2 0 0 0 0 2 0 2 0 2 2 2 9 9 9 2 69 9 2 9 9 9 9 9 9 2 2 9 9 9 9 9 2 9 9 2 9 9 2 2 9 9 9 9 9 9 2 2 9 9 9 9 9 9 9 9 2 9 9 2 2 9 9 9 9 9 9 9 2 2 2 9 9 9 9 2 9 2 9 2 1 2 9 9 9 2 70 9 2 9 9 9 9 9 9 2 2 9 9 9 9 9 2 9 9 2 9 9 2 2 9 9 9 9 9 9 2 2 9 9 9 9 9 9 9 9 2 9 9 2 2 9 9 9 9 9 9 9 2 2 2 9 9 9 9 2 9 2 9 2 2 1 2 2 1 2 71 1 0 2 1 2 2 2 2 1 1 2 2 2 0 2 1 0 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 1 2 9 2 2 1 2 1 1 1 2 0 2 2 2 1 2 2 2 2 2 1 2 2 2 1 1 2 1 2 2 2 2 2 0 2 72 1 2 1 0 2 0 1 2 0 0 2 2 2 9 1 1 9 1 2 2 0 2 2 2 2 2 2 2 0 2 2 2 0 2 2 2 2 2 9 2 9 9 2 2 0 0 0 0 0 2 2 2 2 2 2 2 2 2 2 2 2 9 0 2 2 9 9 9 9 73 0 9 9 9 9 0 9 9 9 9 0 9 0 9 9 9 9 0 0 9 9 2 9 9 9 9 9 9 9 9 9 9 0 9 9 9 9 9 9 0 9 9 9 0 2 9 9 9 2 2 9 9 9 2 9 0 9 9 2 2 2 2 2 9 1 9 0 0 9 74 2 0 9 9 9 2 9 9 9 9 0 9 0 9 9 0 9 1 1 9 9 2 9 9 9 9 9 9 9 9 9 9 0 9 9 9 9 9 9 0 9 9 9 0 2 9 0 0 0 9 9 9 9 9 9 0 9 9 0 0 2 2 0 9 1 2 9 9 9 75 9 9 9 9 2 9 9 9 9 9 9 9 9 9 9 9 9 9 9 2 2 2 2 9 9 9 9 9 9 9 2 9 9 9 9 9 9 9 9 2 9 9 2 2 2 9 9 9 9 9 9 9 9 9 9 9 9 9 2 2 2 2 2 9 2 127 Shazam Weather Channel Climatempo Tic Tac Toe Aplicativos/Questões WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds Google Goggles IMDb Saraiva eReader Trip Advisor PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco Wikipedia Wallpapers HD iPhone Instagram Ingresso.com Churrascometro Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias 2 1 2 1 61 2 2 2 2 2 2 2 9 1 2 2 1 2 2 1 2 2 2 2 1 2 2 2 2 2 1 1 2 1 1 2 2 1 1 1 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 2 1 0 1 2 2 2 0 1 0 1 2 62 2 1 2 1 2 2 2 1 2 2 1 1 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 0 2 9 9 0 2 1 2 2 1 2 0 2 2 2 2 1 2 1 2 1 1 2 2 0 1 0 0 2 1 0 0 2 2 0 2 2 2 2 2 63 2 2 2 2 0 2 2 2 0 2 2 0 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 1 2 2 2 2 1 2 2 2 2 0 2 2 2 2 0 2 2 2 2 2 2 2 2 9 9 9 9 64 9 2 9 2 9 0 2 2 0 9 9 1 9 9 1 2 9 9 0 1 9 9 9 9 9 1 2 9 2 1 1 9 9 0 9 9 9 9 9 9 2 9 9 1 1 1 1 1 2 2 9 9 0 1 1 1 1 9 9 9 9 9 1 9 9 9 2 9 65 9 1 9 2 9 2 2 2 0 9 9 1 9 2 1 9 9 9 2 2 9 2 2 1 2 2 2 2 2 2 2 2 0 2 9 9 9 9 9 9 2 9 9 2 0 2 0 2 2 1 2 2 0 0 0 0 9 9 9 9 9 9 9 9 9 9 1 9 66 9 1 9 0 9 2 2 0 0 9 9 1 9 2 0 9 9 9 0 2 9 2 2 2 9 1 2 2 2 2 0 2 9 2 9 9 9 9 9 9 0 9 9 0 0 0 2 0 1 0 0 0 9 0 9 9 9 9 9 9 9 9 9 9 9 9 0 9 67 9 0 9 0 9 0 0 2 9 9 9 1 9 0 0 0 9 9 2 2 9 0 2 2 2 2 0 0 0 2 2 2 0 2 9 9 9 9 9 9 2 9 9 2 2 2 0 2 2 2 2 2 9 2 9 9 9 9 9 9 9 9 9 9 0 2 0 0 68 2 2 0 0 2 2 0 0 2 2 0 2 0 2 0 0 2 0 2 2 0 0 0 0 0 2 0 0 0 2 2 0 0 2 2 0 0 2 2 2 0 0 0 0 0 0 9 0 0 0 2 0 0 2 0 0 0 2 0 0 0 0 0 0 9 1 9 9 69 2 0 9 9 2 2 9 9 2 2 0 2 9 2 9 9 2 9 1 9 9 9 9 9 9 0 9 9 9 2 1 9 9 2 1 9 9 2 2 2 9 9 9 9 9 9 9 9 9 9 2 9 9 2 9 9 9 2 9 9 9 9 9 9 9 0 9 9 70 2 1 9 9 0 2 9 9 2 2 9 2 9 2 9 9 2 9 2 9 9 9 9 9 9 0 9 9 9 2 2 9 9 2 2 9 9 0 2 2 9 9 9 9 9 9 9 9 9 9 0 9 9 1 9 9 9 0 9 9 9 9 9 9 1 1 1 1 71 1 1 2 1 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 1 1 1 2 2 2 1 2 2 1 2 2 2 2 1 2 2 2 2 1 2 2 1 1 1 1 1 2 1 2 2 1 1 2 2 1 2 2 2 1 2 0 2 2 72 0 1 1 1 1 2 0 1 9 1 1 0 0 1 2 2 1 0 0 1 2 2 2 2 2 2 2 2 1 2 0 0 0 0 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 1 2 0 1 0 0 2 2 2 0 2 1 0 2 2 2 0 9 73 0 1 2 0 9 0 2 2 9 2 1 0 2 0 2 9 1 0 2 2 9 0 2 2 9 1 0 9 9 2 2 2 2 1 2 9 9 2 9 9 2 2 9 9 2 0 9 0 2 2 2 2 0 0 0 0 0 0 9 9 9 0 0 0 2 0 2 9 74 0 1 2 2 9 1 0 9 9 0 2 0 0 9 2 9 1 0 2 1 9 1 0 2 9 2 2 9 9 2 2 2 9 2 9 9 9 9 0 9 0 0 9 9 0 0 9 0 2 0 2 9 0 9 0 0 9 9 9 9 9 2 0 9 2 9 9 9 75 9 2 9 9 9 2 2 2 9 9 2 0 9 9 2 9 1 9 2 2 9 9 9 9 9 2 2 9 9 9 0 2 9 2 9 9 9 9 2 9 9 9 9 9 9 9 9 2 9 2 2 9 2 9 9 9 2 2 9 9 9 0 9 9 128 Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Aplicativos/Questões Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS Medicamentos A a Z: Pediatria Free WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone EyeEm iPhone Remember The Milk iPhone MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo 2 2 0 2 2 61 2 1 1 1 2 1 1 2 2 2 1 2 1 2 1 2 1 2 1 2 2 2 2 1 2 2 1 2 2 0 2 1 2 2 2 2 1 2 2 2 2 2 1 1 2 2 9 2 0 0 1 2 9 9 2 1 2 2 2 2 2 1 2 0 1 2 1 2 1 62 1 1 1 2 2 1 1 2 2 2 0 2 0 2 1 2 1 2 0 2 0 1 1 1 1 1 2 1 2 2 1 1 1 1 0 1 1 1 1 1 1 1 1 1 2 1 2 2 1 0 1 1 2 2 1 2 0 2 2 2 1 2 2 2 2 2 2 2 2 63 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 0 2 2 2 2 2 2 0 9 0 9 1 2 64 1 2 1 1 2 2 1 1 0 9 9 9 9 9 9 9 9 9 9 9 9 9 0 2 1 0 2 2 1 1 1 1 2 1 2 1 2 1 2 2 2 1 2 2 2 2 9 9 9 9 9 9 1 2 9 1 9 9 0 9 2 9 2 0 9 0 9 2 2 65 1 1 1 1 2 2 1 2 1 9 9 9 9 9 9 9 9 9 9 9 9 9 0 2 1 1 2 2 1 1 1 2 2 1 2 1 2 2 2 2 2 2 2 2 1 2 9 9 9 9 9 9 1 2 9 2 2 2 2 0 2 2 2 9 9 0 9 2 0 66 0 0 2 1 2 2 0 0 0 9 9 9 9 9 9 9 9 9 9 9 9 9 0 2 2 2 2 2 0 0 0 0 1 0 2 0 2 2 1 2 1 1 2 2 1 2 9 0 9 9 9 9 2 2 9 0 2 2 0 0 1 2 2 9 9 2 9 2 2 67 2 2 2 2 2 2 2 2 2 9 9 9 9 9 9 9 9 9 9 9 9 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 9 9 9 9 2 2 9 2 2 2 2 2 2 2 2 9 0 0 0 2 0 68 0 2 0 0 0 2 0 0 0 0 1 0 0 2 0 0 0 0 0 0 0 0 0 2 0 0 0 2 0 0 0 0 2 0 0 0 0 0 2 0 2 0 0 0 0 2 0 0 0 0 0 0 0 0 2 0 2 0 1 0 0 0 0 0 9 9 9 0 9 69 9 1 9 9 9 1 9 9 9 9 2 9 9 1 9 9 9 9 9 9 9 9 9 1 9 9 9 1 9 9 9 9 0 9 9 9 9 9 2 9 1 9 9 9 9 2 9 9 9 9 9 9 9 9 1 9 2 9 2 9 9 9 9 9 9 9 9 2 9 70 9 2 9 9 9 1 9 9 9 9 2 9 9 2 9 9 9 9 9 9 9 9 9 1 9 9 9 1 9 9 9 9 2 9 9 9 9 9 2 9 1 9 9 9 9 2 9 9 9 9 9 9 9 9 2 9 2 9 2 9 9 9 9 9 2 1 1 2 1 71 1 2 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 1 1 2 1 1 2 2 2 2 2 2 2 1 2 2 1 0 1 2 2 2 2 0 1 0 1 1 2 2 2 72 2 2 2 2 2 2 2 2 2 9 1 9 1 2 2 2 9 1 1 1 1 1 0 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 0 2 2 9 0 0 9 0 2 2 0 2 0 2 0 9 0 0 0 2 73 2 2 9 0 9 0 0 0 0 9 0 9 0 0 0 0 9 9 9 0 0 0 0 0 0 9 0 0 0 9 0 0 0 0 0 0 2 0 0 0 0 2 9 2 0 2 9 9 0 9 0 2 9 0 9 9 2 2 1 9 9 9 0 0 9 0 9 9 2 74 0 0 9 0 9 0 0 0 0 9 0 9 0 9 0 2 9 9 9 9 1 1 1 0 0 9 0 0 0 9 0 0 0 0 0 0 0 9 9 0 0 0 9 0 0 0 9 0 0 9 0 9 9 0 9 9 1 9 2 9 9 9 9 9 9 2 9 0 2 75 1 2 2 2 9 2 2 2 2 9 9 9 9 9 2 2 9 9 9 9 9 9 9 2 9 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 9 9 0 2 9 9 9 9 9 2 9 2 9 9 9 2 0 2 9 9 9 9 129 Dodol Phone Aplicativos/Questões Dicionário Porto 1001 Lugares no Brasil Decolar.com Aplicativos/Questões minube Mochileiros Aprenda a falar outras línguas Hotel Hoje Hotel Hoje Palco MP3 Color Touch TeleListas ProEstetica Sabores do Brasil Evernote Hello iCaipirinha Nike+ Running Receita Móvel Saúde Vale Android Massager Metas de Vida Medida Certa Nivea Sun Bounce Bill Easter Tales Pet Shop Story Compras, moda e liquidações Piano Virtual Exercícios em casa Xadrez Night Vision Camera Taximetro Pro Relax and Sleep London Underground Tube Map Benji Bananas Postos Combustível Brasil Earth View Sleep as Android Emoji I am Here Lupa Mobile Voip Happy Diary Plus ColorNote aCalendar WiFi Manager Call Assistant Astrid Lista de Tarefas Wedding Planning Wikipedia Places Rastreio Correios Baby Names Lembretes de Aniversário Tempo de Trabalho Presto! Remote Battery Master Simples MP3 Downloader Nó em Gravata CPF/CNPJ Faces - Photo Fun Horóscopo Fácil Voz Bloco de Notas Jogos Mentais Guia TV BR Engraçado Tones SMS Alarme Antifurto Logo Quiz Google Play Books Pou 2 76 1 2 2 76 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 0 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 1 77 1 2 2 77 2 2 2 2 9 2 2 1 2 2 2 9 2 2 2 9 2 1 2 9 2 2 9 2 9 9 9 9 2 9 2 9 2 2 2 9 9 2 2 9 9 9 9 2 2 2 2 2 2 9 2 2 9 2 9 2 2 9 2 2 9 9 2 9 2 78 1 2 2 78 2 2 2 1 9 2 2 2 2 2 2 9 2 2 2 9 2 2 2 9 2 2 9 2 9 9 9 9 2 9 2 9 2 9 2 9 9 2 2 9 9 9 9 2 2 2 2 2 2 9 2 2 9 2 9 2 2 9 2 2 9 9 2 9 2 79 2 2 2 79 1 2 2 2 2 2 1 1 1 1 0 2 1 1 1 0 2 0 1 2 2 2 2 0 1 0 2 2 2 2 1 2 1 0 1 1 0 1 1 1 1 1 1 2 1 2 1 2 1 2 1 2 1 2 0 1 1 0 2 2 1 1 2 1 2 80 2 1 2 80 2 2 2 2 2 2 1 1 2 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 0 2 1 0 1 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2 2 1 81 2 2 2 81 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 82 2 1 1 82 0 1 2 2 2 1 2 1 1 2 1 2 1 2 2 2 2 0 1 2 2 2 9 0 1 9 1 2 2 2 2 2 0 0 2 2 0 1 2 1 2 2 1 2 1 2 2 2 1 1 0 2 2 1 9 2 1 1 2 2 1 2 2 2 9 9 83 84 1 0 1 0 2 0 83 84 1 0 1 2 2 0 1 0 2 0 1 0 1 0 0 0 1 2 1 0 1 0 2 0 1 0 2 2 1 0 2 0 2 0 1 0 1 0 2 0 2 0 2 0 9 0 0 0 1 2 2 9 1 0 1 2 1 2 0 0 2 2 2 2 1 2 0 2 1 0 2 0 0 0 1 0 2 2 1 2 2 2 2 0 1 2 2 0 1 2 2 2 1 2 2 2 1 0 1 0 0 2 1 2 2 0 1 0 2 0 2 2 1 2 0 0 2 2 2 0 1 0 2 2 2 2 2 0 85 2 2 2 85 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 86 2 2 2 86 2 2 2 2 2 2 1 2 2 1 2 2 2 1 2 9 2 2 2 2 2 2 9 9 2 1 1 2 2 2 2 9 1 2 2 2 1 0 2 2 2 2 2 2 1 2 2 2 2 2 1 9 2 2 1 2 2 1 2 2 1 2 2 2 9 87 2 2 2 87 2 1 2 2 2 1 1 1 2 1 1 2 1 2 2 2 2 2 1 2 2 2 9 2 2 2 2 1 1 0 2 2 1 0 2 2 1 1 2 1 2 2 2 2 1 2 1 2 1 1 1 2 2 2 2 2 2 0 2 2 1 2 2 2 9 88 2 2 2 88 2 2 2 2 2 2 1 2 2 1 2 2 1 2 2 9 2 2 2 2 2 2 9 2 9 0 2 1 2 1 2 9 2 9 2 0 1 1 1 2 1 1 1 2 1 2 2 1 9 2 1 9 2 2 0 2 1 0 2 1 1 2 2 1 89 2 2 2 89 2 2 2 2 2 2 1 2 2 2 2 2 2 9 1 9 2 1 2 2 2 2 9 2 1 1 2 2 1 1 2 2 1 9 2 2 1 1 2 2 2 2 1 2 2 2 2 2 9 1 0 9 2 2 1 2 2 1 2 1 2 2 2 2 2 0 90 91 2 2 2 1 2 2 90 91 2 0 2 1 2 2 2 1 2 2 2 1 2 2 2 2 2 2 2 2 1 1 2 2 2 1 0 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 9 9 0 0 2 1 0 9 0 2 2 2 2 2 2 2 2 2 2 2 2 0 0 0 2 2 2 2 1 0 1 2 2 2 1 2 2 2 2 1 1 2 2 2 2 1 2 2 2 2 2 2 2 0 2 1 1 0 2 2 2 2 2 2 0 9 2 2 1 1 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 92 9 2 2 92 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 0 2 2 2 2 9 2 2 2 2 2 2 2 0 2 9 2 2 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2 0 9 2 1 9 2 2 9 2 2 2 9 9 130 MyBaby Puzzle Toddler Animal Sound Galinha Pintadinha Gues the Movie! O que é o que é? Aplicativos/Questões Change my voice Maze Game SkyDrive Flashlight Presidentes iBeer Lighter Free PhotoGrid Globo.com Caça Palavras Air Horn Free Astro File Manager Jogo da Forca Qual é a resposta? SimplePac Dieta e Saúde Kekanto Vogue Marie Claire Crescer Mobile Expedia Diário Catarinense Globo News Spider Solitarie Photaf Panorama Converter Radio Atlântida Pessoa Física Simulado Detran Free Clean Master Boa Compra 4shared Google Drive CineMark Brasil Banco do Brasil App2SD DropBox Shazam Weather Channel Climatempo Tic Tac Toe WhatsApp Hotmail Google Tradutor QR Droid Traficc Counter Extended Gmail Baixaki Consulta Visa Vale Angry Birds Google Goggles IMDb Saraiva eReader Trip Advisor PersonalFinance Buscapé Tela Transparente FacebookMessenger Consulta CEP YouTube Viber Tavindo Qual Operadora Cadê Meu Banco 2 2 2 2 9 76 2 1 2 2 2 2 2 2 2 1 2 2 1 2 1 2 2 1 1 1 1 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 9 9 9 2 9 77 9 9 2 9 9 9 9 2 2 9 9 9 9 9 9 9 2 2 2 2 2 2 2 2 9 9 9 9 2 9 2 9 2 1 9 9 9 2 9 2 0 9 2 9 2 9 2 2 9 9 2 9 2 2 9 2 2 2 9 1 9 9 1 9 9 9 9 2 9 78 9 9 2 9 9 9 9 2 2 9 9 2 9 9 9 9 2 2 2 2 2 2 2 2 9 9 2 2 2 2 2 2 1 1 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 1 1 1 1 1 79 1 1 2 1 2 1 2 2 1 0 0 1 1 1 0 2 1 2 2 2 2 2 2 1 1 2 2 2 2 2 1 1 2 2 1 1 1 1 1 0 1 2 2 2 0 2 2 2 1 2 2 2 2 2 2 1 0 2 2 2 2 2 2 2 2 2 2 2 2 80 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 81 2 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 82 1 1 2 2 0 2 2 2 2 2 9 2 1 1 0 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 1 1 2 2 2 1 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 9 1 1 2 2 1 2 2 2 2 9 2 2 2 2 83 1 1 2 2 1 2 2 2 2 1 2 2 1 1 0 2 2 1 1 1 2 2 2 2 1 2 2 2 1 2 2 2 2 2 1 2 2 2 1 2 1 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 0 0 0 0 2 84 0 0 2 0 2 2 0 0 2 0 0 2 0 0 2 0 2 0 0 0 1 0 0 0 0 2 0 0 0 0 0 2 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2 1 2 0 2 2 2 2 2 0 0 2 2 2 2 2 0 1 2 2 2 2 2 85 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 86 2 2 2 1 1 2 2 2 2 1 2 2 2 1 1 2 2 1 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 87 1 1 2 2 2 2 2 2 2 1 2 2 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 1 1 1 2 88 1 1 1 0 1 1 2 1 2 9 1 2 2 2 1 2 1 1 1 1 1 1 2 1 1 2 2 2 2 2 1 2 2 9 1 2 2 2 2 2 2 2 2 1 2 2 1 2 9 1 1 2 0 2 2 2 2 2 2 1 2 9 1 2 2 2 2 1 9 89 2 2 2 2 2 2 2 2 2 9 2 2 1 1 1 2 2 2 2 2 2 2 2 2 1 9 2 2 2 2 2 2 2 2 2 2 2 2 1 2 0 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 90 2 1 2 1 1 2 2 2 2 1 1 2 1 1 1 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 91 1 1 1 2 1 2 2 2 2 1 2 2 1 1 1 2 2 1 1 1 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 1 1 2 2 1 2 2 2 2 2 2 2 1 9 2 9 2 2 2 2 2 2 2 2 2 9 9 9 2 9 92 2 2 2 9 2 9 2 2 2 9 9 2 9 9 2 2 2 2 2 2 2 2 2 2 2 2 2 9 9 9 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 2 9 1 2 2 2 2 131 Wikipedia Wallpapers HD iPhone Instagram Ingresso.com Churrascometro Aplicativos/Questões Brasileirão CamScanner iPhone Buscapé iPhone Groupon iPhone Voos Online Wase iPhone Accupedo - Pedômetro Apn Brasil TrackPack AVG Mobilation Facebook CardioTrainer Feriados 2013 iPhone Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone Sky Sports iPhone Shazam iPhone GloboEsporte.com iPhone EyeEm iPhone Dictionary.com iPhone Quora iPhone Áudio pessoal AUPEO iPhone Guia de Aeroportos HD iPhone Guia Médico Nacional Unimed Myway Diabetes Manager Genéricos Brasil Vacinas Brasil Lite Pressão Arterial Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência Diabetes Apgar Medscape Procedimentos TUSS Alergias Amamentação Diabetes Diabetes Diary Lite bPresso.com Foursquare iPhone Any.Do iPhone Wunderlist iPhone InstaWeather Free iPhone Taxibeat iPhone Passa Régua iPhone Qello iPhone Thirst iPhone TouristEye iPhone Mokriya Craigslist apps for iPhone Gripe Suína Psoríase Appediatria Rotinas Terapeuticas Meu Diário Mensal Universo Médico GlicoCare Breastfeed Aleitamento Dengue Adulto e Criança GestaTools CliniCalc: Medical Calculator Procedimentos SUS 2 2 1 2 1 76 2 2 2 2 1 2 2 2 2 2 1 2 2 1 2 0 1 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 9 9 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 1 9 2 9 77 9 9 2 2 9 2 2 9 9 9 1 9 2 2 2 2 2 2 2 2 2 2 9 9 9 9 9 9 9 2 9 9 9 2 9 9 9 9 9 9 2 2 2 2 2 0 2 2 2 2 2 9 9 9 9 2 9 9 2 9 9 9 9 1 2 2 2 1 78 2 2 2 2 2 2 2 9 2 2 1 2 2 0 2 0 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 1 1 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 79 0 2 1 2 2 0 0 2 2 2 9 2 2 2 2 1 0 2 2 0 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 0 2 2 1 1 1 0 1 2 0 1 0 2 2 2 2 0 2 2 0 1 1 0 2 1 2 2 2 2 2 80 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 81 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 82 2 2 2 2 2 2 2 2 2 1 2 9 2 2 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 0 2 2 2 2 2 1 2 1 2 1 2 2 2 2 2 2 2 2 1 2 2 2 83 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 1 2 1 2 1 2 2 2 2 2 2 2 2 0 0 0 0 84 2 0 0 0 2 2 1 2 2 2 2 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 2 2 2 2 2 0 2 1 2 2 2 1 0 2 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 2 2 0 2 2 2 2 2 2 85 2 2 2 1 2 2 2 2 2 2 2 9 9 2 2 2 2 2 2 2 2 2 2 2 0 9 2 2 2 0 2 2 2 1 2 2 1 1 0 2 2 2 2 2 2 2 2 2 2 2 9 1 2 1 2 2 1 1 2 2 2 1 2 2 2 2 2 2 86 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 9 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 87 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 0 2 2 88 2 0 1 1 2 2 2 2 1 2 1 2 2 2 2 0 2 2 2 2 1 2 1 2 2 2 2 2 0 2 9 0 9 2 0 2 2 0 2 1 2 2 2 2 2 1 1 2 2 2 2 2 2 2 2 2 2 9 2 2 9 2 2 2 2 2 2 2 89 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 9 2 2 0 2 2 2 2 1 9 2 1 1 0 2 2 2 2 2 1 2 1 2 2 2 9 2 2 9 2 2 2 9 2 2 2 90 2 2 2 2 2 2 2 2 2 2 2 1 1 2 0 2 0 0 0 1 2 1 2 2 2 0 2 2 2 2 1 0 0 2 0 0 1 0 0 1 1 1 1 1 0 0 1 0 1 1 0 2 2 2 0 0 0 0 2 1 0 1 0 1 2 2 2 2 91 2 2 2 1 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0 2 2 2 2 0 1 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 92 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 9 0 0 9 2 2 0 9 0 0 9 2 2 9 2 2 2 2 2 2 2 0 2 2 2 9 9 9 9 9 2 9 9 9 0 2 2 0 132 Medicamentos A a Z: Pediatria Free WBCBaseball iPhone Partiu Balada iPhone ArtFinder iPhone EyeEm iPhone Remember The Milk iPhone Aplicativos/Questões MusiXmatch iPhone Split Pic iPhone ShareFood iPhone TV Show Tracker iPhone Privalia iPhone yap TV Guide iPhone Tumblr iPhone Festas UFSC iPhone SoundCloud iPhone GlobeConvert iPhone MagicPlan iPhone NET iPhone Viddy iPhone Reuters iPhone Brasil Mobile iPhone Floripa VIP iPhone Qranio iPhone Twitter iPhone Insta College Biblia Sagrada NVI Shared Mp3 Prague Shopping Guide Ringtone Maker Tv show favs KCRW SongTag Livraria Cultura eBook Wales UK-Free Travel Guide Baby holidays RadarG1 iCall Eu atleta Sonar Sushi BR Photo Effects EasyMeasure Flash Card Demo Dodol Phone 2 2 2 2 1 2 76 2 0 2 0 1 1 2 0 2 1 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 0 2 1 1 2 1 1 9 1 1 1 2 9 2 2 2 1 2 77 2 0 2 2 2 2 0 0 1 2 1 2 2 1 0 2 2 1 9 9 0 9 9 2 2 9 0 9 2 2 9 0 2 9 2 9 9 1 2 1 1 2 2 78 2 1 2 1 1 1 1 1 2 1 2 2 2 2 0 2 2 1 2 2 1 2 2 2 2 2 0 1 2 2 2 1 2 2 1 2 2 0 2 2 0 0 0 79 2 1 2 0 2 0 2 2 2 2 0 2 2 0 0 2 1 2 2 2 0 2 2 1 0 0 2 0 2 2 2 2 0 0 0 0 2 2 2 2 2 2 2 80 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 2 81 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2 9 2 2 2 1 2 2 82 2 1 1 2 2 1 2 1 2 1 2 1 2 2 1 1 2 2 9 2 2 9 2 2 2 2 2 9 2 2 2 2 0 2 2 0 2 2 2 2 2 1 2 83 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 0 0 0 0 0 2 84 1 0 0 1 0 0 0 0 2 0 0 0 0 0 0 0 0 1 0 2 2 2 2 2 1 2 0 0 0 0 0 2 0 1 2 2 2 1 2 2 2 2 0 85 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2 2 2 2 9 2 2 2 2 0 2 2 2 2 2 2 1 2 2 2 2 86 2 2 1 2 2 2 2 2 1 1 2 2 2 2 2 1 2 2 2 2 9 1 2 2 9 9 2 2 2 2 2 2 1 2 1 2 2 2 2 2 1 1 2 87 2 2 2 1 2 1 2 2 1 2 2 2 2 2 1 1 2 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 2 2 1 2 1 0 1 1 88 1 1 0 0 2 0 1 1 0 0 1 2 1 1 0 2 2 2 2 1 9 2 0 1 9 9 2 2 2 2 1 0 2 2 0 0 2 2 2 2 1 1 2 89 2 1 1 0 1 1 2 2 2 1 1 2 1 1 1 1 2 1 2 2 9 2 2 2 9 9 2 2 1 2 2 2 0 2 1 9 2 1 2 1 1 2 1 90 1 1 2 2 0 1 1 1 2 1 2 2 1 2 1 1 1 2 9 2 2 2 2 2 2 2 2 0 2 2 2 2 1 9 2 0 2 1 2 2 2 2 2 91 2 2 1 1 2 0 2 2 2 2 2 1 2 2 1 2 2 2 9 2 2 9 9 2 2 2 2 0 2 2 2 2 2 2 2 0 2 0 2 2 2 2 0 92 2 2 2 0 2 2 2 0 2 2 2 0 2 0 2 2 2 2 9 2 2 2 2 2 2 2 9 9 0 2 2 2 2 2 2 2 2 133 APÊNDICE F - Parâmetros dos itens remanescentes no modelo dicotômico Itens I01 I02 I04 I06 I07 I11 I12 I13 I14 I17 I18 I20 I25 I26 I27 I30 I31 I32 I33 I34 I35 I36 I41 I42 I44 I45 I47 I48 I50 I54 I57 I58 I59 I60 I61 I62 I71 I76 I79 I80 I81 I82 I83 I86 I87 I89 I90 I91 Escala (0,1) a 1,063 0,925 1,023 0,595 0,741 0,889 2,160 0,873 0,705 0,797 0,673 0,600 0,829 0,904 0,903 0,686 1,444 0,897 1,491 2,222 1,139 1,156 0,959 1,040 0,875 0,880 1,108 0,795 0,861 0,769 0,724 1,265 0,998 0,884 1,880 0,844 1,415 0,776 1,214 1,286 0,923 1,494 1,379 1,066 1,353 1,057 0,796 1,428 b -1,198 -1,171 -1,547 0,199 -1,871 -0,580 -1,077 -3,517 -0,205 -1,613 0,414 -0,202 -0,849 -1,818 -0,663 -2,678 -1,711 -3,271 -1,717 -1,315 -2,672 -1,340 -1,226 -0,825 -2,308 -1,694 -2,771 -1,178 -1,428 -2,091 -0,871 -1,878 -1,818 -3,567 -0,601 -0,181 -0,516 -1,874 -0,130 -2,288 -4,114 -0,868 -0,947 -2,022 -1,400 -1,411 -0,960 -1,171 Escala (50,10) a 0,1063 0,0925 0,1023 0,0595 0,0741 0,0889 0,2160 0,0873 0,0705 0,0797 0,0673 0,0600 0,0829 0,0904 0,0903 0,0686 0,1444 0,0897 0,1491 0,2222 0,1139 0,1156 0,0959 0,1040 0,0875 0,0880 0,1108 0,0795 0,0861 0,0769 0,0724 0,1265 0,0998 0,0884 0,1880 0,0844 0,1415 0,0776 0,1214 0,1286 0,0923 0,1494 0,1379 0,1066 0,1353 0,1057 0,0796 0,1428 b 38,0 38,3 34,5 52,0 31,3 44,2 39,2 14,8 47,9 33,9 54,1 48,0 41,5 31,8 43,4 23,2 32,9 17,3 32,8 36,9 23,3 36,6 37,7 41,8 26,9 33,1 22,3 38,2 35,7 29,1 41,3 31,2 31,8 14,3 44,0 48,2 44,8 31,3 48,7 27,1 8,9 41,3 40,5 29,8 36,0 35,9 40,4 38,3 134 APÊNDICE G – Notas atribuídas aos aplicativos APLICATIVOS NOTAS Banco do Brasil 51,0 Bounce Bill Easter Tales 69,5 Eu atleta 50,7 FacebookMessenger 68,6 Relax and Sleep 50,3 Traficc Counter Extended 66,7 EyeEm iPhone 50,3 Google Play Books 66,7 Medicamentos A a Z: Pediatria Free 50,1 Trip Advisor 66,6 Sky Sports iPhone 50,0 Converter 65,9 Baby Names 49,8 Earth View 65,7 SoundCloud iPhone 49,8 Pessoa Física 65,6 Diabetes 49,7 GlicoCare 65,4 NET iPhone 49,5 Rastreio Correios 65,3 GAPS - Antibiótico na Urgência 49,5 Hotel Hoje 65,2 Hotel Hoje 49,5 Shazam iPhone 64,7 Áudio pessoal AUPEO iPhone 49,1 Aleitamento 64,3 Thirst iPhone 48,7 Globo News 63,9 Hotmail 48,5 Wedding Planning 63,8 Presidentes 48,5 Appediatria 63,6 Viddy iPhone 48,4 Google Goggles 63,4 Buscapé iPhone 48,3 Biblia Sagrada NVI 63,2 Climatempo 48,0 Baixaki 63,0 Postos Combustível Brasil 47,9 Qual Operadora 62,9 CineMark Brasil 47,8 MusiXmatch iPhone 62,9 Pressão Arterial 47,5 Aprenda a falar outras línguas 62,7 2ulado Detran Free 47,5 iCaipirinha 62,7 Remember The Milk iPhone 47,5 ColorNote 62,4 Wikipedia 47,4 Partiu Balada iPhone 62,1 Guia Médico Nacional Unimed 47,3 Gmail 62,0 GlobeConvert iPhone 47,2 Medscape 61,5 Rotinas Terapeuticas 47,1 Apn Brasil 61,2 Ingresso.com 47,0 Diário Catarinense 61,1 TouristEye iPhone 47,0 Lighter Free 60,6 Photaf Panorama 47,0 Guia de Aeroportos HD iPhone 60,5 Ringtone Maker 46,9 Apgar 60,4 Instagram 46,7 bPresso.com 59,9 CPF/CNPJ 46,6 Spider Solitarie 59,9 Psoríase 46,5 Lembretes de Aniversário 59,6 Groupon iPhone 46,5 Dieta e Saúde 59,4 Expedia 46,5 MyBaby Puzzle 59,2 IMDb 46,4 SkyDrive 59,0 EyeEm iPhone 46,3 AVG Mobilation 58,7 Sabores do Brasil 46,3 Clean Master 58,7 Boa Compra 46,2 135 Gues the Movie! 58,7 Wunderlist iPhone 46,2 DropBox 58,6 Consulta Visa Vale 46,2 Facebook 58,5 Dengue Adulto e Criança 46,2 Tavindo 58,4 Tv show favs 46,2 Genéricos Brasil 58,1 London Underground Tube Map 46,1 Google Drive 58,1 CardioTrainer 46,0 Metas de Vida 58,0 iBeer 45,9 Piano Virtual 58,0 Any.Do iPhone 45,9 App2SD 57,9 QR Droid 45,8 Guia TV BR 57,8 Taximetro Pro 45,8 WhatsApp 57,7 Sonar 45,7 Toddler Animal Sound 57,6 Flashlight 45,7 Android Massager 57,6 Accupedo - Pedômetro 45,7 GloboEsporte.com iPhone 57,3 Voos Online 45,6 Twitter iPhone 56,9 Qello iPhone 45,6 Festas UFSC iPhone 56,8 4shared 45,6 Pet Shop Story 56,6 ArtFinder iPhone 45,5 YouTube 56,6 Lupa 45,4 Feriados 2013 iPhone 56,6 1001 Lugares no Brasil 45,4 Decolar.com 56,5 Call Assistant 45,4 Churrascometro 56,4 Buscapé 45,4 Logo Quiz 56,1 Breastfeed 45,3 I am Here 56,0 Livraria Cultura eBook 45,3 Wallpapers HD iPhone 55,8 Marie Claire 45,2 CamScanner iPhone 55,8 Nivea Sun 45,1 Diário de Pressão Sanguinea 55,7 Wase iPhone 45,1 Saúde Vale 55,7 Compras, moda e liquidações 45,1 Angry Birds 55,7 Myway Diabetes Manager 45,0 Quora iPhone 55,6 Floripa VIP iPhone 44,9 2ples MP3 Downloader 55,5 RadarG1 44,7 Cadê Meu Banco 55,4 Tempo de Trabalho 44,7 iCall 55,4 Crescer Mobile 44,5 Globo.com 55,3 Diabetes 44,3 Procedimentos TUSS 55,2 Xadrez 44,2 Meu Diário Mensal 55,1 InstaWeather Free iPhone 44,1 Amamentação 55,1 TeleListas 44,0 Nó em Gravata 55,1 Mochileiros 43,8 Catarinense 2013 iPhone 55,0 Alarme Antifurto 43,1 Consulta CEP 55,0 yap TV Guide iPhone 42,9 Vacinas Brasil Lite 55,0 Brasil Mobile iPhone 42,8 CliniCalc: Medical Calculator 54,9 Vogue 42,4 Google Tradutor 54,8 Presto! Remote 42,3 136 Dicionário Porto 54,8 aCalendar 42,2 Dodol Phone 54,8 Tic Tac Toe 41,5 Horóscopo 54,7 Air Horn Free 41,3 Internacional SporTV iPhone 54,7 Photo Effects 39,9 Viber 54,7 Alergias 39,4 Gripe Suína 54,6 Diabetes Diary Lite 39,3 Pou 54,6 Change my voice 38,8 O que é o que é? 54,5 Weather Channel 37,8 Tumblr iPhone 54,5 Caça Palavras 37,8 Procedimentos SUS 54,5 EasyMeasure 37,8 Receita Móvel 54,3 Happy Diary Plus 37,7 Benji Bananas 54,2 Shared Mp3 37,7 ShareFood iPhone 54,1 Night Vision Camera 37,6 TrackPack 54,0 Taxibeat iPhone 37,5 Galinha Pintadinha 54,0 Night Sky Lite iPhone 37,4 KCRW SongTag 53,9 Sushi BR 37,3 Qranio iPhone 53,8 TV Show Tracker iPhone 37,2 ProEstetica 53,7 Prague Shopping Guide 37,0 GestaTools 53,7 Fácil Voz Bloco de Notas 36,9 Brasileirão 53,7 Passa Régua iPhone 36,9 Radio Atlântida 53,3 Split Pic iPhone 36,9 Foursquare iPhone 53,1 Maze Game 36,8 Privalia iPhone 52,8 Faces - Photo Fun 36,8 WiFi Manager 52,6 Wikipedia Places 36,6 Saraiva eReader 52,6 Exercícios em casa 36,6 Universo Médico 52,6 Color Touch 36,4 PersonalFinance 52,5 Sleep as Android 34,8 Dictionary.com iPhone 52,3 Kekanto 34,7 Shazam 52,2 Nike+ Running 32,7 MagicPlan iPhone 52,0 Battery Master 31,9 Engraçado Tones SMS 51,9 Flash Card Demo 30,2 Mokriya Craigslist apps for iPhone 51,9 2plePac 29,8 Insta College 51,8 Baby holidays 29,7 PhotoGrid 51,8 minube 28,8 Palco MP3 51,6 Jogos Mentais 28,6 Tela Transparente 51,5 Evernote Hello 27,9 Wales UK-Free Travel Guide 51,3 Qual é a resposta? 27,7 WBCBaseball iPhone 51,2 Astrid Lista de Tarefas 27,7 Reuters iPhone 51,1 Jogo da Forca 27,6 Astro File Manager 51,1 Emoji 27,0 Medida Certa 25,2 Mobile Voip 21,0 137 APÊNDICE H – Tabelas de frequências de respostas Categorias Heurísticas Questões Não Sim NA 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 51 183 0 2. Os componentes interativos selecionados são claramente distintos dos demais? 10 60 177 0 3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 44 2 201 0 8 41 185 13 63 20 163 1 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 88 37 112 10 7. Fornece um update do status para operações mais lentas? 21 23 152 51 8. O aplicativo oferece informações sobre sua versão? 137 9 101 0 167 10 69 1 10. Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura? 3 34 184 26 11. O significado de símbolos e ícones são compreensíveis e intuitivos? 9 83 143 12 12. As informações são dispostas em uma ordem lógica e natural? 12 36 196 3 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 5. Visibilidade do status do sistema Parcial 13 Todas as telas possuem título? 9. Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)? Categorias Heurísticas Questões Não Sim NA É o usuário quem inicia e encerra tarefas e não o aplicativo? 1 14 232 0 14. É possível identificar o número de passos necessários para a realização de uma tarefa? 40 36 86 85 15. O aplicativo pode ser fechado e não apenas minimizado? 78 0 168 1 16. É possível prever o tamanho da tela pelo tamanho do scroll? 28 13 180 26 É possível retornar a tela anterior a qualquer momento? 39 19 179 10 18. No caso de aplicativos associados a cadastro de login ou contas de email, permite o fácil acesso de mais de um usuário? 41 5 34 167 19. O usuário pode sair do aplicativo e retornar do ponto onde parou? 25 1 220 1 20. O usuário pode cancelar uma ação em progresso (ex.: download)? 42 6 55 144 21. O usuário pode desfazer (undo) uma ação? 69 13 61 104 O usuário pode refazer (redo) uma ação? 69 8 69 101 23. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível? 31 12 151 53 24. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto? 19 46 109 73 25. 20 37 105 85 13. 17. Controle e Liberdade do Usuário 22. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Parcial 138 Categorias Heurísticas Questões Não Sim NA 30 15 183 19 4 88 154 1 16 55 167 9 4 17 209 17 30. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 30 8 205 4 31. 18 13 184 32 4 13 227 3 33. Controles que realizam a mesma função ficam em posições semelhantes na tela? 4 28 209 6 34. A forma de navegação é consistente entre as telas no aplicativo? 3 29 189 26 35. Os links são tratados de forma consistente entre as telas? 5 6 134 102 23 32 190 2 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 27. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? Consistência e Padrões 28. Itens não clicáveis deixam evidente que não o são? 29. O nome do botão/ícone é consistente com o nome da tela que abre? 32. Funções diferentes são apresentadas de maneira distinta ao usuário? Funções semelhantes são apresentadas de forma similar? 36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Parcial Categorias Heurísticas Questões Não 37. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas? Prevenção de erros 38. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)? Sim NA 194 Parcial 6 36 11 57 18 63 109 Sim NA Categorias Heurísticas Questões Não 60 37 130 20 9 29 193 16 14 49 171 13 42. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? 27 51 160 9 43. Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)? 28 33 176 10 44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 2 33 205 7 27 22 182 16 46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem? 3 19 134 91 47. Em campos onde há a necessidade de inserção de dados isso é evidente? 2 10 169 66 39. A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma? Reconhecimento em vez de lembrança Parcial 40. Em cada opção do menu, a primeira palavra é a mais importante? 41. Os títulos e rótulos são curtos? 45. Os títulos das telas descrevem adequadamente seu conteúdo? 139 Categorias Heurísticas Questões Não 48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? Parcial NA 23 52 0 7 22 211 7 49. O propósito/função do aplicativo é claro? 50. As tarefas são relativamente simples de serem executadas? 13 50 184 0 51. O aplicativo é carregado rapidamente? 24 37 186 0 133 0 76 38 99 42 92 14 8 39 199 1 55. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas? 214 10 6 17 56. É possível personalizar a interface de acordo com a preferência de cada usuário? 197 21 21 8 27 62 157 1 52. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code? Flexibilidade e Eficiência de Uso Sim 172 53. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes? 54. 57. As funções mais utilizadas são facilmente acessadas? O aplicativo utiliza objetos (ícones) ao invés de botões? Categorias Heurísticas Questões Não Estética e Design Minimalista Sim NA 58. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 11 22 214 0 59. São usados textos somente quando estes são realmente indispensáveis? 13 30 198 6 2 12 231 2 20 58 161 8 62. O aplicativo exibe quantidades pequenas de informações em cada tela? 38 76 131 2 63. 28 4 215 0 60. Em textos o uso de abreviaturas é evitado? 61. O menu é esteticamente simples e claro? O aplicativo só apresenta funções que estão habilitadas? Parcial Categorias Heurísticas Questões Não Ajude o usuário a reconhecer, diagnosticar e recuperar de erros Parcial Sim NA 35 35 150 64. O aplicativo permite fácil recuperação de erros? 27 65. As mensagens de erro são claras apontando a causa do erro? 17 23 65 142 48 13 41 145 16 1 86 144 66. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação? 67. As mensagens de erro são amigáveis com usuário? Categorias Heurísticas Questões Não Ajuda e Documentação Sim NA 169 Parcial 4 73 1 68. O aplicativo possui uma opção de ajuda? 69. É fácil localizar a ajuda? 5 14 58 170 70. A ajuda é de fácil compreensão? 7 10 59 171 140 Categorias Heurísticas Questões Não 71. A navegação do aplicativo é intuitiva? 72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal? Pouca interação homem/dispositivo 73. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de autocompletar, etc)? 74. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações? 75. O cadastro de usuário exige somente informações necessárias? Sim NA 12 Parcial 78 154 3 55 30 148 14 74 9 48 116 79 12 27 129 8 2 77 160 Categorias Heurísticas Questões Não Interação Física e Ergonomia Sim NA 7 45 191 4 10 13 116 108 78. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento? 5 31 167 44 79. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 44 71 131 1 80. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 2 20 225 0 81. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? 0 8 237 2 76. Possui botões com tamanho adequado ao clique? 77. Possui links com tamanho adequado ao clique? Parcial Categorias Heurísticas Questões Não Sim NA 12 53 172 10 9 58 178 2 140 11 95 1 8 12 218 9 1 33 203 10 3 44 197 3 25 68 135 19 89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 6 45 177 19 90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 31 51 161 4 91. O alinhamento utilizado favorece a leitura? 13 40 185 9 92. Quando utiliza o scroll é somente vertical ou somente horizontal? 22 2 183 40 82. O espaçamento entrelinhas utilizado favorece a leitura? 83. As fontes utilizadas favorecem a leitura? 84. A interface do aplicativo se adapta a rotação da tela? 85. Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes? Legibilidade e Layout 86. Os ícones possuem contraste suficiente em relação ao plano de fundo? 87. Os textos tem contraste suficiente em relação ao plano de fundo? 88. As imagens (gráficos, ícones, etc) também são descritas textualmente? Parcial 141 APÊNDICE I – Escala de Medida do Grau de Usabilidade Nível Descrição Heurística Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre..... 13.É o usuário quem inicia e encerra tarefas e não o aplicativo? Controle e liberdade do usuário 81.A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Interação física e ergonomia 60.Em textos o uso de abreviaturas é evitado? Estética e design minimalista 30 35.Os links são tratados de forma consistente entre as telas? 30.Todas as informações textuais do aplicativo utilizam o mesmo idioma? 32.Funções semelhantes são apresentadas de forma similar? Consistência e padrões 4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? Visibilidade do status do sistema 7. Fornece um update do status para operações mais lentas? 17. É possível retornar a tela anterior a qualquer momento? Controle e liberdade do usuário 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 31. Funções diferentes são apresentadas de maneira distinta ao usuário? 33. Controles que realizam a mesma função ficam em posições semelhantes na tela? 34. A forma de navegação é consistente entre as telas no aplicativo? Consistência e padrões 36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) 40 44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? Reconhecimento em vez de lembrança 45. Os títulos das telas descrevem adequadamente seu conteúdo? 54. As funções mais utilizadas são facilmente acessadas? Flexibilidade e eficiência de uso 58. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? Estética e design minimalista 59. São usados textos somente quando estes são realmente indispensáveis? 76. Possui botões com tamanho adequado ao clique? 80. Os botões e controles podem ser facilmente acessados com qualquer uma das Interação física e ergonomia mãos ou há opção para destro ou canhoto? 86. Os ícones possuem contraste suficiente em relação ao plano de fundo? 87. Os textos tem contraste suficiente em relação ao plano de fundo? Legibilidade e layout 89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 02. Os componentes interativos selecionados são claramente distintos dos demais? Visibilidade do status do sistema 50 11. O significado de símbolos e ícones são compreensíveis e intuitivos? 12. As informações são dispostas em uma ordem lógica e natural? 25. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Controle e liberdade do usuário 27. Controles e botões se distinguem do restante do layout, deixando evidente que Consistência e padrões 142 são clicáveis? 41. Os títulos e rótulos são curtos? 42. Os dados e mensagens mais importantes encontram-se na posição padrão dos Reconhecimento em vez de lembrança aplicativos para esta plataforma? 48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)? 50. As tarefas são relativamente simples de serem executadas? Flexibilidade e eficiência de uso 57. O aplicativo utiliza objetos (ícones) ao invés de botões? 61. O menu é esteticamente simples e claro? Estética e design minimalista 71. A navegação do aplicativo é intuitiva? Pouca interação homem/dispositivo 82. O espaçamento entrelinhas utilizado favorece a leitura? 83. As fontes utilizadas favorecem a leitura? 90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais Legibilidade e layout brilhosos, negrito ou mais detalhados? 91. O alinhamento utilizado favorece a leitura? 6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? Visibilidade e status do sistema 14. É possível identificar o número de passos necessários para a realização de uma tarefa? 18. No caso de aplicativos associados a cadastro de login ou contas de e-mail, 60 permite o fácil acesso de mais de um usuário? Controle e liberdade do usuário 20. O usuário pode cancelar uma ação em progresso (ex.: download)? 62. O aplicativo exibe quantidades pequenas de informações em cada tela? Estética e design minimalista 79. A navegação principal encontra-se na posição padrão dos aplicativos para esta Interação física e ergonomia plataforma? 143 APÊNDICE J – Artigo APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA DISPOSITIVOS CELULARES TOUCHSCREEN. Ariane Talita Witt¹ 1 Departamento de Informática e Estatística – Universidade Federal de Santa Catarina (UFSC) [email protected] Resumo. O cenário atual é caracterizado pela presença de modernos aparelhos de celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas mudanças apresentam novas formas de interação, destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque. O presente trabalho tem como objetivo avaliar um conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen realizando um estudo empírico onde é concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item que compõe o checklist. 1. Introdução A evolução dos telefones celulares nas últimas décadas é expressiva. Os aparelhos deixaram de ser apenas um dispositivo de telefonia móvel e passaram a receber muitas outras funcionalidades, como jogos, câmeras fotográficas e acesso à internet (LANDIM, 2011). O cenário atual é caracterizado por modernos aparelhos celulares que são cada vez menores e com mais funções e recursos disponíveis. As vendas de smartphones no mundo totalizaram 210 milhões de unidades no primeiro trimestre de 2013, até 42,9% de aumento em relação ao primeiro trimestre de 2012 (GARTNER, 2013). Smartphones estão entre celulares e computadores, não possuem o hardware tão robusto quanto um computador e nem tão simples quanto um celular. Os smartphones possuem funcionalidades avançadas que podem ser ampliadas por meio de aplicativos executados no seu sistema operacional. Destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque, por isso dispensam o uso de teclados, pode-se tocar a tela e ela responderá como se o toque fosse nos objetos mostrados nela. É uma tecnologia que integra não só sensores na tela, mas também programas e interfaces específicas (ASSIS, 2009). A venda desses modelos de dispositivos cresce com intensidade no mundo, a previsão de aumento de unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de 1,6 bilhões) (LEE, 2011). Os touchscreen phones apresentam novas formas de interação como voz, gestos, sensores e dados de localização (WASSERMAN, 2010). Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, os usuários 144 deste tipo de dispositivo estão cercados por outros estímulos, pois muitas vezes estão em movimento, andando na rua ou na espera no ponto de ônibus buscando concluir rapidamente tarefas simples, obter informações ou para se divertir, assistindo a vídeos ou jogando (SALAZAR et al. 2012). Avaliando essas diferenças apresentadas pelos dispositivos touchscreen phones, questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas (SALAZAR et al. 2012), pois é muito importante que as interfaces sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário (PREECE, 2005), essa característica deve estar presente também nos dispositivos touchscreen phones e seus aplicativos. Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones (SALAZAR et al. 2012). Atualmente os resultados da pesquisa são analisados por meio de um estudo empírico inicial. São comparados resultados de testes de usabilidade com resultados de avaliações heurísticas adotando o checklist desenvolvido. As avaliações foram realizadas em um aplicativo para iPhone para acessar laudos de exames médicos (SALAZAR et al., 2012). Nesse sentido, tendo como intuito avaliar a validade do checklist desenvolvido e também gerar um conjunto mínimo de itens que permitam inferir o grau da usabilidade de um aplicativo com o mínimo de esforço necessário, resume-se a hipótese de pesquisa a ser analisada no presente trabalho da seguinte maneira: O conjunto proposto de heurísticas/checklist de usabilidade para dispositivos celulares touchscreen mede o grau de usabilidade desses aplicativos. 2. Metodologia Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e validar um checklist para avaliação de usabilidade em aplicativos para dispositivos touchscreen phones. Para Barros e Lehfeld (2000), a pesquisa aplicada tem como motivação a necessidade de produzir conhecimento para aplicação de seus resultados com o objetivo de contribuir para fins práticos, visando à solução mais ou menos imediata do problema encontrado na realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois está relacionada à quantificação de dados obtidos por meio de pesquisa e baseada em técnica estatística para o tratamento dos dados. Neste trabalho é realizado o estudo da literatura sobre heurísticas de usabilidade para dispositivos celulares touchscreen e o estudo da técnica estatística Teoria da Resposta ao Item. Através dessa técnica estatística é realizada uma avaliação sobre um conjunto de itens empregados para avaliar a usabilidade de aplicativos para dispositivos touchscreen. A Teoria da Resposta ao Item procura medir habilidades, atitudes, interesses, desempenho, maturidade, conhecimentos ou proficiência de indivíduos ou sistemas por meio de um questionário e da construção de uma escala na qual, o traço latente do respondente e a dificuldade de um item podem ser comparados (TEZZA, 2009). A escolha do modelo de TRI mais adequado depende, sobretudo do que se deseja medir e da natureza dos dados disponíveis (TEZZA, 2009). 145 A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita a criação de escalas a partir de um checklist que faz uso de conceitos de usabilidade (TEZZA, 2009). No presente trabalho para a aplicação da TRI é utlilizado o Software BILOG-MG 3 (MISLEVY & BOCK, 2003). Este assume que os respondentes representam uma amostra aleatória de uma população de proficiências que pode ser assumida como tendo ou uma distribuição normal padrão, ou ainda uma distribuição discreta arbitrariamente especificada pelo usuário, ou ainda uma distribuição empírica, a ser estimada conjuntamente com os parâmetros dos itens (TEZZA, 2009). A metodologia de desenvolvimento deste trabalho é dividida em quatro etapas: Etapa 1: É realizada uma análise de literatura na área de IHC em geral e posteriormente enfatizando a área de heurísticas de usabilidade para dispositivos celulares touchscreen. Também é estudada a técnica estatística da Teoria da Resposta ao Item. Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de Usabilidade. Atividade 1.2: Analisar os dispositivos celulares touchscreen. Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item. Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa é utilizada a técnica de revisão sistemática de literatura. Atividade 2.1: Definir a revisão sistemática da literatura. Atividade 2.2: Executar a revisão sistemática da literatura. Atividade 2.3: Analisar e interpretar as informações extraídas. Atividade 2.4: Documentar e discutir os resultados. Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando a teoria estatística de Resposta ao Item. É realizado, também, o levantamento de aplicativos para a realização da avaliação do conjunto de itens. As avaliações dos aplicativos para celulares touchscreen para plataformas iOS ou Android são realizadas em duas iterações. Atividade 3.1: Definir a avaliação do primeiro conjunto. Atividade 3.2: Levantamento de aplicativos para a realização da avalição. Atividade 3.3: Primeira iteração das avaliações. Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos (cerca de 50 aplicativos). Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto. Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto. Atividade 3.4: Segunda iteração das avaliações. Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos (cerca de 200 aplicativos). Atividade 3.4.2: Analisar os resultados das avaliações do segundo conjunto. Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto. Atividade 3.5: Discutir os resultados. 3. Fundamentação Teórica 3.1Heurísticas para dispositivos móveis touchscreen phones 146 O contexto de uso de um computador de mesa (desktop) para o qual foram desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de uso de um dispositivo móvel. Dispositivos móveis geralmente são utilizados para aplicações rápidas em um ambiente com muitas distrações, muitas vezes os usuários estão em movimento, como por exemplo, andando na rua. Os métodos tradicionais de avaliação de usabilidade não consideram essas particularidades dos dispositivos móveis, por isso, existe uma necessidade do desenvolvimento de novas técnicas de avalição de usabilidade para esses dispositivos (INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se então necessário customizar as heurísticas de Nielsen, adaptando-as ao paradigma dos dispositivos móveis. Nesse sentido, alguns autores vêm realizando esforços com o objetivo de definir heurísticas de usabilidade para dispositivos móveis touchscreen. Uma visão geral do estado de arte referente às heurísticas de usabilidade para celulares touchscreen é apresentado por Salazar et al (SALAZAR, et al. 2012). A revisão do estado arte evidenciou que ainda não existem muitas pesquisas nessa área. A revisão do estado da arte de Salazar et al (2012) obteve como resultado 13 artigos relevantes no que diz respeito a heurísticas de usabilidade para celulares. Devido a essa carência de trabalhos relacionados às heurísticas de usabilidade para celulares, o foco da revisão do estado da arte foi ampliado a guias de estilo. Foram então selecionados os guias de estilo de design das cinco plataformas de smartphones mais vendidas no mundo em 2011 (SALAZAR et al. 2012). Apesar de existir forte correlação entre as heurísticas propostas e as heurísticas tradicionais, muitas vezes as primeiras reinterpretam e ajustam suas definições para dispositivos móveis. Alguns autores ainda propuseram algumas heurísticas adicionais levando em consideração as características específicas dos dispositivos móveis. A Tabela 1 apresenta o conjunto unificado de heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos após a revisão do estado da arte. Tabela 1 – Conjunto de Heurísticas para dispositivos móveis Heurísticas Tradicionais Heurísticas Novas Visibilidade do status do sistema Liberdade e controle do usuário Consistência e padrões Compatibilidade entre diferentes plataformas Pouca interação homem/dispositivo Interação física e ergonômica Prevenção de erros Legibilidade e Layout Flexibilidade e eficiência de uso Estética e design minimalista Ajudar os usuários a reconhecer, diagnosticar e recuperar erros Fonte: (adaptado de SALAZAR et al. 2012) A análise do estado da arte demonstrou que até o momento não existe uma visão/compreensão única sobre quais são as heurísticas de usabilidade relevantes para os dispositivos touchscreen phones. Nesse sentido, com a intenção de criar um conjunto unificado de heurísticas de usabilidade (Tabela 01) com base na literatura e experiências práticas, o GQS – Grupo de Qualidade de Software - está atualmente definindo um conjunto de heurísticas de usabilidade para celulares touchscreen. 147 3.2. Checklist para avaliação heurística de aplicativos em touchscreen phones Para facilitar a realização de avaliações heurísticas usando o conjunto de heurísticas unificadas, uma lista de verificação (checklist) foi desenvolvida pelo GQS – Grupo de Qualidade de Software. Esta, por sua vez, objetiva auxiliar na avaliação de usabilidade dos dispositivos touchscreen phones de uma maneira rápida, fácil e eficiente (SALAZAR et al., 2012). Como escala de resposta aos itens do checklist é adotada uma escala ordinal com quatro opções: • Sim (Se o aplicativo estiver de acordo com o item); • Parcialmente (se o aplicativo atender parcialmente o item); • Não (se não estiver de acordo com o item) e • Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura 1. CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliadora: Data: Aplicativo/versão: Sistema: Heurísticas Questões Visibilidade do status do sistema 9. Dispositivo: Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 10. Os itens selecionados são claramente distintos dos demais? 11. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede? 12. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 13. Todas as telas possuem identificação? 14. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 15. Fornece um update do status para operações mais lentas? 16. O aplicativo oferece informações sobre sua versão? Anotações: … ... ... Figura 1: Lista de verificação aplicada a celulares touchscreen Fonte: SALAZAR et al., 2012 N P S NA 148 4 Estado da Arte A revisão sistemática da literatura realizada teve como objetivo analisar e sintetizar a literatura existente sobre a avaliação/validação de conjuntos de heurísticas de usabilidade para aplicativos em dispositivos de touchscreen phones. O foco da revisão está na seguinte questão: Como os conjuntos de heurísticas de usabilidade para celulares touchscreen são validados? Embora o foco principal estivesse relacionado a touchscreen phones, o escopo da pesquisa foi ampliado para qualquer tipo de telefone celular, pois em uma busca inicial não foi encontrada qualquer literatura relevante específica sobre touchscreen phones. Em relação a validações dos conjuntos de heurísticas de usabilidade para celulares touchscreen também não foi encontrada qualquer literatura relevante, por esse motivo, o foco da pesquisa também foi ampliado para artigos que tivessem como foco a definição de heurísticas de usabilidade para telefones móveis. Foram pesquisados na Web artigos publicados na língua inglesa sobre heurísticas de usabilidade para telefones celulares. As pesquisas foram realizadas nas mais importantes bibliotecas digitais e bases de dados neste domínio (IEEEXplore, ACM Digital Library, Science Direct, Wiley e Springer) através do acesso gratuito ao Portal CAPES. Devido aos avanços tecnológicos apresentados pelos dispositivos estudados foram considerados artigos publicados entre janeiro de 2006 e julho de 2012 e para serem selecionados os artigos deveriam ter como foco a definição de heurísticas de usabilidade para telefones móveis. Foram excluídos artigos que não apresentavam os aspectos mencionados. A realização da busca de artigos científicos foi realizada usando os termos de busca especificados na Tabela 2. Devido ao fato de vários termos possuírem sinônimos foi realizada uma pesquisa mais ampla, incluindo outros termos além de "smartphone", como por exemplo, os termos “mobile”, “cell phone” e “handheld device”. No que diz respeito às heurísticas o termo “usability guidelines” também foi utilizado além do termo “usability heuristics”. A definição das mesmas é o resultado de várias calibrações realizadas anteriormente. A pesquisa foi realizada em outubro de 2012. Tabela 2: Strings de buscas nas bases de dados IEEE XPLORE ((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND (pyr >= 2006AND pyr <= 2012). ACM Digital Library ("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal) ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLEABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") WILEY Interscience mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND 149 "usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in Abstract between years 2006 and 2012 SpringerLink (mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters (smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM Digital Library, 10 no ScienceDirect, 41 no Wiley e 33 no Springer). Após a realização de uma análise dos artigos encontrados através da leitura dos titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos irrelevantes ou duplicados foram removidos. Realizou-se então um exame desses 32 artigos, avaliando a qualidade da informação apresentada. O resultado final foi a seleção de 15 artigos considerados realmente relevantes. Posteriormente foi realizada a leitura dos artigos e extraídos os dados referentes a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones. A partir dos artigos resultantes da revisão sistemática de literatura a leitura dos mesmos foi realizada com o objetivo de analisar informações sobre a validação dos conjuntos de heurísitcas/checklist propostos nos artigos. O resultado dessa leitura pode ser verificado na Tabela 3. Tabela 3: Dados extraídos sobre validação do conjunto de heurísticas/checklist Artigo Realiza validação do conjunto de heurísticas/checklist (Hashim et al., 2010) --3 (Lo & Tan, 2012) -- (Fetaji & Fetaji, 2011) -- (Zaibon & Shiratuddin 2012) -- (Inostroza et al., 2012) Avaliação heurística comparativa (Wesselset al., 2011) -- (Rauch, 2011) -- (Ayob et al., 2009) -- (Billi et al., 2010) -- (Gu, Gu & Laffey, 2011) -- 3 Não cita avaliações sobre as heurísticas de usabilidade propostos. 150 (Travis & Tay, 2011) -- (Alsos et al., 2012) -- (Nilsson, 2009) -- (J.Gong & P.Tarasewich, 2004) -- (E. Bertini et al., 2006) Avaliação heurística comparativa Apesar da importância da usabilidade no contexto de dispositivos móveis o resultado escasso da revisão sistemática de literatura demonstra uma falta de investigação nesta área. Analisando a Tabela 3 fica evidente a falta da realização de uma validação do conjunto de heurísticas/checklists propostos na literatura encontrada. Somente dois artigos citam a realização de uma avalição do conjunto de heurísticas propostos (Inostroza et al., 2012) e (Bertini et al., 2006). Inostroza et al. (2012) realizaram a comparação de dois conjuntos de heurísticas, por um estudo comparativo em que realizaram uma avaliação utilizando as heurísticas propostas para dispositivos touchscreen e a outra realizada com as heurísticas tradicionais de Nielsen. Dois grupos de avaliadores, compostos por dois avaliadores cada, utilizaram um dispositivo touchscreen para a realização da avaliação heurística, um deles utilizou as heurísticas de Nielsen e o outro utilizou as heurísticas propostas para dispositivos móveis. O resultado foi a identificação de um número um pouco maior de problemas de usabilidade utilizando as heurísticas para dispositivos móveis touchscreen. Além de identificarem mais problemas o grupo ainda classificou os problemas em maiores graus de severidade. Posterior a essa avalição, os autores, utilizaram a média e a variância dos valores dos graus de severidade dos problemas encontrados com cada conjunto de heurística para avaliar a validade do conjunto proposto. Apesar dessa primeira tentativa de validar o conjunto de heurísticas proposto os autores destacaram o fato dessa avaliação ainda ser preliminar e a necessidade da realização de mais experimentos para ser possível uma melhor conclusão. Bertini et al. (2006) realizaram um estudo empírico com objetivo de comparar o apoio prestado pelo novo conjunto de heurísticas móveis contra as heurísticas de usabilidade padrão. O estudo envolveu oito especialistas em usabilidade e teve como resultado uma avaliação mais precisa em termos de problemas detectados (mais falhas detectadas) com a utilização das heurísticas para dispositivos móveis. Observando essa falta em geral de avaliações mais rigorosas dos conjuntos de heurísticas pospostos para dispositivos móveis o presente trabalho objetiva avaliar um conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen utilizando a Teoria da Resposta ao Item, pois a mesma permite a criação de um instrumento de medição que possua uma escala padronizada e permita sistematização e precisão dos resultados e, logo, comparabilidade dos mesmos. Essa técnica já foi utilizada para avaliar outro conjunto de heurísticas como, por exemplo, na elaboração de um conjunto de heurísticas referente a usabilidade em sites de e-commerce (TEZZA, 2009). O trabalho citado anteriormente indica a adequação do uso da técnica de TRI para validar/avaliar checklists que dentro desse contexto podem ser compreendidos como questionário padronizado, assim é possível citar alguns trabalhos que fizeram uso 151 da técnica de TRI para validar/avaliar questionários, como, por exemplo, questionários para medir inteligência ou autismo infantil (SATO, 2009) ou questionários para medição de fatores críticos da gestão pela qualidade (ALEXANDRE et al. 2001). 4. Avaliação das Heurísticas/checklist de usabilidade para aplicativos em celulares touchscreen O objetivo da avaliação é validar os itens do checklist para avaliação de usabilidade de aplicativos dos dispositivos touchscreen phones. Com esse objetivo é efetivado um estudo empírico onde é realizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen proposto por Salazar et al. (2012). A avaliação tem como foco aplicativos para dispositivos móveis e a principal funcionalidade dos mesmos, portanto, as avaliações não levaram em consideração o aplicativo como um todo e sim a sua principal função. O estudo de caso é dividido em duas iterações: Na primeira iteração são selecionados 50 aplicativos a serem avaliados. Os critérios para a seleção dos aplicativos estão apresentados a seguir: 1. Aplicativos gratuitos; 2. Número de downloads maior que 200 na página que o disponibiliza; 3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que utilizaram os aplicativos após realizar o download dos mesmos nas páginas que os disponibilizam. Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção dos aplicativos para a segunda iteração foi o seguinte: 1. Aplicativos gratuitos; 2. Aplicativos gratuitos para realização de testes. A Tabela 4 apresenta os 247 aplicativos selecionados ao total para a realização das avaliações nas duas iterações. Tabela 4: Aplicativos selecionados para a avaliação Dicionário da Língua Portuguesa Weather Channel Google Drive Google Goggles App2SD DropBox Angry Birds FacebookMessenger Qual Operadora Wallpapers HD iPhone Brasileirão Groupon iPhone Apn Brasil CardioTrainer Catarinense 2013 iPhone Sky Sports iPhone EyeEm iPhone Converter Sonar Aplicativos Avaliados Boa Lista - Lista de Compras Google Tradutor Gmail IMDb WhatsApp Traffic Counter Extended PersonalFinance Trip Advisor Cadê Meu Banco Instagram CamScanner iPhone Wase TrackPack Facebook Internacional SporTV iPhone GloboEsporte.com iPhone Dictionary.com iPhone Photaf Panorama Simulado Detran Free 4Shared Banco do Brasil Consulta Visa Vale Saraiva eReader Consulta CEP YouTube Viber Tavindo Wikipedia Churrascometro Buscapé iPhone Voos Online AVG Mobilation Feriados 2013 iPhone Night Sky Lite iPhone Shazam iPhone Quora iPhone Clean Master Rádio Atlântida 152 Spider Solitaire Guia de aeroportos HD Radar G1 Diário Catarinense Vogue Brasil Mobile Expedia Hotels & Flights Simple PAC Bíblia Sagrada NVI Ringtone Maker ASTRO File Manager Qello Mokriya craigslist WBCBaseball Climatempo Tela Transparente Buscapé Mobile Pedômetro - Accupedo Photo Grid Jogo da Forca Remember The Milk Passa Regua Vacinas Brasil Lite Diabetes Diário de Pressão Sanguinea KCRW SongTag iBeer FREE Galinha Pintadinha Guess The Movie MyBaby: My puzzle for kids Logo Quiz Alergias Diabetes Diary Lite Medicamentos A a Z Dengue Adulto e Criança GlicoCare Rotinas Terapeuticas Dblcam Engraçado Tones SMS Horóscopo HD Grátis WikipediaPlaces Free CPF/CNPJ Privalia Mobile Simples MP3 Downloader Astrid Lista de Tarefas Telefone celular Voip Sleep as Android Relax and Sleep Tumblr Postos combustivel Brasil I am Here GlobeConvert Viddy Xadrez Brasil Mobile Florianópolis Medida Certa Saúde Vale Exercícios em casa Sabores do Brasil ProEstetica Qranio Aprenda a falar outras línguas Hotel Hoje Sushi BR Dodol Phone Pessoa física iCall Eu atleta Globo News Marie Claire Brasil Mobile Dieta e Saúde Shared MP3 Baixar músicas Esboço do lápis Wales, UK Any.Do TaxiBeat ArtFinder TouristEye Foursquare QRDroid Tic Tac Toe - Pro Dictionary.com Globo.com Qual é a resposta? MusiXmatch Partiu Balada Pressão Arterial Gripe Suína GAPS - Antibiótico na Urgência Sky Drive Google Play Books Change my Voice Flashlight Presidentes Livraria Cultura eBooks Amamentação Myway Diabetes Manager Procedimentos SUS Aleitamento Universo Médico Appedatria Guia TV BR Jogos Mentais Lembretes de Aniversários Baby Names Nó em gravata Tempo de trabalho aCalendar Diário feliz PLUS Wedding Planning Lupa (Magnifier HD) EarthView ShareFood Taximetro Pro Night Vision Camera MagicPlan Compras, moda e liquidações Pet Shop Story: Easter Reuters Nike+ running Metas de Vida Nivea Sun iCaipirinha Color Touch Twitter 1001 Lugares no Brasil minube EasyMeasure Prague Shopping Guide Rádio Pessoal AUPEO! Baby holidays Shared MP3 Kekanto Crescer Mobile Radar G1 Insta Collage Letra de música e do YouTube Malaysia Cari IntaWeather Free Thrist Wunderlist CineMark Brasil Ingresso.com Baixaki Hotmail Air Horn Free Caça Palavras Medscape Split Pic Genéricos Brasi Guia Médico Nacional Unimed Apgar TV Show Favs O que é o que é Lighter Free Maze game Toddler Animal Sounds Pou Procedimentos TUSS Diabetes bPresso.com CliniCalc Breastfeed Meu diário Mensal Psisoríase Alarme AntiFurto Fácil Voz Bloco de Notas Battery Master Faces - Photo Fun Rastreio Correios Presto! Remote WiFi Manager Fake Call & SMS Benji Bananas Emoji para Android Tv Show. Tracker SoundCloud London Underground Tube Festas UFSC NET Bouncy Bill Easter Tales Piano Virtual FloripaVIP Android Massager Receita Móvel Free TeleListas Evernote Hello Palco MP3 Decolar.com Hotéis e Voos Bússola estabilizada Mochileiros Photo Effects 4.2 Coleta de Dados As avaliações heurísticas foram realizadas entre outubro de 2012 e abril de 2013. Cinco 153 pesquisadoras do GQS/INCoD/UFSC realizaram as avaliações. As avaliações envolveram pesquisadores júnior com background na área de computação, na área de usabilidade e uma pesquisadora formada em design. A primeira etapa para a realização das avaliações foi o encontro entre todas as pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma avaliação heurística em conjunto, essa avaliação teve como principal objetivo a calibração das pesquisadoras. Nesse primeiro encontro o checklist também foi avaliado e o resultado foi a percepção de alguns problemas no mesmo. Após a reformulação dos problemas encontrados no checklist cada pesquisadora realizou duas avaliações individualmente. Foram selecionados dois aplicativos para a realização dessas avaliações individuais e posteriormente foi realizado um segundo encontro onde as avaliações de cada uma das pesquisadoras foram confrontadas com as demais. O resultado foi o nivelamento entre todas as pesquisadoras no que diz respeito ao entendimento e interpretação do checklist, bem como, o entendimento de como se dariam as avaliações. Foi estabelecido que, para a realização das avaliações, o primeiro passo seria executar o aplicativo e realizar uma breve análise do mesmo como um todo. Posterior a essa primeira análise a principal função deveria ser identificada e selecionada para dar continuidade a avaliação. Os dados resultantes das avaliações foram armazenados em uma planilha eletrônica do Excel Web App, aplicativo baseado em navegador que permite editar e exibir arquivos do Excel no navegador de forma colaborativa. Dessa forma os resultados das avaliações permaneceram unificados. Para a realização das avalições heurísticas foram utilizados 7 dispositivos móveis touchscreen. Os dispositivos são de propriedade das avaliadoras e/ou fornecidos pelo GQS. 4.3 Análise subjetiva do checklist A primeira etapa de análise dos dados e validação do checklist foi a realização de uma análise empírica, o início dessa análise se deu em um encontro entre todas as pesquisadoras após a primeira iteração de 50 avaliações. Previamente ao encontro criouse um documento online onde cada pesquisadora registrou suas impressões a cerca do checklist após a primeira iteração das avaliações. Nesse mesmo documento foi possível que as pesquisadoras comentassem os registros das demais, assim, antes da realização do encontro, todas já tinham conhecimento sobre os pontos que seriam discutidos. Durante o encontro foram abordados os tópicos registrados e o resultado foi a reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do checklist. O resultado dessa avaliação foi a criação da versão 2.0 do checklist. Posteriormente a geração da nova versão do checklist os aplicativos que haviam sido avaliados na primeira iteração utilizando a versão 1.0 do checklist foram reavaliados para que seus dados refletissem a nova configuração do checklist versão 2.0. A reavaliação dos aplicativos foi realizada em Janeiro de 2013 por quatro pesquisadoras. 4.4 Análise estatística utilizando a Teoria da Resposta ao Item Nesta seção serão mostrados, analisados e discutidos os resultados gerados pela TRI referente aos 92 itens elaborados e a amostragem de 247 aplicativos para touchscreen 154 phones. A TRI foi mais uma ferramenta utilizada para auxiliar na validação do checklist. O objetivo dessa análise foi realizar a avaliação dos dados obtidos através da realização das avaliações heurísticas para que seja possível inferir quais itens que compõe o checklist, contribuem mais para medir o traço latente, ou seja, a usabilidade. Usando a TRI é possível avaliar a qualidade dos itens e classificar os aplicativos em relação ao grau de usabilidade. Para realizar essa análise foram utilizados os dados levantados através da amostra composta por 247 avaliações. O tratamento dos dados foi realizado utilizando o software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é específico para auxiliar no procedimento de estimação dos parâmetros e do traço latente. Para a criação da escala usabilidade dos aplicativos para touchscreen phones é necessário atribuir valores comparáveis aos itens e aos aplicativos para que possam ser posicionados na mesma escala. Entretanto, devido a natureza arbitrária dos valores para posicioná-los na escala, criou-se um valor de referência onde a média é 50 e o desvio padrão é 10. A escala criada é uma escala (50,10) que não tem significado prático, ou seja, esta escala poderia ter qualquer valor, onde o valor 50 representa o desempenho médio de usabilidade dos 247 aplicativos. Para que esses valores arbitrários tenham significado quando os itens forem posicionados na escala, o conteúdo abordado em cada item faz com que esses valores tenham uma interpretação para o traço latente medido, nesse caso, o traço latente é a usabilidade. Para análise dos dados é realizado um agrupamento de duas categorias. São consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a resposta “2” como a categoria “satisfaz” o requisito de usabilidade perguntado no item. A interpretação dos resultados será a mesma, ou seja, estará sendo criada uma escala para avaliar a usabilidade dos aplicativos, mas considerando apenas duas categorias. Para itens com resposta dicotômica foi utilizado o modelo logístico dado por: P(X ij 1 | , a i , b i ) 1 1 e a i ( j bi ) sendo: Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta não satisfaz) do aplicativo j; j o parâmetro do aplicativo, representa a nota de usabilidade do aplicativo j; ai o parâmetro de discriminação do item i. bi o parâmetro de posição, também chamado de dificuldade, do item i O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos aplicativos atendem determinada característica. O parâmetro ‘a’ mede quanto o item consegue diferenciar os aplicativos que estão em um nível superior da escala atender suas características e os aplicativos que estão em um nível inferior da escala não atender suas características. Na estimação dos parâmetros dos itens e na nota de qualidade dos aplicativos, supõe-se que a distribuição das notas dos aplicativos é normal com média 0 (zero) e desvio padrão 1 (um), escala (0,1), essa suposição é feita nos softwares por questão de conveniência. Para divulgação dos dados é conveniente ter uma escala que evite 155 números negativos. Assim, optou-se por uma distribuição das notas dos aplicativos com média 50 e desvio padrão 10, escala (50,10). 4.5 Resultados Nesta seção são mostrados, analisados e discutidos os resultados da análise estatística gerados pela TRI referente aos 92 itens que compõem o checklist e a amostragem de 247 aplicativos para celulares touchscreen. Primeiramente, antes de prosseguir com a análise, é importante ressaltar que um item pode ser eliminado por falta de informação suficiente para conseguir medir a característica de usabilidade indagada nele ou este item não está associado a usabilidade. O importante é que dos itens remanescentes na análise, todos medem o mesmo traço latente, ou seja, todos os itens estão medindo a usabilidade. Os critérios estabelecidos para eliminação dos itens são feitos quando os itens têm os parâmetros na escala (0,1). Os critérios foram: • parâmetro de discriminação a<0,50; • parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do intervalo (-4;4)). Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9, 10, 15, 16, 19, 21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55, 56, 63, 64, 65, 66, 67, 68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92. Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto significa que é muito provável que somente os melhores aplicativos analisados atendam as especificações descritas nesses itens. Em compensação, os itens 13, 60 e 81 foram os que tiveram o menor parâmetro “b”, logo, são itens que não discriminam aplicativos com boa usabilidade dos demais aplicativos. Para estes itens é muito provável que praticamente todos os aplicativos analisados atendam aos quesitos perguntados neles. Pode-se afirmar que eles devem estar relacionados com requisitos básicos de usabilidade de um aplicativo. A Figura 2 apresenta a distribuição dos valores de usabilidade dos 247 aplicativos e o posicionamento dos itens na escala. 156 Itens I81 I60 I13 I32 I47 I30 I35 I44 I80 I54 I86 I58 I76 I07 I59 I26 I33 I31 I45 I17 I04 I89 I87 I36 I34 I50 I41 I01 I48 I91 I02 I12 I90 I83 I57 I82 I25 I42 I27 I61 I11 I71 I14 I20 I62 I79 I06 I18 Figura 2: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos Observa-se, na Figura 2, que a maior parte dos itens está posicionada abaixo do nível 50 (referência como valor médio) e a maior parte dos aplicativos (128) está posicionado acima do nível 50, evidenciando que a maior parte dos itens apresentados no questionário são básicos para a usabilidade dos aplicativos. Ou seja, muitos aplicativos possuem as características de usabilidade perguntadas nos itens. A Figura 3 fornece informações sobre o checklist para avaliações de usabilidade de aplicativos para touchscreen phones, apresentando informação total do conjunto de itens. A partir da figura é possível identificar que a informação do teste é maior na região abaixo dos 50, o que já era esperado tendo em vista que a maior parte dos itens ficaram posicionados nessa região. Assim, pode-se concluir que o checklist proposto é mais indicado para medir aplicativos que apresentam baixa usabilidade, logo, o erro da nota para estes aplicativos é menor pois existem muitos aplicativos posicionados nessa área. Em contrapartida para os aplicativos que estão posicionados acima dessa região o erro padrão da nota é maior, pois existe pouca informação nessa área. Figura 3: Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen phones Compreende-se que os 44 itens foram eliminados por apresentarem baixo poder de 157 discriminação, ou seja, não possuem capacidade de diferenciar aplicativos com boa usabilidade dos aplicativos com usabilidade ruim. Essa capacidade é uma importante característica que reflete a qualidade de um item. Um bom item é aquele que discrimina os aplicativos com desempenho superior daqueles com desempenho inferior. Entende-se que o checklist proposto é cumulativo, isso equivale a dizer que os aplicativos que possuem as melhores avaliações, provavelmente, terão todas as caracteristicas indagadas nos itens mais fáceis e provavelmente também terão as características indagadas nos itens mais difíceis. De forma geral, as questões que foram eliminadas eram atendidas por grande parte dos aplicativos ou eram atendidas de forma distribuída, tanto por aplicativos classificados com má quanto com boa usabilidade. Essa situação indica que tais questões não se mostraram eficientes para diferenciar aplicativos com boa usabilidade. Contudo, seria necessário um estudo mais detalhado para confirmar se tais questões realmente não se referem a questões de usabilidade, que poderiam ser úteis no processo de desenvolvimento de aplicativos, por exemplo. 4.6 Escala de Medida do Grau de Usabilidade Com o objetivo de realizar uma interpretação qualitativa dos valores obtidos com a aplicação do checklist, permitindo identificar em que nível de grau de usabilidade os aplicativos avaliados se encontram, bem como em quais aspectos atendem ou não questões de usabilidade, é construída uma escala de medida do grau de usabilidade. A escala de medida é uma escala arbitrária onde o importante são as relações de ordem existentes entre seus pontos e não necessariamente sua magnitude (ANDRADE et al. 2000). A construção da escala permite identificar quais requisitos correspondem ao maior ou menor grau de usabilidade. Na Tabela 4, estão as características referentes aos 4 níveis do grau de usabilidade A definifição dos níveis da escala foi realizada pelas pesquisadoras do GQS. Os níveis apresentados na escala são provenientes da região da escala onde há informação disponível (a partir do nível 20 até o nível 60). Após a definição da escala foi realizada a interpretação de cada um dos níveis, onde foram analisados o conjunto de itens que os compõem e que caracterizam cada nível. Tabela 4: Escala de Medida do Grau de Usabilidade Nível Descrição Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre..... 30 Evitam abreviaturas e utilizam o mesmo idioma em textos. Apresentam os links de forma consistente entre as telas. Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos. Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo. As funções similares são apresentadas de forma semelhante. Em campos onde há a necessidade de inserção de dados isso é evidente. 40 Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos. Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário. Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de fundo e são apresentados de forma padronizada. Permitem que as funções mais utilizadas sejam facilmente acessadas. Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são apresentadas de maneira distinta ao usuário. Possibilitam o retorno a tela anterior a qualquer momento. Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e 158 possuem o mesmo título quando o conteúdo é o mesmo. As informações exibidas somente estão relacionadas com a tarefa que está sendo executada. 50 Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro o próximo passo para realizar a tarefa. O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos dados e mensagens mais importantes.. Possuem feedback imediato e adequado sobre seu status para cada ação do usuário. Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas. Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos. Não apresentam problemas durante a interação. Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados. Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se distinguem dos demais. 60 Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns do aplicativo. Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário cancele uma ação em progresso. Seguem os padrões da plataforma para a navegação principal. Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil acesso de mais de um usuário. Considera-se que o nível 30 possui, na escala proposta, um grau de exigência de usabilidade baixo, portanto, os itens que o compõem abordam requisitos básicos de usabilidade. A heurística de usabilidade predominante neste nível é a heurística ‘Consistência e Padrões’, ligada à organização das informações na interface de forma que o aplicativo ofereça uma navegação consistente entre as telas e permita que o usuário utilize conhecimentos adquiridos na interação com outros aplicativos. Na escala proposta, considera-se o grau de usabilidade de nível 40 maior que o nível 30, sendo assim, os itens que representam o nível 40 possuem maior exigência que os itens que representam o nível 30. Entende-se que o checklist proposto é cumulativo, o que significa dizer que aplicativos que apresentam as características abordadas pelo nível 40 provavelmente apresentam também as características abordadas pelos itens do nível 30. Os itens pertencentes ao nível 40 estão distribuídos entre as 9 heurísticas que compõem o checklist, porém a heurística mais presente nesse nível novamente é a heurística ‘Consistência e Padrões’ seguida da heurística ‘Legibilidade e layout’. A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais baixos da escala tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim, pode-se concluir que essa heurística consegue avaliar muito bem os aplicativos com baixa usabilidade. O próximo nível da escala é o nível 50, o que significada dizer que os aplicativos que apresentam as características abordadas pelo nível 50 provavelmente também apresentam as características abordadas pelos níveis 30 e 40. O nível 50 pode ser considerado como sendo um grau de usabilidade médio, portanto, os itens que compõem essa heurística abordam requisitos de usabilidade não tão fáceis quanto os níveis inferiores e também não tão difíceis como no nível superior. As heurísticas predominantes nesse nível são as heurísticas ‘Visibilidade do status do sistema’, ‘Legibilidade e layout’ e ‘Flexibilidade e eficiência de uso’. Essas três heurísticas que compõem, predominantemente, o nível 50 tem a capacidade de diferenciar aplicativos com usabilidade média. Pode-se então dizer que características relacionadas a essas heurísticas agregam maior grau de usabilidade aos aplicativos em comparação com a heurística ‘Consistência e Padrões’. Conclui-se que 159 aspectos relacionados a consistência e padrões são mais fáceis de serem cumpridos pelos aplicativos. Após estas características serem cumpridas o que diferencia os aplicativos para um nível de usabilidade um pouco maior são os aspectos relacionados a Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso. O nível mais alto da escala é o nível 60, portanto, aplicativos que apresentam as características abordadas pelos itens que compõem esse nível possivelmente apresentam também as características abordadas nos itens dos níveis anteriores. Somente quatro heurísticas compõem esse nível. Sendo a heurística ‘Controle e liberdade do usuário’ a heurística dominante, essa refere-se ao controle do usuário sobre sua navegação, como quando optam por engano por uma funcionalidade que não pretendiam. No nível 60, as características de controle e liberdade do usuário são o aspecto principal. Já no nível 30 os principais aspectos estão relacionados a consistências e padrões. Essa distinção permite concluir que os aspectos abordados no nível 60, quando comparados aos aspectos abordados no nível 30, exigem um grau maior de usabilidade. Pode-se afirmar que características relacionadas ao controle e liberdade do usuário agregam maior grau de usabilidade que características relacionadas a consistências e padrões. Embora a falta de padrões e consistência torne a interação com o aplicativo mais difícil, a presença dessas falhas provavelmente não impedirão que os usuários realizem determinada tarefa ou ação. Por exemplo, possuir botões com tamanho adequado ao clique (item 76) pode facilitar a interação do usário com o aplicativo, mas dificilmente impedirá que o usuário conclua suas ações. Já problemas ligados ao controle e liberdade do usuário podem impedir, ou dificultar expressivamente a realização de determinada ação. Por exemplo, impedir que o usuário cancele uma ação em progresso (ex.: download)(item 20), pode impedir que o usuário de continuidade a uma tarefa ou alterne para outra tarefa que ele deseja realizar. Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor nível da escala, não apresentam nem as características básicas de usabilidade. 4.7 Checklist proposto Como resultado da análise estatística do checklist, uma nova versão do mesmo foi proposta. A nova versão pode ser observada na Figura 4. Como escala de resposta aos itens do checklist é adotada uma escala ordinal com três opções: Sim (Se o aplicativo estiver de acordo com o item); Não (se não estiver de acordo com o item) e Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao escopo da aplicação). É importante destacar que a opção ‘parcial’ não está presente na nova configuração do checklist. Esta categoria foi agrupada a categoria ‘não’. 160 CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES Avaliador: Data: Aplicativo/versão: Sistema: Dispositivo: Heurísticas Questões Visibilidade do status do sistema 1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status? 2. Os componentes interativos selecionados são claramente distintos dos demais? 3. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa? 4. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? 5. Fornece um update do status para operações mais lentas? 6. O significado de símbolos e ícones são compreensíveis e intuitivos? 7. As informações são dispostas em uma ordem lógica e natural? Anotações: Controle e Liberdade do Usuário 8. É o usuário quem inicia e encerra tarefas e não o aplicativo? 9. É possível identificar o número de passos necessários para a realização de uma tarefa? 10. É possível retornar a tela anterior a qualquer momento? 11. No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário? 12. O usuário pode cancelar uma ação em progresso (ex.: download)? 13. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Anotações: Consistência e Padrões 14. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 15. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis? 16. Todas as informações textuais do aplicativo utilizam o mesmo idioma? 17. Funções diferentes são apresentadas de maneira distinta ao usuário? 18. Funções semelhantes são apresentadas de forma similar? 19. Controles que realizam a mesma função ficam em posições semelhantes na tela? 20. A forma de navegação é consistente entre as telas no aplicativo? 21. Os links são tratados de forma consistente entre as telas? 22. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor) Anotações: 23. Os títulos e rótulos são curtos? Reconhecimento em vez de lembrança 24. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma? N6 S7 NA8 161 25. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário? 26. Os títulos das telas descrevem adequadamente seu conteúdo? 27. Em campos onde há a necessidade de inserção de dados isso é evidente? Anotações: Flexibilidade e Eficiência de Uso 28. O aplicativo funciona corretamente, sem apresentar problemas durante a ainteração (trava, botões não funcionam no primeiro clique, etc)? 29. As tarefas são relativamente simples de serem executadas? 30. As funções mais utilizadas são facilmente acessadas? 31. O aplicativo utiliza objetos (ícones) ao invés de botões? Anotações: Estética e Design Minimalista 32. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada? 33. São usados textos somente quando estes são realmente indispensáveis? 34. Em textos o uso de abreviaturas é evitado? 35. O menu é esteticamente simples e claro? 36. O aplicativo exibe quantidades pequenas de informações em cada tela? Anotações: Pouca interação homem/dispositivo 37. A navegação do aplicativo é intuitiva? Interação Física e Ergonomia 38. Possui botões com tamanho adequado ao clique? Anotações: 39. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma? 40. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto? 41. A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Anotações: Legibilidade e Layout 42. O espaçamento entrelinhas utilizado favorece a leitura? 43. As fontes utilizadas favorecem a leitura? 44. Os ícones possuem contraste suficiente em relação ao plano de fundo? 45. Os textos tem contraste suficiente em relação ao plano de fundo? 46. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena? 47. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados? 48. O alinhamento utilizado favorece a leitura? Anotações: 162 Figura 4: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen phones 5 Conclusão No presente trabalho o objetivo principal foi avaliar a validade de um conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen. A avaliação teve como objetivo verificar se o conjunto de heurística/checklist mede o grau de usabilidade dos aplicativos para touchscreen phones. Essa validação se deu a partir da validação da qualidade dos itens que compõem o checklist. O checklist foi aplicado a 247 aplicativos e os resultados obtidos foram analisados utilizando a Teoria da Resposta ao Item. O checklist inicial era composto por 92 itens, o resultado da análise eliminou 44 itens por falta de consistência ao conjunto, resultando assim em um checklist com 48 itens. A da hipótese definida incialmente é verdadeira e foi confirmada a partir dos resultados alcançados. O conjunto de heurísticas resultante após a análise estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis touchscreen phones. A contribuição do presente trabalho está na criação de uma escala padronizada do grau de usabilidade permitindo assim, a comparabilidade entre aplicativos para dispositivos touchscreen phones. O presente trabalho também permite inferir a usabilidade de um aplicativo com um esforço mínimo necessário. Os resultados obtidos podem ser utilizados para avaliar o grau de usabilidade de aplicativos para dispositivos touchscreen phones visando a melhora a usabilidade dos mesmos. Os resultados deste trabalho permitem que outras oportunidades de pesquisa na área de usabilidade e aplicativos possam ser desenvolvidas. Avaliações que envolvam usuários não foram utilizadas no presente trabalho, portanto recomenda-se a realização de testes de usabilidade com o objetivo de avaliar o checklist proposto. Testes de usabilidade simulam situações de uso e avaliam um produto através da observação sistemática dos usuários interagindo com o sistema. Outra importante oportunidade de pesquisa é a ampliação do checklist. Essa ampliação deve ser realizada explorando conceitos mais particulares das interfaces dos dispositivos touchscreen phones com o objetivo de permitir medir a usabilidade de aplicativos com maior grau de usabilidade. 6. Referências ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma proposta de analise de um construto para a medição dos fatores críticos da gestão pela qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001 ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and form factor on doctor–patient communication. International Journal of Medical Informatics, 81, 12–28. 2012 ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000. 163 ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telas-sensiveis-ao-toquetouch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012. AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile Application. International Conference on Information Management and Engineering (ICIME),427-431. Malaysia. 2009. BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000. BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic Evaluation Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced Visual interfaces, Venezia, Italy. 2006. BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. & PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of mobile applications. Universal Acess in the Information Society, (9), 337–356. 2010. FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd International Conference on Information Technology Interfaces (ITI), 275- 280. GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in First Quarter of 2013. Disponível em: < http://www.gartner.com/newsroom/id/2482816>. Acesso em: 22 mai. 2013. GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.Proc. of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004. GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the move. 2011. Journal of Computer Assisted Learning, (27), 204–215. HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and Requirements for the M-Learning Application Development. International Conference on User Science Engineering (i-USEr), 226-231. Malaysia. 2010. INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada. 2012. LANDIM, W.. A evolução dos celulares. 2011. Disponível em: <http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico-.html>. Acesso em: 13 mai 2012. LEE, D.The State of the Touch-Screen Panel Market. Disponível em: <http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market.pdf>. Acesso em: 14 mai 2012. LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile Environments. 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM), 1-4. 2010. Disponível em: <http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2Fieeex 164 plore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumber%3D5600162 >. Acesso em: 09 set. 2012. NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in Engineering Software, (40), 1318–1328. 2009. PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homemcomputador. Porto Alegre (RS): Bookman, 2005. 548p. RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing documentation on Kindle, tablets, and smartphones. IEEE International Professional Communication Conference (IPCC). 2011. OH, USA. SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A. Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, 2012. SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von. Systematic Literature Review on Usability Heuristics for Mobile Phones. International Journal of Mobile Human Computer Interaction, 5(2), 2013. SATO, F. P. Validação da versão em português de um questionário área avaliação de autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP, 2008. TEZZA, R. Proposta de um construto para medir usabilidade em sites de e-commerce utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de PósGraduação em Engenharia de Produção. TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção – ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro – RJ: ABEPRO, 2009. v 1. TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the American Society for Information Science and Technology, 38 (1), 24–29. 2011. WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development. 2010. In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA. WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile Devices. 8th International Conference onInformation Technology: New Generations (ITNG), 1066- 067. 2011. Las Vegas, Nevada, USA. ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile GameBased Learning. 6th IEEE International Conference on Wireless, Mobile and Ubiquitous Technologies in Education (WMUTE), 127-131.2010. Kaohsiung, Taiwan.