Relatório de Revisão Sistemática da Literatura
Transcrição
Relatório de Revisão Sistemática da Literatura
Relatório de Revisão Sistemática da Literatura (SLR): Educação a distância, design e tecnologias assistivas para surdos: um panorama de 2007 a 2013 RT.FALE/2014 Autores: Letícia Capelão de Souza Hugo Leonardo Canalli Orientação: Reinildes Dias Outubro 2014 Lista de ilustrações Figura 3.1 – Estágios da etapa do relatório de revisão da SLR . . . . . . . . . . . . . 29 Figura 3.2 – Tela de busca avançada da ACM . . . . . . . . . . . . . . . . . . . . . . 30 Figura 3.3 – Metodologia para seleção dos estudos da SLR . . . . . . . . . . . . . . . 32 Figura 3.4 – Planilha com os resultados dos testes das combinações de strings - parte 1 36 Figura 3.5 – Planilha com os resultados dos testes das combinações de strings - parte 2 37 Figura 3.6 – Tela da IEEE para busca avançada com palavras-chave . . . . . . . . . . 38 Figura 3.7 – Tela da IEEE para busca avançada com a combinação completa de strings 39 Figura 4.1 – Planilha para registro dos dados obtidos dos sites a partir de busca direta 47 Figura 4.2 – Coluna de justificativa de exclusão usada na planilha de registro dos dados obtidos dos sites a partir de busca direta . . . . . . . . . . . . . . . . . 47 Figura 4.3 – Tela principal de busca do aplicativo Reviewer . . . . . . . . . . . . . . . 49 Figura 4.4 – Tela com os total de resultados encontrados . . . . . . . . . . . . . . . . 50 Figura 4.5 – Tela com as pesquisas de resultados gravadas (Base ACM, Base Springer) 50 Figura 4.6 – Tela para inclusão ou exclusão dos trabalhos . . . . . . . . . . . . . . . 51 Figura 4.7 – Tela com listagem das publicações . . . . . . . . . . . . . . . . . . . . . 51 Figura 4.8 – Tela com planilha gerada pelo Reviewer . . . . . . . . . . . . . . . . . . 52 Figura 4.9 – Planilha de registro dos dados obtidos dos sites a partir de busca utilizando o aplicativo Reviewer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Figura 4.10 – Parte da planilha exibindo a marcação de etapas e justificativas de exclusão 61 Figura 4.11 – Planilha representando os campos e alguns trabalhos registrados para a base de dados ACM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Figura 4.12 – Aba modelo resumo a ser seguida para registro de trabalhos de uma nova base de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Figura 4.13 – Aba modelo análise com as questões para avaliar a qualidade . . . . . . . 63 Figura 4.14 – Aba critérios de análise da planilha geral . . . . . . . . . . . . . . . . . . 64 Figura 4.15 – Campo aspecto abordado da planilha geral . . . . . . . . . . . . . . . . 64 Figura 4.16 – Campo contexto da planilha geral . . . . . . . . . . . . . . . . . . . . . 65 Figura 4.17 – Campo estratégia de comunicação da planilha geral . . . . . . . . . . . . 65 Figura 4.18 – Campo tipo de trabalho da planilha geral . . . . . . . . . . . . . . . . . 66 Figura 4.19 – Tela do programa com a exibição dos trabalhos . . . . . . . . . . . . . . 68 Figura 4.20 – Planilha com a definição das atividades de cada grupo . . . . . . . . . . 69 Figura 5.1 – Resultado final da SLR . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Figura B.1 – Exemplo Estrela e Lua – Operador AND . . . . . . . . . . . . . . . . . . 138 Figura B.2 – Exemplo Estrela e Lua – Operador OR . . . . . . . . . . . . . . . . . . . 138 Figura B.3 – Exemplo Estrela e Lua – Operador NOT . . . . . . . . . . . . . . . . . . 139 Figura E.1 – Tela do programa com a exibição dos trabalhos . . . . . . . . . . . . . . 179 Figura Figura Figura Figura Figura Figura Figura Figura Figura E.2 – E.3 – E.4 – E.5 – E.6 – E.7 – E.8 – E.9 – E.10 – Tela Tela Tela Tela Tela Tela Tela Tela Tela de análise do trabalho – Visão Geral . . . . . . . . . de análise do trabalho – Características . . . . . . . . de análise do trabalho – Metodologia de Avaliação . . de análise do trabalho – Resultados . . . . . . . . . . do programa com a exibição dos trabalhos . . . . . . de avaliação da qualidade – Visão Geral . . . . . . . de avaliação da qualidade – Características . . . . . . de avaliação da qualidade – Metodologia da avaliação de avaliação da qualidade – Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 180 181 181 182 182 183 183 184 Lista de mapas Mapa Mapa Mapa Mapa Mapa 2.1 – Estágios da etapa de PLANEJAMENTO da SLR . 2.2 – Estágios da etapa de CONDUÇÃO da SLR . . . . 3.1 – Itens do protocolo de revisão da SLR . . . . . . . 5.1 – Estudos resultantes da SLR por categoria . . . . 5.2 – Estudos Mais Relevantes (EMR) por categoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 16 25 78 79 Lista de quadros Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro Quadro 3.1 – Resultado da seleção dos estudos sobre SLR (busca em português) . . . . 18 3.2 – Resultado da seleção dos estudos sobre SLR(busca em inglês) . . . . . . . 20 3.3 – Questões de pesquisa e motivações . . . . . . . . . . . . . . . . . . . . . 22 3.4 – Sinônimos de palavras-chave para os termos definidos . . . . . . . . . . . 27 4.1 – Strings de busca utilizadas nos sites de pesquisa . . . . . . . . . . . . . . 56 4.2 – Instituições selecionadas com conceitos Capes/Qualis 6 e 7 . . . . . . . . 70 5.1 – Estudos resultantes da SLR - Categoria “Educação a Distância para surdos“ 81 5.2 – Estudos resultantes da EMR – Categoria Educação a Distância para surdos 83 5.3 – Estudos resultantes da SLR – Categoria “Design na web para surdos” . . . 85 5.4 – Estudos resultantes da EMR – Categoria “Design na web para surdos” . . 86 5.5 – Estudos resultantes da SLR – Categoria “Tecnologias Assistivas para surdos” 87 5.6 – Estudos resultantes da EMR – Categoria “Tecnologias Assistivas para surdos” 88 A.1 – Base de dados na área de Ciência da Computação . . . . . . . . . . . . . 125 A.2 – Base de dados na área de Informática na Educação . . . . . . . . . . . . 125 A.3 – Base de dados na área da surdez . . . . . . . . . . . . . . . . . . . . . . 126 A.4 – Base de dados de Linguagem . . . . . . . . . . . . . . . . . . . . . . . . 126 A.5 – Base de dados na área de Teses e Dissertações . . . . . . . . . . . . . . . 126 A.6 – Dados coletados - VISÃO GERAL dos estudos selecionados na etapa 4 . . 127 A.7 – Dados coletados - CARACTERÍSTICAS dos estudos selecionados na etapa 4128 A.8 – Dados coletados - METODOLOGIA de AVALIAÇÃO dos estudos selecionados na etapa 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 Quadro A.9 – Dados coletados - RESULTADOS dos estudos selecionados na etapa 4 . . 130 Quadro A.10–Critérios de qualidade para avaliação de estudos desta SLR . . . . . . . . 131 Lista de tabelas Tabela Tabela Tabela Tabela Tabela 5.1 5.2 6.1 6.2 A.1 – – – – – Estudos resultantes da SLR . . . . . . . . . . . . . . . Resultados das pesquisas nas bases de dados de artigos . Aspectos abordados nos estudos resultantes da SLR . . Forma de comunicação adotada . . . . . . . . . . . . . Ranking de qualidade dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 76 90 103 134 Sumário 1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 ETAPAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 PLANEJAMENTO DA REVISÃO . . . . . . . . . . . . . . . . . . . . . . 11 13 17 3.1 Identificação da necessidade de revisão . . . . . . . . . . . . . . . . . . . . . . 17 3.2 Questões de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3 Protocolo de Revisão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3.1 Estratégia de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3.2 Critérios de seleção . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3.3 Metodologia para seleção dos estudos . . . . . . . . . . . . . . . . . 32 3.3.4 Critérios de qualidade . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3.5 Dados a serem coletados . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3.6 Avaliação do protocolo de revisão . . . . . . . . . . . . . . . . . . . 33 3.3.7 Lições aprendidas com a construção do protocolo . . . . . . . . . . . 37 3.3.8 Combinação de Strings Validadas . . . . . . . . . . . . . . . . . . . 4 CONDUÇÃO DA REVISÃO . . . . . . . . . . . . . . . . . . . . . . . . . . 42 43 4.1 Identificação da pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.2 Seleção dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3 4.4 4.2.1 Critérios para seleção dos estudos . . . . . . . . . . . . . . . . . . . 44 4.2.2 Processo de seleção dos estudos . . . . . . . . . . . . . . . . . . . . 46 4.2.3 Confialibilidade dos critérios de inclusão . . . . . . . . . . . . . . . . 69 Avaliação da qualidade dos estudos . . . . . . . . . . . . . . . . . . . . . . . . 71 4.3.1 Instrumentos para avaliação da qualidade . . . . . . . . . . . . . . . 71 4.3.2 Usando os instrumentos de qualidade . . . . . . . . . . . . . . . . . 71 4.3.3 Limitações dos intrumentos de qualidade . . . . . . . . . . . . . . . 71 Extração dos dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.4.1 Design dos formulários de extração dos dados . . . . . . . . . . . . . 72 4.4.2 Conteúdos dos formulários de extração dos dados . . . . . . . . . . . 5 RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 ANÁLISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 75 89 6.1 Análise - Questões de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . 89 [QE1] - Quais são os ambientes virtuais de aprendizagem abordados nas pesquisas? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 [QE2] - Quais aspectos do ambiente de aprendizagem são abordados? (conteúdo, ensino/aprendizagem, interface, material didático) . . . . 90 [QE3] - Quais são as principais dificuldades dos surdos ao interagir com ambientes virtuais de aprendizagem? . . . . . . . . . . . . . . . 93 6.1.1 6.1.2 6.1.3 6.1.4 [QE4] - Qual a forma de comunicação adotada? (Língua Portuguesa, Libras e Escrita de Sinais) . . . . . . . . . . . . . . . . . . . . . . . 6.1.5 [QE5] - Quais são as tecnologias assistivas utilizadas em ambientes on-line? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1.6 [QE6] - Quais tipos de contribuições foram feitas em relação à inclusão digital dos surdos? . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 DISCUSSÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 103 107 111 Referências . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 Apêndices APÊNDICE A PROTOCOLO DE REVISÃO . . . . . . . . . . . . . . . A.1 Base de dados pesquisadas na SLR . . . . . . . . . . . . . . . . . . . . . . A.2 Dados a serem coletados . . . . . . . . . . . . . . . . . . . . . . . . . . . A.3 Critérios de qualidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.4 Strings Validadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . APÊNDICE B OPERADORES . . . . . . . . . . . . . . . . . . . . . . . B.1 Operadores Booleanos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . APÊNDICE C PLANEJAMENTO DA SLR . . . . . . . . . . . . . . . . C.1 Links diretos de pesquisa das bases de dados . . . . . . . . . . . . . . . . . C.2 Dados dos Estudos Mais Relevantes (EMR) já conhecidos . . . . . . . . . . C.3 Buscas de testes nas bases de dados - Resultados . . . . . . . . . . . . . . C.4 Tabela de resultados de SLRs já existentes com pesquisa em PORTUGUÊS C.5 Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS . . . . APÊNDICE D PARTICIPANTES SLR . . . . . . . . . . . . . . . . . . . APÊNDICE E APLICATIVO DESENVOLVIDO PARA SLR . . . . . . . 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 125 127 131 135 137 137 141 142 151 162 166 173 177 179 11 1 Introdução A Systematic Review Literature (SLR) se destaca como técnica de pesquisa uma vez que segue uma metodologia bem definida com vários passos devidamente documentados e, com isso, permite a garantia da qualidade e confiabilidade dos resultados. (KITCHENHAM, 2004; KITCHENHAM, 2004; REIS; PRATES, 2011a; REIS; PRATES, 2011b; JAMSHIDI et al., 2012). A proposta de realização desta Systematic Literature Review (SLR) na temática de EAD e surdez se deve ao propósito de levantamento de estudos desenvolvidos nesta área, a fim de atender as necessidades especiais deste público surdo, possibilitar maior acessibilidade, assim como a uma melhor comunicação e compreensão de conteúdos on-line, especialmente em contexto de aprendizagem. Uma Systematic Literature Review (SLR) ou Revisão Sistemática da Literatura tem como objetivos identificar, avaliar e interpretar pesquisas relevantes para uma questão de pequisa específica, área temática ou fenômeno de interesse. Pode ser aplicada para resumir as evidências existentes em relação a um tema (assunto, problema etc), identificar possíveis estudos futuros ou o estado da arte para que seja possível realizar atividades relacionadas. Também pode ser usada para investigar a extensão em que uma evidência empírica suporta/contradiz hipóteses teóricas ou, até mesmo, para auxiliar a geração de novas hipóteses. (KITCHENHAM, 2004; KITCHENHAM, 2004; KITCHENHAM, 2007; KITCHENHAM et al., 2010). Nesta tese, a SLR foi utilizada para realizar um levantamento de estudos a fim de identificar e avaliar as pesquisas já desenvolvidas na área de surdez, EAD e design, no período de 2007 a 2011. O rigor do processo de busca é um fator que distingue as revisões sistemáticas das revisões tradicionais. A maioria das pesquisas começa com uma revisão da literatura com um objetivo específico, contudo, sem seguir uma técnica. Por isso, podem ser incompletas, uma vez que não se definem os critérios para busca que se realiza através de revisões sistemáticas. Com isso, podem se caracterizar com pouco valor científico (KITCHENHAM, 2007; KITCHENHAM et al., 2010). No âmbito da Engenharia de Software, essa técnica de pesquisa foi proposta por Kitchenham (2004). A autora apresenta vantagens e desvantagens para o seu uso e destaca: por ser uma metologia bem definida, é menos provável que os resultados da literatura sejam prejudicados, embora ainda não protejam contra os vieses nos estudos primários. Além disso, através da SLR é possível obter informações sobre os efeitos de algum fenômeno em uma variedade de configurações e métodos empíricos. Se os estudos fornecerem resultados consistentes, a revisão sistemática fornece evidência que o fenômeno é robusto e transferível. Se os estudos fornecerem resultados inconsistentes, as fontes de variação devem ser estudadas. No 12 Capítulo 1. Introdução caso de estudos quantitativos, é possível de combinar dados usando técnicas de meta-análise. Isso aumenta a possibilidade de detectar efeitos reais que pequenos estudos individuais não são capazes de detectar. A maior desvantagem da SLR é requerer um esforço considerável, comparando-se com as revisões tradicionais de literatura. Além disso, pode ser necessário também um esforço maior para a meta-análise, visto que podem ser detectados pequenos vieses assim como a necessidade de confirmação de resultados, se o processo e suas etapas não forem cuidadosamente seguidos. Conforme destacam Mariano, Machado e LOBATO (2013, p. 137–138), As principais vantagens do uso da revisão sistemática estão relacionadas à segurança no processo seguido, a possibilidade de replicabilidade do estudo, bem como, a confiabilidade do processo, uma vez que este é executado de modo planejado e sistemático. No entanto, apesar das vantagens apresentadas, o processo manual de revisão sistemática é trabalhoso e propenso a falhas, caso não seja cuidadosamente seguido. 13 2 Etapas A metodologia da SLR é composta por três etapas: (1) planejamento da revisão, (2) condução da revisão e (3) relatório da revisão (KITCHENHAM, 2004; KITCHENHAM et al., 2010). A seguir apresentamos uma visão geral de cada uma destas etapas e suas subetapas. No planejamento de revisão, etapa inicial da SLR, deve-se identificar a necessidade da realização da pesquisa e se elaborar um protocolo de revisão, onde são definidos os métodos que serão utilizados para realizar uma revisão sistemática específica. Veja Mapa 2.1 na página seguinte. Os estágios presentes nesta etapa são: • Identificação da necessidade de uma revisão: deve-se pesquisar e avaliar as revisões sistemáticas já existentes relacionadas ao objetivo de realização da SLR. Desta forma, a SLR deve ser executada, se realmente houver necessidade, ou seja, se não houver pesquisas já desenvolvidas que respondem ao propósito da SLR. • Questões de pesquisa: deve-se definir as questões de pesquisa que tem relação com ao objetivo de realização da SLR. São o elemento chave de toda condução da metodologia. • Protocolo de revisão: após a definição das questões de pesquisa, deve-se elaborar um documento definindo os métodos que utilizados para realizar a revisão (estratégias de busca, critérios de inclusão e exclusão dos trabalhos, critérios de qualidade para avaliação, metodologia para seleção dos estudos, dados a serem coletados). • Avaliação do protocolo de revisão: antes de realizar as buscas nas bases de dados, deve-se avaliar a consistência do protocolo de revisão para confirmar que cada processo da pesquisa é derivado das questões de pesquisa. Na condução da revisão (etapa 2), os estudos são selecionados a partir do que foi definido no protocolo de revisão. Veja Mapa 2.2 na página seguinte. • Seleção de estudos primários: é realizada a seleção dos estudos nos sites das bases de dados a partir dos critérios de seleção já definidos no protocolo da revisão, por sua vez, relacionados às questões de pesquisa. • Avaliação da qualidade do estudo: após a seleção dos estudos a partir da metodologia proposta para a SLR, deve-se realizar uma avaliação da qualidade também a partir de critérios pré-definidos no protocolo de revisão da SLR. • Extração dos dados: neste estágio, deve-se identificar e registrar as informações relevantes nos estudos “aprovados” na última etapa da SLR e selecionados para uma análise mais profunda. 14 Capítulo 2. Etapas • Síntese dos dados: neste estágio, deve-se realizar uma síntese descritiva, quantitativa e qualitativa dos resultados encontrados. O relatório de revisão (etapa 3) é a etapa final da revisão quando se registram os resultados da revisão, divulgação e avaliação por especialistas. Nas seções seguintes apresentamos o detalhamento de cada uma destas etapas e respectivas subetapas, quando apontamos as questões que a nortearam, as estratégias da pesquisa, os passos para sua realização, análise e resultados encontrados. Mapa 2.1 – Estágios da etapa de PLANEJAMENTO da SLR Fonte: Elaborado pela pesquisadora, 2014 Mapa 2.2 – Estágios da etapa de CONDUÇÃO da SLR 17 3 Planejamento da revisão 3.1 Identificação da necessidade de revisão Antes de se realizar uma SLR, deve-se pesquisar se já há alguma SLR desenvolvida na área de interesse da pesquisa. A partir dos resultados encontrados, estas revisões sistemáticas já existentes devem ser analisadas e a SLR só deve ser feita, se realmente for necessário. Ou seja, se não houver nenhuma SLR já desenvolvida. Logo, antes de se definir o protocolo da revisão deve-se buscar por revisões sistemáticas existentes que respondam às questões de pesquisa que motivaram a proposta de uma SLR. Em nossa SLR, buscamos por trabalhos relacionados a educação a distância, design, tecnologias assistivas e avaliação de interfaces voltadas para o público surdo, em ambientes on-line. Para isso, realizamos pesquisas a partir dos conjuntos de strings 1 (palavras-chave), em português e inglês. As pesquisas foram realizadas na base de dados Google Acadêmico2 , que abrange várias bases de dados de publicações, dentre as quais as próprias bases de dados relevantes na temática de nossa pesquisa (computação, linguagem, design etc). As combinações de palavras utilizadas na busca, o total de estudos encontrados e o total de estudos após análise de título e resumo estão apresentados no arquivo no Apêndice C – Planejamento da SLR na seção C.4 – Tabela de resultados de SLRs já existentes com pesquisa em PORTUGUÊS e na seção C.5 – Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS. Como exemplo, seguem algumas combinações de buscas utilizadas: (1) "Revisão Sistemática da Literatura"+ "deficiente auditivo"+ interface; (2) "Systematic Literature Review"+ deafness + "Distance Education"; (3) "Systematic Literature Review"+ deaf + "Distance Education"; (4) "Systematic Literature Review"+ "Hard of Hearing"+design + "Distance Education". Na pesquisa em português, encontramos um total de 158 trabalhos, dentre os quais restaram 53, pois havia muitos trabalhos repetidos ou que não tinham relação com a nossa pesquisa definida na SLR. A partir da análise da etapa 1 (seleção pelo título) encontramos um total de sete trabalhos relevantes. Os trabalhos que apareceram em um conjunto de strings se repetiram nas outras buscas. Para seleção dos sete estudos encontrados, adotamos o seguinte critério para seleção: 1 2 Na Ciência da Computação, o termo string é um conceito comumente utilizado. Ele se refere a um conjunto de caracteres, ou seja, um conjunto de letras. Em nosso caso, uma string se refere a uma palavra <http://scholar.google.com.br> 18 Capítulo 3. Planejamento da revisão (1) seleção pelo título, (2) seleção pelo resumo, (3) seleção pela leitura diagonal. Pela leitura na diagonal já foi possível identificar os objetivos de cada um dos trabalhos encontrados. Estes sete estudos foram analisados a partir da leitura na diagonal. O Quadro 3.1 apresenta a justificativa para exclusão de cada um dos estudos. Quadro 3.1 – Resultado da seleção dos estudos sobre SLR (busca em português) (continua) Id. Ano Autor Titulo Justificativa de Exclusão 1 2013 BERG, Carlos Henrique Avaliação de ambi- - O foco da pesquisa foi a usabilientes virtuais de en- dade "Usability AND Website, Usabisino aprendizagem lity AND "Learning Management Sysacessíveis através tem"e Usability AND Emotion de testes de usabili- - Bases de dados: Scopus e a Web of dade com emoções Knowledge - Outubro de 2011 a dezembro de 2012 2 2013 BITTENCOURT et al Designing for Different Users and Multiple Devices : A Roadmap towards Inclusive Environments – Outro foco de pesquisa: QP1. Quais abordagens para design de interface estão sendo usados para lidar com múliplos dispositivos e usuários com diferentes condições? QP2. Quais ferramentas estão sendo usadas para auxiliar o design de aplicações inclusivas com múltiplos dispositivos? – Bases: IEEE, ACM, Science Direct, Scopus, ISI Web of Science 3 2012 ARAÚJO, Tiago Maritan Ugulino de Uma Solução para Geração Automática de Trilhas em Língua Brasileira de Sinais em Conteúdos Multimídia Foco da SLR: – Lingua de sinais; – Tecnologia para reduzir as barreiras de acesso à informação das pessoas surdas nas TIC, especialmente quando intérpretes humanos não estão disponíveis; – Bases: IEEE, ACM, Science Direct, Scopus, ISI Web of Science 3.1. Identificação da necessidade de revisão 19 Quadro 3.1 – Resultado da seleção dos estudos sobre SLR (busca em português) (conclusão) Id. Ano Autor Titulo Justificativa de Exclusão 4 2012 BRITO, Ronnie Fagundes de Modelo de Referên- Foco da SLR: cia para Desenvolvi- – recursos audiovisuais: ((deaf OR demento de Artefatos afness OR sign language) AND (telede Apoio ao Acesso vision OR TV OR DTV OR IDTV OR de Surdos ao Audi- captions OR legenda OR subtitles OR ovisual digital OR broadcast OR web OR audiovisual OR vídeo OR movie) – Bases: Bibliotecas Nacional de Teses e Dissertações, Networked Library of Thesis and Dissertations, Scopus, ScienceDirect, Google Scholar 5 2012 SCHNEIDER, Elton Ivan Uma contribuição Foco da SLR: aos Ambientes Vir- – Comunidades de prática e teoria da tuais de Aprendi- cognição situada, na área de educação, zagem (AVA) su- uso de ambientes virtuais ou Educação portados pela Teo- a Distância (EAD) e/ou surdos ria da Cognição Si- – Bases: Google Scholar, Japan Science tuada (TCS) para and Tecnology Information Aggregapessoas com Defici- tor Eletronic, Library os Congress (Uniência Auditiva ted States Library os Congress (LOC), OAIster, SciELO.ORG, SCIRUS (ELSEVIER), TEL (théses-en-ligne) 6 2008 SHEEHY, Kieron Virtual Environments: Issues and Opportunities for Researching Inclusive Educational Practices (capítulo de livro) Capítulo de livro 7 2008 SHEEHY, Kieron Virtual environments: Issues and opportunities for developing inclusive educational practices Conjunto de artigos. Não apresenta revisão sistemática da literatura. Fonte: Quadro obtido pela pesquisa direta. Realizamos então a pesquisa com a string em inglês. Os resultados das pesquisas da combinação de strings em inglês e português foram descritos no Apêndice C – Planejamento da SLR na seção C.5 – Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS. Nesta busca em inglês encontramos somente quatro estudo relacionados, dois já encontrados na busca em português (BITTENCOURT et al., ; SHEEHY, 2008) e os outros 20 Capítulo 3. Planejamento da revisão dois também não respondiam a nossa questão proposta na SLR (ver quadro a seguir). Vários estudos apareceram em diversas buscas com diferentes combinações. Apesar das buscas em inglês terem retornado muito mais estudos que a busca com palavras em português, os estudos não tinham relação com o objetivo da SLR. Eram estudos relacionados com a área de saúde, área clínica ou livros. O quadro a seguir apresenta a justificativa para exclusão de cada um dos estudos: Quadro 3.2 – Resultado da seleção dos estudos sobre SLR(busca em inglês) (continua) Id. Ano Autor Título Justificativa de Exclusão 1 2013 Soraia de Souza Reis and Raquel Oliveira Prates Applicability of the Não respondia à questão da nossa SLR: semiotic inspection - Questão de pesquisa: Qual a aplicabilimethod: a systema- dade do Método de Inspeção Semiótica tic literature review (MIS)? - Bases: IEEE Electronic Library, ACM Digital Library, Science Direct and SpringerLink - SERG (Semiotic Engineering Research Group) - Base digital de teses e dissertações da PUC-Rio e do DCC-UFMG. - Brazilian Symposium on Human Factors in Computing Systems (IHC): 2 2008 Luiz Paulo Damilton Corrêa, Flávio R. S. Coutinho, Raquel Oliveira Prates, Luiz Chaimowicz Departamento de Ciência da Computação (DCC) Uso do MIS para avaliar signos sonoros: quando um problema de comunicabilidade se torna um problema de acessibilidade Não tratava de SLR. Fonte: Quadro obtido pela pesquisa direta. Na condução de nossa pesquisa, encontramos uma pesquisa da UFSC em que foi realizada uma SLR (QUEVEDO, 2013)3 . Contudo, a SLR realizada por ela também não respondeu à nossa questão de pesquisa da SLR apesar de haver um temática relacionada. A pesquisa de Quevedo (2013) foi realizada nas bases Scopus e Web of Knowledge a partir das seguintes combinações: learning management system and libras; LMS and libras; AVA and libras; AVEA and libras; learning management system and bilingual, encontrando apenas o trabalho de Saito et al. (2013)4 encontrado em nossa SLR. Na base de dados da CAPES, 3 4 p1UFSC6; p2UFSC6 p1IEEE13; p2IEEE14. Learning Management Systems and face-to- face teaching in bilingual modality (libras-portuguese) 3.1. Identificação da necessidade de revisão 21 Quevedo (2013) utilizou as seguintes combinações "ambiente virtual de aprendizagem libras"e "ambiente virtual de aprendizagem inclusivo"encontrando 17 teses e dissertações em nível nacional. A autora também realizou uma busca sistemática no Google a partir das seguintes palavras-chave: "ambiente virtual de aprendizagem acessível; ambiente virtual de aprendizagem bilíngue, e ambiente virtual de aprendizagem surdo."Quevedo (2013). Teve como resultado 12 endereços de universidades e blogs pessoais com informações de AVAs inclusivos. Consideramos as combinações de strings focadas em um ambiente virtual bilíngue e no uso de Libras, o que não foi o foco da nossa SLR, que buscou justamente ambientes focados no uso da LP. Apesar disso, consideramos que os resultados estavam dentro do nosso escopo, mas com outro foco mais restrito. Como o tema da SLR tratou das áreas de surdez, educação e IHC, nossa SLR abrangeu também as principais bases de dados de artigos na área de Computação, Informática na Educação, Surdez e Linguagem. Também foram incluídos trabalhos de conclusão de curso, dissertações e teses pesquisadas em instituições universitárias de todo o Brasil5 . Dentre os trabalhos resultantes nas pesquisas de Quevedo (2013), seis foram resultantes em nossa SLR (RIBAS, 2008; SILVA; RAMOS, 2010; GOES, 2010; SOUZA; MONTEIRO; INTRATOR, 2010; AVELAR, 2010; OBREGON, 2011)6 . Buscamos dois trabalhos que poderiam ser do nosso interesse e não foram resultantes da nossa SLR, contudo um deles foi excluído por não ter alcançado a pontuação mínima para nossa SLR (VALENTIM, 2006) e o outro foi também excluído pois foge do escopo da questão de pesquisa da SLR (SALES, 2010). Contudo as conclusões de Quevedo (2013, p. 54) justificaram e reforçaram a originalidade e relevância de nossa pesquisa, comprovada também nesta nossa SLR, quando a autora ressaltou “a baixa incidência de estudos sobre ambientes virtuais inclusivos”, como resultados de sua pesquisa. De 13 trabalhos encontrados, Quevedo (2013) selecionou seis trabalhos que apresentavam formalmente suas experiências empíricas com AVAs inclusivos. E justificou que os demais foram desconsiderados por serem modelos fechados para testes e, por isso, não disponíveis; ou “eram propostas de modelo, não chegando a ser implementadas em ambiente virtual”. 5 6 Em um total foram realizadas buscas de publicações em 38 bases de dados: nas 26 principais bases de dados de artigos na área de Computação (10 bases de dados), Informática na Educação (6 bases de dados), Surdez (5 bases de dados) e Linguagem (5 bases de dados). Também foram incluídos trabalhos de conclusão de curso, dissertações e teses pesquisadas em 12 bases de dados de instituições universitárias de todo o Brasil RIBAS (2008) – p1UFSC7 – Aceitável; RENNEBERG (2010) – p1p2UFSC14 - Ótimo; GOES (2010) = p1p2UFRGS1 - Ótimo; SOUZA (2010) - p1p2UFSC15 – Excluído - Outro foco de estudo; AVELAR (2010) = p1p2UFSC4 = Excluído - Outro foco de estudo; OBREGON (2011) – UFSC9 - Excluído - Outro foco de estudo 22 Capítulo 3. Planejamento da revisão 3.2 Questões de pesquisa As questões de pesquisa correspondem aos objetivos de realização da SLR. Ela é a base de toda condução da pesquisa: • O processo de pesquisa deve identificar estudos primários que tratam das questões de pesquisa. • O processo de extração de dados deve extrair os itens de dados necessários para responder às perguntas. • O processo de extração de dados deve extrair os itens de dados necessários para responder às perguntas. • O processo de análise de dados deve sintetizar os dados, de forma que as perguntas possam ser respondidas. (KITCHENHAM, 2007, p. 54) O objetivo da nossa SLR foi identificar os estudos relacionados a educação a distância e surdez e apresentar um panorama das pesquisas realizadas que atendem ao público surdo, em ambientes on-line, com foco em ambientes de aprendizagem. Diante disso, nosso foco foi encontrar a maior quantidade possível de estudos relacionados com a seguinte questão principal: [QP1] Qual o panorama atual de pesquisas que envolvem aspectos da Educação a Distância voltados para um público surdo? Baseando-se nesta questão principal, outras seis questões específicas foram propostas para serem investigadas. As questões e suas motivações estão apresentadas no quadro a seguir: Quadro 3.3 – Questões de pesquisa e motivações (continua) Questões de pesquisa Motivação [QE1] Quais são os ambientes de aprendizagem online abordados nas pesquisas? Há vários ambientes de aprendizagem on-line sendo desenvolvidos e utilizados nas universidades e/ou escolas, tanto gratuitos quanto pagos. A resposta desta questão permite identificar os principais ambientes de aprendizagem on-line, suas características, suas vantagens, desvantagens e problemas encontrados em relação ao uso por um público surdo. [QE2] Quais aspectos do ambiente de aprendizagem são abordados? (conteúdo, ensino/aprendizagem, interface, material didático) Os estudos podem envolver vários focos em um ambiente de aprendizagem. A resposta desta questão é relevante para identificar as diferentes abordagens de estudos. 3.2. Questões de pesquisa 23 Quadro 3.3 – Questões de pesquisa e motivações (conclusão) Questões de pesquisa Motivação [QE3] Quais são as principais dificuldades dos surdos ao interagir com ambientes virtuais de aprendizagem? O público surdo caracteriza-se como um público com necessidades especiais, devido às características de sua cultura surda e sua primeira língua ser a Libras (Língua Brasileira de Sinais) e não a língua portuguesa. Devido a isso, eles apresentam dificuldades de integração, inclusão e interação em ambientes educacionais presenciais ou on-line. Com isso, a resposta a essa questão é importante para se identificar e compreender as principais dificuldades dos surdos a fim de se propor soluções que soluções que possam atender suas demandas especiais. Qual a forma de comunicação adotada? (Língua Portuguesa, Libras e Escrita de Sinais) As soluções que podem possibilitar uma melhor interação dos surdos em ambientes on-line podem ser desenvolvidas de forma a facilitar sua compreensão da língua portuguesa, através de vídeos legendados, vídeos e avatares em Libras e escrita de sinais. A resposta a essa questão permite identificar quais são as principais formas de comunicação adotadas nestas soluções e, consequentemente, seus resultados e contribuições. [QE5] Quais são as tecnologias assistivas utilizadas em ambientes on-line? As tecnologias assistivas caracterizam-se como recursos (produtos, instrumentos, estratégias, serviços e práticas) que possibilitem uma melhor autonomia e contribua para a realização de alguma atividade, como foco em pessoas com necessidades especiais. No caso de nossa pesquisa, pessoas surdas ou deficientes auditivas. O uso destas tecnologias em ambientes de aprendizagem podem possibilitar uma melhor acessibilidade e comunicação dos surdos. Assim sendo, a resposta a esta questão é relevante, pois além de apresentar as tecnologias, pode também, apresentar suas características que atendem às demandas do público surdo. [QE6] Quais tipos de contribuições foram feitas em relação à inclusão digital dos surdos? As contribuições dos estudos podem ser focadas em aspectos da linguagem, design, proposta de um protótipo, avaliação de interface etc. A resposta desta questão é relevante para identificar os principais estudos e seus resultados que contribuem para o acesso dos surdos tanto à informação e, especialmente, em níveis educacionais universitários (ensino superior). Fonte: Quadro obtido pela pesquisa direta, 2013. 24 3.3 Capítulo 3. Planejamento da revisão Protocolo de Revisão O protocolo de revisão é um documento elaborado que contém definições essenciais que direcionam o desenvolvimento da SLR a partir da definição das questões de pesquisa: estratégias de busca, critérios de inclusão e exclusão dos trabalhos, critérios de qualidade para avaliação, metodologia para seleção dos estudos. É uma ferramenta que auxilia o pesquisador a reduzir o viés na seleção dos estudos. Sem a definição de um protocolo, é possível que a seleção de estudos individuais ou a análise possam ser impulsionadas pelas expectativas do pesquisador e, consequentemente, incompletas. Logo, as buscas são baseadas em uma estratégia de pesquisa definida que tem como objetivo detectar o maior número possível de estudos relevantes. Toda estratégia de busca da SLR deve ser documentada para que os leitores possam acessar o seu rigor e completude. Para seleção das pesquisas, é necessário definir os critérios para inclusão e exclusão. Além disso, são definidos também os critérios de qualidade (informações a serem verificadas) para se avaliar os estudos encontrados e, com isso, incluí-los ou descartá-los para fins da revisão da literatura. A seguir, segue o detalhamento de cada um dos itens do protocolo que utilizamos em nossa SLR. Mapa 3.1 – Itens do protocolo de revisão da SLR 26 3.3.1 Capítulo 3. Planejamento da revisão Estratégia de pesquisa As estratégias de pesquisa envolvem duas etapas: Etapa 1 – Identificação das strings de pesquisa: neste etapa é realizada a identificação das strings através das palavras-chave de trabalhos já conhecidos e sinônimos para os termos definidos, quando então a combinação das strings é pré-definida. Etapa 2 – Definição de parâmetros da pesquisa: nesta etapa, deve-se definir o período em que serão realizadas as buscas (por exemplo, de 2007 a 2013 que foi nosso intervalo), as bases de dados com os respectivos parâmetros (critérios) de busca e os EMR já conhecidos que deverão aparecer como resultados nas buscas. Etapa 1 - Identificação das strings de pesquisa As strings de pesquisa foram derivadas das palavras-chave das questões de pesquisa e dos estudos mais relevantes (EMR) já conhecidos. (Beecham at al, 2006; Kitchenham et al, 2010). Para cada uma das questões de pesquisa, derivamos as seguintes palavras-chave: QP1 Educação a Distância, surdo QE1 ambientes de aprendizagem on-line QE2 aspectos, conteúdo, ensino, aprendizagem, interface, material didático QE3 surdos, dificuldades, interação, ambientes de aprendizagem on-line QE4 comunicação (língua de sinais, português, imagens) QE5 tecnologias digitais QE6 contribuições inclusão digital O quadro com as palavras-chave derivadas dos EMRs pode ser consultado no Apêndice C – Planejamento da SLR na seção C.2 – Dados dos Estudos Mais Relevantes (EMR) já conhecidos. A partir das palavras-chave derivadas das questões de pesquisa e estudos relevantes, definimos as seguintes strings e seus sinônimos apresentados no quadro a seguir. 3.3. Protocolo de Revisão 27 Quadro 3.4 – Sinônimos de palavras-chave para os termos definidos (continua) String derivada da questão de pesquisa Sinônimos derivados dos EMR (Português) Educação a Distância (QP1) EAD educação a distância educação de surdos ensino online educação online educação AND distância ensino AND surdos educação AND online (education or teaching) and (distance or online) distance education distance learning d-learning deaf education Surdos (QP1, QE3 ) surdos surdez deficiente auditivo deficiência auditiva (deaf or deafness or hearing loss) hearing impairment Interface (QE2, QE3) interface design interação interface design interaction user interface Ambiente online de aprendizagem (QP1, QE1) ambiente online de aprendizagem ambiente virtual de aprendizagem AVA ambientes on-line ambiente de aprendizagem ambientes web interface virtual learning environment (VLE) learning platform educational technology online education interface Linguagem (QE4) Linguagem Língua de sinais Libras Language Sign language Brazilian Sign Language Tecnologias (QE5) Tecnologias digitais Tecnologias assistivas Tecnologia para surdos Tecnologias de Informação e Comunicação TICs Novas tecnologias hipermídias Digital technology Assistive technology Information and communications technology ICT information technology Hypermedia Inclusão (QE6) inclusão digital inclusão digital divide digital inclusion Fonte: Quadro obtido pela pesquisa direta. Sinôminos (Inglês) 28 Capítulo 3. Planejamento da revisão Etapa 2 – Definição de parâmetros da pesquisa A definição das combinações da strings de busca e suas combinações é um processo que requer uma atenção especial e muito cuidado. Uma definição da combinação de forma equivocada pode invalidar todo o processo de busca por não garantir que os resultados retornados façam realmente parte de todo o escopo de busca pretendido7 . Para realização da pesquisa e dos testes preliminares, deve-se definir o período em que serão realizadas as buscas, as bases de dados com os respectivos parâmetros (critérios) de busca, além de já definidos os estudos relevantes já conhecidos que deverão aparecer como resultados nas buscas. Para o escopo da nossa SLR, definimos os seguintes critérios: período (2007 a 2013) e parâmetros de busca (temas/tópicos em várias bases de dados – quadros 3, 4, 5, 6, 7) Período avaliado: O objetivo desta SLR foi realizar um panorama sobre o tema educação a distância e surdez. Desta forma, optou-se por se avaliar no período de 2007 a 2013. O período de sete (7) anos foi considerado um período suficiente para esta análise, visto que a área de tecnologia é dinâmica e o período anterior pode abranger estudos que não refletem a realidade. O ano de 2007 foi incluído por apresentar um trabalho relevante já encontrado em pesquisas anteriores. Strings de estudos mais relevantes: Ao se realizar a busca nas bases de dados, é importante que os estudos mais relevantes já conhecidos sejam selecionados na busca a partir das combinações de strings. Para isso, devemos identificar as palavras-chave destes trabalhos e incluir como strings de busca. Os resultados devem ser documentados e se os EMR não vierem como resultado das buscas, deve-se identificar as respectivas razões. O quadro com os EMRs, palavras-chave e suas respectivas bases de dados pode ser consultado no Apêndice C – Planejamento da SLR na seção C.2 – Dados dos Estudos Mais Relevantes (EMR) já conhecidos. Os resultados da definição dos strings estão apresentados na seção seguinte de Condução da Revisão. Base de dados e parâmetros de pesquisa: Como o tema da SLR trata de surdez, educação e IHC/EngSem, realizamos buscas em 38 bases de dados: nas 26 principais bases de dados de artigos na área de Computação (10 bases), Informática na Educação (6 bases), Surdez (5 bases ) e Linguagem (5 bases). Incluímos também TCC, dissertações e teses pesquisadas em 12 bibliotecas de instituições universitárias de todo o Brasil8 . 7 8 A autora da tese teve uma experiência inicial com a SRL e especialmente, com a definição de strings quando realizou uma SLR anterior a essa junto a profa. Raquel Prates e uma aluna de mestrado, Karina Hadassa. Essa SLR foi realizada para fins didáticos de aprendizagem da metodologia na disciplina de Pesquisa Qualitativa, oferecida no Departamento de Ciência da Computação da UFMG, no 2o.semestre de 2013, quando a autora fez parte como aluna convidada A busca seria realizada na Biblioteca Digital Brasileira de Teses e Dissertações (BDTD). Contudo, 3.3. Protocolo de Revisão 29 Estes dados foram organizados em uma planilha do Google Drive para fins de compartilhamento com toda a equipe e, posteriormente, formatada no aplicativo Excel para fins de documentação para esta tese. Esta planilha foi organizada por abas de áreas: 1. Computação, 2. Informática e Educação, 3. Surdez, 4. Linguagem, 5. Diversos, 6. Teses e Dissertações, 7. Outras bases. Para cada uma das bases de dados, registramos as seguintes informações: nome da base de dados, URL principal, URL da busca avançada, informações sobre as formas de buscas, tópicos pesquisados, exemplo de strings. O registro destas informações foi de grande importância para fins de documentação dos testes, dicas de uso, facilidades e dificuldades. As bases de dados pesquisadas para cada uma dessas áreas específicas com sua URL principal podem ser consultadas em seção A.1 – Base de dados pesquisadas na SLR do Apêndice A – Protocolo de Revisão. No Apêndice C – Planejamento da SLR na seção C.1 – Links diretos de pesquisa das bases de dados, apresentamos as URLs de pesquisa (diretas) de cada uma das base de dados. 9 . A seguir apresentamos telas de buscas de duas base de dados: ACM - Association for Computing Machinery da área de Computação e ETD - Educação Temática Digital) da área de surdez. Figura 3.1 – Estágios da etapa do relatório de revisão da SLR Fonte: Site da ETD: <http://www.fae.unicamp.br/revista/index.php/etd/index> 9 percebemos que a busca não retornou alguns estudos relevantes. Confirmamos que os trabalhos se encontravam na base de dados das próprias Universidades. Ou seja, nem todos os trabalhos estavam na BDTD. Com isso, optamos por buscar em universidades que tivessem conceito Qualis 6 e 7 e outras nas quais deveriamos buscar os EMR. A consulta foi realizada em outubro de 2013 no link de cursos recomendados e reconhecidos: http://www.capes.gov.br/cursos-recomendados Foi disponibilizada uma planilha com as bases de dados em http://www.leticiacapelao.com/curriculo_ prof_pesquisa_public.html 30 Capítulo 3. Planejamento da revisão A busca no site da ETD é feita através de palavras-chave, configurando um tipo de busca simples. Já a busca no site da ACM oferece recursos avançados: busca por combinação de palavras-chave ou o preenchimento de um formulário com vários dados opcionais. Figura 3.2 – Tela de busca avançada da ACM Fonte: Site da ACM: <http://dl.acm.org/advsearch.cfm?coll=DL&dl=GUIDE&query> 3.3.2 Critérios de seleção Para realização da pesquisa da SLR é necessário se definir no protocolo de revisão: os critérios para seleção (inclusão/exclusão) dos estudos encontrados, os dados que devem ser coletados de cada estudo e os critérios de qualidade para avaliá-los. A partir da definição destes critérios e dados, inicia-se a pesquisa nas bases de dados através das strings definidas e faz-se a seleção dos estudos a partir da metodologia da SLR para seleção de estudos. Em cada etapa da pesquisa devem ser aplicados critérios de inclusão/exclusão. Os critérios que utilizamos foram: 3.3. Protocolo de Revisão 31 Critérios de inclusão • Artigos completos (técnico ou experiência) • Artigos resumidos • Monografias, dissertações ou teses • Outros: informações de especialistas na área e trabalhos relacionados já encontrados Critérios de Exclusão • Estudos explicitamente NÃO relacionados com o tema da pesquisa – Área de física – Área de fonoaudiologia (som/voz) – Área de saúde/médica – Área de surdez com foco em aspectos emocionais, familiares etc – Área de surdez com foco na aprendizagem infantil – Outras necessidades especiais e não incluem a deficiência auditiva/surdez (e.g, deficiência visual, deficiência motora) – Tecnologias para TV • Artigos duplicados sobre o mesmo estudo foram considerados como equivalentes. O artigo mais recente foi mantido para análise, o mais antigo será excluído. Em caso de dúvidas quanto ao foco e resultados dos estudos (se são similares, mesmos resultados ou não), eles foram mantidos para avaliação na próxima etapa • Livros, tutoriais, editoriais, posters, painéis, palestras, mesas redondas, oficinas, demonstrações, workshops não foram considerados na pesquisa • Estudos escritos em outras línguas diferentes de inglês, português e espanhol foram excluídos • Estudos que não atingiram a pontuação de qualidade mínima definida a partir dos critérios de qualidade foram excluídos • Estudos anteriores a 2007 32 3.3.3 Capítulo 3. Planejamento da revisão Metodologia para seleção dos estudos A seleção dos estudos encontrados é um processo que contempla cinco etapas: (1) seleção pelo título, (2) seleção pelo resumo, (3) seleção pela leitura diagonal, (4) leitura completa e (5) análise do dados. Figura 3.3 – Metodologia para seleção dos estudos da SLR Fonte: Imagem obtida pela pesquisa direta. Em cada uma das etapas da metodologia, deve-se rever e enquadrar os critérios já definidos para seleção (inclusão/exclusão) dos estudos encontrados, os dados a serem coletados de cada estudo e os critérios de qualidade para avaliá-los. A partir da definição destes critérios e dados, inicia-se a pesquisa nas bases de dados através das strings definidas e faz-se a seleção dos estudos a partir da metodologia da SLR para seleção de estudos. Em caso de dúvidas em relação à seleção de alguns trabalhos, a estratégia a ser adotada é permanecerem na lista a fim de serem verificados na próxima etapa. Em todas as etapas cada trabalho deve ser avaliado por um ou mais avaliadores e as divergências devem ser discutidas. As etapas para seleção dos estudos estão descritas a seguir. Os critérios de inclusão/exclusão adequados em cada uma delas estão discriminados na seção 5.4. Condução da Pesquisa. Etapa 1 – Seleção através do título: Nesta etapa é realizada a leitura dos títulos dos artigos selecionados. São excluídos da seleção os artigos considerados irrelevantes e duplicados, a partir dos critérios a seguir. As questões de pesquisa não devem ser analisadas nesta etapa. Em caso de dúvida, o trabalho deve permanecer para análise na etapa seguinte (estudos mais recentes, tema da pesquisa, tipo de estudo etc.). Etapa 2 – Seleção através do resumo: Nesta etapa, é realizada a leitura dos resumos e palavraschaves de todos os estudos selecionados na etapa anterior. Em caso de dúvida, o trabalho deve permanecer para análise na etapa seguinte. Etapa 3 – Seleção através de leitura diagonal: Nesta etapa, a seleção é feita através da leitura diagonal que se caracteriza pela leitura da introdução, principais tópicos e conclusão dos trabalhos selecionados. Durante a leitura, deve-se ter atenção para verificar se o trabalho está relacionado às questões de pesquisa. 3.3. Protocolo de Revisão 33 Etapa 4 – Leitura completa com coleta de dados e avaliação da qualidade: Somente nesta última etapa é feita a leitura completa dos estudos selecionados. Durante a leitura completa, deve-se realizar a coleta dos dados conforme definido na seção Dados coletados. Nesta etapa, também ocorre a avaliação da qualidade dos trabalhos. Logo, os trabalhos devem ser pontuados de acordo com os critérios apresentados na seção Critérios de Qualidade. Etapa 5 – Análise da Pesquisa: Nesta etapa, as questões de pesquisa são analisadas através das informações coletadas na etapa anterior. Esta análise é registrada em um relatório com os resultados e está apresentada com detalhes na Seção 5.4 – Análise e Resultados. 3.3.4 Critérios de qualidade Os critérios de qualidade definem um padrão mínimo de qualidade a fim de garantir que apenas publicações relevantes e relacionadas às questões de pesquisa permanecem para análise. A partir destes critérios é possível avaliar os estudos encontrados e, com isso, incluí-los ou descartá-los para fins da revisão da literatura. Estes critérios podem ser consultados no Apêndice A – Protocolo de Revisão em seção A.3 – Critérios de qualidade. 3.3.5 Dados a serem coletados Para cada estudo selecionado para a etapa 4, deve-se verificar um conjunto de informações a fim de validar sua qualidade e importância para a revisão da literatura realizada. Nesta SLR, organizamos as informações em quatro categorias: visão geral, características, metodologia, resultados. Inicialmente, registramos os dados em uma planilha e, posteriormente, para tornar o processo mais ágil e confiável, migramos para um aplicativo criado para organizar os resultados da SLR. Na seção de Extração dos Dados, explicamos este processo com mais detalhes. Os dados de cada uma das categorias podem ser consultados no Apêndice A – Protocolo de Revisão em seção A.2 – Dados a serem coletados. 3.3.6 Avaliação do protocolo de revisão A avaliação do protocolo de revisão é uma simulação do processo de busca da SLR e é realizado nas próprias base de dados. O objetivo é validar as combinações de strings encontradas e garantir que a combinação de strings atende às questões de pesquisa proposta. Para isso, os resultados dos testes devem retornar, preferencialmente, grande parte dos estudos de relevância e relacionados às questões pesquisadas. Caso isso não ocorra, deve-se rever as combinações de strings e definir uma nova combinação para testes e validação. A partir da definição das prováveis strings, para testes, e as respectivas bases de dados a serem pesquisadas, devem ser realizados testes preliminares antes de se definir a combinação de strings definitiva. Para realização dos testes, utiliza-se uma combinação de strings para 34 Capítulo 3. Planejamento da revisão serem validadas. Os resultados então vão sendo refinados até que se encontre uma combinação de strings mais adequada à proposta da SLR. Deve-se ainda verificar se os dados a serem extraídos irão resolver adequadamente as questões de pesquisa e se o procedimento de análise dos dados está apropriado para responder às questões de pesquisa (KITCHENHAM, 2007, p. 13). Para este fim, seguimos as seguintes etapas preliminares e essenciais antes de iniciar nossas buscas nas bases de dados, descritas detalhadamente nas subseções seguintes: • Etapa 1 – Buscas de testes nas bases de dados: nesta etapa, deve-se realizar buscas de teste usando várias combinações de termos de pesquisa derivado da questão de pesquisa e revisar os resultados retornados nas buscas a fim de validar as combinações. • Etapa 2 – Consulta de especialistas: deve-se consultar especialistas na área a fim de validar os resultados. Antes de apresentarmos cada uma destas etapas, convém definir e esclarecer um conceito essencial para as estratégias de busca avançadas utilizadas para se restringir os resultados de busca. Quando se realiza uma busca na base de dados do Google, por exemplo, muitas vezes surgem muitas páginas com resultados que não estão relacionadas ao que realmente se interessa. Para evitar que isso aconteça, devemos fazer uso dos operadores booleanos AND (E), OR (OU) e NOT (NÃO), derivados dos estudos da Ciência da Computação e da Ciência Cognitiva. Para saber mais sobre os operadores booleanos, consulte o Apêndice B – Operadores. Etapa 1 - Buscas de testes nas bases de dados Antes de se iniciar a pesquisa definitiva em cada uma das bases de dados, devem ser realizados testes para validação das strings. Nestes testes verifica-se se, a partir da combinação de strings de pesquisa definida, tem-se como resultados da busca: 1) estudos que estejam relacionados às questões de pesquisas; 2) estudos importantes já conhecidos. Nos dois casos, devem-se analisar os resultados com cuidado e avaliar se a combinação está adequada para o objetivo pretendido. Esta etapa de definição da combinação de strings é essencial para o sucesso da SLR. E por isso, os testes devem ser planejados, registrados e avaliados com muita cautela. Em relação aos testes com estudos relevantes, não é obrigatório que todos retornem nas buscas, por causa do período da pesquisa ou pelo foco não se enquadrar nas questões da SLR. Com isso, eles podem ou não ser resultantes da busca. Por isso, torna-se necessário realizar uma análise dos resultados encontrados, para validação dos testes e, consequentemente, das strings de busca. Com isso, inicialmente, realizamos vários testes nas bases de dados das diversas áreas, de forma a garantir que os resultados das publicações encontradas fossem adequados e que a 3.3. Protocolo de Revisão 35 maioria dos EMRs retornassem nas buscas. A título de exemplo, seguem algumas combinações iniciais de strings utilizadas em nossos testes: • Com aspas: "educação a distância"or "educação online"or interface AND "Surdos"OR "Deficiente auditivo"OR "Surdez"OR "deficiência auditiva" • Com parentêsis: (educação OR ensino) AND (distância OR online) AND (surdos OR surdez OR auditiva) • Com aspas e parentesis: ("educação a distância"or "educação online") AND ("Surdos"OR "Deficiente auditivo"OR "Surdez"OR "deficiência auditiva") Neste momento de testes, também se verifica as estratégias de busca em cada uma das bases de dados. Logo, ficamos atentos aos seguintes aspectos: • Como funcionam os operadores lógicos AND e OR, uso de parêntesis em cada uma das bases? • Podemos usar aspas para delimitar as palavras compostas? A base de dados faz uso de aspas? Por exemplo, “deficiência auditiva”, “deficiente auditivo” • Podemos usar hífen ou a base de dados não considera o hífen em seu cadastro de palavras-chave? Por exemplo, na palavra on-line • As bases de dados tratavam intervalos de datas? Ou seja, em nosso caso, seria possível selecionar somente trabalhos com datas superiores a 2007? • Havia seleção por tópicos de assuntos? Como funcionava? • Eles retornavam os EMR que estávamos buscando? Se não, porque? A nossa combinação de strings precisava ser melhorada? Ou onde eram realizadas as buscas: somente nos títulos e resumos ou em todo o conteúdo das publicações? Esse foi um processo bem cuidadoso, demorado e exaustivo. Na maioria das vezes, cada base de dados tinha sua forma particular de tratar as buscas e lidar com os operadores lógicos. Isto porque as estratégias de busca nas bases de dados pode variar em termos de uso de operadores lógicos e em termos de filtros (por tema, por período etc). Por exemplo: para se buscar por surdez e educação, podemos usar no Google esta forma de busca: ”surdez educação”. No caso de algumas bases de dados, torna-se necessários avaliar a necessidade de uso dos operadores lógicos AND, NOT e OR. Com isso, foi necessário também documentar todos os passos, resultados, insucessos e sucessos para cada uma delas. Os integrantes da equipe participaram desta fase e colaboraram 36 Capítulo 3. Planejamento da revisão com testes, sugestões e análise das conclusões. Em alguns momentos, tornou-se necessário vários integrantes realizarem testes na mesma base de dados a fim de validar os resultados. Realizamos vários testes com várias combinações e documentamos estes testes em uma planilha do Google Docs, compartilhada entre os integrantes do grupo da SLR. A Figura 3.4 e a Figura 3.5 ilustram a planilha utilizada para testes nas bases de dados. Criamos uma aba para cada base de dados e os testes foram documentados e avaliados pela equipe. Figura 3.4 – Planilha com os resultados dos testes das combinações de strings - parte 1 Fonte: Imagem obtida pela pesquisa direta. 3.3. Protocolo de Revisão 37 Figura 3.5 – Planilha com os resultados dos testes das combinações de strings - parte 2 Fonte: Imagem obtida pela pesquisa direta. As nossas conclusões foram apresentadas na seção seguinte “Lições aprendidas com a construção do protocolo” e um resumo dos esultados dos testes realizados nas bases de dados foram registrados em planilha e podem ser consultados no Apêndice C – Planejamento da SLR na seção C.3 – Buscas de testes nas bases de dados - Resultados. Etapa 2 - Consultar especialistas na área Além dos estudos encontrados nas buscas nas base de dados, alguns estudos foram também recomendados pela profa. Raquel Prates, pesquisadora na área de IHC e EngSem e pelos autores de alguns estudos já conhecidos ou encontrados na SLR. O contato com pesquisadores de estudos relacionados ao tema se deu na seguintes situações: publicações não disponíveis para download ou publicações com estudos muito interessantes. Algumas publicações foram listadas nas bases mas não estavam disponíveis para download. Caso de bases de dados com acesso restrito ou anais de congressos que listavam somente o resumo. Com isso foi necessário realizar contato com os pesquisadores. No retorno às nossas consultas, os pesquisadores enviavam também outros estudos já realizados. 3.3.7 Lições aprendidas com a construção do protocolo A partir dos testes realizados chegamos a algumas importantes conclusões descritas a seguir. A combinação de strings com palavras em inglês e português pode gerar duplicação de resultados. Isto porque as publicações, em grande parte, possuem resumo em português e também em inglês. Então quando as palavras apareciam também no resumo, a busca podia 38 Capítulo 3. Planejamento da revisão retornar trabalhos duplicados, dependendo dos operadores lógicos usados e da forma que a base de dados fazia a pesquisa. Isso aumentava o volume de publicações para análise. Isso foi um fator contornado logo na fase inicial da SLR, quando então, os trabalhos duplicados foram excluídos. Os número de resultados, por vezes variava, com uma mesma combinação de strings, em uma mesma base. Isso ocorreu em três situações específicas identificadas por nós. Primeira delas, foi a opção de dois links para busca avançada no site, que resultava, por vezes, em combinações erradas fornecidas por nós. Naturalmente, os resultados tinham valores diferenciados. E, a identificação do erro acontecia após muitas tentativas e troca dos prints das telas de busca pelos integrantes. Um exemplo é o site da IEEE que oferece: (1) preenchimento dos campos de strings e a própria ferramenta tratava os operadores lógicos disponível em Advanced keyword/phrases > > Full Text & Metadata10 ; (2) informação da combinação completa das strings em um único campo no link Command search > Full Text & Metadata11 . Figura 3.6 – Tela da IEEE para busca avançada com palavras-chave Fonte: IEEE: <http://ieeexplore.ieee.org/search/advsearch.jsp?advanced-search> 10 11 <http://ieeexplore.ieee.org/search/advsearch.jsp?advanced-search> <http://ieeexplore.ieee.org/search/advsearch.jsp?expression-builder> 3.3. Protocolo de Revisão 39 Figura 3.7 – Tela da IEEE para busca avançada com a combinação completa de strings Fonte: IEEE: <http://ieeexplore.ieee.org/search/advsearch.jsp?expression-builder> Uma outra situação que houve variação do número de resultados foi em função do uso do VPN12 (Virtual Private Network ou Rede Virtual Privada). O VPN é um serviço oferecido por empresas, instituições, universidade que possibilita o acesso aos recursos que normalmente estão acessíveis apenas dentro das redes internas, de forma segura, a partir de qualquer computador conectado à Internet. Para isso, basta instalar o aplicativo em seu computador e conectar-se à rede VPN13 . Houve divergência nos resultados, em caso de testes por integrantes, dentro da UFMG e outros fora da UFMG (sem conexão com o VPN). Dentro da rede interna da UFMG, a quantidade era relativamente menor (1 a 3 trabalhos). Ou seja, torna-se necessário que o acesso ao VPN fosse feito pro todos os integrantes a fim de possibilitar um resultado válido a todos. Além disso, o acesso ao VPN, possibilitou o acesso aos arquivos em PDF do site da ACM. E sem esta conexão, os arquivos PDF não ficavam disponíveis para download. Uma terceira e última situação de divergência de resultados, relaciona-se com o uso de aspas. Em alguns momentos, ao copiar e colar as strings para busca, as aspas era coladas 12 13 Virtual Private Network = Rede Virtual Privada O Serviço de VPN (Virtual Private Network) do DCC está disponível para todos os usuários e permite de forma segura o acesso direto aos recursos e serviços (que normalmente estão acessíveis apenas dentro da Rede do DCC) a partir de qualquer computador conectado à Internet.” Fonte: <http://www.crc.dcc.ufmg. br/servicos/vpn/start> 40 Capítulo 3. Planejamento da revisão como “ ”, ou seja, aspas tipográfica esquerda e aspas tipográfica direita. São caracteres de interfaces mais atuais. Contudo, as aspas consideradas nas buscas são as aspas duplas e sem curvas, padronizadas na tabela ASCII14 e utilizadas na Ciência da Computação. Esse foi um outro aspecto, muitas vezes, identificado após vários testes, comparações e “fumacinhas” nos neurônios. Ainda em relação ao uso de aspas, limitar strings com aspas pode não ser recomendado, pois os estudos podem apresentar as palavras em ordem trocadas ou sem o artigo/preposição (ex. o, o, a, as, of, the) no meio da expressão. Por exemplo: "Hard of Hearing", "Hard Hearing". A estratégia que utilizamos então foi separar os "assuntos"com AND e as variações com OR. Um exemplo hipótetico com três assuntos: educação, distância e surdos. Um possível conjunto de strings seria: educação AND distância AND surdez (em inglês: education AND distance AND deaf) com as variações (educação OR ensino) AND (distância OR online) AND (surdez OR surdo OR deficiente auditivo) e as seguintes variações em inglês: (education OR teaching) AND (distance OR online) AND (deaf OR deafness OR hearing). O uso do hífen variava de uma base para outra, em nossos testes. Logo, durante o processo da busca nas bases de dados, tínhamos que confirmar os resultados e, se necessário, substituir a palavra on-line por online. Algumas bases tinham formas diferenciadas de realizar as buscas com os operadores lógicos. A base de dados da ACM, por exemplo, realizava as buscas a partir destes operadores. [(educação OR ensino) AND (distância OR online) AND (surdos OR surdez OR auditiva)]. Já a base HCBIB, usava outros operadores & = AND e "= OR. [(educação | ensino) & (distância | online) & (surdos | surdez | auditiva). Algumas ofereciam a opção de informação da combinação completa de strings com os operadores, quando outras fornecaim um formulário para se preencher string por string ou ainda limitavam o tamanho da combinação das strings. Registramos os resultados dos testes realizados nas bases de dados em uma planilha e podem ser consultados no no Apêndice C – Planejamento da SLR na seção C.3 – Buscas de testes nas bases de dados - Resultados. O filtro por data foi possível em quase todas as bases de dados de artigos. Em algumas bases de dados, apesar de oferecerem o recurso, os resultados não retornavam os valores do intervalo selecionado. Um exemplo foi o site da Capes e da Springer. No caso da Springer, optamos por usar a base de dados da ACM que também indexa os artigos da Springer. Uma outra configuração oferecida em algumas bases foi o filtro por áreas. Ou seja, os 14 “A codificação ASCII é usada para representar textos em computadores, equipamentos de comunicação, entre outros dispositivos que trabalham com texto. Desenvolvida a partir de 1960, grande parte das codificações de caracteres modernas a herdaram como base. ASCII, do inglês American Standard Code for Information Interchange, é o Código Padrão Americano para o Intercâmbio de Informação. Trata-se de um código binário (cadeias de bits: 0s e 1s) que codifica um conjunto de 128 sinais: 96 sinais gráficos (letras do alfabeto latino, sinais de pontuação e sinais matemáticos) e 32 sinais de controle”. Fonte: <http://pt.wikipedia.org/wiki/ASCII> 3.3. Protocolo de Revisão 41 resultados que retornavam das buscas referiam-se apenas às publicações das áreas marcadas. Por exemplo, de acordo com o que se deseja buscar, marcamos a opção Education & Learning, dentre outras e desmarcamos Arts and Humanities. Estas configurações em Ciência da Computação são chamadas de parâmetros (ou critérios) que devem ser definidos e informados nos campos a serem preenchidos ou marcados. Outros aspectos que identificamos foi a opção de seleção por idiomas. No site da Capes, por exemplo, não apresentou resultados confiáveis. Quando marcávamos o idioma, o número de artigos reduzia muito, deixando de trazer outros que estavam dentro do escopo do idioma selecionado. Logo, também tivemos cuidado com as configurações de idiomas. Algumas bases não retornavam resultados para a combinação completa de strings, em função de conter muitas palavras. Logo tivemos que fazer uso do caracter coringa “*”. Esse caracterer * é substituído por letras formando palavras, de forma automática. Esse é um recurso oferecido pelos sistemas de busca. Por exemplo, no caso de “surd*”, recuperavam documentos contendo "surdez"ou "surdo"ou "surda"ou “surdos” ou “surdas”. A opção pelo asterisco não pode ser utilizada em todas as bases, pois algumas delas não ofereciam a busca usando o coringa “*”. Em relação a busca em títulos, resumos ou textos completos, identificamos nos testes que em algumas bases de dados, a busca era realizada somente nos títulos e resumos. Em outros, a busca era feita em todo conteúdo dos artigos, trazendo um número muito grande de publicações (variando de 3000 a 5000), dependendo da base. Neste caso, tivemos que estudar uma alternativa de realizar as buscas, de acordo com cada base de dados (ou usando scripts ou usando seleção por palavras através de títulos e resumo, usando comandos de busca, oferecidos pela própria base). Esses detalhes das buscas foram descritos na seção 5.3 - Condução da Revisão. Quando as strings não estavam presentes no título ou resumo, a fim de identificar e validar as strings, nestes casos, foi necessário recorrer ao próprio texto das publicações encontradas. Muitos sites de busca exibiam uma lista dos resultados encontrados com as informações de título, resumo e um link para efetuar o download do texto completo do trabalho, geralmente em formato PDF. Acessando os conteúdos (dos PDFs) era possível compreender como era o processo de busca da base de dados, para avaliar onde se encontrava a string da busca: se estava presente em algum conteúdo de alguns estudos. Analisando esses resultados, percebemos que alguns sites pesquisavam nossa string no título e resumo e outros sites pesquisavam nossa string no conteúdo do texto completo. E, então, a partir deste entendimento, foi possível validar ou não determinado conjunto de strings. E também validar as estratégias de busca da base de dados. Alguns EMR não retornaram nas buscas, pois apesar de serem relevantes para nossa pesquisa, não se enquadraram na combinação de strings proposta para a questão principal da nossa SLR. Desta forma eles continuaram fazendo parte de nossa fundamentação da literatura, 42 Capítulo 3. Planejamento da revisão sendo enquadrados como EMR somente. A partir da experiência inicial de uma outra SLR realizada em agosto de 2013, comprovamos que havia poucos trabalhos publicados sobre a temática de EAD e surdez. Com isso, optamos por explorar também a área de design. Logo, o uso de duas combinações de strings relacionados a educação e design, foi uma estratégia que possibilitou avaliar os resultados de estudos voltados para a temática de educação e surdez, assim como para a temática de design e surdez. 3.3.8 Combinação de Strings Validadas A partir destes testes realizados nas próprias bases de dados, as nossas combinações de strings (em português) sugeridas foram então validadas. Para o tema relacionado a educação a distância e surdez, chegamos a validação das seguintes combinações de strings em português (identificamos por “p1”). A combinação da string em inglês pode ser consultada em Apêndice A – Protocolo de Revisão, em seção A.4 – Strings Validadas. Os resultados encontrados em testes com as strings em português estavam de acordo com a proposta da questão principal da SLR, logo não utilizamos as combinações em inglês. Além disso, tratamos de uma temática que envolvem as pessoas surdas, com sua cultura e identidade surdas com relação direta com sua língua, a Língua Brasileira de Sinais. Com isso apresentamos os resultados de estudos publicados por autores e pesquisadores brasileiros, tanto no Brasil quanto em outros países, desde que cadastrados nas bases de dados já indicadas. (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "elearning"OR elearning) AND (online OR "on-line"OR internet OR distancia OR virtual) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) E para o tema relacionado a design, interface e surdez, chegamos às seguintes combinações de strings em português: (design OR interface OR interação OR tecnologia OR tecnologias OR IHC) AND (online OR "on-line"OR internet OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) 43 4 Condução da revisão A condução da revisão prevê a realização da pesquisa seguindo os itens já definidos no protocolo da revisão: questões de pesquisa, estratégias de busca com a definição da combinação de strings, critérios de seleção dos estudos encontrados, critérios para avaliação da qualidade e dados a serem coletados. Todas estas informações já foram apresentadas nesta seção anterior quem descrevemos os itens do nosso protocolo de revisão. Nas subseções seguintes descrevemos as etapas do processo da condução da SLR: etapas preliminares, apresentadas anteriormente; seleção dos estudos, seguindo a metodologia descrita na subseção 5.1.4 - Avaliação da qualidade do estudo e extração dos dados. 4.1 Identificação da pesquisa O processo de realização de uma revisão sistemática deve ser documentado, detalhadamente, de forma que seja possível avaliar o rigor da pesquisa. Todos os processos devem ser transparentes e replicáveis. As mudanças necessárias também devem ser anotadas e devidamente justificadas. Se houver resultados da pesquisa que não foram avaliados, eles devem ser armazenados para uma possível análise. A identificação da SLR envolve dados sobre o período de realização e pesquisadores envolvidos. É de suma importância que ela seja devidamente identificada para fins de contribuição com trabalhos futuros. Conforme já destacado, a SLR é um trabalho que deve ser realizado por duas ou mais pessoas a fim de que os resultados sejam validados. Nossa SLR contou com a colaboração de profissionais e pesquisadores da UFMG, da UFPE, Fiocruz e Texto Livre (FALE-UFMG). Somente um dos integrantes se manteve até o final do processo da SLR. 4.2 Seleção dos estudos Foram realizadas buscas e análise dos estudos nas bases de dados com as combinações em português, obedecendo aos operadores lógicos e tipos de buscas disponibilizadas em cada uma das bases de dados. Esse também foi outro processo também cuidadoso, demorado e exaustivo. Após já conhecer a estratégia de busca, encontrar os resultados deveríamos então recuperar os resultados encontrados em planilhas para fins de documentação (necessária na SLR) e posterior análise dos estudos. 44 Capítulo 4. Condução da revisão A seguir apresentamos os critérios utilizados para seleção dos estudos baseados em nosso protocolo já definido e apresentado anteriormente neste capítulo. Descrevemos também o processo de seleção dos estudos e discutimos o quesito de confiabilidade para tratamento dos critérios de inclusão dos estudos. 4.2.1 Critérios para seleção dos estudos A seleção dos estudos foi feita a partir dos critérios de inclusão e exclusão definidos no protocolo de revisão. Estes critérios foram então adequados em cada uma das etapas, conforme segue abaixo: Seleção através do título: em nossa SLR, nesta etapa, consideramos os seguintes critérios de inclusão/exclusão: • Devem ser excluídos apenas estudos que NÃO estão relacionados com o tema da pesquisa das respectivas áreas: – Área de física – Área de fonoaudiologia (som/voz) – Área de saúde/médica – Área de surdez com foco em aspectos emocionais, familiares etc – Área de surdez com foco na aprendizagem infantil – Outras necessidades especiais e não incluem a deficiência auditiva/surdez (e.g, deficiência visual, deficiência motora) – Tecnologias para TV • Estudos duplicados devem ser excluídos • Estudos com títulos em outras línguas diferentes de inglês, português e espanhol devem ser excluídos • Livros, tutoriais, editoriais, posters, painéis, palestras, mesas redondas, oficinas, demonstrações, workshops não dever ser considerados na pesquisa Seleção através do resumo: nesta etapa, consideramos os seguintes critérios de inclusão/exclusão. • Estudos sem resumo devem ser mantidos para análise na próxima etapa • Estudos com resumos em outras línguas diferentes de inglês, português e espanhol devem ser excluídos 4.2. Seleção dos estudos 45 • Estudos duplicados devem ser excluídos • Livros, tutoriais, editoriais, posters, painéis, palestras, mesas redondas, oficinas, demonstrações, workshops não serão considerados na pesquisa • Estudos que tratam de Educação a Distância e surdez, mas com foco em aspectos de ensino/aprendizagem, conteúdo, linguagem devem ser mantidos para avaliação na próxima etapa • Estudos que tratam de temas relacionados a surdez que envolvam sistemas interativos (ambientes web, jogos, tecnologias assistivas, softwares) devem ser mantidos para análise na próxima etapa • Estudos que tratam de avaliação de interface, mas não explicitam qual o método de avaliação ou a propriedade de qualidade de uso que esta sendo avaliada (e.g., usabilidade, comunicabilidade) devem ser mantidos para avaliação na próxima etapa Seleção através de leitura diagonal: em nossa SLR, nesta etapa, consideramos os seguintes critérios de inclusão/exclusão. • Estudos que NÃO estiverem dentro do escopo das questões de pesquisa devem ser excluídos • Livros, tutoriais, editoriais, posters, painéis, palestras, mesas redondas, oficinas, demonstrações, workshops não serão considerados na pesquisa • Estudos que tratam de Educação a Distância e surdez, mas com foco em aspectos de ensino/aprendizagem, conteúdo, linguagem devem ser mantidos para avaliação na próxima etapa • Estudos que tratam de temas relacionados a surdez que envolvam sistemas interativos (ambientes web, jogos, tecnologias assistivas, softwares) devem ser mantidos para análise na próxima etapa • Estudos que tratam de avaliação de interface, mas não explicitam qual o método de avaliação ou a propriedade de qualidade de uso que esta sendo avaliada (e.g., usabilidade, comunicabilidade) devem ser mantidos para avaliação na próxima etapa Leitura completa com coleta de dados e avaliação da qualidade: nesta etapa, os estudos que não atingiram a pontuação mínima de qualidade definida foram excluídos. Eles foram selecionados a partir dos critérios de qualidade pré-definidos no protocolo. Ver no Apêndice A – Protocolo de Revisão, em seção A.3 – Critérios de qualidade. 46 4.2.2 Capítulo 4. Condução da revisão Processo de seleção dos estudos Este processo envolve a seleção de estudos a partir das buscas realizadas nas bases de dados (etapa 1), organização em planilhas para realização das etapas (etapa 1 a etapa 4). Em virtude de ser uma metodologia com vários passos, etapas, análises e grande número de trabalhos a serem analisados tornou-se necessário automatizar o processo. Logo, o processo de seleção de estudos envolveu diferentes estratégias, de acordo com os desafios e necessidades que foram surgindo em cada nova base de dados pesquisada; assim como uso de recursos para tornar o processo mais eficiente. Com isso, a seleção dos estudos foi realizada inicialmente em uma planilha e, posteriormente, desenvolvemos um aplicativo para automatizar o processo. Para a seleção dos estudos utilizamos as seguintes estratégias detalhadas a seguir. Realizamos buscas com as combinações de strings completa p1 e p2, diretamente nos sites das bases de dados (Estratégia 1) e utilizando aplicativos para auxiliar nas buscas (Estratégia 2). Devido a dificuldades e/ou limitações encontradas nos procedimentos anteriores, foi necessário realizar buscas com conjunto de strings derivadas das combinações p1 e p2 utilizando scripts (Estratégia 3) e busca manual (Estratégia 4). Os estudos selecionados a partir das estratégias anteriores foram organizados utilizando as seguintes ferramentas: Utilizando planilhas no Excel (Registro 1); Utilizando planilhas no Calc (Registro 2) e utilizando um aplicativo desenvolvido pela equipe (Registro 3). Seguem as descrições de cada um deste processos a seguir. Inicialmente usando as combinações de strings completas: Estratégia 1 - Diretamente nos sites das bases de dados Inicialmente, realizamos as buscas com as combinações completas de strings (p1 e p2) diretamente nos sites das bases de dados. Utilizamos um modelo de planilha (já utilizada pelo grupo Pensi) onde organizamos os estudos encontrados. Os dados coletados foram registrados em uma planilha, com códigos de acordo com a base de dados. Por exemplo, p1ACM1 = publicação 1 da base da ACM, p1 = da string em português = p1 (EAD e surdez). A planilha foi organizada com as seguintes colunas: ID, base de dados, autor, título, resumo, referência e link. (ver Figura 4.1 e Figura 4.2). Em toda SLR que é aplicada, os resultados precisam ser registrados para fins de validação entre os integrantes da equipe. Logo, foi necessário guardar as informações resultantes das buscas. Algumas bases ofereciam o recurso de gerar uma planilha com os resultados da tela. Mesmo assim, as planilhas não estavam organizadas da mesma forma que era necessário para nossa seleção. Então, era necessário copiar e reorganizar em nossas planilhas. Outras bases não ofereciam este recurso e, foi necessário então, realizar um “salvamento” manual: titulo a titulo, resumo a resumo, nomes de autores por autores e colar nas planilhas. Para tornar o processo mais eficiente, recorremos a aplicativos que pudessem facilitar nossas buscas e registros dos resultados. (ver seção seguinte). 4.2. Seleção dos estudos 47 Figura 4.1 – Planilha para registro dos dados obtidos dos sites a partir de busca direta Fonte: Imagem obtida pela pesquisa direta. Figura 4.2 – Coluna de justificativa de exclusão usada na planilha de registro dos dados obtidos dos sites a partir de busca direta Fonte: Imagem obtida pela pesquisa direta. 48 Capítulo 4. Condução da revisão Estratégia 2 - Utilizando aplicativos para auxiliar na busca O contato com outros pesquisadores1 nos possibilitou o conhecimento de aplicativos que pudessem auxiliar nesta fase: StART e Reviewer. Na Apresentamos as principais características e experiências encontradas no uso dessas duas ferramentas. O START2 é uma ferramenta de apoio ao processo de revisão sistemática. Possui recursos para apoio no processo de revisão sistemática, busca nas bases de dados cadastradas (IEEE, Scopus, ACM e ISI) e geração de gráficos. É uma ferramenta mais completa comparando-se com o Reviewer, pois permite o cadastro também dos dados do protocolo de revisão. Entretanto, como nosso protocolo estava já concluído, isso não foi uma vantagem para nós. Desta forma, analisamos o Start e encontramos algumas desvantagens. Não permitia o acompanhamento por etapas. Ou seja, o que foi excluído na etapa 1 (seleção por título), etapa 2 (seleção por resumo), etapa 3 (leitura na diagonal), etapa 4 (leitura completa). Além disso não era possível categorizar as publicações (por exemplo, se tratava de ambientes de aprendizagem, jogos, sistemas web, softwares, tecnologias assistivas para surdos etc.). Em relação aos dados de saída, o StART gerava dois gráficos com informações mais básicas e não exportava os resultados das publicações encontradas para arquivos CSV3 ou planilhas do Excel. Ou seja, não poderiamos tratar os dados de uma maneira independente. Outra desvantagem é que seu programa executável não é capaz de ser executado em todas as plataformas, por exemplo, no OS X da Apple. Alguns participantes de nossa equipe de análise não conseguiram testar a ferramenta por causa dessa limitação. O Start não nos atendeu, pois não gerava planilhas com os resultados. A partir desta última limitação, buscamos por outras soluções na Web, quando identificamos uma ferramenta SysReTool, proposta por pesquisadores da UFBA e UFGO, apresentada em um artigo “Em Direção a uma Ferramenta de Suporte a Revisão Sistemática de Literatura”.4 Foi feito um contato com os pesquisadores, solicitando mais informações sobre a implementação da ferramenta. Tivemos a informação que a ferramenta havia sido descontinuada por se tratar de um trabalho de conclusão de curso, quando nos indicaram o aplicativo Reviewer5 . A partir de uma análise mais superficial, identificamos que o aplicativo Reviewer possuia uma interface minimalista (ou seja, mais simples), executava em plataformas Windows, Linux e 1 2 3 4 5 Agradecimento especial pelas sugestões de aplicativos e colaboracão de Williamson Silva da faculdade de Manaus/Amazonas, participante da comunidade de IHC no Brasil. E também a equipe do Start, Ivan C. Machado que nos indicou o aplicativo Reviewer, proposto por pesquisadores da UFPE, visto que o Start não executava na plataforma do OS X da Apple. Site com informações sobre a Start: <http://lapes.dc.ufscar.br/tools/start_tool> Mais detalhes sobre o Start podem ser obtidos no artigo: START: Uma ferramenta para apoio ao processo de revisão sistemática disponível no link: <https://uspdigital.usp.br/siicusp/cdOnlineTrabalhoVisualizarResumo? numeroInscricaoTrabalho=2936&numeroEdicao=18> CSV (comma-separated values) é um formato simples para representação de dados tabulares. As linhas da tabela são separadas em linhas no arquivo CSV e os campos são separados por um caractere delimitador, como a vírgula. Artigo disponível em http://www.aptor.com.br/enacomp2013/pdf/18.pdf https://sites.google.com/site/eseportal/tools/reviewer 4.2. Seleção dos estudos 49 Mac1 e oferecia as principais funcionalidades úteis para nossa SLR: (1) Pesquisa nas bases de dados selecionadas (ACM, IEEE, Science Direct, Scopus, Springer, Engineering Village), através de uma combinação de strings informada (dispensando a nossa busca manual em cada uma dessas bases). (2) Exibição dos resultados encontrados em uma listagem com possibilidades de salvar a busca no próprio aplicativo e, ainda, incluir ou excluir os trabalhos listados; (3) Visualização dos estudos e todos os resultados da revisão. Nessa tela podemos selecionar, respectivamente pelas cores (verde, vermelha e amarela) quais trabalhos foram incluídos, excluídos ou ainda não foram marcados. (4) Opção de salvar os resultados ou a própria busca inicial em uma planilha no formato CSV. A planilha gerada inclui os campos código, situação da revisão, título, autores, resumo e link para a publicação. Isso possibilitou fácil adaptação já que essa planilha continha uma organização semelhante a que já estávamos trabalhando, para salvar resultados das outras bases. Figura 4.3 – Tela principal de busca do aplicativo Reviewer Fonte: Aplicativo Reviewer 50 Capítulo 4. Condução da revisão Figura 4.4 – Tela com os total de resultados encontrados Fonte: Aplicativo Reviewer Figura 4.5 – Tela com as pesquisas de resultados gravadas (Base ACM, Base Springer) Fonte: Aplicativo Reviewer 4.2. Seleção dos estudos 51 Figura 4.6 – Tela para inclusão ou exclusão dos trabalhos Fonte: Aplicativo Reviewer Figura 4.7 – Tela com listagem das publicações Fonte: Aplicativo Reviewer 52 Capítulo 4. Condução da revisão Figura 4.8 – Tela com planilha gerada pelo Reviewer Fonte: Aplicativo Reviewer Os dados foram então reorganizados em nossa planilha da SLR que teve uma nova coluna adicionada: CR identificando o código do Reviewer. Figura 4.9 – Planilha de registro dos dados obtidos dos sites a partir de busca utilizando o aplicativo Reviewer Fonte: Imagem obtida pela pesquisa direta. Para validar a utilização do Reviewer, efetuamos testes com a combinação de strings diretamente nos sites de busca. Observamos que os resultados correspondiam às bases ACM, IEEE, Science Direct e Springer, mas não funcionou corretamente com a base IEEE. Testamos combinações de strings de tamanho menor e os números não correspondiam com o site da 4.2. Seleção dos estudos 53 base. O Reviewer retornava menos resultados para a base IEEE do que a busca direta no site do IEEE. A partir desta análise optamos por usar o aplicativo Reviewer para as bases ACM, Science Direct e Springer. E efetuamos a busca na base de dados IEEE pelo método manual (explicado nas seções seguintes)6 . Estratégia 3 - Utilizando scripts Conforme já descrito, iniciamos as buscas com as combinações de strings completas diretamente nas bases de dados e, devido a custo alto de salvar manualmente os resultados em algumas bases (que não ofereciam o recurso de gerar planilhas com os resultados), buscamos uma solução alternativa através de uso de aplicativos. Contudo, o Reviewer realizava busca em algumas bases da nossa SLR. E com isso, tornou-se necessário uma nova solução alternativa utilizando scripts para busca e recuperação dos dados, de uma forma mais automatizada, em outras bases de dados. Uma das dificuldades encontradas que nos motivou ao uso de scripts foi que algumas bases de dados7 não aceitavam ou não interpretavam corretamente a combinação de strings completa (p1 e p2). Uma solução foi quebrar a combinação de strings em várias combinações, usando o caracter coringa asterisco (*) para reduzir o número de consultas por cada combinação. O caractere asterisco (*) possibilita, por exemplo, a inclusão das palavras surda, surdas, surdo, surdos e surdez em uma única pesquisa no site. Usando a combinação <educação AND online AND surd*>, retornaria os resultados com todas as palavras obrigatórias (por causa do AND = E), educação e online e surd*. Onde para a string “surd*”, a busca é feita pelas palavras "surdez"ou "surdo"ou "surda"ou “surdos” ou “surdas”. Contudo, nem todas as bases de dados aceitavam o uso de caracteres coringa. Além disso, uma outra dificuldade, foi que, mesmo com o uso do caractere coringa para redução do número de pesquisas, havia um número muito grande de resultados listados a serem organizados. Encontramos buscas que retornavam mais de 200 resultados apenas para uma combinação de string de três palavras, mantendo essa média para as demais combinações. E dentre esses resultados, havia publicações que eram resultantes de uma ou mais combinações de strings, gerando resultados duplicados. Ou seja, a realização da busca desta forma foi se tornando impraticável. Logo, para solucionar estes problemas apresentados, um dos integrantes da equipe, da área de Ciência da Computação, sugeriu a criação de scripts, que foi imediatamente implementada. Esses scripts foram criados na linguagem de programação Python e foram executados, com um tempo médio de 2 a 3 horas, entre cada busca de combinação de strings, devido ao alto número requisições no site de busca pesquisado. É importante ressaltar que foi necessário desenvolver scripts diferenciados para cada uma das bases de dados em que ele foi considerado 6 7 Agradecimento também aos desenvolvedores do aplicativo XY (que não usamos) e do Reviewer que usamos etc Um exemplo é o site da Unicamp. http://www.bibliotecadigital.unicamp.br 54 Capítulo 4. Condução da revisão necessário. Isto porque a forma de organização dos dados se diferencia de uma base de dados para outra, logo a leitura e recuperação dos dados também deveria ser diferenciada. O objetivo dos scripts foi gerar todas as combinações de strings com três palavras. Ele selecionava uma combinação de strings com três palavras e executava uma busca no site. Os resultados retornados eram salvos. Esse processo se repetia até que todos os resultados fossem gerados e salvos para todas as combinações de strings. Os métodos de busca podem variar a cada site, embora as descobertas encontradas podem ser aproveitadas em outros sites. Segue abaixo o processo de geração das combinações de nossas strings p1 e p2. A nossa combinação de strings p1 foi quebrada em três partes: Combinação principal p1: (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "e-learning"OR elearning) AND (online OR "on-line"OR internet OR distancia OR virtual) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) Parte 1 = [’educação’, ’ensino’, ’EAD’, ’aprendizagem’, ’aprendizado’, ’e-learning’, ’elearning’] Parte 2 = [’online’, ’on-line’, ’internet’, ’distância’, ’virtual’] Parte 3 = [’surdo’, ’surdos’, ’surda’, ’surdas’, ’surdez’, ’auditiva’, ’auditivos’, ’auditivo’, ’auditivas’] Gerando um total de 315 combinações: a parte 1 com sete strings, a parte 2 com cinco strings e a parte três com nove strings (7 x 5 x 9 = 315 combinações). Uma combinação era gerada selecionando uma palavra de cada parte. Por exemplo, combinação 1 gerada com as strings [’educação’, ’online’, ’surdo’], combinação 2 gerado com as strings [’educação’, internet, ’surdez’]. Devemos ressaltar que essas 315 combinações foram geradas para responder ao nosso tema de pesquisa relacionado com educação a distância e surdez. Por isso o script foi executado novamente para selecionar os resultados relacionado ao tema de design, interface e surdez. Logo, foram geradas outras combinações para a nossa string p2. 4.2. Seleção dos estudos 55 Combinação principal p2: (design OR interface OR interação OR tecnologia OR tecnologias OR IHC) AND (online OR "on-line"OR internet OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) Parte1 = [’design’, ’interface’, ’interação’, ’tecnologia’, ’tecnologias’, ’IHC’] Parte2 = [’online’, ’on-line’, ’internet’, ’virtual’, ’web’] Parte3 = [’surdo’, ’surdos’, ’surda’, ’surdas’, ’surdez’, ’auditiva’, ’auditivos’, ’auditivo’, ’auditivas’] Gerando um total de 270 combinações: a parte 1 com seis strings, a parte 2 com cinco strings e a parte três com nove strings (6 x 5 x 9 = 270 combinações). De forma similar, uma combinação era gerada selecionando uma palavra de cada parte. Por exemplo, combinação 1 gerada com as strings [’design’, ’online’, ’surdez’], combinação 2 gerado com as strings [’tecnologia’, internet, ’surdez’]. Após esse processo era feita a remoção dos resultados duplicados e gerados dois arquivos CSV, para que pudessem ser consultados em um leitor de planilhas. O conteúdo desses arquivos incluia: nome dos autores, título, resumo, link do trabalho no site de busca e ano de publicação. No primeiro arquivo, todos os resultados encontrados foram gravados para serem submetidos a um segundo filtro via script. No primeiro arquivo, todos os resultados foram gravados, para a aplicação de um segundo filtro via script8 . No segundo arquivo, os resultados foram filtrados conforme nosso objetivo de busca da SLR. Esse filtro se caracterizou por verificar as combinações em cada trabalho encontrado e selecionar apenas quando uma combinação estivesse presente no conteúdo do título ou resumo, ou seja, as três strings de uma combinação deveriam estar presentes. A opção de busca somente no título e resumo foi necessária pois, a partir de testes realizados, verificamos que a busca realizada no conteúdo do corpo das publicações traziam muitos trabalhos (em média, 1000 a 5000, dependendo da base) que não tinham qualquer relação com a questão da nossa SLR (área médica, de esportes, física, saúde etc). Além disso, o uso dos scripts foi necessário pois os resultados gerados automaticamente pelos sites de busca, muitas vezes não contemplavam as três palavras de uma combinação e as publicações eram listadas nos resultados por possuírem uma ou duas palavras. Verificamos que, a partir de uma média de 1000 resultados salvos, apenas três resultados correspondiam à nossa questão da 8 O primeiro arquivo registrava o resultado das combinações a partir do script aplicado via site que impossibilitava o uso do operador AND. Logo, o resultado apresentava trabalhos relacionados a uma string somente. Por exemplo, na busca por “design online surdo”, retornavam trabalhos que continham somente a palavra design. Ou seja, o site não fazia um AND. Então no segundo arquivo eu mesmo fazia um AND via script ;-) 56 Capítulo 4. Condução da revisão SLR. Dessa forma, o uso dos scritps se tornou uma solução essencial para condução da SLR e com resultados validados e pertinentes. Estratégia 4 - Busca manual nos sites das bases de dados A busca manual se caracterizou por duas estratégias diferentes: busca manual com strings, cuja pesquisa realizada nos sites de busca através do copy/paste, string por string, no campo de busca da base de dados e busca manual a partir da seleção feita visualmente pelo pesquisador, quando algumas bases de dados não ofereciam a opção de busca. A busca manual com strings foi necessária em algumas bases que não ofereciam busca para o conjunto inteiro de string e o uso de scripts foi considerado inviável em virtude do custo de elaboração de um novo script ser bem mais alto que o custo para busca manual. Conforme já ressaltamos, na maior parte dos casos, foi necessário implementar um novo script para cada base de dados. Logo, antes de implementá-lo, avaliamos o tempo necessário para buscar manualmente e implementar um novo script. Nestes casos, optamos pela busca manual com string pois, a partir de testes rápidos, verificamos que o buscador do site da base de dados retornava poucos resultados. Por exemplo, usando somente as palavras “surdez”, os resultados apresentavam em média 2 a 3 publicações (em outros casos, de 8 a 10). Ou seja, o processo de busca e registro dos resultados na planilha seria relativamente rápido. Por isso, tornou-se necessário quebrar a string em seus elementos combinatórios. O quadro abaixo apresenta as strings num total de 315 combinações (strings p1) e 270 combinações (strings p2). Quadro 4.1 – Strings de busca utilizadas nos sites de pesquisa (continua) Strings Strings Strings educação online surd* EAD online surd* aprendiza* distancia surd* educação on-line surd* EAD on-line surd* aprendiza* distancia auditiv* educação "on-line"surd* EAD "on-line"surd* aprendiza* virtual surd* educação online auditiv* EAD online auditiv* aprendiza* virtual auditiv* educação on-line auditiv* EAD on-line auditiv* aprendiza* online surd* educação "on-line"auditiv* EAD "on-line"auditiv* aprendiza* on-line surd* educação internet surd* EAD internet surd* aprendiza* "on-line"surd* educação internet auditiv* EAD internet auditiv* e-learning online surd* ensino online surd* EAD distancia surd* e-learning on-line surd* ensino on-line surd* EAD distancia auditiv* e-learning "on-line"surd* ensino "on-line"surd* EAD virtual surd* e-learning online auditiv* ensino online auditiv* EAD virtual auditiv* e-learning on-line auditiv* ensino on-line auditiv* aprendiza* online surd* e-learning "on-line"auditiv* ensino "on-line"auditiv* aprendiza* on-line surd* e-learning internet surd* ensino internet surd* aprendiza* "on-line"surd* e-learning internet auditiv* ensino internet auditiv* aprendiza* online auditiv* e-learning virtual surd* ensino distancia surd* aprendiza* on-line auditiv* e-learning virtual auditiv* 4.2. Seleção dos estudos 57 Quadro 4.1 – Strings de busca utilizadas nos sites de pesquisa (conclusão) Strings Strings Strings ensino distancia auditiv* aprendiza* "on-line"auditiv* e-learning distância surd* ensino virtual surd* aprendiza* internet surd* e-learning distância auditiv* ensino virtual auditiv* aprendiza* internet auditiv* Fonte: Quadro obtido pela pesquisa direta. A busca no sites SBIE, RBIE, WIE, ETD, Anpoll, HCBIB caracterizou por pesquisar string por string, manualmente, no campo de pesquisa. O pesquisador responsável copiava e colava uma string no campo de busca e avaliava os resultados. Essa opção se deu a partir de testes realizados, quando observamos que estas bases apresentavam poucos trabalhos a partir da busca de combinação de strings, tanto p1 quanto p2. Seguem alguns exemplos de strings principais: surd*, auditiv*, aprendiza*, tecnolog*, defic*, ensino*. Os trabalhos aprovados foram então copiados, um a um, em uma planilha com os trabalhos resultantes da SLR para posterior análise da etapa 2. Um site de busca que obteve variação foi o HCBIB. A ferramenta de busca utiliza os operadores & = AND e "= OR. Logo, foi necessário reestruturar nossas combinações de strings. Contudo, houve restrição com o tamanho da combinação de strings. Como esta base de dados utilizava o recurso do caractere coringa, reestruturamos novamente nossa combinação. Abaixo apresentamos as duas combinações usadas no HCBIB. Combinação principal p1: (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "e-learning"OR elearning) AND (online OR "on-line"OR internet OR distancia OR virtual) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) Primeira combinação gerada para o HCBIB p1: (educação | ensino | EAD | aprendizagem | aprendizado | "e-learning elearning) & (online | "on-line internet | distancia | virtual) & (surdo | surdos | surda | surdas | surdez | auditiva | auditivos | auditivo | auditivas) Segunda combinação gerada para o HCBIB p1: (educação | ensino | EAD | aprendiza* | elearning) & (online | internet | distância | virtual) & (surd* | auditiv*) 58 Capítulo 4. Condução da revisão Combinação principal p2: (design OR interface OR interação OR tecnologia OR tecnologias OR IHC) AND (online OR "on-line"OR internet OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) Primeira combinação gerada para o HCBIB p2: (design | interface | interação | tecnologia | tecnologias | IHC) & (online | "on-line internet | virtual | web) & (surdo | surdos | surda | surdas | surdez | auditiva | auditivos | auditivo | auditivas) Segunda combinação gerada para o HCBIB p2: (design | interface | interação | tecnologi* | IHC) & (online | internet | virtual | web) & (surd* | auditiv*) Para combinação p1, com foco em educação e surdez, não encontramos nenhum trabalho. Na busca da combinação p2, encontramos três trabalhos, sendo que dois eram de 1994. Logo, optamos por fazer a busca manual da combinação de strings como copy/paste. A busca manual a partir da seleção visual do pesquisador foi necessária pois algumas bases de dados (MoodleMoot, ABED – Associação Brasileira de Educação a Distância e RBAAD - RBAAD : Revista Brasileira de Aprendizagem Aberta e a Distância) não ofereciam o recurso de busca. E também não apresentavam os resumos disponíveis nas páginas para leitura. Nestes sites, os resumos podiam ser consultados somente pelo acesso aos arquivos das publicações, disponíveis em links para arquivos em formato PDF ou DOC. Esta característica impossibilitou a criação de um script, pois a leitura dos dados em arquivos (PDF e DOC) via script teria um custo muito alto de implementação, inviabilizando sua utilização. Logo, optamos pela busca manual com um esforço maior do pesquisador, mas com custo menor. Na base do MoodleMoot, a busca foi realizada nos próprios arquivos de Anais de 2007 a 2013 (arquivo único do tipo PDF). As únicas exceções foram para os anos de 2009, cujo site com as publicações não foi localizado. E no ano de 2012, não foi disponibilizado um arquivo único com os Anais. Desta forma, a busca foi realizada diretamente no próprio site, sendo necessário solicitar os arquivos das publicações com os próprios autores. A partir da seleção dos trabalhos, tornou-se necessário buscar uma solução para separar os artigos selecionados em cada um dos Anais (de 2007 a 2013). A partir de pesquisa, encontramos o aplicativo PDF Toolkit 9 utilizado para separar os artigos em arquivos unitários. 9 O PDF Toolkit é uma ferramenta multiplataforma para manipular arquivos PDFs. Permite ações como juntar, dividir, rotacionar etc. Foi utilizada a versão cli (modo texto) para Linux. É um software gratuito e opensource (ou seja, com código aberto para se realizar alterações de acordo as regras de distribuição do produto). <http://www.pdflabs.com/tools/pdftk-the-pdf-toolkit> 4.2. Seleção dos estudos 59 No site da ABED a busca manual foi feita a partir da seleção visual pelo próprio pesquisador e exigiu uma carga trabalho muito exaustiva. Na página principal de cada um dos conjuntos de publicações de cada ano, havia disponível somente a informação dos títulos. Desta forma, em caso de dúvidas da inclusão ou não do trabalho, pela metodologia, devemos inclui-lo na etapa seguinte. Neste caso, tornou-se necessário salvar os arquivos PDFs das publicações candidatas a responderem às questões da SLR. Além disso, a seleção feita por um programa de computador seguem uma lógica diferenciada da seleção feita por uma pessoa humana. O programa de computador é essencialmente lógico. A pessoa já pode ter interferências emocionais do próprio processo repetitivo, de nível de atenção e foco, das preferências pessoais por algum tema, curiosidades despertadas por alguns títulos interessantes. Esse processo teve um alto custo de tempo e esforço na realização da SLR, em virtude do processo de seleção: desde a pesquisa nos links em cada ano (sete anos, com uma média de 200 publicações por ano, totalizando, em média 1400 publicações), até o processo de salvar cada arquivo, ler seu resumo no próprio PDF, copiar e salvar na planilha e, por fim, registrar a inclusão ou exclusão. Esse esforço se evidenciou no alto número de publicações presentes em cada uma das etapas: de 469 selecionadas, ficaram 441 para etapa 1, 241 para etapa 2, 100 para etapa 3 e 13 para etapa 4. E para a etapa 5, nenhum deles respondeu às nossas questões de pesquisa da SLR. Além do MoodleMoot e ABED, outra base de dados que exigiu a busca manual a partir da seleção visual feita pelo próprio pesquisador foi a RBAAD (Revista Brasileira de Aprendizagem Aberta e a Distância). Nesta base, assim como na ABED, na página principal de cada um dos conjuntos de publicações de cada ano, havia disponível somente a informação dos títulos. Contudo, como havia uma média de 10 publicações por ano, o processo foi rápido. Além disso, pelos títulos foi possível realizar a seleção pois se relacionavam a assuntos que não respondiam a nossa questão de pesquisa. Desta forma, nesta base, tivemos a seleção de apenas um artigo. A busca da base UFSC exigiu também uma nova estratégia de busca, pois o site realizava busca em todo o texto dos conteúdos dos trabalhos, apresentando como resultado um grande número de trabalhos (em média 600 trabalhos), cuja maioria não respondiam a nossa questão da SLR. O uso das palavras-chave abstract e title encontradas na documentação do site. Dessa forma conseguimos adaptar a string p1, da seguinte forma: 60 Capítulo 4. Condução da revisão Exemplo de teste efetuado na UFSC: ( ((abstract:educação) OR (abstract:ensino) OR (abstract:EAD) OR (abstract:aprendizagem) OR (abstract:aprendizado) OR (abstract:ë-learning¨) OR (abstract:elearning)) OR ((title:educação) OR (title:ensino) OR (title:EAD) OR (title:aprendizagem) OR (title:aprendizado) OR (title:"e-learning") OR (title:elearning)) )) Conforme já descrito, organizamos os estudos selecionados a partir das estratégias anteriores utilizando as seguintes ferramentas: Utilizando planilhas no Excel (Registro 1); Utilizando planilhas no Calc (Registro 2) e utilizando um aplicativo desenvolvido pela equipe (Registro 3). A seguir apresentamos detalhes de cada uma dessas formas utilizadas. Registro 1 - Utilizando planilhas do Excel Os critérios para seleção dos estudos foram organizados, inicialmente, em uma planilha do Excel para classificação dos estudos encontrados. Essa planilha foi uma adaptação um modelo que já foi utilizado em outra SLR e compartilhada pelo grupo Pensi. O modelo foi organizado em várias abas, uma para cada base de dados, identificando as pesquisas realizadas para combinação de strings p1 ou p2. Em cada uma dessas abas, organizamos colunas para seleção dos trabalhos, marcando “sim” ou “não”, nas respectivas etapas (etapa 1, etapa 2, etapa 3 e etapa 4). Também havia uma coluna para seleção das justificativas (já definidas e listadas) de exclusão quando consideramos a exclusão de um artigo em quaisquer uma das etapas. 4.2. Seleção dos estudos 61 Figura 4.10 – Parte da planilha exibindo a marcação de etapas e justificativas de exclusão Fonte: Imagem obtida pela pesquisa direta. Os trabalhos foram salvos e organizados na planilha em colunas contendo seu identificador, nome da base de dados em questão, nome do autor, título, resumo, referência e link. O identificador foi um código criado por nós para nomear cada um dos trabalhos. Era composto por: que identificava a string – p1 ou p2, e o nome da base seguido de um número sequencial). Podemos ver um exemplo desse identificador na figura abaixo, com o primeiro resultado iniciado por p1ACM1. 62 Capítulo 4. Condução da revisão Figura 4.11 – Planilha representando os campos e alguns trabalhos registrados para a base de dados ACM Fonte: Imagem obtida pela pesquisa direta. Mantivemos como modelo uma aba “Modelo Resumo” usada para como padrão para cópia para novas abas das bases de pesquisas a serem pesquisadas, tanto para combinação de strings p1 quanto para p2. Figura 4.12 – Aba modelo resumo a ser seguida para registro de trabalhos de uma nova base de dados Fonte: Imagem obtida pela pesquisa direta. Outra aba em nossa planilha, definida como “Modelo Análise”, apresentava informações dos dados de análise utilizadas na avaliação dos artigos selecionadas para a Etapa 3 (dados). Esses dados podem ser consultados na seção 5.3.5 de Extração dos Dados, deste capítulo. 4.2. Seleção dos estudos 63 Figura 4.13 – Aba modelo análise com as questões para avaliar a qualidade Fonte: Imagem obtida pela pesquisa direta. Essa aba foi utilizada como modelo a ser copiada para cada artigo selecionado para a etapa 3 de avaliação. E, neste momento, o processo para criação de abas foi explicado para cada integrante que participou da SLR. Conforme a quantidade de abas foi aumentando em virtude de novos trabalhos encontrados para as novas pesquisas, a navegação e localização dos trabalhos pela planilha tornaram-se inviáveis, em virtude da demora e complexidade. Por essa razão, decidimos criar um novo modelo de uma planilha separando cada base de dados. E foi neste momento que tornou-se necessário migrar as planilhas para o aplicativo Calc10 . O aplicativo Excel, versão para OS X do Mac, não suportava a comunicação entre diferentes planilhas. Essa comunicação tornou-se necessária pois criamos uma planilha GERAL onde organizamos as informações das listas de seleção comuns a todas as abas. Essa planilha geral continha as seguintes informações cadastradas: área da base de dados dos artigos (ex: Informática e Educação, Ciência da Computação), nome da base de dados (ex: ABED, ACM etc), nome da biblioteca de teses (ex: PUC-Rio, PUC-RS etc), ano da publicação (2007 a 2013); Língua (ex: português, inglês etc), Contexto (ex: ambiente de aprendizagem, jogos etc), Aspecto abordado (ex: conteúdo, ensino/aprendizagem etc), Nível de ensino (ex: infantil, básico etc), Estratégia de comunicação (ex: imagens, língua portuguesa etc), Avalia interface ou tecnologia assistiva? (sim ou não), Tipo de análise (qualitativa ou quantitativa), Público participante (ex: especialistas, estudantes ouvintes etc), Qualidade de uso (ex: acessibilidade, comunicabilidade etc), Tipo (ex: artigo completo, artigo resumido), Critérios de Exclusão (ex: ano anterior a 2007, área de física etc). 10 Isso foi necessário pois a integrante principal da SLR, autora desta tese utiliza o sistema OS para computadores Macintosh. 64 Capítulo 4. Condução da revisão Figura 4.14 – Aba critérios de análise da planilha geral Fonte: Imagem obtida pela pesquisa direta. Figura 4.15 – Campo aspecto abordado da planilha geral Fonte: Imagem obtida pela pesquisa direta. 4.2. Seleção dos estudos 65 Figura 4.16 – Campo contexto da planilha geral Fonte: Imagem obtida pela pesquisa direta. Figura 4.17 – Campo estratégia de comunicação da planilha geral Fonte: Imagem obtida pela pesquisa direta. 66 Capítulo 4. Condução da revisão Figura 4.18 – Campo tipo de trabalho da planilha geral Fonte: Imagem obtida pela pesquisa direta. As demais planilhas foram então vinculadas aos dados cadastrados nesta planilha GERAL. Registro 2 - Utilizando planilhas do Calc Nesta nova organização das planilhas no Calc, foi necessário realizar testes de comunicação entre as planilhas nos diferentes sistemas operacionais: Linux, Windows e Mac, em virtude das diferentes plataformas utilizadas pelos integrantes da equipe. Após realizados e validados os testes com todos os integrantes da equipe, reorganizamos as novas planilhas no Calc. As novas abas de todos os artigos a serem avaliados já foram sendo criadas antes de serem disponibilizadas para os avaliadores, integrantes da equipe. Isso foi feito para possibilitar uma padronização, além de que, alguns integrantes não apresentavam grandes habilidades tecnológicas para interação com aplicativos computacionais. Ou seja, nosso objetivo foi simplificar o processo para os demais integrantes, sem exigir habilidades tecnológicas avançadas. Organizamos uma das planilhas de base para realização de testes entre os integrantes e pedimos para que compartilhassem as experiências de uso. Tivemos feedbacks positivos e optamos por seguir esse modelo. Na criação de novos modelos para as demais bases de dados, vivenciamos um trabalho muito exaustivo, pois as abas deveriam ser criadas para todos os 4.2. Seleção dos estudos 67 integrantes do grupo e encontramos bases de dados em que deveriam ser criadas 50 abas. Fizemos um script que auxiliava na geração das abas, mas mesmo assim, envolvia processo manual e estimamos que demandaria de um tempo de vários dias para a criação de todas as abas. Um outro problema, a longo prazo, seria a junção de todas as planilhas ao final, para fins de quantificação dos dados e geração de gráficos com os resultados da análise. Para contornar esses problemas, um dos integrantes da equipe sugeriu o desenvolvimento de um programa de apoio a SLR, a ser desenvolvido por ele mesmo, descrito a seguir. Registro 3 - Utilizando o aplicativo desenvolvido pela equipe O aplicativo para auxiliar no processo da nossa SLR foi desenvolvido usando a linguagem de programação Java. Isso foi um fator positivo pois facilitou a execução em vários sistemas operacionais, possibilitando, então, o uso por todos os integrantes da equipe. O aplicativo teve como objetivo facilitar e deixar mais rápida a avaliação dos trabalhos que antes eram registrados em vários arquivos de planilhas. Ele foi organizado com as opções de listagem do trabalhos e importação das planilhas, que já havíamos coletados em nossa pesquisa nas bases de dados. Foi criado um importador no programa para os dados das abas resumo das planilhas já existentes, assim não foi necessário o retrabalho de inserir os dados de forma manual no aplicativo. Na tela de exibição de trabalhos, é possível selecionar a inclusão ou exclusão dos trabalhos em cada uma das etapas, além da justificativa de exclusão. Para os trabalhos aprovados na etapa 4, foi incluída uma funcionalidade para análise e avaliação de cada trabalho. A figura abaixo apresenta a tela principal do aplicativo. Apresentamos mais detalhes sobre este aplicativo na seção de Extração de dados e monitorização da pesquisa. Todas as questões de pesquisas da planilha, aba Modelo Análise, foram inseridas no aplicativo. Foi uma forma de avaliação por artigo que facilitou muito para os integrantes da SLR. O aplicativo não foi desenvolvido com suporte a usos simultâneos por vários usuários. Esse recurso demandaria um alto custo de implementação e não se tornou essencial para nosso objetivo atual. Além disso, exigiria a instalação em um servidor. A troca de dados é facilitada, enviando um arquivo, banco de dados, para o avaliador da vez. É necessário apenas efetuar a substituição em uma pasta onde está gravado o aplicativo. A figura a seguir apresenta a tela principal do aplicativo com exibição dos trabalhos a serem analisados e avaliados. 68 Capítulo 4. Condução da revisão Figura 4.19 – Tela do programa com a exibição dos trabalhos Fonte: Aplicativo desenvolvido para SLR Como a maioria dos integrantes estavam localizados em outros estados tornou-se necessário utilizar diversas estratégias para possibilitar uma melhor comunicação: reuniões por skype, uso do dropbox para compartilhamento dos arquivos, elaboração de um manual para uso da SLR (ver ?? – ??). 4.2. Seleção dos estudos 69 Figura 4.20 – Planilha com a definição das atividades de cada grupo Fonte: Imagem obtida pela pesquisa direta 4.2.3 Confialibilidade dos critérios de inclusão A confiabilidade da SLR, conforme já destacamos é uma de suas principais vantagens. Essa característica relaciona-se ao planejamento e sistematização de todos os passos, possibilitando um nível de segurança e confiança, além da possibilidade de replicabilidade do estudo. Logo, para fins de garantia de confiabilidade dos critérios de inclusão, algumas ações devem ser realizadas. Destacamos abaixo nossas ações para possibilitar essa garantia. A pesquisa inicialmente foi realizada diretamente nas base de dados pela própria autora e uma pesquisadora do grupo PENSI, juntamente com a profa. Raquel Prates. Ressaltamos que essa SLR teve um total apoio do grupo PenSi e seus integrantes que já haviam aplicado a metodologia. Com isso, a partir dos desafios iniciais de recuperação dos dados encontrados nas bases de dados, buscamos outras alternativas. Como a base da Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) estava desatualizada, nao encontramos os trabalhos relevantes já conhecidos. Então realizamos as buscas nos próprios sites das instituições. A fim de garantir a qualidade dos trabalhos encontramos, pesquisamos nas bases de dados das universidades avaliadas pela Capes com conceitos 6 e 7 (CAPES, 2014)11 . Desta forma, foram selecionadas as seguintes instituições 11 Consulta realizada em outubro de 2013. Cursos recomendados e reconhecidos: <http://www.capes.gov. 70 Capítulo 4. Condução da revisão apresentadas no quadro a seguir: Quadro 4.2 – Instituições selecionadas com conceitos Capes/Qualis 6 e 7 (continua) Instituição Conceito (5-6-7)/Universidade/Área Selecionadas Grande área: Ciências Exatas e da Terra Área: Computação1 (5) USP - Ciência da Computação (6) UNICAMP - Ciência da Computação (7) UFMG Ciência da Computação (6) UFPE - Ciência da Computação (6) UFRGS - Computação (6) USP/SC - Ciencia da Computação e Matemática Computacional (5) UFF - Computação (7) UFRJ - Engenharia de Sistemas de Computação (7) PUC-RIO -Informática UNICAMP UFMG UFPE UFRGS USP/SC UFR PUC-RIO Grande área: Linguística, Letras e Artes Área: Letras (6) UFMG Estudos linguisticos (5) PUC/MG Letras (5) UFPE Letras (5) UFPR Letras (5) UERJ Letras (5) PUC-RIO Letras (5) UFRGS Letras (5) UFSM Letras (5) UNESP/SJRP Letras (5) UPM Letras (5) PUC/SP Língua Portuguesa (5) UFBA Língua e cultura UFMG Grande área: Linguística, Letras e Artes Área: Linguística (5) PUC-RIO - Estudos da linguagem (5) UFF Estudos da linguagem (5) UNESP/SJRP - Estudos linguísticos (5) UCPEL - Letras (5) UFRJ - Linguística (6) UFSC - Linguística (7) USP - Linguística (7) UNICAMP - Linguística (5) PUC/SP- Linguística aplicada e estudos da linguagem (7) PUC/RS - Linguística e letras (6) UNESP/ARAR - Linguística UFSC USP UNICAMP PUC-RS UNESP/ARAR Fonte: Quadro obtido pela pesquisa direta. Um outro elemento que garante a confiabilidade desta SLR foi a realização de testes exaustivos para validação da combinação das strings, nas bases de dados. Estes testes foram devidamente documentados e discutidos entre os integrantes da equipe. E permitiram também validar o protocolo de revisão proposto, a fim de garantir um nível de segurança e confiança. br/cursos-recomendados>. 4.3. Avaliação da qualidade dos estudos 71 A experiência da pesquisadora em outra SLR também foi um fator que contribuiu para a confiabilidade dos resultados. Toda documentação com a devida identificação dos trabalhos encontrados, estratégias e recursos de pesquisa, registro dos dados em planilhas e posteriormente em um aplicativo, também se configuraram como elementos de confiabilidade desta SLR. Nas seções seguintes apresentamos a etapa de avaliação da qualidade de estudo. 4.3 Avaliação da qualidade dos estudos 4.3.1 Instrumentos para avaliação da qualidade Para realizar a avaliação da qualidade de estudos, inicialmente utilizamos planilhas do Excel, que foram migradas para planilhas Calc do BrOffice e, finalmente, para um aplicativo desenvolvido por um dos integrantes da nossa equipe. Esse processo foi descrito e já justificado nas seções anteriores. Todos os instrumentos seguiram as definições descritas no protocolo de revisão. 4.3.2 Usando os instrumentos de qualidade A utilização de cada uma das ferramentas apresentou suas vantagens e desvantagens de uso. O uso de planilhas se tornou viável inicialmente por utilizamos um modelo já disponibilizado pelo Grupo Pensi. Contudo, tornou-se necessário realizarmos várias adaptações ao longo do processo. Desta forma, avaliamos o uso de uma nova ferramenta que pudesse tornar o processo mais ágil. O processo de avaliação dos trabalhos resultantes de uma SLR é algo que exige muita atenção e cuidado, além de exigir bastante tempo, em função das variadas etapas, devidamente documentadas. Logo, exploramos recursos que pudessem tornar nosso trabalho mais eficaz e eficiente. Mesmo assim, o esforço considerável inerente a metodologia da SLR se evidenciou desde o início do processo até o seu fim. Especialmente por ser realizado por integrantes localizados em diferentes estados e alguns com poucas habilidades tecnológicas. Apresentamos mais detalhes nas seções seguintes que tratam da extração dos dados. 4.3.3 Limitações dos intrumentos de qualidade Dentre as limitações dos instrumentos de qualidade, citamos as limitações oferecidas pelos próprios aplicativos encontrados que não atendiam a nossa necessidade de análise e avaliação da SLR, assim como dos aplicativos para gerenciamento de dados da Microsoft Excel e LivreOffice Calc. A dificuldade de uso em virtude das várias abas e planilhas nos fez optar por 72 Capítulo 4. Condução da revisão uma solução focada em nossa proposta da SLR, a partir do desenvolvimento de um aplicativo específico. Uma limitação que identificamos em termos de qualidade dos trabalhos foi que a avaliação da qualidade do trabalho foi feita a partir da perspectiva de nossas questões de pesquisa. Com isso, encontramos alguns trabalhos com lacunas metodológicas que foram aprovados em nossa SLR. Por exemplo, um trabalho que apresentou uma metodologia sem uma boa fundamentação, pode ter seus resultados comprometidos. E, mesmo assim, em nossa avaliação da qualidade do trabalho, pode ser considerado “Aceitável” a partir de outros aspectos da qualidade da avaliação. Isso ocorreu, por exemplo, com o trabalho de Ribas (2008) que teve um valor “Qualidade: 21,5; 63,24%; Aceitável.” Contudo, por apresentar lacunas nas informações sobre a metodologia, comprometeu a sua validação para nossa pesquisa. Por outro lado, encontramos publicações de excelente qualidade e metodologia, contudo não foi aprovado pelos nossos critérios. Isso não foi um fator que comprometeu a qualidade do trabalho, nem de nossa pesquisa. Apenas informou se o trabalho estava dentro do contexto de nossa SLR ou não. E, neste caso, sendo relevante para nossa pesquisa, incluímos nos EMRs. 4.4 Extração dos dados Neste estágio, identificamos e registramos os dados já definidos no protocolo de revisão para os estudos que responderam às questões de pesquisa da SLR, ou seja, que obtiveram uma avaliação de qualidade que os incluiu na seleção final. O objetivo desta etapa foi criar uma forma de extração de dados que permitissem uma certa organização e precisão das informações relevantes. Os dados extraídos foram definidos no protocolo de revisão no item 5.2.3. 4.4.1 Design dos formulários de extração dos dados Conforme já citado, os dados foram extraídos, inicialmente para uma planilha do Excel, posteriormente para o Calc (por questões de funcionalidades do Calc para Mac). E, por fim, optamos pela implementação e uso de um aplicativo. Os conteúdos dos formulários das planilhas foram mantidos no aplicativo com algumas adaptações em termos de design da interface. O processo no uso do aplicativo seguia a etapas da SLR. Inicialmente era necessário selecionar o tipo de base e tipo de trabalho (artigos ou teses/dissertações e TCC), a combinação de strings (str1 ou str2) e, então, exibir os trabalhos. A partir desta exibição, bastava selecionar o trabalho e realizar sua avaliação. Ressaltamos que no decorrer do processo, foram necessários alguns ajustes em termos de usabilidade, acessibilidade e comunicabilidade, para fins de uma melhor utilização do aplicativo. Esses ajustes foram realizados pelo próprio integrante da equipe, responsável pelo seu desenvolvimento. 4.4. Extração dos dados 73 As telas do aplicativo desenvolvido podem ser consultadas em Apêndice E – Aplicativo desenvolvido para SLR. 4.4.2 Conteúdos dos formulários de extração dos dados Os campos presentes nos formulários de extração de dados do aplicativo seguiram as definições do protocolo de pesquisa. Após a seleção dos estudos, a partir da metodologia proposta para a SLR, realizamos a avaliação da qualidade dos estudos selecionados. Os trabalhos foram pontuados de acordo com os critérios também definidos no protocolo de revisão. Os critérios de qualidade definem um padrão mínimo de qualidade a fim de garantir que apenas publicações relevantes e relacionadas às questões de pesquisa permanecem para análise. A partir destes critérios foi possível avaliar os estudos encontrados e, com isso, incluí-los ou descartá-los na etapa 4 para fins da análise na etapa 5. Estes critérios podem ser consultados no Apêndice A – Protocolo de Revisão, na seção A.3 – Critérios de qualidade. Na última etapa de análise da pesquisa, as questões de pesquisa foram analisadas através das informações coletadas na etapa anterior. Esta análise foi apresentada com detalhes na seção seguinte (Capítulo 5). 75 5 Resultados A proposta da nossa SLR teve como objetivo levantar estudos, identificar e avaliar, nas publicações (artigos, trabalhos de conclusão de curso, dissertações e teses) encontradas de 2007 a 2013, aspectos voltados da EAD voltados para o público surdo. Diante disso, buscamos encontrar a maior quantidade possível de estudos relacionados com a seguinte questão principal: [QP1] Qual o panorama atual de pesquisas que envolvem aspectos da Educação a Distância voltados para um público surdo? A partir de nossas buscas nas bases de dados, encontramos um total de 1320 artigos e 5431 trabalhos (teses, dissertações e TCC). Dentre essas, somente 20 artigos e 9 trabalhos (7 dissertações e 2 teses) responderam a nossa questão de pesquisa. Figura 5.1 – Resultado final da SLR Fonte: Imagem obtida pela pesquisa direta. Conforme definido no protocolo de revisão, os estudos foram incluídos/excluídos de acordo com os critérios pré-definidos já apresentados. A Figura 5.1 apresenta os resultados da 76 Capítulo 5. Resultados seleção dos estudos em cada uma das etapas da SLR. A redução de muitos trabalhos da etapa 1 para etapa 2 se deve ao grande volume de estudos selecionados na busca manual. 1 . Conforme a Tabela 5.1, percebe-se que a partir do ano de 2013, foram desenvolvidos mais trabalhos (8) com foco em soluções para os surdos. Podemos concluir que, apesar do pouco número de trabalhos desenvolvidos, já nos indicam ações dos pesquisadores da área de design e IHC em desenvolverem soluções e tecnologias assistivas para os surdos. É um número extremamente baixo considerando que realizamos a pesquisa, nos últimos 7 anos (desde 2007 a 2013), em 38 bases de dados das áreas de Computação, Informática na Educação, Surdez, Linguagem e bibliotecas de instituições universitárias de todo o Brasil. Tabela 5.1 – Estudos resultantes da SLR Fonte: Dados obtidos da pesquisa direta. Os artigos que trataram dos temas relacionados a SLR (surdez, EAD, design) concentraramse na área de computação (13 artigos), conforme apresenta a Tabela 5.2. Podemos considerar que, por se tratar de uma área que envolve os aspectos de interface para EAD, os estudos foram publicados em bases de dados da área de Computação. São bases de dados que tratam de áreas interdisciplinares. As 7 teses e 2 dissertações resultaram de pesquisas desenvolvidas na UFMG (2), UFRGS (1), UFSC (5) e USP (1). Tabela 5.2 – Resultados das pesquisas nas bases de dados de artigos Fonte: Dados obtidos pela pesquisa direta Além destes trabalhos resultantes da SLR, conforme destacado nos critérios de seleção, consideramos outros estudos relevantes a que chamamos de Estudos Mais Relevantes (EMR). 1 O relatório do protocolo apresentou todos os detalhes deste processo e os seus resultados 77 Como a nossa SLR envolveu estudos desenvolvidos no período de 2007 a 2013, os estudos fora deste período (anteriores a 2007 ou posteriores a outubro de 2013, mês em foi realizada a busca na base de dados) foram enquadrados nos EMR. Foram publicações já conhecidas por nós, indicadas por pesquisadores e especialistas da área, mas que não foram resultantes de nossa busca na SLR. Dentre estes estudos, consideramos como mais relevantes um total de 18 artigos e 7 trabalhos (1 TCC, 4 dissertações, 2 teses). Alguns estudos tiveram contribuição direta com a tese e o guia de recomendações. Outras contribuíram somente para o embasamento da tese como pesquisas já desenvolvidas com foco no público surdo, além de servirem de embasamento para o guia. A partir do foco destas pesquisas (artigos, trabalhos de conclusão de curso, dissertações e teses), foi possível categorizá-las em três temáticas principais: educação a distância (EAD), design (DES) na web para surdos e tecnologias assistivas (TA) para surdos. • Educação a distância para surdos: nesta categoria, incluímos os estudos com foco na aprendizagem dos surdos, na perspectiva da EAD. Logo, consideramos estudos envolvendo AVAs, ambientes digitais, objetos de aprendizagem, cursos propostos para EAD, e-learning, repositórios de aprendizagem, estudos de recomendações com foco na educação dos surdos. Encontramos 15 estudos aprovados na SLR: 10 artigos, 4 dissertações e 1 tese, correspondendo a 52% dentre o total resultantes. Como EMR, selecionamos também 16 estudos: 14 artigos, 1 TCC, 1 dissertação e 1 tese. • Design na web para surdos: nesta categoria, consideramos estudos voltados para o público surdo, envolvendo sites, Intranets, redes sociais, ambientes colaborativos, ambientes digitais. Encontramos contribuições importantes para nossa SLR, contudo, em um número bem reduzido, correspondendo a 24% Foram 7 estudos: 5 artigos e 2 dissertações. Dentre os EMR selecionados, tivemos 3 artigos, 1 dissertação e 1 tese. • Tecnologias assistivas para surdos: como TA para surdos, consideramos tanto soluções e/ou tecnologias desenvolvidas para auxiliar na aprendizagem ou promover melhor acessibilidade para surdos. Tivemos como resultado final da SLR, 6 estudos: 5 artigos, 1 dissertação e 1 tese, correspondendo a 24%. Todos eles se caracterizaram como tecnologias desenvolvidas com foco no público surdo (aplicativo para alfabetização, histórias em quadrinhos, sistema de ajuda para navegação na web). Dentre os EMR da área de TA, encontramos 3 artigos e 1 dissertação. Os mapas Mapa 5.1 e Mapa 5.2 apresentam uma síntese dos estudos encontrados na SLR e nos EMR, para estas três categorias. Cada um dos mapas contém: o autor/ano da publicação, sua identificação (EAD1, EAD2, DES1, DES2...), o título da publicação, o código na SLR e tipo da publicação. 2 2 Estudos Resultantes SRL:https://www.mindmeister.com/432634932?t=NKeJZF4O5W Estudos Mais Relevantes (EMR):https://www.mindmeister.com/432699600?t=NsfHCYf5LZ Mapa 5.1 – Estudos resultantes da SLR por categoria Fonte: Elaborado pela pesquisadora, 2014 Mapa 5.2 – Estudos Mais Relevantes (EMR) por categoria Fonte: Elaborado pela pesquisadora, 2014 80 Capítulo 5. Resultados Os estudos também foram listados em três quadros para cada uma das categorias: SLR-EAD (Quadro 5.1), SLR-DES (Quadro 5.3), SLR-TA (Quadro 5.5); e os EMR-EAD (Quadro 5.2), EMR-DES (Quadro 5.4), EMR-TA (Quadro 5.6). Os quadros contém as seguintes informações: código do estudo; tipo (artigo, TCC, dissertação, tese); autores/ano, título, local de publicação (base de dados); qualidade (valor absoluto/percentual/avaliação); contexto ou ambiente de aprendizagem (Jogos, Sistema Web, Softwares, Tecnologias assistivas para surdos, Tecnologia em Libras, Tecnologia em língua de sinais); qualidade de uso avaliada no estudo (acessibilidade, usabilidade, comunicabilidade, apreensibilidade, sociabilidade); forma de comunicação (LP, Libras e Escrita de Sinais), aspecto abordado (Conteúdo, Ensino/aprendizagem, Estratégias adaptativas, Interface, Material didático, Leitura para surdos, Linguagem).3 . 3 O resumo destes trabalhos pode ser consultado em http://www.leticiacapelao.com/curriculo_prof_ pesquisa_public.html Quadro 5.1 – Estudos resultantes da SLR - Categoria “Educação a Distância para surdos“ Código SLREAD1 Tipo Art. Autores/Ano Bueno, Garcia e Borrego (2007) Ribas (2008) Título E-learning content adaptation for deaf students Local Pub. ACM, Capes Qualidade 32 (94%) Ótimo SLREAD2 Dis. A interface do ambiente virtual de ensino-aprendizagem do curso Letras/Libras segundo as características da cultura surda e os critérios de usabilidade Parceria universidade-empresa para inclusão digital UFSC 21 (63%) Aceitável SLREAD3 Art. ACM SLREAD4 Art. Produção de multimídia e acessibilidade em cursos de aprendizagem a distância O primeiro curso de graduação em letras língua brasileira de sinais: educação a distância SLREAD5 Art. Quadros e Stumpf (2009) SLREAD6 Art. Santarosa, Conforto e Basso (2009) SLREAD7 Dis. Goes (2010) SLREAD8 Dis. Renneberg (2010) Osorio, Schmidt e Duarte (2008) Amorim e Silva (2009) (continua) Aspecto avaliado - LP, Libras - Linguagem Contexto Curso Informática a distância AVA Moodle UFSC Qualidade Uso Não especificaram qualidade de uso Usabilidade 24 (72%) Bom Sistema Web Acessibilidade Usabilidade Capes, ETD 23 (64%) Aceitável Não se aplica (relato) Acessibilidade Capes, ETD 20 (60%) Aceitável AVA Moodle UFSC Não se aplica (relato) AVA inclusivo: validação da acessibilidade na perspectiva de interagentes com limitações visuais e auditivas SBIE 22 (64%) Aceitável Acessibilidade Curso de Letras/LIBRAS: análise das experiências dos alunos surdos no ensino à distância do Rio Grande do Sul Contribuições do design para a evolução do hiperlivro do AVEA-LIBRAS UFRGS 30 (88%) Ótimo Ambiente Digital de aprendizagem Eduquito e ferramenta Oficina Multimídia AVA Moodle UFSC Acessibilidade - LP e Libras - Interface, Linguagem UFSC 34 (100%) Ótimo Hiperlivro do AVA Moodle UFSC Acessibilidade Usabilidade - LP e Libras - Interface, Linguagem, Conteúdo - LP, Libras e escrita de sinais - Interface - LP - Interface, Linguagem, Conteúdo - LP e Libras - Conteúdo - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo - LP, Libras e escrita de sinais - Interface, Linguagem Quadro 5.1 – Estudos resultantes da SLR - Categoria “Educação a Distância para surdos“ Código SLREAD9 Tipo Art. Autores/Ano Capelão et al. (2011b) SLREAD10 Art. Silva (2011) SLREAD11 Art. Saito e Ulbricht (2012) SLREAD12 Art. SLREAD13 Tes. Flor, Vanzin e Ulbricht (2013) Quevedo (2013) SLREAD14 Art. Saito et al. (2013) SLREAD15 Art. Silva e Rodrigues (2013) (conclusão) Aspecto avaliado - LP - Interface Título Uma Avaliação da Qualidade de Uso do Moodle na UFMG por Alunos Surdos e Ouvintes Usuários de língua brasileira de sinais Local Pub. MoodleMoot Qualidade 32 (94%) Ótimo Contexto Ava Moodle UFMG Qualidade Uso Comunicabilidade UFSC 27 (79%) Bom Repositório no AVA Moodle UFCS Acessibilidade Learning Managent Systems and Face-to-Face Teaching in Bilingual Modality (Libras/Portuguese) Recomendações da WCAG 2.0 (2008) e a acessibilidade de surdos em conteúdos da Web Narrativas hipermidiáticas para ambiente virtual de aprendizagem inclusivo Evaluation of Accessibility with the Deaf User UFSC 27 (79%) Bom AVA Moodle, Sakai, Claroline, Atutor Acessibilidade Scielo 23 (66%) Aceitável Recomendações Web Acessibilidade - LP e Libras - Interface, Linguagem UFSC 32 (94%) Ótimo AVA Moodle UFSC Acessibilidade Springer 29 (85%) Bom AVA Moodle Acessibilidade Características de repositório educacional aberto para usuários de língua brasileira de sinais Scielo 28 (85%) Bom Repositório no AVA Moodle UFCS Acessibilidade - LP e Libras - Interface, Linguagem, Conteúdo - LP - Interface, Linguagem, Conteúdo - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo Fonte: Elaborado pela própria autora. - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo - LP e Libras - Interface Quadro 5.2 – Estudos resultantes da EMR – Categoria Educação a Distância para surdos Local Pub. ABED Qualidade 20 (57%) Aceitável (continua) Contexto Quali-PDA – Moodle UFSC 24 (69%) Aceitável AVA Moodle UFSC Anhembi Morumbi, PUC-Rio e Unesp-Bauru 22 (63%) Aceitável AVA Moodle UFSC Usabilidade UFSC 21 (62%) Aceitável Acessibilidade ACM 31 (91%) Ótimo Objeto de Aprendizagem (para todos) AVA Moodle IFAM UFSC (Livro Design de Hipermídia: processos e conexões) Revista TécnicoCientífica do IFSC 34 (100%) Ótimo Hiperlivro do AVA Moodle UFSC Acessibilidade Usabilidade - LP e Libras - Interface, Linguagem, Conteúdo Pereira, Cerny e Quadros (2010) Título Modelo de qualificação profissional para portadores de deficiência auditiva O processo de design do site do curso Letras/Libras: teorias que fundamentam e aplicações práticas Método de avaliação de interface para Ambientes Virtuais de Ensino Aprendizagem - AVEA’s: diretrizes para a avaliação do hiperlivro do Curso Letras/LIBRAS Diretrizes para a criação de objetos de aprendizagem acessíveis Impacto da Usabilidade na Educação a Distância: Um Estudo de Caso no Moodle IFAM Um processo de projeto para interfaces de objetos de aprendizagem: o caso do hiperlivro do ambiente virtual de Letras/LIBRAS Ambiente Virtual de Ensino-Aprendizagem do curso LetrasLIBRAS 20 (58%) Aceitável AVA Moodle UFSC Não especificaram qualidade de uso Stumpf (2010) Educação de Surdos e Novas Tecnologias UFSC 22 (63%) Aceitável Educação e TA para surdos Não se aplica (relato) - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo Código EMREAD1 Tipo Art. Autores/Ano Bittencourt e Silva (2006) EMREAD2 TCC Renneberg (2007) EMREAD3 Art. Renneberg, Gonçalves e Gonçalves (2008) EMREAD4 Tes. Macedo (2010) EMREAD5 Art. Magalhães et al. (2010) EMREAD6 Art. Renneberg e Gonçalves (2010) EMREAD7 Art. EMREAD8 Art. Qualidade uso Não especificaram qualidade de uso Acessibilidade Aspecto avaliado - LP e Libras - Interface, Linguagem, Conteúdo - LP, Libras e escrita de sinais - Interface, Linguagem, Conteúdo - LP e Libras - Interface, Linguagem - LP - Interface, Linguagem Usabilidade - LP Comunicabilidade - Interface, Linguagem Quadro 5.2 – Estudos resultantes da EMR – Categoria Educação a Distância para surdos Código EMREAD9 Tipo Art. Autores/Ano Amorim e Lins (2011) EMREAD10 Art. Capelão et al. (2011a) EMREAD11 Art. Moretto et al. (2011) EMREAD12 Dis. Amorim (2012) EMREAD13 Art. Moura et al. (2012) EMREAD14 Art. Moura et al. (2013) EMREAD15 Art. Pivetta et al. (2013) EMREAD16 Art. Trindade e Garcia (2013) Título Educação e surdez: aspectos da ciência cognitiva aplicados a problemas de acessibilidade Avaliação de comunicabilidade do Moodle para usuários surdos e ouvintes Características para o Aprendizado do Aluno Surdo em Ambientes Web com base no Moodle Estilos de Interação Web de Navegação e Ajuda Contextual para Usuários Surdos em Plataformas Implementação de uma metodologia para a tradução da língua portuguesa para língua de sinais brasileira nos cursos do Senai da Bahia AVA-PDA: Um ambiente virtual de aprendizagem acessível para pessoas com deficiência auditiva Contribuições para o design de interface de um Ambiente Virtual de Ensino Aprendizagem acessível a surdos Framework Conceitual de apoio ao Design de Ambientes Colaborativos inclusivos aos Surdos Fonte: Elaborado pela própria autora. Local Pub. Revista de Educação PUC-Campinas IHC2011 – Anais Estendidos Competição. Congresso Nacional de Ambientes Hipermídia para Aprendizagem UFPE Qualidade 20 (57%) Aceitável 32 (94%) Ótimo (conclusão) Contexto Ambiente Multiagente EAD AVA Moodle UFMG Qualidade uso Acessibilidade Aspecto avaliado - LP e Libras - Interface, Linguagem Comunicabilidade - LP - Interface 23 (68%) Aceitável AVA Moodle Acessibilidade Usabilidade - LP - Interface 32 (93%) Ótimo AVA Amadeus Acessibilidade - LP e Libras - Interface, Linguagem TISL, 2012 (SC) 28 (81%) Bom Quali-PDA – Moodle Não especificaram qualidade de uso - LP e Libras - Interface, Linguagem, Conteúdo 2o Congresso Brasileiro de Recursos Digitais na Educação (SP) Revista Brasileira de Design da Informação 28 (82%) Bom Quali-PDA – Moodle Acessibilidade - LP e Libras - Interface, Linguagem, Conteúdo 31 (91%) Ótimo AVA Moodle Acessibilidade - LP e Libras - Interface, Linguagem, Conteúdo SBIE, 2013 29 (85%) Bom AVA Acessibilidade - LP e Libras - Linguagem, Conteúdo Quadro 5.3 – Estudos resultantes da SLR – Categoria “Design na web para surdos” Código Tipo Autores/Ano Título Local Pub. Qualidade Contexto SLRDES1 Art. 31 (91%) Ótimo Art. ACM 30 (87%) Ótimo Sistema Web (Sites para surdos) Sistema Web (Orkut) SLRDES3 Art. Alves et al. (2012a) ACM, HCIBIB 31 (91%) Ótimo Sistema Web (Intranet FioCruz) Comunicabilidade - LP - Interface, Linguagem SLRDES4 Art. Alves et al. (2012b) Science Direct 26 (76%) Bom Sistema Web (Intranet FioCruz) Comunicabilidade - LP - Interface, Linguagem SLRDES5 Dis. Barbosa (2012) UFMG 30 (87%) Ótimo Sistema Web (Orkut) Sociabilidade - LP - Interação SLRDES6 Dis. Martins (2012) Avaliando modelos de interação para comunicação de deficientes auditivos Analise da Sociabilidade de Comunidades Online para os Usuários Surdos: Um Estudo de Caso do Orkut Comunicabilidade em sistemas de informação web corporativos: analisando a interação de surdos bilíngues Evaluation of Potential Communication Breakdowns in the Interaction of the Deaf in Corporate Information Systems on the Web Caracterização da interação social de usuários em redes sociais online: Um estudo de caso no orkut CLAWS: uma ferramenta colaborativa para apoio à interação de surdos com páginas da web. ACM SLRDES2 Martins e Filgueiras (2010) Barbosa e Prates (2011) USP 34 (100%) Ótimo Acessibilidade Apreensibilidade - LP, Libras e escrita de sinais - Interface, Linguagem SLRDES7 Art. Ferreira e Bonacin (2013) Analyzing barriers for people with hearing loss on the web: a semiotic study ACM, Springer 25 (72%) Bom Sistema Web (Sites para surdos e protótipo CLAWS) Sistema Web (Sites) Não especificaram qualidade de uso - LP - Interface, Linguagem, Conteúdo Fonte: Elaborado pela própria autora. Qualidade de uso Acessibilidade Apreensibilidade Sociabilidade Aspecto avaliado - LP, Libras e escrita de sinais - Interface, Linguagem - LP - Interação Quadro 5.4 – Estudos resultantes da EMR – Categoria “Design na web para surdos” Código Tipo Autores/Ano Título Local Pub. Qualidade Contexto EMRDES1 Dis. Corradi (2007) Universidade Estadual Paulista 30 (87%) Ótimo EMRDES2 Art. Oliveira et al. (2010) 32 (95%) Ótimo Art. Piccolo et al. (2010) EMRDES4 Art. Flor e Bleicher (2014) IHC2010 – Anais Estendidos Competição. Cartilha: Campinas, SP: CPqD, Fundação VII World Congress on Communication and Arts Ambiente digitais de aprendizagem Sistema Web EMRDES3 Ambientes informacionais digitais e usuários surdos: questões de acessibilidade Avaliaçao de acessibilidade do sitio da Receita Federal para Deficientes Auditivos Modelo de interação inclusivo para interfaces de governo eletrônico Recomendações para o design de interfaces web acessíveis ao público surdo Fonte: Elaborado pela própria autora. 30 (88%) Ótimo Sistema Web (para todos) 27 (78%) Bom Interfaces web acessíveis Qualidade de uso Acessibilidade Acessibilidade Acessibilidade Usabilidade Inteligibilidade Acessibilidade Aspecto avaliado - LP, Libras e escrita de sinais - Interface, Linguagem - LP e Libras - Interface, Linguagem - LP e Libras - Interface, Linguagem - LP e Libras - Linguagem, Conteúdo, Interface Quadro 5.5 – Estudos resultantes da SLR – Categoria “Tecnologias Assistivas para surdos” Código Tipo Autores/Ano Título Local Pub. Qualidade Contexto SLRTA1 Art. Abreu, Prates e Bernardino (2010) SEMISH 31 (94%) Ótimo SLRTA2 Dis. Abreu (2010) Recomendações de acessibilidade para projetos de TICs para alfabetização de crianças surdas Recomendações para projetos de TICs para apoio a alfabetização com libras UFMG 31 (90%) Ótimo SLRTA3 Tes. Busarello (2011) UFSC 30 (87%) Ótimo SLRTA4 Art. Correa et al. (2012) ACM 29 (85%) Bom SLRTA5 Art. Monteiro, Alves e De Souza (2013) Geração de conhecimento para usuário surdo baseada em histórias em quadrinhos hipermidiáticas Uso do MIS para avaliar signos sonoros: quando um problema de comunicabilidade se torna um problema de acessibilidade Using mediated communication to teach vocational concepts to deaf users Aplicativo de alfabetização para crianças surdas Aplicativo de alfabetização para crianças surdas Histórias em quadrinhos para surdos ACM, Springer 28 (82%) Bom SLRTA6 Art. Deaf students and comic hypermedia: proposal of accessible learning object ACM, Springer 26 (75%) Bom SLRTA7 Art. Inácio, Biening e Ulbricht (2013) Alves et al. (2013) Using mediating metacommunication to improve accessibility to deaf in corporate information systems on the web ACM, Springer 27 (79%) Bom Fonte: Elaborado pela própria autora. Qualidade de uso Acessibilidade Aspecto avaliado - LP e Libras - Interface, Linguagem, Conteúdo Acessibilidade Comunicabilidade - LP e Libras - Interface, Linguagem, Conteúdo Acessibilidade Usabilidade - LP e Libras - Interface, Linguagem, Conteúdo Jogos Acessibilidade Comunicabilidade - LP - Interface, Conteúdo Sonoro Sistema Web (Web Navigation Helper – WNH) Histórias em quadrinhos para surdos Não especificaram qualidade de uso - LP e Libras - Interface, Linguagem, Conteúdo Acessibilidade Usabilidade - LP e Libras - Interface, Linguagem, Conteúdo Sistema Web (Web Navigation Helper – WNH) Comunicabilidade - LP - Interface, Linguagem, Conteúdo Quadro 5.6 – Estudos resultantes da EMR – Categoria “Tecnologias Assistivas para surdos” Código Tipo Autores/Ano Título Local Pub. Qualidade Contexto EMRTA1 Art. Martins e Filgueiras (2007) CLIHC, 2007, Scielo 20 (57%) Aceitável Sistema Web (Sites do governo) EMRTA2 Art. UFMG 30 (88%) Ótimo Chat para AVA EMRTA3 Dis. Blasco e Silveira (2009) Coutinho (2012) ScienceDirect 31 (92%) Ótimo Jogos EMRTA4 Dis. Alves (2012) ScienceDirect 31 (92%) Ótimo EMRTA5 Art. Alves et al. (2013) Métodos de Avaliação de Apreensibilidade das Informações Textuais: uma Aplicação em Sítios de Governo Eletrônico Um Método para Desenvolvimento de Agentes de Ajuda para Usuários Surdos Revisitando a acessibilidade de jogos para jogadores surdos ou com deficiência auditiva Estudo do uso de diálogos de mediação para melhorar interação de surdos bilíngues na Web Novas estratégias comunicativas como fator de qualidade na interação de surdos em um sistema organizacional ACM 31 (91%) Ótimo Sistema Web (Web Navigation Helper - WNH) Sistema Web (Web Navigation Helper - WNH) Fonte: Elaborado pela própria autora. Qualidade de uso Apreensibilidade Aspecto avaliado - LP e Libras - Linguagem, Conteúdo Acessibilidade - LP - Interface, Linguagem, Conteúdo Acessibilidade - LP Comunicabilidade - Interface, Conteúdo Sonoro Comunicabilidade - LP - Interface, Linguagem, Conteúdo Comunicabilidade - LP - Interface, Linguagem, Conteúdo 89 6 Análise Apresentamos, nesta seção, a análise dos estudos encontrados baseando-se em cada uma das questões de pesquisa. Destacamos também os EMR e sua relação com a questão de pesquisa. 6.1 Análise - Questões de pesquisa [QE1] - Quais são os ambientes de aprendizagem online abordados nas pesquisas? [QE2] - Quais aspectos do ambiente de aprendizagem são abordados? (conteúdo, ensino/aprendizagem, interface, material didático) [QE3] - Quais são as principais dificuldades dos surdos ao interagir com ambientes virtuais de aprendizagem? [QE4] - Qual a forma de comunicação adotada? (Língua Portuguesa, Libras e Escrita de Sinais) [QE5] - Quais são as tecnologias assistivas utilizadas em ambientes on-line? [QE6] - Quais tipos de contribuições foram feitas em relação à inclusão digital dos surdos? 6.1.1 [QE1] - Quais são os ambientes virtuais de aprendizagem abordados nas pesquisas? Todos os estudos sobre AVA foram incluidos na categoria EAD, totalizando 31 estudos (15 trabalhos da SLR, 16 dos EMR). Dentre esses, 21 estudos trataram do ambiente de aprendizagem Moodle (10 da SRL e 11 da EMR). Os outros estudos trataram de: curso a distância [Bueno, Garcia e Borrego, 2007 - SLR-EAD1], sistema web com foco educacional de parceria universidade-empresa [Osorio, Schmidt e Duarte, 2008 - SLR-EAD3]; Ambiente Digital de aprendizagem Eduquito e ferramenta Oficina Multimídia [SLR-EAD6 :: Santarosa, Conforto e Basso, 2009], repositório educacional aberto para surdos com foco no uso de Libras [Silva, 2011 - SLR-EAD10 e Silva e Rodrigues, 2013 - SLR-EAD15]; avaliaram a acessibilidade do Moodle, Sakai, Claroline, Atutor na perspectiva do aluno surdo [Saito e Ulbricht, 2012 - SLR-EAD11]; avaliaram recomendações Web na perspectiva da educação bilingue para os surdos [Flor, Vanzin e Ulbricht, 2013 - SLR-EAD12]. 90 6.1.2 Capítulo 6. Análise [QE2] - Quais aspectos do ambiente de aprendizagem são abordados? (conteúdo, ensino/aprendizagem, interface, material didático) Os estudos sobre AVA abordaram aspectos relacionados a conteúdo, interface, linguagem para surdos (ver Tabela 6.1). Os respectivos estudos podem ser consultados nos Quadro 5.1 e Quadro 5.2. Os estudos de interface avaliaram aspectos de design, ergonomia (interface, cognitiva e visual), acessibilidade, usabilidade, comunicabilidade. Esses dados demonstraram que as soluções na educação para surdos se pautam, em sua maioria, no contexto de aprendizagem (conteúdo), interface e linguagem (48,4%), seguidas de interface e linguagem (25,8%). Ou seja, são aspectos de grande relevância para promover acessibilidade para alunos surdos. Já no design para web, o foco se manteve na interface e linguagem (64%), visto que não há um foco contexto de aprendizagem. Apesar de ter havido estudos que também consideraram interface, linguagem e conteúdo (18%) e somente interface (18%). A ênfase em soluções para web ou tecnologias assistivas foi em interface, linguagem e conteúdo (75%) e linguagem e conteúdo (25%), considerando a perspectiva de serem usadas tanto na web, quanto em AVAs. Tabela 6.1 – Aspectos abordados nos estudos resultantes da SLR Fonte: Dados obtidos pela pesquisa direta. Dentre estes estudos com foco em AVA, somente dois avaliaram a comunicabilidade da interface do Moodle em LP, na perspectiva de usuários surdos. [Capelão et al., 2011b SRL-EAD9 e Capelão et al., 2011a - EMR-EAD10]. Os autores apresentaram os resultados da avaliação de comunicabilidade da interface do sistema Moodle utilizado na UFMG, a UFMG Virtual. Na avaliação, utilizaram dois métodos baseados na EngSem: MIS (realizado por dois 6.1. Análise - Questões de pesquisa 91 avaliadores) e MAC (realizado com três surdos e três ouvintes). Os autores buscaram identificar rupturas na interface do sistema que pudessem interferir na interação de alunos surdos. A partir das rupturas identificadas, os autores concluíram os problemas de comunicabilidade estavam relacionados à interface e não às dificuldades relacionadas à LP pelos surdos. A nossa pesquisa trouxe um diferencial através do MISI, com o qual, foi possível identificar as rupturas de interface, linguística (relacionadas à LP ou Libras) e do conteúdo (disponibilizado pelo professor). Já dentre os EMR, encontramos um outro estudo que também avaliou a comunicabilidade do Moodle em LP com usuários ouvintes (não teve como foco usuários surdos). [Magalhães et al., 2010 - EMR-EAD5] . Neste estudo, foi realizada uma avaliação de usabilidade no AVA (Moodle) do Instituto Federal de Educação Ciência e Tecnologia – Amazonas (IFAM). Como método de avaliação, utilizaram o Percurso Cognitivo (avaliaram a usabilidade a partir da facilidade de aprendizagem por inspeção feita por 4 especialistas) e o Método de Avaliação de Comunicabilidade (MAC) (avaliaram a comunicabilidade através de experimento em ambiente controlado com 8 usuários ouvintes). A motivação dos autores também foi contribuir com uma melhoria na usabilidade do Moodle, já avaliada com aspectos negativos em outros trabalhos citados pelos autores: Martin et al (2008)1 que comparou três AVAs (Moodle, Sakai e dotLRN) a partir das Heurísticas de Nielsen, classificando o Moodle com 68% de conformidade (pior dentre os três); Castro e Fuks (2009)2 identificaram problemas de usabilidade no Moodle através do Método de Inspeção Semiótica (MIS); e Melton3 apresentou sugestões de melhorias de usabilidade a partir de avaliação usando o framework DECIDE. Além destes dois estudos, outros trouxeram mais contribuições para nossa SLR, sendo avaliados como “Ótimo“. Na SLR, foram mais 1 artigo, 2 dissertações e 1 tese (ver Quadro 5.1). E na EMR, 3 artigos e 1 dissertação. (ver Quadro 5.2). Uma dissertação, avaliada em 100% de qualidade em nossa SLR [Renneberg, 2010 - SLR-EAD8], focou em aspectos de design e ergonomia (interface, cognitiva e visual) para o público surdo. A autora apresentou o processo de redesign da interface do Hiperlivro, um objeto de aprendizagem desenvolvido a partir da estrutura do recurso Livro, da plataforma Moodle, disponibilizado no curso a distância de Letras/Libras da UFSC. A validação da interface proposta foi realizada através de questionário on-line com alunos surdos. Os resultados foram categorizados em 76 diretrizes para desenvolvimento de objetos de aprendizagem, divididas em: 6 diretrizes gerais, 40 pedagógicas e 30 ergonômicas. Bueno, Garcia e Borrego (2007) [SLR-EAD1] apresentaram um estudo sobre as necessidades de leitura de estudantes surdos no ensino superior, destacando que uma grande 1 2 3 Martin, L.; Martínez, D.R.; Revilla, O.; José, M. Usability in e-Learning Platforms: Heuristics comparison between Moodle, Sakai and dotLRN. 6th Int. Conf. on Community based environments, 2008. Castro, T.; e Fuks, F. Inspeção Semiótica do ColabWeb. Revista Brasileira de Informática na Educação, 2009 Melton, J. The LMS Moodle: A Usability Evaluation. Language Issues: HCI, 2005. 92 Capítulo 6. Análise dificuldade que eles enfrentam e a compreensão de textos. Logo, tiveram como foco aspectos do conteúdo e linguagem utilizadas. A fim de minimizar esses problemas, os autores propuseram um curso de informática a distância com algumas adaptações a fim de contribuir para uma melhor compreensão do termos e textos presentes na interface. Os resultados demonstraram o nível de compreensão aumentou significativamente no curso adaptado. Alguns deles conseguiram alcançar uma nota de 80% mesmo tendo surdez profunda. A partir destas informações foi gerada uma base de conhecimento com vocabulário e expressões de difícil compreensão para pessoas surdas com nível linguístico intermediário. Além disso, algumas sugestões de recursos visuais que colaboram com a compreensão dos textos também foram registradas. Goes (2010) [SLR-EAD7], pesquisadora surda, analisou os aspectos de acessibilidade para surdos do curso de de Licenciatura em Letras/LIBRAS criado pela UFSC, na EAD. O foco da pesquisa foram os aspectos de acessibilidade, comunicação/interação no AVA. Esta análise foi realizada a partir de aplicação de questionário on-line com 36 alunos surdos. A autora apresentou aspectos positivos e negativos, identificados pela pesquisa, relacionados a interação dos alunos surdos com tutores, professores dentre outros, além da acessibilidade. Identificou problemas e sugestões para uso do fórum, chat, vídeos em Libras, videoconferências e material didático. Quevedo (2013) [SLR-EAD13] descreveu um estudo de diferentes discursos narrativos presentes em um ambiente virtual de ensino aprendizagem (AVEA) bilíngue com alunos surdos e ouvintes. O objetivo do estudo foi propor recomendações para o desenvolvimento de AVEAs inclusivos e compartilhamento de conhecimento. Essas narrativas hipermidiáticas foram avaliadas em um AVEA (Moodle), por alunos surdos do curso Letras-Libras da UFSC. O resultado destes experimentos mostraram que a aprendizagem por meio de diferentes gêneros de narrativas, independente do seu perfil, “atendeu às diferentes formas que o aluno gosta de aprender”. (QUEVEDO, 2013, p. 353). Renneberg e Gonçalves (2010) [EMR-EAD6] apresentaram métodos para auxiliar na aplicação de estratégias ergonômicas e pedagógicas, centradas no usuário surdo, para desenvolvimento de conteúdos de aprendizagem com foco em Objetos de Aprendizagem (em especial, no Hiperlivro), para alunos surdos. Este estudo também apresentou a pesquisa e resultados encontrados por Renneberg (2010) [SLR-EAD8] em sua pesquisa de mestrado. Os resultados indicaram uma aceitação da interface com as alterações previstas neste redesign, tornando o uso e o reuso do Objeto de Aprendizagem mais viável, eficiente e satisfatório. (RENNEBERG; GONÇALVES, 2010, p. 63). Amorim (2012) [EMR-EAD12], pesquisador surdo, propôs o uso de estilos de interação baseados em 44 ícones em plataformas como o Amadeus, para minimizar as dificuldades de acesso às informações pelos surdos, possibilitando uma nova proposta educacional para esses usuários. A pesquisa envolveu usuários surdos, do curso de Letras Libras da UFSC polo UFPE, para geração de problemas através da técnica de brainstorming e análise de imagens sugeridas 6.1. Análise - Questões de pesquisa 93 para ícones através da técnica Icon Sorting. Além disso, contou com 25 usuários surdos, para avaliação do protótipo, usando análise de tarefas cognitivas GOMS (Goals, Operators, Methods, and Selection). O autor identificou também a necessidade de implementação das seguintes melhorias: um guia sobre o ambiente; um tutorial explicando como se usa o protótipo; um glossário português + figuras; uma introdução sobre Ajuda Contextual. E como ações futuras sugeriu a ampliação do uso de Libras na veiculação das informações existentes nos sistemas virtuais de ensino; o aumento de suporte a recursos multimídias mais ricos nos AVAs e aplicação do resultado desta pesquisa na próxima versão do Amadeus LMS (1.0). Pivetta et al. (2013) [EMR-EAD15] investigaram as principais barreiras de interação para pessoas surdas em ambientes virtuais de ensino aprendizagem e o que qualifica um ambiente adequado para pessoas surdas. A partir da pesquisa, propuseram as contribuições para a gestão de interface e gerenciamento do conteúdo, identificados a partir de elementos que causam maiores problemas de acessibilidade para surdos. A pesquisa foi realizada em uma escola básica e secundária de ensino bilíngue para surdos, em Portugal: Escola Bilíngue Augusto Lessa (EB1/JI), na cidade do Porto em Portugal, durante o primeiro semestre de 2013. Foram avaliados dois modelos de ambientes da plataforma Moodle: o Moodle Geral, cujo padrão de design da informação é o padronizado da plataforma Moodle; e o Moodle Libras, cuja interface foi projetada para atender ao curso de graduação Letras/Libras, utilizando “elementos representativos para a cultura surda como o sign writing e conteúdos em vídeo usando a Língua de Sinais”. 6.1.3 [QE3] - Quais são as principais dificuldades dos surdos ao interagir com ambientes virtuais de aprendizagem? As principais dificuldades dos surdos ao interagir em ambientes virtuais de aprendizagem estão relacionadas diretamente com os surdos, assim como seus stakeholders, pessoas e processos relacionados para promover melhor acessibilidade. Diante da diversidade de expressão e comunicação no universo dos surdos, identificamos nas pesquisas, aspectos positivos e negativos no contexto educacional para surdos, que corroboraram para a busca de soluções de acessibilidade e uma melhor comunicabilidade para os surdos na EAD, com foco no uso da LP. As principais dificuldades estão relacionadas à comunicação em LP e Libras, presentes tanto na interface, quanto no conteúdo. 1. Predominância de interfaces e conteúdos em LP (sua L2) 2. Falta de conhecimento sobre o ser surdo, aspectos que envolvem a surdez e a cultura surda; 3. Custo alto do processo de gravação de vídeos em LS; 4. Processo de tradução da LP para Libras apresenta lacunas; 5. Desconhecimento da LS por alguns surdos ou DAs; 94 Capítulo 6. Análise Para cada um destes aspectos, apresentamos uma análise com base na análise dos resultadas da SLR. 1) Predominância de interfaces e conteúdos em LP (sua L2) A maior parte das informações na web está apresentada textualmente em LP. Com isso, a autonomia dos surdos na web ou em ambientes virtuais de aprendizagem projetados para um público ouvinte se torna bastante limitada. Alves et al. (2013) [EMR-TA5], Corradi e Vidotti (2009), Corradi (2007) [EMR-DES] dentre outros pesquisadores, destacaram essa dificuldade em relação à LP tendo que recorrer ao auxílio de outras pessoas para auxiliar na compreensão dos conteúdos (ouvintes, amigos surdos ou intérpretes) ou a um dicionário para compreender o significado de palavras desconhecidas, o que pode gerar ainda mais dúvidas e frustrações. Na pesquisa de Corradi e Vidotti (2009), um dos participantes surdos relatou essa realidade vivenciada pelos surdos: Eu gostaria muito de web sobre Surdos, mas infelizmente por causa da matéria “português – (por exemplo: - verbo, mais as palavras não conheço), mas eu pedi alguma pessoa me explica e eu entendo ou procura o dicionário para saber (depoimento de SA, 47 anos, auxiliar de operações)(CORRADI; VIDOTTI, 2009, p. 2315) Desta forma, o uso de tecnologias assistivas de apoio ao conteúdo para os surdos é um caminho que pode possibilitar sua autonomia, acesso à informação e qualidade de vida, em um contexto social, político e educacional. Algumas tecnologias assistivas foram encontradas em nosso estudos e estão apresentadas em respostas à QE5 (ver subseção 6.1.5). Em sua pesquisa sobre “Uma reflexão sobre a influência das novas tecnologias na educação e inclusão social dos surdos”, Plácido (2004) identificou fatores que dificultam a interação dos surdos em ambientes computacionais: pouco uso da LS, existência de palavras de difícil compreensão, presença de textos em inglês e palavras com animações. A autora destacou, também, exemplos de vocabulário específico em LP usados em aplicativos computacionais que dificultam a interação pelos surdos (identificado em entrevistas de professoras de alunos surdos). Por exemplo, as palavras exibir, inserir, ferramentas e outras. Com intuito de contribuir para redução destas barreiras comunicacionais e na construção de interfaces adequadas ao público surdos, Plácido (2004) sugeriu: valorizar os “textos pequenos (curtos) e de fácil entendimento, assim como imagens; ícones animações; filmes; utilizar a linguagem de sinais (LIBRAS); evitar o uso de “gírias e jargões; textos longos e de difícil entendimento; palavras difíceis e pouco utilizadas; metáforas; linguagem conotativa; expressões; mesóclises; onomatopéias.” Dentre palavras de difícil compreensão pelos surdos, (BUENO; GARCIA; BORREGO, 2007) [SLR-EAD1] distinguiram quatro grupos: o grupo (1) representou um nível de dificuldade de 7,94% com palavras em inglês ou palavras derivadas do inglês (por exemplo, PC, BIOS, 6.1. Análise - Questões de pesquisa 95 CD-ROM, “resetear” 4 ); o grupo (2), 29,76%, continha palavras técnicas utilizadas somente no contexto da Ciência da Computação (por exemplo, periféricos, placa mãe, disco rígido); o grupo (3) representou 5,95% contendo termos comuns utilizados fora do seu contexto natural (por exemplo, monitor = instrutor, monitor de computador); (4) termos de uso comum (como, mostrar e abaixo) representou 56,35%. Saito et al. (2013) [SLR-EAD14], a partir da avaliação realizada com usuários surdos, envolvendo o ambiente Moodle, evidenciaram dificuldades dos surdos com a LP. Após identificação e reflexão sobre as dificuldades apontadas pelos surdos, os resultados foram organizados em quatro categorias: para os quais as autoras apresentaram algumas conclusões e reflexões: (1) língua portuguesa; (2) valorização da LS; (3) recursos visuais; (4) EAD e novas ferramentas. Em relação a língua portuguesa, as reflexões se basearam na relação dos surdos com a forma escrita da língua portuguesa: dificuldades com textos longos, dificuldades com navegação em uma estrutura baseada em texto, desconhecimento de certas palavras escritas/termos em LP, resultando em um grande esforço cognitivo na atividade de leitura. Em relação aos obstáculos na aprendizagem dos surdos, Busarello (2011) [SLR-TA3] citou alguns estudos focados em aspectos do aprendizado de crianças surdas (que fogem ao escopo de nossa pesquisa) e também adultos surdos. Ressaltamos estes estudos com adultos e alguns com crianças surdas, que podem ser extensíveis para adultos: (1) As dificuldades dos surdos (que não se comunicam com LS ou língua falada) na aprendizagem de disciplinas de um curso a distância, comparadas com não surdos foi avaliada por (Richardson e Woodley, 20015 apud Busarello (2011, p. 39): os surdos tiveram mais dificuldades em relacionar ideias sobre temas diferentes, intensificadas para os que se comunicam pouco por línguas de sinais. As hipóteses apresentadas foram: o baixo conhecimento técnico dos intérpretes em relação ao tema da disciplina; medo de fracasso pelos surdos em atividades acadêmicas (que, por outro lado, pode ser fator de sucesso quando os leva a ter mais atenção); (2) a dificuldade de compreensão das palavras escritas e o processo de leitura pelos surdos e sua relação com a fonologia foram estudados por (Ormel et al., 20086 apud Busarello (2011, p. 43): no uso de fonologia limitada por surdos, os autores presumiram que o conhecimento semântico pode prestar apoio a leitura crítica e concluíram que a falta de acesso “a linguagem completa, escrita e gestual, nos primeiros anos de vida do indivíduo surdo, adia o desenvolvimento das categorizações semânticas.“; (3) Comparando-se categorizações semânticas com crianças surdas e não surdas, (Ormel et al., 4 5 6 Resetear em espanhol, derivada da palavra RESET em inglês, traduzida para o português é resetar, que significa reiniciar. RICHARDSON, J. T. E.; WOODLEY, A. Approaches to studying and communication preferences among deaf students in distance education. Higher Education, 42, 2001. Institute of Educational Technology. 2001. Disponível em:<http://oro.open.ac.uk/cgi/export/932/SummaryPage/oro-eprint-932.html>. Acesso em: 9 março 2011. ORMEL, E. A. et al. Semantic categorization: A comparison between deaf and hearing children. Journal of Communication Disorders, 2008. Disponível em:<http://www.kentalis.com/Kentalis_C01/Modules/ ItembankA/ItembankA_Item.asp?ModID=1975&ItemID=1442&bottest=&custid=711&sessionid= 58390730661976034518765233172&time=15115&comid=25>. Acesso em: 11 abr. 2011 96 Capítulo 6. Análise 2008 apud Busarello (2011, p. 40) identificaram que o conhecimento semântico facilitou a compreensão da leitura. As crianças surdas apresentaram melhor desempenho com relação a imagens, enquanto as não surdas obtiveram melhor desempenho nas palavras escritas. Este estudo avaliou a qualidade da classificação semântica entre as crianças a partir de palavras escritas e imagens. ”Com relação às palavras escritas, estas foram correlacionadas ao vocabulário gestual e compreensão da linguagem de sinais para os surdos.” A partir da análise dos vídeos e conclusões possibilitadas pela aplicação do MAC, Alves et al. (2012b) [SLR-DES4] apresentaram uma lista de potenciais falhas de comunicação na interação dos usuários surdos bilíngües pré-linguísticos em sistemas de informação corporativos na web sintetizando problemas de acessibilidade e de usabilidade. Os problemas foram agrupados em cinco tópicos principais: (1) informação significativa; (2) o uso de siglas; (3) diferenças linguísticas; (4) informações do contexto do usuário; (5) personalização da interface. E cada tópico apresentou três elementos: problemas, possíveis soluções e benefícios que, quando aplicados, buscam resolver problemas específicos. 2) Falta de conhecimento sobre o ser surdo, aspectos que envolvem a surdez e a cultura surda De igual relevância é a falta de conhecimento sobre os aspectos que envolvem o ser surdo, em suas habilidades e dificuldades. O desconhecimento da competência e inteligência dos surdo ocorre, tanto pela sociedade quanto pelos próprios professores e colegas. Há, ainda, o estigma que os surdos ou deficientes auditivos são, de fato, deficientes e incapazes de aprender, crescer, se comunicar, compreender, interagir. Por outro lado, há quem não tenha conhecimento e não compreenda a dificuldades dos surdos com a LP e formas de comunicação com os surdos. Conforme destacaram Quadros e Karnopp (2004), a parcela ouvinte da sociedade, em grande parte, considera que as pessoas surdas são capazes de se comunicar nas línguas orais. Porém, conforme já destacamos em nossa pesquisa, essa não é a realidade, pois não existe uma correspondência direta em nível sintático e semântico entre as línguas orais e as línguas de sinais. E em face desse desconhecimento, os surdos enfrentam barreiras de comunicação até mesmo com os professores, que deveriam ter informação e formação para atendê-los de maneira integrada e consciente. Quevedo (2013) [SLR-EAD13] destacou que “faltam campanhas de informação e esclarecimento do que é ser surdo para o ouvinte. A sociedade ouvinte é ignorante com relação a surdez, faltam informações.” “O surdo só irá se integrar se houver acessibilidade, o que vai significar que a sociedade o acolhe”, afirmou Stumpf (2010) [EMR-EAD8]. E continuou em sua reflexão sobre “a inclusão que os surdos desejam” ressaltando, que o acolhimento começa na família e na escola. Caso ele exista, o surdo aprende a se integrar. Logo, a autora pondera que a inclusão acontece a 6.1. Análise - Questões de pesquisa 97 partir de dois movimentos: ”da construção social de toda a sociedade que entende e acolhe, e dos surdos, que vão participar porque se sentem acolhidos.” (STUMPF, 2008, p. 26). Logo, é necessário além de criar condições de acesso e permanência das pessoas com necessidades especiais nas universidades, possibilitar que seja feita de forma efetiva, tanto nos aspectos físicos, tecnológicos, sociais e relacionais. 3) Custo alto do processo de gravação de vídeos em LS O custo do processo de gravação de vídeos em língua de sinais é bastante alto, pois demanda investimento em profissionais qualificados (intérprete, vídeos, filmagem), recursos tecnológicos e infraestrutura, assim como tempo para planejamento e desenvolvimento. (Debevc, 2009 apud Alves (2012) - [EMR-TA4])7 Em virtude dos requisitos de qualidade para comunicação em LS, sua produção em larga escala é dificultada (BRITO, 2012; AMARAL, 2012). Alguns fatores dificultam seu uso: alto custo de produção de vídeos em padrões profissionais, dificuldades em produzir vídeos consistentes (mesmo sinalizante, mesma roupa, mesmo plano de fundo) para que partes possam ser unidas e haja uma padronização; necessidade de participação de pessoas especializadas em LS (TILS); atualização de conteúdo demanda regravações, alto investimento em espaço de armazenamento e velocidade para transmissão de vídeos, tecnologia em compressão de vídeos; e por fim, em algumas situações de videoconferência, há necessidade de uma sofisticada arquitetura de servidor para geração de conteúdo ao vivo. Logo, apesar de sua grande importância como forma de acessibilidade para os surdos em sua L1, os vídeos em LS por intérpretes humanos, ainda apresentam algo custo de manutenção e atualização. 4) Processo de tradução da LP para Libras apresenta lacunas O processo de tradução de LP para Libras apresenta lacunas tanto no uso de aplicativos, quanto em aulas presenciais, conforme destacou Goes (2010) [SLR-EAD7]. Algumas faculdades têm intérpretes de LIBRAS, profissionais que tem formação e certificação. O profissional intérprete de LIBRAS tem a tarefa de traduzir para LIBRAS, dentro da sala de aula, todo tipo de informações. A dificuldade de interpretação em sala de aula são os cursos das ciências exatas, ciência da computação, administrador de redes, sistemas de informação e outros. Essa é a parte mais difícil para traduzir, porque há várias palavras em inglês e algumas palavras em português que não tem sinais correspondentes (GOES, 2010, p. 51). 7 DEBEVC, M., KOSEC, P., ROTOVNIK, M., HOLZINGER, A. Accessible multimodal web pages with Sign language translations for deaf and hard of hearing users. In: 20th International Workshop on Database and Expert Systems Application. IEEE, 31 Set. 2009 98 Capítulo 6. Análise A partir das dificuldades enfrentadas em aulas presenciais, Goes (2010, p. 51) [SLREAD7] refletiu sobre as possibilidades de estudos dos surdos na EAD, considerando ser recente a participação de intérpretes nas salas de aula presenciais, “como será na EAD e nos AVEAs? Estão os ambientes adaptados as condições linguísticas do aluno surdo, proporcionando acessibilidade e efetivo aprendizado?“ Há, hoje, tecnologias disponíveis que fazem a conversão da LP para LS. Podemos citar, por exemplo ProDeaf, HandTalk etc8 . Contudo, o processo de tradução ainda não atinge um nível de comunicação que possibilite a compreensão de todo o contexto por diversas razões: os sinais traduzidos pelas tecnologias podem ser não ter o nível de perfeição de um sinal humano; os sinais são diferenciados de região para região (variações linguísticas da Língua de Sinais); algumas tecnologias tem uma limitação na quantidade de sinais; o uso da tecnologia para fins de tradução pode ser um processo que torna a aprendizagem mais lenta e dificulta a compreensão do contexto. Alves et al. (2013, p. 123) [SLR-TA7] destacaram essa limitação da leitura e interpretação dos usuários surdos, “uma vez que grande parte dos vocábulos da língua portuguesa não existe na Libras, dificultando a interação deste grupo de usuários na Web”. Uma necessidade que também contribui para acentuar os desafios da tradução de LP para Libras, em especial, no ensino superior é a questão do léxico em Libras, visto que o ingresso dos alunos surdos no ensino superior apresenta números muito baixos. E com isso, as palavras comuns em ambientes acadêmicos, nomenclaturas específicas de determinadas áreas do conhecimento ainda não se constituem como parte do léxico na LS. Este desafio perpassa por questões que envolvem o processo de formação de palavras na LS, seu desenvolvimento para atender as necessidades comunicativas na LS, a formação e criação de novos sinais e a relação da LS com outras línguas (QUADROS; KARNOPP, 2004). A formação do léxico na LS é um processo histórico e dinâmico que vai se modificando a partir da criação de novos sinais, assim como da transformação de sinais que, a partir de seu uso ou desuso, vão se tornando sinais nativos. E com isso, a criação de novos sinais se dá a partir da necessidade de comunicação com a inclusão dos surdos no contexto de inserção. Sendo assim, se há poucos surdos no ensino superior, naturalmente, há poucos sinais para significar a vasta terminologia que abrange as áreas do conhecimento: Ciências Exatas e da Terra, Ciências Biológicas, Engenharias, Ciências da Saúde, Ciências Agrárias, Ciências Sociais Aplicadas, Ciências Humanas, Linguística, Letras e Artes, dentre outros. E com isso, a medida que os surdos se integram nestas áreas (que ainda são muito poucos), há uma expansão do léxico da LS para estas determinadas áreas. 8 ProDeaf e HandTalk são aplicativos gratuitos. Um pequeno documentário sobre dois aplicativos gratuitos desenvolvidos no Brasil: ProDeaf e HandTalk - tradutores de português para Libras e vice-versa foi disponibilizado na TV Ines: http://tvines.com.br/?p=771 6.1. Análise - Questões de pesquisa 99 5) Desconhecimento da Libras por alguns surdos Devido a fatores históricos e sociais já apresentados em nossa pesquisa, o surdo ficou desprovido de ter contato com a LS, por mais de um século. Especialmente no Brasil, em que o reconhecimento da Libras deu-se somente neste ano de 2002. Com isso, ainda há muitos surdos que desconhecem a LS, por uma imposição social e/ou familiar, opção pessoal por não fazer uso da LS. Ou ainda, alguns deles “por viverem isolados ou em locais onde não exista uma comunidade surda, apenas se comunicam por gestos.” (ABREU; PRATES; BERNARDINO, 2010, p. 3) [SLR-TA1] Sobre a diversidade de perfil dos surdos e conhecimento da LP e Libras, Martins (2012, p. 27) [SLR-DES6] destacou a importância de se explorar diversas formas de comunicação: Compreende-se que a diversidade da população e a diversidade de letramento na língua escrita e mesmo na própria língua de sinais fazem com que se deva esperar que na interação das pessoas surdas com websites, a compreensão da mensagem seja parcial. Assim, é importante lançar-se mão de conteúdos corroborativos, conforme Miyamaru,(2008) 9 , entendendo-se aqui este conceito como a transmissão de uma mesma informação por canais, meios e/ou formatos diversos. O aspecto de corroboração contribui para ampliar a compreensão da mensagem. Desta forma, quando tratamos os aspectos de acessibilidade na comunicação para pessoas surdas, devemos ter atenção que, apesar de uma minoria linguística, essa minoria é diversa: alguns foram oralizados e aprenderam Libras na adolescência; outros já aprenderam nos primeiros anos de vida. Com isso, a competência linguística dos surdos na Libras também é diversa. Portanto, para pensarmos em uma universidade ou qualquer ambiente escolar inclusivo, devemos partir dessa multiplicidade e entender quais são as características das pessoas com surdez às quais tentamos nos comunicar e/ou prover o acesso às informações. 4) Dificuldades de aprendizagem em ambiente presencial com intérprete Goes (2010) [SLR-EAD7] e Saito e Ulbricht (2012) [SLR-EAD11] destacaram as dificuldades dos surdos em aulas presenciais mesmo com a presença de intérpretes. 9 MIYAMARU, F. et al. Mídia cruzada em serviços de governo: conceito e aplicação. In: In Proceedings of the VIII Brazilian Symposium on Human Factors in Computing Systems ACM International Conference Proceeding Series. Porto Alegre, Brazil: Sociedade Brasileira de Computação, 2008. v. 378, p. 330–331. 100 Capítulo 6. Análise Enquanto alunos ouvintes têm a possibilidade de registrar os conceitos construídos no espaço de interação da sala de aula de forma concomitante à explanação dos conteúdos pelo professor, os surdos não a têm. Com isso, os alunos têm sua fixação de conteúdos prejudicada por não terem outras ferramentas ou materiais que os auxiliem na fixação e retomada dos conceitos transmitidos em sala. Além disso, como a maioria dos materiais de apoio indicados (como livros e apostilas) são puramente textuais e muitos surdos encontram barreiras com a língua portuguesa em sua modalidade escrita, o estudo dos conceitos ali contidos também fica prejudicado. Neste sentido, os ambientes hipermídia e a Educação a Distância (EaD) apresentam grande potencial para contribuir com a educação de alunos surdos, pois permitem o acesso às multimídias que facilitam o aprendizado dos mais variados conteúdos. (SAITO; ULBRICHT, 2012, p. 2169) As aulas presenciais requerem atenção dos alunos ouvintes suas anotações, assim como para a exposição do professor, que evidencia a sua comunicação por expressões faciais e corporal, elocução vocal, anotações do quadro ou apresentação de slides, dentre outros. O aluno surdo, por sua vez, deve remeter sua atenção, quase exclusiva ao intérprete. Essa atenção dedicada provoca algumas perdas na comunicação que é feita por outros recursos da aula e, até mesmo pelo próprio professor. Além disso, essa situação também dificulta, ou até mesmo, pode impedi-los de fazer anotações. De maneira diferente, os ouvintes podem ouvir, ver e registrar o que o está sendo discutido no decorrer das interações em sala. Neste sentido, Stumpf (2008, p. 24) cita uma observação apresentada por Beyer (2005): “O saudoso Prof. Hugo Beyer observou que o ponto crítico parece ser que os recursos e o know-how para um bem-sucedido processo de inclusão escolar, no caso dos surdos, parecem faltar ou existir de forma muito precária, resultando em experiências de frustração para os participantes, sejam professores, pais, ou os próprios alunos.“ (BEYER, 200510 citado por STUMPF, 2008, p. 24) Busarello (2011, p. 38–39) [SLR-TA3] e Quevedo, Busarello e Vanzin (2011, p. 137) [SLR-EAD13] apresentaram as dificuldades dos surdos universitários, resultados de uma pesquisa realizada por realizada por Marschark et al. (2008)11 em um ambiente de aula presencial, com tradução em LS, quando “examinaram como a utilização da língua de sinais por meios tecnológicos – através de vídeos – pode favorecer a comunicação entre os alunos.” A conclusão apresentada foi que a presença do intérprete não é garantia de acesso ao aprendizado, ressaltando a dificuldade dos surdos em dividir atenção ao intérprete e ao professor; a qualificação do intérprete, além da fluência na língua de sinais. Além da capacidade de atenção dos alunos, os autores identificaram, também, um desafio enfrentado pelos intérpretes, em situações variadas que ocorrem em ambientes de sala de aula. 10 11 BEYER, H. O. Inclusão e Avaliação na Escola de alunos com necessidades educacionais especiais. Porto Alegre: Mediação, 2005. MARSCHARK, M. et al. Learning via direct and mediated instruction by deaf students. Journal of Deaf Studies and Deaf Education, n. 13, 2008. Disponível em: <https://arc.uchicago.edu/reese/projects/ cognitive-and-metacognitive-foundations-stem-learning-deaf-students>. 6.1. Análise - Questões de pesquisa 101 “Dentre as várias dificuldades encontradas, a primeira foi que os alunos surdos não são capazes de dividir a atenção entre duas fontes diferentes de informação visual, ou seja o professor e o intérprete; e a segunda foi a falta de qualificação de muitos intérpretes quando confrontados com várias interrupções em salas de aula diante de uma grande quantidade de alunos. Busarello (2011, p. 38–39) A noção de acesso para alunos surdos consiste de duas questões relacionadas. Externa que é a questão de saber se o intérprete de língua gestual ou qualquer outro meio de instrução pode plenamente ou suficientemente capturar e comunicar o conteúdo dado em aula, por um professor ou outra forma instrucional. Interna [...] é a questão de saber se algum aluno particular tem o conhecimento de fundo, a estrutura conceitual e ferramentas de aprendizagem para fazer uso efetivo do que é comunicado. [...] Fluência da língua também faz parte desta questão [...]“. (MARSCHARK et al., 2008 apud BUSARELLO, 2011, p. 39) Ao identificarem as dificuldades dos surdos no aprendizado de disiciplinas com a presença de intérpretes em aulas, (RICHARDSON; WOODLEY, 200112 citado por BUSARELLO, 2011) levantaram uma hipótese relacionando-se essa dificuldade ao baixo conhecimento técnico do intérprete em relação a uma disiciplina. Os autores identificaram, também, que a dificuldade se intensifica para aqueles que têm restrições quanto à comunicação por LS. Um outro problema, também evidenciado em ambiente de ensino presencial, é a dificuldade dos surdos de interação em grupos de trabalho, devido ao problema natural da barreira da língua e ainda por uma questão informativa e social. Os ouvintes dominam a LP e, em situações raras, alguns ouvintes se comunicam em Libras. Neste sentido, Amorim (2012) [EMR-EAD12] destacou: Com relação aos surdos, sua inclusão deve levar em consideração sua forma de comunicação: a língua de sinais. Entretanto, essa fica restrita ao intérprete e ao surdo, desconsidera a interação com o professor e com os demais colegas, a importância das relações humanas, dos processos de formação de identidade e do estabelecimento de conexão entre os conteúdos escolares e as formas particulares (visuais) de apreensão e de construção de conhecimentos. (AMORIM, 2012, p. 32) [EMR-EAD12] Diante disso, percebemos que o contexto de uma aula presencial com a presença de intérprete envolve um grande número de variáveis desde o professor, os colegas, o próprio surdo e a qualificação do intérprete. Logo, é um processo que perpassa por diferentes elementos de integração e inclusão, além da simples presença física do intérprete de LS em sala de aula. Para Marschark et al. (200913 citado por AMORIM, 2012, p. 45), 12 13 RICHARDSON, J. T. E.; WOODLEY, A. Approaches to studying and communication preferences among deaf students in distance education. Higher Education, n. 42, 2001. Disponível em: <http://oro.open.ac. uk/cgi/export/932/SummaryPage/oro-eprint-932.html>>. MARSCHARK, M. et al. Are deaf students’ reading challenges really about reading? American Annals of the Deaf, p. 154, 2009. Disponível em: <http://www.rit.edu/ntid/cerp/marc>. Acesso em: 24 mar. 2011. 102 Capítulo 6. Análise “não só a falta de plena comunicação impede o processo de aprendizagem, mas também a falta de domínio de uma língua relacionada pode fazer com que os surdos desconheçam muito do conteúdo que lhes deveria ser ensinado. Isso levou à conclusão de que existe falta de monitoramento na compreensão da leitura de alunos surdos. Depoimento de estudantes universitários surdos relataram reconhecer que não são totalmente compreendidos em sala de aula.“ Stumpf (2010) [EMR-EAD8] apontou para as questões linguísticas que afligem os surdos em sala de aula, na tentativa de comunicarem-se com os professores, além da necessidade de ajustes curriculares ou didáticos especiais para atender estes alunos surdos. As experiências comunicativas frustrantes são sentidas por ambas as partes, porém as dificuldades geradas por questões metodológicas ou curriculares são mais difíceis de serem percebidas pelo professor e o surdo, muitas vezes, fica excluído tentando disfarçar seu estado de abandono. Se os professores agora se angustiam com a falta de uma língua comum com seus alunos, outras necessidades ainda não são percebidas. (STUMPF, 2010, p. 25) [EMR-EAD8]. Por outro lado, o fato de haver poucos sinais limitam, também, o processo de tradução da LP para Libras, num contexto de interpretação em sala de aula. Cabe ao intérprete, então, fazer uso da datilologia (soletração da palavra no alfabeto de Libras), para traduzir determinadas palavras ainda não existentes na Libras. Isso torna o processo de tradução um desafio para os intérpretes que precisam acompanhar a velocidade do professor e a soletração é mais lenta que o sinal. E no contexto do aluno surdo, uma dificuldade de compreensão. A soletração da palavra é, para ele, apenas uma palavra em LP, não tendo ainda uma representação na sua língua, ou seja, a compreensão neste contexto pode ficar comprometida. Silva (2010) e Lacerda (2006), pesquisadores da área de surdez e inclusão, destacaram a desvantagem linguística dos surdos no ambiente educacional como uma das grandes dificuldades deste processo, uma vez que não compartilham uma língua com seus colegas ouvintes. E também apontaram medidas e dificuldades enfrentadas por alunos surdos com foco na atuação do intérprete educacional e à língua de sinais em contexto de inclusão escolar do aluno surdo: adequação curricular, mudanças didáticas e metodológicas e o conhecimento pelos professores e outros profissionais sobre a surdez e a LS. 6.1.4 [QE4] - Qual a forma de comunicação adotada? (Língua Portuguesa, Libras e Escrita de Sinais) Os estudos da SLR e EMR tiveram como foco o uso de Libras, assim como em aspectos para possibilitar melhor comunicação na LP para os surdos. Alguns estudos também abordaram escrita de sinais (signwriting). Os respectivos estudos podem ser consultados em Quadro 5.1 e Quadro 5.2. 6.1. Análise - Questões de pesquisa 103 A Tabela 6.2 apresenta os dados percentuais de cada uma das formas de comunicação adotada. Na categoria EAD, houve um predomínio no uso de LP e Libras (51,6%); na categoria DES, um predomínio de estudos com interface em LP para surdos (55%) e; na categoria TA, tivemos 50% tanto para LP quanto no uso de LP e Libras em soluções assistivas para surdos. Apesar da pouca difusão do uso da escritas de sinais, encontramos estudos que abordam seu uso em interfaces para EAD (25,8%) e no design para web (27%), neste caso em maior número que somente LP e Libras (18%). Esses dados demonstram que as soluções na educação para surdos se pautam, em sua maioria, no bilinguismo (ou seja LP e Libras). Contudo, há também uma grande ênfase em soluções para web ou tecnologias assistivas com foco na LP, considerando a perspectiva de integração dos surdos em sua L2. Tabela 6.2 – Forma de comunicação adotada Fonte: Imagem obtida pela pesquisa direta. 6.1.5 [QE5] - Quais são as tecnologias assistivas utilizadas em ambientes on-line? Segundo a Organização Mundial de Saúde (OMS), as tecnologias assistivas referem-se a produtos, instrumentos, estratégias, serviços e práticas, especialmente produzidos ou geralmente disponíveis para prevenir, compensar, aliviar ou neutralizar uma deficiência, incapacidade ou desvantagem, para melhorar a autonomia e a qualidade de vida dos indivíduos. Desta forma, tais tecnologias, tanto softwares quanto hardwares podem ser desenvolvidos para ajudar as pessoas a realizarem atividades cotidianas, com independência em suas capacidades funcionais, melhorando, assim sua qualidade de vida (BRASIL, 2004). Segundo documentos do W3C (1999a), tecnologia assistiva (tecnologia de apoio ou ajuda técnica) é um hardware ou software projetado para apoiar pessoas com deficiência, em atividades do cotidiano. As tecnologias assistivas, no contexto da nossa pesquisa, referem-se a recursos (produtos, instrumentos, estratégias, serviços e práticas) que possibilitam uma melhor autonomia e contribua para a realização de alguma atividade, como foco em pessoas surdas ou deficientes auditivas. Logo, consideramos também estratégias que possam contribuir para uma melhor acessibilidade dos surdos, no contexto da EAD. 104 Capítulo 6. Análise Alves et al. (2013, p. 123) [EMR-TA5] e Leal (2008) destacaram o uso de legendas e vídeos em Libras como formas mais utilizadas para promover a acessibilidade dos surdos na web. Em nossa SLR, encontramos como resultado final, 6 estudos: 5 artigos, 1 dissertação e 1 tese. Todos eles se caracterizaram como tecnologias desenvolvidas com foco no público surdo (aplicativo para alfabetização, histórias em quadrinhos, sistema de ajuda para navegação na web). Dentre esses, 1 artigo, 1 dissertação e uma 1 tese foram avaliados como “Ótimo”. O restante (4 artigos) foram avaliados como “Bom“ (ver Quadro 5.5). Abreu, Prates e Bernardino (2010) [SLR-TA1] e Abreu (2010) [SLR-TA2] apresentaram um conjunto de recomendações e atividades para auxiliar no projeto de interfaces de sistemas desenvolvidos para apoiar a alfabetização de crianças surdas, assim como aquisição do português através da Libras. As recomendações propostas pelas autoras se basearam nas recomendações do W3C Accessibility e WAI, aplicáveis no contexto de usuários surdos e, a partir de aspectos identificados em pesquisa qualitativa (MEDS) realizada com professores de alfabetização de crianças surdas e avaliação da comunicabilidade de três sistemas de apoio à alfabetização de crianças surdas (Multitrilhas, LibrasNet e Primeiras Frases Libras) a partir do Método de Inspeção Semiótica – MIS. A fim de validar as recomendações propostas, dois trabalhos foram desenvolvidos, conforme apresentado por Abreu (2010): (1) desenvolvimento do sistema “Mãos MágicasLibras” pela própria autora e (2) avaliação do site da Receita Federal através das recomendações geradas neste trabalho. O sistema “Mãos Mágicas Libras” foi desenvolvido com o objetivo de apoiar o processo de alfabetização de crianças surdas na aquisição do português com apoio da Libras. Logo, a pesquisa de Abreu, Prates e Bernardino (2010) [SLR-TA1] e Abreu (2010) [SLR-TA2] resultou em recomendações para desenvolvimento de sistemas para alfabetização de crianças surdas e para atividades de alfabetização para crianças surdas. Busarello (2011) [SLR-TA3] propôs um conjunto de 10 diretrizes dividida em três categorias (linguagem, navegação e atividades) para desenvolvimento de construção de narrativas em histórias em quadrinhos (HQ), voltadas para o aprendizado de pessoas com surdez ou deficiência auditiva. O objetivo de sua pesquisa foi verificar se a linguagem das histórias em quadrinhos, explorando o texto escrito em LP, imagens e as características dos ambientes hipermídia (navegação, hiperlinks, cores, tamanhos etc) se configurariam como “uma alternativa eficiente no processo de geração de conhecimento do indivíduo surdo e deficiente auditivo”. Busarello (2011, p. 19). Para isso, o autor explorou as vantagens da linguagem das histórias em quadrinhos e as características dos ambientes hipermídia. A avaliação da história em quadrinhos envolveu diferentes etapas, com 12 voluntários de duas organizações de ensino para pessoas surdas da Grande Florianópolis – SC. Inácio, Biening e Ulbricht (2013) [SLR-TA6] apresentaram a percepção de usuários surdos que participaram de um experimento sobre o uso de histórias em quadrinhos como objeto de aprendizagem para o conteúdo de geometria descritiva. Estes 6.1. Análise - Questões de pesquisa 105 discursos são resultantes desta pesquisa de mestrado de Busarello (2011) [SLR-TA3]. Dentre os EMR da área de TA, encontramos 3 artigos e 1 dissertação. Todos trataram de TA voltadas para surdos, exceto Martins e Filgueiras (2007) - [EMR-TA1]. Nesta pesquisa, os autores discutiram as técnicas de avaliação da apreensibilidade de informações textuais em LP, em textos de sites de governo eletrônico, voltados para o público em geral. (ver Quadro 5.6). Incluímos nesta categoria de TA, pois consideramos que estas técnicas, podem também ser aplicadas a fim de promover melhor acessibilidade a pessoas surdas. Os outros trabalhos selecionados foram avaliados como “Ótimo” (2 artigos e 2 dissertações). Blasco e Silveira (2009) [EMR-TA2] propuseram uma metodologia para criação de sistemas de ajuda, com foco em usuários surdos, utilizando como interface um agente conversacional, em forma de chatterbot, semelhante a uma sala de bate-papo (chat). Com isso, a fim de promover uma simulação mais próxima da linguagem natural dos surdos, tornou-se necessário conhecer e criar uma base de conhecimento “conforme o seu dialeto e conhecimentos particulares”. Este método proposto foi descrito, aplicado e validado pelos autores em uma simulação de uso do MSN, com adolescentes surdos de uma escola de educação para surdos (11 alunos, de idades entre 14 e 17 anos). Os resultados das avaliações, após algumas interações avaliativas e imprevistos, demonstraram que o método se configura como um recurso aplicável no “âmbito de criar um agente de ajuda para usuários surdos, levando em conta as suas particularidades de elocução.” (BLASCO; SILVEIRA, 2009, p. 366) Coutinho (2012) [EMR-TA3] propôs um novo modelo de recurso assistivo para jogos baseado na representação visual (não textual), chamado de Abordagem da Sinestesia, cujo objetivo foi contribuir para uma melhor acessibilidade para surdos ou deficientes auditivos em jogos. Para tal, investigou o impacto da perda auditiva na experiência de jogo sob a perspectiva das pessoas surdas ou com algum grau de deficiência auditiva. A investigação foi feita através de questionário exploratório para avaliar acessibilidade em jogos para jogadores com deficiência auditiva; e o Método de Inspeção Semiótica (MIS) para avaliar como o áudio dos jogos estava sendo utilizado para transmitir informações aos jogadores. Como resultado do MIS, identificou 8 classes de signos sonoros. Essas classes foram usadas para comunicar informações aos jogadores em diferentes estratégias. Correa et al. (2012) [SLR-TA4] Alves (2012) [EMR-TA4], (ALVES et al., 2013) [EMR-TA5], (ALVES et al., 2013) [SLR-TA7] avaliaram uma tecnologia assistiva para surdos, o Web Navigation Helper (WNH), “um assistente de navegação na Web que auxilia a realização de tarefas, particularmente por aqueles com limitações, através de diálogos previamente criados, que mediam a interação do usuário com a interface”. Essa tecnologia simula a atuação de um intérprete durante a navegação pelas páginas. O usuário interage então com os diálogos previamente criados. Com isso, torna-se necessário também criar os diálogos para o uso do WNH. Os diálogos neste estudo de caso foram criados por uma intérprete de Libras. “Os textos foram escritos em Português de forma simplificada, como uma tentativa de traduzir os sinais da Libras para o 106 Capítulo 6. Análise Português escrito”. A avaliação foi feita através do Método de Avaliação de Comunicabilidade (MAC) fundamentado na teoria da EngSem, com oito surdos pré-linguísticos interagindo na interface original e outra interface com o uso do WNH na Intranet da Fiocruz (tem cerca 150 trabalhadores surdos).” Os resultados demonstraram que o uso de diálogos de mediação melhorou a comunicabilidade de surdos bilíngue durante a interação com conteúdo web, uma vez que ele funcionou como um intérprete do conteúdo apresentado. Com isso, promoveu uma melhor compreensão dos textos e do conteúdo em LP presentes nas interface. O uso de diálogos de mediação foi utilizado na pesquisa de Monteiro, Alves e De Souza (2013) [SLR-TA5], em outro contexto. As autoras apresentaram um estudo de caso realizado com pessoas surdas, para avaliar suas necessidades em um contexto de aprendizagem. Com isso, utilizaram o Web Navigation Helper (WNH) em um sistema web de biblioteca, com três funcionários surdos de uma instituição de pesquisa em saúde. Em alguns diálogos, foram adicionadas imagens para auxiliar na compreensão das informações. Além disso, conforme destacado pelas autoras, P-C solicitou que fossem adicionados vídeos14 em Libras para algumas palavra. O uso de imagens e vídeos foi um recurso explorado e solicitado por P-C diante de sua dificuldades, na criação dos diálogos, para explicar os significados de algumas palavra em português. Logo, os diálogos continham texto em português simplificado, uso de imagens e tradução de palavras em Libras. Os principais resultados e reflexões identificaram a dificuldade de ensino de conceitos mais complexos e abstratos, e confirmação que LS é a principal forma de comunicação dos usuários surdos, logo sugere-se o uso de LS nos treinos vocacionais. Além destas tecnologias assistivas, um estudo de design para web para surdos (Martins, 2012 - [SLR-DES6]), propôs uma ferramenta denominada CLAWS, ferramenta Colaborativa de Leitura e Ajuda na Web para Surdos. Essa ferramenta, cujo protótipo ainda não foi concluído para ser disponibilizado para uso da comunidade de surdos, foi desenvolvida para ser utilizada como um plug-in para os navegadores web oferecendo os seguintes recursos: dicionário de palavras em Libras, janelas de vídeo em Libras, vídeos com legenda em português, avatares animados em 3D e recursos de atendimento pessoal. A figura a seguir mostra a interface principal da CLAWS15 e uma barra de ferramentas a ser integrada ao navegador. Estas tecnologias podem auxiliar os surdos na interação em LP ou em Libras. No caso de informações disponibilizadas em LP, as barreiras de linguagem enfrentadas pelos surdos são evidenciadas por Silva, Kauchakje e Gesueli (2003) que confirmam que o acesso às TICs é possível, desde que o surdo conheça (pelo menos parcialmente) a escrita da língua portuguesa brasileira. O uso da LP é defendido por Iguma (2004): “Eles [os surdos] também podem usufruir as novas tecnologias, sem necessidade de intérpretes. Como o fariam se não soubessem o mínimo de Português?” 14 15 Todos os vídeos em Libras adicionados foram obtidos de um dicionário de LIBRAS disponível online: <http://www.acessobrasil.org.br/libras> Entrevista - Notícias Univesp - Ferramenta de navegação na internet para surdos - Stefan Martins e Lúcia <https://www.youtube.com/watch?v=2b03t4_1wBU> 6.1. Análise - Questões de pesquisa 107 Plácido (200416 citado por MARTINS; FILGUEIRAS, 2010) destacam a autonomia de uso possibilitada pela internet aos surdos, com menos “intermediários” e o auxílio possibilitada pelas TICs dois aspectos: na comunicação dos surdos com a sociedade e como ferramenta no processo de aprendizagem, uma vez que possibilitam alternativas comunicacionais e de linguagem. “Como o canal visual é a principal fonte de aquisição de conhecimento para o surdo, as TICs possibilitam explorar a integração de textos, imagens, animações, vídeos e ícones para facilitar a construção do conhecimento”. Martins e Filgueiras (2010, p. 2) Logo, tanto na perspectiva tecnológica, quanto educacional, há um avanço em soluções que buscam promover condições de acesso à informação aos surdos. 6.1.6 [QE6] - Quais tipos de contribuições foram feitas em relação à inclusão digital dos surdos? Os estudos encontrados em nossa SLR e, também, como EMR trouxeram grandes contribuições à inclusão digital dos surdos. Além da categorização por área (EAD, DES, TA), caracterizamos também as contribuições mais relevantes de cada pesquisa: • Categoria 1:Discussão sobre o surdo, sua cultura e suas dificuldades com a língua portuguesa Todos os trabalhos discutiram estes temas, exceto [Macedo, 2010 - EMR-EAD4], Magalhães et al., 2010 - EMR-EAD5] e [Martins e Filgueiras, 2007 - EMR-TA1]. • Categoria 2: Proposta de recomendações para projetos de sistemas para surdos Síntese de recomendações ergonômicas para o desenvolvimento de interfaces de três autores: Bastien & Scapin (1993); Mandel (1997) e Shneiderman (1998). [Ribas, 2008 - SLR-EAD2] Estratégias para desenvolvimento do ambiente digital de aprendizagem Eduquito, com foco na inclusão sociodigital. [Santarosa, Conforto e Basso, 2009 - SLR-EAD6] Aspectos de acessibilidade para surdos do curso de de Licenciatura em Letras/LIBRAS criado pela UFSC [Goes, 2010 - SLR-EAD7] 76 diretrizes para desenvolvimento de objetos de aprendizagem, divididas em: 6 diretrizes gerais, 40 pedagógicas e 30 ergonômicas. [Renneberg, 2010 - SLR-EAD8 e Renneberg e Gonçalves, 2010 - EMR-EAD6] Características dos repositórios educacionais abertos e recomendações técnicas (Norma 9241-20, Norma 9241-151), com foco nos aspectos de acessibilidade para surdo. [Silva, 2011 - SLR-EAD10 e Silva e Rodrigues, 2013 - SLR-EAD15] 16 PLÁCIDO, E. G. R. Uma reflexão sobre a influência das novas tecnologias na educação e inclusão social dos surdos. 2004. 155 f. Dissertação (Mestrado em Engenharia de Produção) — Programa de Pós-Graduação em Engenharia de Produção, UFSC, Florianópolis, Florianópolis. 108 Capítulo 6. Análise Conjunto de diretrizes de acessibilidade para criação de objetos de aprendizagem acessíveis as deficiências visuais, auditivas, cognitivas, intelectuais e motoras, do equipamento de acesso e múltiplas desabilidades: Imagens, Imagens em movimentos, Textos (apresentação, linguagem e estrutura), Áudios, Tabelas e Gráficos. [Macedo, 2010 - EMR-EAD4] Uso de estilos de interação baseados em 44 ícones em plataformas como o Amadeus, a fim de minimizar as dificuldades de acesso às informações pelos surdos, possibilitando uma nova proposta educacional para esses usuários. [Amorim, 2012 - EMR-EAD12] 35 recomendações, para ambientes virtuais de aprendizagem inclusivos bilíngues com foco na surdez, divididas em quatro categorias: (1) conteúdos das narrativas, (2) navegação, (3) design e (4) pedagógicas (para as atividades). [Quevedo, 2013 SLR-EAD13] Sugestões de design e interface de ambientes EAD acessíveis a surdos envolvendo: acessibilidade na navegação e interação com ambiente; acessibilidade nos rótulos, menus e títulos; acessibilidade em imagens, gráficos e ícones; acessibilidade em vídeos. [Pivetta et al., 2013 - EMR-EAD15] Conjunto de 30 requisitos para o design de Interação com foco no usuário surdo com informação do embasamento (literatura, entrevista ou padrão nas interfaces selecionadas) e a origem (informação das pesquisas e referências que justificam o requisito): Gerais (7 requisitos); Comunicação (2 requisitos), Legenda (3 requisitos), Avatar (3 requisitos), Vídeo (5 requisitos). [Martins, 2012 - SLR-DES6] Conjunto de 4 recomendações para melhorar comunicabilidade dos sites para surdos [Oliveira et al., 2010 - EMR-DES2] Conjunto de 70 recomendações para divididas nas seguintes categorias: layout, apresentação, navegação, ajuda, audiovisuais, recursos de acessibilidade, conteúdo em áudio e Libras, elaboração de textos, ícones. Foram diretrizes e recomendações para o desenvolvimento de três diferentes perfis de interface, para usuários com baixo letramento e pessoas com deficiências sensoriais: interface-padrão para usuários analfabetos e/ou alfabetizados, interface para deficientes auditivos ou surdos e a interface para deficientes visuais (Modelo de interação inclusivo para interfaces de governo eletrônico). [Piccolo et al., 2010 - EMR-DES3] Conjunto das principais recomendações extraídas de estudos que envolvem interface para surdos, organizadas em 6 tópicos: Orientações gerais para a interface; Uso de texto; Uso de vídeos em Língua de sinais; Navegação; Uso de imagens e Layout e construção de site. Elas realizaram uma SLR na base Scopus, buscando responder "quais características de projetos de interfaces devem ser previamente solucionadas para tornar o webdesign acessível a surdos", no período de 2000 a outubro de 2013 (mês em foi realizada a busca na base de dados). O objetivo do estudo foi diminuir 6.1. Análise - Questões de pesquisa 109 as as barreiras de conteúdo e navegação em websites para o público surdo. [Flor e Bleicher, 2014 - EMR-DES4] Conjunto de 8 recomendações gerais, 8 recomendações específicas para sistemas de alfabetização de crianças surdas e 7 sugestões de atividades propostas pelos professores para alfabetização de crianças surdas. [Abreu, Prates e Bernardino, 2010 - SLR-TA1] [Abreu, 2010 - SLR-TA2] Conjunto de 10 diretrizes dividida em três categorias (linguagem, navegação e atividades) para desenvolvimento para construção de narrativas em histórias em quadrinhos, voltadas para o aprendizado de pessoas com surdez ou deficiência auditiva. [Busarello, 2011 - SLR-TA3, Inácio, Biening e Ulbricht, 2013 - SLR-TA6] Recomendações para signos sonoros a partir da categorização de 8 classes de signos sonoros. [[Correa et al., 2012 - SLR-TA4] e Coutinho, 2012 - EMR-TA3] Recomendações definidas pela Plain Language e apresentadas por Stephens (2007) para escrever e organizar as informações textuais, a partir de técnicas apresentadas para avaliação de apreensibilidade de textos em lígua portuguesa brasileira, podem também ser aplicadas no contexto de se promover a acessibilidade a pessoas surdas. [Martins e Filgueiras, 2007 - EMR-TA1] • Categoria 3: Avaliação de comunicabilidade de sistemas ou pelo MEDS, na perspectiva de usuários surdos Método de inspeção semiótica (MIS) [Capelão et al., 2011b - SLR-EAD9]; [Capelão et al., 2011a - EMR-EAD10]; [Barbosa e Prates, 2011 - SLR-DES2]; [Alves et al., 2012a - SLR-DES3]; [Barbosa, 2012 - SLR-DES5]; [Abreu, Prates e Bernardino, 2010 - SLR-TA1]; [Abreu, 2010 - SLR-TA2]; [Correa et al., 2012 - SLR-TA4]; Método de Avaliação de Comunicabilidade (MAC) [Capelão et al., 2011b - SLREAD9]; [Capelão et al., 2011a - EMR-EAD10]; [Magalhães et al., 2010 - EMR-EAD5]; [Alves et al., 2012b - SLR-DES4]; [Oliveira et al., 2010 - EMR-DES2]; [Alves et al., 2013 - SLR-TA7]; [Alves, 2012 - EMR-TA4]; [Alves et al., 2013 - EMR-TA5]; MEDS A metodologia utilizada pelos autores se aproxima do MEDS, apesar deles não terem formalizado (nominalmente) a opção metodológica. [Bueno, Garcia e Borrego, 2007 - SLR-EAD1]; [Abreu, Prates e Bernardino, 2010 - SLR-TA1]; [Abreu, 2010 - SLR-TA2]; • Categoria 4: Pesquisas voltadas para surdos explorando aspectos de acessibilidade em LP [Capelão et al., 2011a - EMR-EAD10]; [Corradi, 2007 - EMR-DES1]; [Barbosa e Prates, 2011 - SLR-DES2]; [Alves et al., 2012a - SLR-DES3]; [Alves et al., 2013 SLR-TA7]; [Blasco e Silveira, 2009 - EMR-TA2]; [Alves, 2012 - EMR-TA4]; [Alves et al., 2013 - EMR-TA5]; 110 Capítulo 6. Análise • Categoria 5: Pesquisas sobre processos de design de ambientes virtuais para público surdo [Osorio, Schmidt e Duarte, 2008 - SLR-EAD3]; [Amorim e Silva, 2009 - SLR-EAD4]; [Quadros e Stumpf, 2009- SLR-EAD5]; [Saito e Ulbricht, 2012 - SLR-EAD11]; [Flor, Vanzin e Ulbricht, 2013 - SLR-EAD12]; [Renneberg, 2007 - EMR-EAD2]; [Pereira, Cerny e Quadros, 2010 - EMR-EAD7]; [Stumpf, 2010 - EMR-EAD8]; [Amorim e Lins, 2011 - EMR-EAD9]; [Moretto et al., 2011 - EMR-EAD11]; [Moura et al., 2012 - EMR-EAD13]; [Moura et al., 2013 - EMR-EAD14]; • Categoria 6: Modelos, ferramentas e metodologias Modelo conceitual para apoiar o design de ambientes colaborativos com foco em Comunidades de Prática (CoPs) inclusivos aos surdos. [Trindade e Garcia, 2013 EMR-EAD16] Modelo inclusivo focado nos aspectos de usabilidade e acessibilidade, a fim de orientar o planejamento e implantação de ambientes informacionais inclusivos como foco em pessoas com necessidades especiais “com diferentes condições sensoriais, linguísticas e motoras, em especial a comunidade de Surdos”. O modelo, denominado “Modelo para Análise e Desenvolvimento de Ambientes Informacionais Digitais Inclusivos (MADAIDI)”. [Corradi, 2007 - EMR-DES1] Metodologia para criação de sistemas de ajuda, com foco em usuários surdos, utilizando como interface um agente conversacional, em forma de chatterbot, semelhante a uma sala de bate-papo (chat). [Blasco e Silveira, 2009 - EMR-TA2] Modelo de recurso assistivo para jogos baseado na representação visual (não textual), chamado de Abordagem da Sinestesia, cujo objetivo foi contribuir para uma melhor acessibilidade para surdos ou deficientes auditivos em jogos Coutinho, 2012 - EMRTA3] Ferramenta CLAWS, ferramenta Colaborativa de Leitura e Ajuda na Web para Surdos. Martins, 2012 - SLR-DES6] Modelo de uma arquitetura de sistema multiagente para apoio à interação do usuário com o ambiente de EAD. Buscou atender a acessibilidade para pessoas cegas, com dificuldade de controle dos movimentos e com baixa audição ou surdez completa. [Amorim e Lins, 2011 - EMR-EAD9] 111 7 Discussão Apresentamos estas análises dos resultados encontrados nesta SLR, que nos possibilitou compreender o contexto em que se dá o apoio à aprendizagem para alunos surdos, na EAD. Conforme já destacado na [QE1], somente dois estudos avaliaram a comunicabilidade da interface de um AVA em LP, na perspectiva de usuários surdos. [Capelão et al., 2011b SRL-EAD9 e Capelão et al., 2011a - EMR-EAD10]. Os estudos que avaliaram comunicabilidade em LP, na perspectiva de usuários surdos, desenvolveram pesquisas voltadas para soluções em sistemas web, que não levam em conta fatores como aprendizagem e conteúdo disponibilizado pelo professor. Já dentre os EMR, encontramos um outro estudo que também avaliou a comunicabilidade do Moodle em LP, contudo não teve como foco usuários surdos. [Magalhães et al., 2010 - EMR-EAD5] . A partir da análise e resultados apresentados neste trabalho de Magalhães et al (2010) confirmamos alguns problemas já identificados em trabalhos de avaliação do Moodle, dentre os quais, dois já publicados por Capelão et al. (2011b) e Capelão et al. (2011a), com avaliação por especialistas (pelo MIS) e surdos e ouvintes (MAC). As rupturas e sugestões apresentadas nestas pesquisas, serviram como base para nossa avaliação para fins de comparação, assim como as sugestões de melhoria na qualidade da comunicabilidade da UFMG Virtual, podendo ser implementadas também com foco em usuários surdos. Além disso, a partir dos resultados encontrados nestes estudos para as questões propostas nesta SLR, levantamos dois aspectos relevantes: (1) a potencialização do desenvolvimento linguístico em LP através da web e (2) possibilidade de expressão pelos surdos em diversos ambientes web. Relacionado à potencialização do desenvolvimento linguístico em LP através da web, a interação dos surdos com a LP possibilita o seu desenvolvimento linguístico nesta língua. Como todos os veículos comunicacionais no Brasil estão começando a buscar recursos de acessibilidade para os surdos, é importante também que os surdos possam ter contato com a LP. Silva e Rodrigues (2013)) [SLR-EAD15] ressaltaram a importância da presença da LP em repositórios para surdos, considerando a perspectiva bilíngue e a escrita em LP como um recurso de comunicação entre surdos e ouvintes. A perspectiva bilingue na educação expressa o uso de duas línguas para a formação do indivíduo, considerando os aspectos inerentes de cada uma. A Língua Portuguesa na sua forma escrita é considerada importante por representar uma forma de comunicação com a sociedade ouvinte. O sistema de escrita da língua de sinais, que permite a comunicação entre o grupo surdo, ainda está em processo de consolidação. Silva e Rodrigues (2013, p. 71) 112 Capítulo 7. Discussão Silva (2011) [SLR-EAD10] destacou a importância da LP para os surdos, sendo considerada por “muito importante por 62,50% dos alunos surdos e 100% dos alunos ouvintes do polo da UFSC, 63,64% dos alunos surdos e 100% dos ouvintes do polo da UFRGS e 45,83% dos alunos surdos e 85,71% dos alunos ouvintes do polo da UFPR”. (SILVA, 2011, p. 99) Quevedo (2013) [SLR-EAD13] também ressaltou a importância da LP para os surdos, além da atenção que se deve ter em relação aos conteúdos para web: Duas páginas de texto escrito em português podem virar 45 ‘páginas de tela’ na web. Que fazer? Desenvolvedores de conteúdo, design e programadores precisam pensar em formas de manter a consistência da informação em outro formato. Por sua vez, alunos surdos e ouvintes são “estudantes”, sua função é estudar porque todos chegarão a um mercado de trabalho. Os alunos surdos, prejudicados (mas não vitimizados) por uma série de variáveis aqui colocadas nesta pesquisa qualitativa, precisam estudar muito, e muito. Conhecer o que precisam estudar na Língua Portuguesa e onde devem aprofundar sua busca pelo conhecimento nessa área é mais uma contribuição deste trabalho. Não se trata de cair nas ‘malhas da correção’, mas de se ver onde erra para poder corrigir o erro, acertar mais à frente e seguir em frente com qualidade de vida.(QUEVEDO, 2013, p. 354) Martins (2005), em sua pesquisa “Cultura surda, Educação e Novas Tecnologias em Santa Catarina, analisou as potencialidades e os limites das Novas Tecnologias de Informação e Comunicação (NTIC) no processo de inclusão do surdo. A partir dos estudos apresentados, Martins (2005), concluiu que por não exigir um padrão culto, a língua escrita na Internet, amplia o léxico cultural dos surdos e o seu sentimento de “empoderamento”. Com isso, para o autor, os surdos encontram “possibilidades de organização política de forma mais descentralizada e com maior abrangência espacial”. De fato, desde 2005 até este ano de 2014, temos a criação de novas redes para compartilhamentos de ideias e possibilidades de inclusão nos ambientes virtuais de aprendizagem. E, presencia-se nas redes sociais (em destaque o Facebook), blogs, sites, onde os surdos tem se manifestado se forma escrita através de posts ou através de vídeos em LS. A internet vem possibilitando ao surdo uma manifestação de suas ideias e, consequentemente, de maneira informal, uma potencialização do desenvolvimento linguístico através das interações em sua própria língua, ou através da língua do seu país de origem. Em relação à possibilidade de expressão pelos surdos em diversos ambientes web, Moretto et al. (2011, p. 2) [SLR-EAD11] publicaram uma análise sobre “Características para o Aprendizado do Aluno Surdo em Ambientes Web com base no Moodle” e ressaltaram que, na internet, “os surdos são produtores e veiculadores de suas próprias narrativas, sem intermediações. A web propiciou o uso de novas ferramentas para a acessibilidade e potencializou essa comunicação.” Já no contexto específico dos AVAs, apontaram a abordagem multissensorial dos ambientes virtuais de aprendizagem que, explorando os recursos hipermídia cada vez mais acessíveis, estimulam os diferentes sentidos, constituindo-se em um fator que promove e facilita a aprendizagem. Logo, a construção de uma interface que tenha qualidade de uso focada na comunicação adequada em LP para os surdos pode ser um diferencial em termos 113 de aprendizagem. Abreu, Prates e Bernardino (2010) [SLR-TA1] destacaram os desafios dos surdos com a LP: Dentre os diversos perfis de usuário a serem considerados neste desafio, os usuários surdos representam uma parcela da comunidade que tem necessidades específicas. Embora as interfaces sejam predominantemente visuais e, na maioria das vezes, os surdos não possuam problemas visuais, a necessidade de interação dos surdos com o português pode, por si só, representar um desafio. Isso porque para a pessoa que nasce surda o português não é sua primeira língua e não é de modo algum simples (PEIXOTO, 20061 citado por ABREU; PRATES; BERNARDINO, 2010, p. 2). O ambiente on-line possiblita novas trocas, novas construções de ideias e uma reconstrução do sujeito surdo enquanto sujeito capaz de se expressar, elaborar pensamentos, dialogar, interagir, argumentar, questionar a partir de suas habiidades e competências linguísticas inerentes e adquiridas da L2 em seu percurso educacional. Amorim (2012) [EMR-EAD12] destacou algumas vantagens dos AVAs em comparação a cursos presenciais, no contexto de alunos surdos, quando possibilitam a eles um papel ativo, através da interação com diversos recursos para informação e comunicação: Os Ambientes Virtuais de Aprendizagens – AVA proporcionam uma experiência distinta de um curso presencial em sala de aula. Embora nos dois ambientes os alunos possam ter acesso aos mesmos conteúdos, o suporte eletrônico apresenta características próprias, referentes aos recursos didáticos disponíveis e ao gênero discursivo utilizado (FARBIARZ; JACKELINE, 20082 citado por AMORIM, 2012). Além disso, na Internet, os usuários assumem um papel ativo de navegação, escolhendo qual link clicar e em que ordem. Assim, dá-se uma nova forma de leitura, não-linear, com o estabelecimento de conexões associativas (hipertextuais) entre diferentes elementos. O uso de um AVA permite ao aluno, por exemplo, realizar atividades na plataforma e buscar informações complementares em outros sites simultaneamente, com múltiplas janelas de trabalho (AMORIM, 2012, p. 23). Diante da diversidade de perfil dos surdos e necessidade de definir mais subsídios para a criação das recomendações para cursos on-line em AVAs em LP, com foco em uma melhor comunicabilidade em LP e na integração de alunos surdos na EAD, realizamos a aplicação do MISI, apresentado no capítulo seguinte. Como afirmou Domingues et al. (2009, p. 90) “muitas vezes, na nossa formação ou nas informações que temos sobre esse universo, tentamos reduzi-lo”. E neste sentido, os autores destacam o perfil variado das pessoas surda e confirmam essa nossa evidência: há pessoas surdas que utilizam a Libras em sua comunicação de forma efetiva como L1; há outras que 1 2 PEIXOTO, R. C. Algumas considerações sobre a interface entre a Língua Brasileira de Sinais (LIBRAS) e a Língua Portuguesa na construção inicial da escrita pela criança surda. Campinas: Cad. Cedes, 2006. 205-229 FARBIARZ, A.; JACKELINE, F. A educação a distância online: a dicotomia no ciberespaço. In: II Simpósio ABCiber – Associação Brasileira de Pesquisadores em Cibercultura. São Paulo, SP: Pontifícia Universidade Católica de São Paulo, PUC-SP, 2008. 114 Capítulo 7. Discussão aprenderam a Libras enquanto adultos; temos os surdos bilíngues que fazem uso de Libras e LP, sem dificuldades de comunicação; há outros surdos oralizados que não fazem uso da LS e, ainda, surdos que utilizam gestos criados no seu entorno familiar. Partindo dessa multiplicidade dentre o público de alunos surdos, pensando na perspectiva de atingir a comunicação, também, para os alunos ouvintes, propomos para esta pesquisa, esta investigação que possibilita oferecer o acesso ao ensino superior, como foco nesta diversidade. Com isso, nossa pesquisa buscou contribuir para integração dos surdos, através de um panorama das pesquisas realizadas de 2007 a 2013, cujo foco foram soluções para EAD e design voltados a fim de atender as necessidades especiais do público surdo. Possibilitou também uma reflexão sobre os aspectos que envolvem o público surdo. 115 Referências ABREU, P. M. de. Recomendações para projetos de tics para apoio a alfabetização com libras. 2010. 199 f. Dissertação (Mestrado em Ciência da Computação) — Departamento de Ciência da Computação, Universidade Federal de Minas Gerais, Belo Horizonte. Citado 3 vezes nas páginas 87, 104 e 109. ABREU, P. M. de; PRATES, R. O.; BERNARDINO, E. L. Recomendações de acessibilidade para projetos de TICs para alfabetização de crianças surdas. Anais do XXXVII Seminário Integrado de Software e Hardware, Congresso da SBC, p. 1–7, 2010. Citado 5 vezes nas páginas 87, 99, 104, 109 e 113. ALVES, A. da S. Estudo do uso de diálogos de mediação para melhorar interação de surdos bilíngues na Web. 2012. 156 f. Dissertação (Mestrado em Informática) — Universidade Federal do Estado do Rio de Janeiro (UNIRIO), Rio de Janeiro. Citado 4 vezes nas páginas 88, 97, 105 e 109. ALVES, A. da S. et al. Using Mediating Metacommunication to Improve Accessibility to Deaf in Corporate Information Systems on The Web. HCI 2013 International Conference, 21 26 July 2013, Las Vegas, Nevada, USA., 2013. Citado 3 vezes nas páginas 87, 105 e 109. ALVES, A. da S. et al. Comunicabilidade em sistemas de informação web corporativos : analisando a interação de surdos bilíngues. In: IHC 2012 Proceedings - Full Paper. Cuiabá, MT, Brazil: IHC 2012 Proceedings. Full Paperl, 2012. v. 5138, p. 13–22. ISBN 9788576692621. Citado 2 vezes nas páginas 85 e 109. ALVES, A. da S. et al. Evaluation of Potential Communication Breakdowns in the Interaction of the Deaf in Corporate Information Systems on the Web. Procedia Computer Science, v. 14, n. Dsai, p. 234–244, jan. 2012. ISSN 18770509. Citado 3 vezes nas páginas 85, 96 e 109. ALVES, A. da S. et al. Novas estratégias comunicativas como fator de qualidade na interação de surdos em um sistema organizacional. In: Simpósio de Fatores Humanos em Sistemas Computacionais. Manaus: IHC2013, 2013. v. 5138. Citado 6 vezes nas páginas 88, 94, 98, 104, 105 e 109. AMARAL, W. M. do. Sistema de transcrição da língua brasileira de sinais voltado à produção de conteúdo sinalizado por avatares 3D. 2012. Tese (Tese de Doutorado) — Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Citado na página 97. AMORIM, J. d. A.; LINS, H. A. d. M. Educação e surdez: aspectos da ciência cognitiva aplicados a problemas de acessibilidade. Revista de Educação PUC-Campinas, v. 16, n. 2, p. 191–199, 2011. Citado 2 vezes nas páginas 84 e 110. AMORIM, J. d. A.; SILVA, M. d. R. C. Produção de multimídia e acessibilidade em cursos de aprendizagem a distância. ETD - Educação Temática Digital, Campinas, v. 10, n. 2, p. 355–372, 2009. Citado 2 vezes nas páginas 81 e 110. 116 Referências AMORIM, M. L. C. de. Estilos de interação web de navegação e ajuda contextual para usuários surdos em plataformas de gestão de aprendizagem. 2012. 121 f. Dissertação (Mestrado em Ciência da Computação) — Universidade Federal de Pernambuco, Recife. Citado 5 vezes nas páginas 84, 92, 101, 108 e 113. AVELAR, T. F. A Questão da padronização linguística de sinais nos atorestradutores surdos do Curso de Letras - Libras da UFSC. 2010. 1–111 p. Tese (Dissertação). Citado na página 21. BARBOSA, G. A. R. Caracterização da interação social de usuários surdos em redes sociais online: um estudo de caso no orkut. 2012. 151 f. Dissertação (Mestrado em Ciência da Computação) — Departamento de Ciência da Computação. Universidade Federal de Minas Gerais, Belo Horizonte. Citado 2 vezes nas páginas 85 e 109. BARBOSA, G. A. R.; PRATES, R. O. Análise da Sociabilidade de Comunidades Online para os Usuários Surdos : Um Estudo de Caso do Orkut. In: 10th Brazilian Symposyum on Human Factors in Computer Systems & 5th Latin American Conference on Human-Computer Interaction. CLIHC’2011: IHC, 2011. p. 237–246. Citado 2 vezes nas páginas 85 e 109. BITTENCOURT, C. R.; SILVA, M. das G. B. Modelo de qualificação profissional para portadores de deficiência auditiva. ABED, Brasília, p. 1–8, 2006. Disponível em: <http://www.abed.org.br/seminario2006/pdf/tc005.pdf>. Citado na página 83. BITTENCOURT, I. I. et al. Designing for Different Users and Multiple Devices : A Roadmap towards Inclusive Environments. Interact 2013, p. 605–622. Citado na página 19. BLASCO, E. C.; SILVEIRA, M. S. Um método para desenvolvimento de agentes de ajuda para usuários surdos. SEMISH - XXXVI Seminário Integrado de Software e Hardware, 2009, Bento Gonçalves. Anais do XXXVI Seminário Integrado de Software e Hardware, Porto Alegre, Sociedade Brasileira de Computação, p. 355–369, 2009. Citado 4 vezes nas páginas 88, 105, 109 e 110. BRITO, R. F. D. Modelo de Referência para Desenvolvimento de Artefatos de Apoio ao Acesso de Surdos ao Audiovisual. 2012. 337 f. Tese (Doutorado em Engenharia e Gestão do Conhecimento) — Universidade Federal de Santa Catarina, Florianópolis. Citado na página 97. BUENO, F. J.; GARCIA, S.; BORREGO, R. E-learning Content Adaptation for Deaf Students. ITiCSE’07, Dundee, Scotland, United Kingdom, p. 271–275, jun. 2007. Citado 5 vezes nas páginas 81, 89, 91, 94 e 109. BUSARELLO, R. I. Geração de conhecimento para usuário surdo baseada em histórias em quadrinhos hipermidiáticas. 2011. 174 f. Dissertação (Mestrado em Engenharia e Gestão do Conhecimento) — Universidade Federal de Santa Catarina, Florianópolis. Citado 8 vezes nas páginas 87, 95, 96, 100, 101, 104, 105 e 109. CAPELÃO, L. et al. Avaliação de comunicabilidade do Moodle para usuários surdos e ouvintes. In: IHC2010 – Anais Estendidos Competição, Competição, 2011, Porto de Galinhas. CLIHC’2011: IHC, 2011. Citado 4 vezes nas páginas 84, 90, 109 e 111. Referências 117 CAPELÃO, L. et al. Uma avaliação da qualidade de uso do Moodle na UFMG por alunos surdos e ouvintes. Moodle Moot, São Paulo, p. 209–220, 2011. Citado 4 vezes nas páginas 82, 90, 109 e 111. CORRADI, J. A. M. Ambientes informacionais digitais e usuários surdos: questões de acessibilidade. 2007. 214 f. Dissertação (Mestrado em Ciência da Informação) — Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília. Citado 4 vezes nas páginas 86, 94, 109 e 110. CORRADI, J. A. M.; VIDOTTI, S. A. B. G. Ambientes informacionais digitais acessíveis a minorias linguísticas surdas: cidadania e/ou responsabilidade social. X ENANCIB (GT8), Encontro Nacional da Associação Nacional de Pesquisa e Pós-Graduação em Ciência da Informação, Joao Pessoa (PB), p. 2301–2320, 2009. Citado na página 94. CORREA, L. P. D. et al. Uso do MIS para avaliar signos sonoros – Quando um problema de comunicabilidade se torna um problema de acessibilidade. IHC 2012 Proceedings - Full Paper, Cuiabá, MT, Brazil, November 5, p. 47–56, 2012. Citado 3 vezes nas páginas 87, 105 e 109. COUTINHO, F. R. S. Revisitando a acessibilidade de jogos para jogadores surdos ou com deficiência auditiva. 2012. 109 f. Dissertação (Mestrado em Ciência da Computação) — Departamento de Ciência da Computação, Universidade Federal de Minas Gerais, Belo Horizonte. Citado 4 vezes nas páginas 88, 105, 109 e 110. DOMINGUES, C. D. A. et al. Acessibilidade na comunicação. In: MANTOAN M TERESA E.; BARANAUSKAS, M. C. C. (Org.). Atores da Inclusão na Universidade: Formação e Compromisso. Campinas: Unicamp, Acessibilidade, 2009. p. 75–94. Citado na página 113. FERREIRA, M. A. M.; BONACIN, R. Analyzing Barriers for People with Hearing Loss on the Web: A Semiotic Study. UAHCI/HCII 2013, Part II, LNCS 8010, p. 694–703, 2013. Citado na página 85. FLOR, C.; BLEICHER, S. Recomendações para o design de interfaces web acessíveis ao público surdo. In: VII World Congress on Communication and Arts. Portugal: Vila Real, 2014. p. 50–54. Citado 2 vezes nas páginas 86 e 109. FLOR, C. D. S.; VANZIN, T.; ULBRICHT, V. Recomendações da WCAG 2.0 (2008) e a acessibilidade de surdos em conteúdos da Web. Revista Brasileira de Educação Especial, Marília, v. 19, n. 2, p. 161–168, abr./jun. 2013. Citado 3 vezes nas páginas 82, 89 e 110. GOES, C. G. G. Curso de Letras/LIBRAS: análise das experiências dos alunos surdos no ensino à distância do Rio Grande do Sul. 2010. 113 f. Dissertação (Mestrado em Educação) — Faculdade de Educação, Pontifícia Universidade Federal do Rio Grande do Sul, Porto Alegre. Citado 7 vezes nas páginas 21, 81, 92, 97, 98, 99 e 107. GUIMARÃES, A. D. M.; LAGES, N. A. D. C. Introdução a ciência da computação. Rio de Janeiro: LTC - Licros Técnicos e Científicos, 2001. Citado na página 137. GUIMARÃES, A. D. M.; RIBEIRO, A. M. Introdução às Tecnologias da Informação e da Comunicação: Tecnologia da Informação e Comunicação. Belo Horizonte: Editora UFMG, 2007. Citado na página 137. 118 Referências IGUMA, A. Surdos e a comunicação audio-visual: desafiando barreiras. 2004. Dissertação (Mestrado) — Departamento de Cinema, Rádio e Televisão, Escola de Comunicação e Artes. USP, São Paulo. Citado na página 106. INÁCIO, B. R.; BIENING, P.; ULBRICHT, V. R. Deaf Students and Comic Hypermedia: Proposal of Accessible Learning Object. C. Stephanidis and M. Antona (Eds.): UAHCI/HCII 2013, Part III, LNCS 8011, p. 133–142, 2013. Citado 3 vezes nas páginas 87, 104 e 109. JAMSHIDI, P. et al. A Protocol for Systematic Literature Review on Software Evolution. Technical Report, Lero- The Irish Software Engineering Research Centre, Dublin City University, Oct. 2012., 2012. Citado na página 11. KITCHENHAM, B. Procedures for Performing Systematic Reviews. Joint Technical Report, Computer Science Department, Keele University (TR/SE-0401) and National ICT Australia Ltd. NICTA Technical Report 0400011T.1, 2004. Citado na página 11. KITCHENHAM, B. Procedures for Performing Systematic Reviews. Joint Technical Report, Computer Science Department, Keele University (TR/SE-0401) and National ICT Australia Ltd. NICTA Technical Report 0400011T.1, 2004. Citado 2 vezes nas páginas 11 e 13. KITCHENHAM, B. Guidelines for performing Systematic Literature Reviews in Software Engineering. EBSE Technical Report. EBSE-2007-01, Version 2.3, Keele University and University of Durham, 2007. Citado 3 vezes nas páginas 11, 22 e 34. KITCHENHAM, B. et al. Systematic literature reviews in software engineering – A tertiary study. Information and Software Technology, Elsevier B.V., v. 52, n. 8, p. 792–805, ago. 2010. Citado 2 vezes nas páginas 11 e 13. LACERDA, C. B. F. D. A inclusão escolar de alunos surdos: o que dizem alunos, professores e intérpretes sobre esta experiência. Cadernos Cedes, Campinas,, v. 26, n. 69, p. 163–184, 2006. Citado na página 102. MACEDO, C. M. S. de. Diretrizes para criação de objetos de aprendizagem acessíveis. 2010. 271 f. Tese (Doutorado em Engenharia e Gestão do Conhecimento) — Universidade Federal de Santa Catarina, Florianópolis. Citado 3 vezes nas páginas 83, 107 e 108. MAGALHÃES, E. et al. Impacto da Usabilidade na Educação a Distância: Um estudo de caso no moodle ifam. Artigos Industriais. IHC 2010 – IX Simpósio de Fatores Humanos em Sistemas Computacionais, Belo Horizonte, MG, out. 2010. Citado 5 vezes nas páginas 83, 91, 107, 109 e 111. MARIANO, C. A. V.; MACHADO, I. d. C.; LOBATO, L. L. Em Direção a uma Ferramenta de Suporte a Revisão Sistemática de Literatura. X Encontro Anual de Computação EnAComp 2013 Em, p. 137–144, 2013. Citado na página 12. MARSCHARK, M. et al. Learning via direct and mediated instruction by deaf students. Journal of Deaf Studies and Deaf Education,, n. 13, 2008. Disponível em: <https://arc.uchicago. edu/reese/projects/cognitive-and-metacognitive-foundations-stem-learning-deaf-students>. Citado 2 vezes nas páginas 100 e 101. Referências 119 MARSCHARK, M. et al. Are deaf students’ reading challenges really about reading? American Annals of the Deaf, p. 154, 2009. Disponível em: <http://www.rit.edu/ntid/cerp/marc>. Acesso em: 24 mar. 2011. Nenhuma citação no texto. MARTINS, E. Cultura surda, educação e novas tecnologias em Santa Catarina. 2005. Citado na página 112. MARTINS, S.; FILGUEIRAS, L. Métodos de avaliação de apreensibilidade das informações textuais: uma aplicação em sítios de governo eletrônico. Latin American Conference on Human-Computer Interaction (CLIHC), 2007. Citado 4 vezes nas páginas 88, 105, 107 e 109. MARTINS, S.; FILGUEIRAS, L. Avaliando modelos de interação para comunicação de deficientes auditivos. IHC 2010 – IX Simpósio de Fatores Humanos em Sistemas Computacionais., Belo Horizonte, MG, Brazil, IHC2010, 2010. Citado 2 vezes nas páginas 85 e 107. MARTINS, S. J. O. CLAWS: uma ferramenta colaborativa para apoio à interação de surdos com páginas da web. 2012. 156 f. Dissertação (Mestrado) — Departamento de Engenharia de Computação e Sistemas Digitais, Universidade de São Paulo, São Paulo. Citado 5 vezes nas páginas 85, 99, 106, 108 e 110. MONTEIRO, I. T.; ALVES, A. D. S.; DE SOUZA, C. S. Using mediated communication to teach vocational concepts to deaf users. UAHCI’13: Proceedings of the 7th international conference on Universal Access in Human-Computer Interaction: applications and services for quality of life - Volume Part III, 2013. Citado 2 vezes nas páginas 87 e 106. MORETTO, L. A. M. et al. Características para o Aprendizado do Aluno Surdo em Ambientes Web com base no Moodle. Congresso Nacional de Ambientes Hipermídia para Aprendizagem, Pelotas, RS, set. 2011. Citado 3 vezes nas páginas 84, 110 e 112. MOURA, V. de A. et al. Implementação de uma metodologia para a tradução da língua portuguesa para língua de sinais brasileira nos cursos do Senai da Bahia. 2º Congresso Nacional de Pesquisas em Tradução e Interpretação de Libras e Língua, SC, Florianópolis, 2012. TILS. Citado 2 vezes nas páginas 84 e 110. MOURA, V. de A. et al. AVA-PDA: Um ambiente virtual de aprendizagem acessível para pessoas com deficiência auditiva. 2º Congresso Brasileiro de Recursos Digitais na Educação, Universidade Presbiteriana Mackenzie (SP), 2013. Citado 2 vezes nas páginas 84 e 110. OBREGON, R. d. F. A. O Padrão arquetípico da alteridade e o compartilhamento de conhecimento em ambiente virtual de aprendizagem inclusivo. 2011. Tese (Tese). Citado na página 21. OLIVEIRA, D. R. R. et al. Avaliação da acessibilidade do sítio da receita federal para deficientes auditivos. IHC2010 – Anais Estendidos Competição, Competição, p. 91–102, 2010. Citado 3 vezes nas páginas 86, 108 e 109. OSORIO, A. F. D. S.; SCHMIDT, C. P.; DUARTE, R. E. Parceria Universidade-Empresa para Inclusão Digital. IHC 2008 - Relatos de Experiência na Indústria, Porto Alegre – RS, Outubro 2008. Citado 3 vezes nas páginas 81, 89 e 110. 120 Referências PEREIRA, A. T. C. P.; CERNY, R. Z.; QUADROS, R. M. D. O Ambiente Virtual de Ensino-Aprendizagem do curso LetrasLIBRAS. Revista Técnico-Científica do IFSC, v. 1, n. 1, p. 52–60, 2010. Citado 2 vezes nas páginas 83 e 110. PICCOLO, L. S. G. et al. Modelo de interação inclusivo para interfaces de governo eletrônico. Campinas, SP: CPqD, Fundação, 2010. Citado 2 vezes nas páginas 86 e 108. PIVETTA, E. M. et al. Contribuições para o design de interface de um Ambiente Virtual de Ensino Aprendizagem acessível a surdos. Revista Brasileira de Design da Informação, v. 10, n. 2, p. 193–206, 2013. Citado 3 vezes nas páginas 84, 93 e 108. QUADROS, R. M. D.; KARNOPP, L. Língua de sinais brasileira: estudos lingüísticos. Porto Alegre: Artmed, 2004. Citado 2 vezes nas páginas 96 e 98. QUADROS, R. M. de; STUMPF, M. R. O primeiro curso de graduação em Letras Língua Brasileira de Sinais: educação a distância. Educação Temática Digital, v.10, n.2, n. junho, p. 169–185, 2009. Citado 2 vezes nas páginas 81 e 110. QUEVEDO, S. R. P. D.; BUSARELLO, R. I.; VANZIN, T. A comunicação do aluno surdo. In: ULBRICHT, V. R.; VANZIN, T.; VILLAROUCO, V. (Org.). Ambiente Virtual de Aprendizagem inclusivo. Florianópolis: Pandion, 2011. p. 99–152. Citado na página 100. QUEVEDO, S. R. P. de. Narrativas hipermidiáticas para ambiente virtual de aprendizagem inclusivo. 2013. 380 f. Tese (Doutorado em Engenharia e Gestão do Conhecimento) — Universidade Federal de Santa Catarina, Florianópolis, SC. Citado 7 vezes nas páginas 20, 21, 82, 92, 96, 108 e 112. REIS, S. d. S.; PRATES, R. O. Applicability of the Semiotic Inspection Method: a Systematic Literature Review. Latin American Conference on Human-Computer Interaction. IHC+CLIHC’2011 October 25-28, 2011, Porto de Galinhas, PE, Brazil., Porto de Galinhas, p. 273–281, 2011. Citado na página 11. REIS, S. d. S.; PRATES, R. O. Application of a Systematic Literature Review to Analyze the Applicability of SIM. RT.DCC.003/2011. Departamento de Ciência da Computação – Universidade Federal de Minas Gerais Belo Horizonte, MG – Brazil., 2011. Citado na página 11. RENNEBERG, M. O processo de design do site do curso Letras/Libras: teorias que fundamentam e aplicações práticas. 2007. 98 f. Monografia (Habilitação em Design Gráfico) — Universidade Federal de Santa Catarina, Florianópolis, SC. Citado 2 vezes nas páginas 83 e 110. RENNEBERG, M. Contribuições do design para a evolução do hiperlivro do AVEA-LIBRAS. 2010. 236 f. Dissertação (Mestrado) — Programa de Pós-Graduação em Design e Expressão Gráfica, Universidade Federal de Santa Catarina, Florianópolis. Citado 4 vezes nas páginas 81, 91, 92 e 107. RENNEBERG, M.; GONÇALVES, B. S.; GONÇALVES, M. M. Método de avaliação de interface para Ambientes Virtuais de Ensino Aprendizagem - AVEA’s: diretrizes para a avaliação do hiperlivro do Curso Letras/LIBRAS. In: Universidade Anhembi Morumbi, PUC-Rio e Unesp-Bauru. São Paulo: Rosari, 2008. Citado na página 83. Referências 121 RENNEBERG, M.; GONÇALVES, M. M. Um processo de projeto para interfaces de objetos de aprendizagem: o caso do hiperlivro do ambiente virtual de Letras/LIBRAS. In: PEREIRA, A. T. C.; GONÇALVES, B. S. (Orgs.). Design de Hipermídia: processos e conexões. Florianópolis: UFSC/CCE, 2010. v. 1. Citado 3 vezes nas páginas 83, 92 e 107. RIBAS, A. C. A interface do ambiente virtual de ensino-aprendizagem do curso LetraLibras segundo as características da cultura surda e os critérios de usabilidade. 2008. 119 f. Dissertação (Mestrado em Design e Expressão Visual) — Universidade Federal de Santa Catarina, Florianópolis. Citado 4 vezes nas páginas 21, 72, 81 e 107. RICHARDSON, J. T. E.; WOODLEY, A. Approaches to studying and communication preferences among deaf students in distance education. Higher Education, n. 42, 2001. Disponível em: <http://oro.open.ac.uk/cgi/export/932/SummaryPage/oro-eprint-932.html>. Nenhuma citação no texto. SAITO, D. S. et al. Evaluation of Accessibility with the Deaf User. In: STEPHANIDIS, C. (Org.). HCI International 2013 - Posters’ Extended Abstracts. Las Vegas, NV, EUA: Springer Berlin Heidelberg, 2013. v. 373, p. 276–280. Citado 3 vezes nas páginas 20, 82 e 95. SAITO, D. S.; ULBRICHT, V. R. Learning Managent Systems and Face-to-Face Teaching in Bilingual Modality (Libras/Portuguese). IEEE Latin America Transactions, v. 10, n. 5, p. 2168–2174, set. 2012. ISSN 1548-0992. Citado 5 vezes nas páginas 82, 89, 99, 100 e 110. SANTAROSA, L. M. C.; CONFORTO, D.; BASSO, L. O. AVA inclusivo: validação da acessibilidade na perspectiva de interagentes com limitações visuais e auditivas. Anais do XX Simpósio Brasileiro de Informática na Educação (SBIE2009), Florianópolis, 2009. Citado 3 vezes nas páginas 81, 89 e 107. SHEEHY, K. Researching Learning in Virtual Environments International Conference. [S.l.: s.n.], 2008. ISBN 9781848731. Citado na página 19. SILVA, A. B.; RAMOS, F. Avaliação da metodologia b-Learning no Mestrado Multimédia em Educação (edição 2007-2009) da Universidade de Aveiro. v. 3, n. 2, p. 71–81, 2010. Citado na página 21. SILVA, G. M. da. Lendo e sinalizando textos: uma análise etnográfica das práticas de leitura em português de uma turma de alunos surdos. 2010. 222 f. Dissertação (Mestrado em Educação) — Faculdade de Educação, Universidade Federal de Minas Gerais, Belo Horizonte. Citado na página 102. SILVA, I. R.; KAUCHAKJE, S.; GESUELI, Z. M. Cidadania, surdez e linguagem: desafios e realidades. São Paulo: Plexus, 2003. Citado na página 106. SILVA, R. A. da. Usuários de Língua Brasileira de Sinais: perspectivas para repositório educacional aberto. 2011. 186 f. Dissertação (Mestre em Ciência da Informação) — Programa de Pós-Graduação em Ciência da Informação, do Centro de Ciências da Educação, Universidade Federal de Santa Catarina, Florianópolis. Citado 4 vezes nas páginas 82, 89, 107 e 112. SILVA, R. A. da; RODRIGUES, R. S. Características de repositório educacional aberto para usuários de língua brasileira de sinais. TransInformação, Campinas, v. 25, n. 1, p. 65–79, jan./abr. 2013. Citado 4 vezes nas páginas 82, 89, 107 e 111. 122 Referências SOUZA, C. S. D.; MONTEIRO, I.; INTRATOR, C. Questões Científicas , Técnicas e Éticas do Desafio IV : Reflexões sobre um Assistente para a Navegação na Web. 2010. 20–21 p. Citado na página 21. STUMPF, M. R. Escrita de Sinais III. 2008. Citado 2 vezes nas páginas 97 e 100. STUMPF, M. R. Educação de Surdos e Novas Tecnologias. SC, Florianópolis: Universidade Federal de Santa Catarina, 2010. Citado 4 vezes nas páginas 83, 96, 102 e 110. TEIXEIRA, J. d. F. Mentes e máquinas: uma introdução a ciência cognitiva. Porto Alegre: Artes Médicas, 1998. Citado 2 vezes nas páginas 139 e 140. TRINDADE, D. D. F. G.; GARCIA, L. S. Framework Conceitual de apoio ao Design de Ambientes Colaborativos inclusivos aos Surdos. II Congresso Brasileiro de Informática na Educação (CBIE 2013), XXIV Simpósio Brasileiro de Informática na Educação (SBIE 2013), p. 457–466, nov. 2013. Citado 2 vezes nas páginas 84 e 110. VALENTIM, V. D. Um ambiente virtual de aprendizagem com recursos de interface para usuários cegos e surdos. 2006. Tese (Doutorado). Citado na página 21. Apêndices 125 APÊNDICE A – Protocolo de Revisão A.1 Base de dados pesquisadas na SLR Quadro A.1 – Base de dados na área de Ciência da Computação (continua) Base de dados URL IEEE :: Institute of Electrical and Electronics Engineers http://ieeexplore.ieee.org ACM :: Association for Computing Machinery http://portal.acm.org Science Direct http://www.sciencedirect.com Springer http://www.springerlink.com HCIBIB:: Human-Computer Interaction Bibliography http://hcibib.org Interact :: Conference on Human-Computer Interaction http://www.springerlink.com SEMISH/WEI/CSBC :: Seminário Integrado de Software e Hardware/ Workshop sobre Educação em Computação/Congresso da Sociedade Brasileira de Computação SEMISH: UFRN, PUC Minas, SBC WEI: UFRN, PUC Minas, SBC WebMedia :: Simpósio Brasileiro de Sistemas Multimídia e Web ACM, SBBD, UFMG, SBC SBSC :: Simpósio Brasileiro de Sistemas Colaborativos WS, ACM, IEEE IHC :: Simpósio de Fatores Humanos em Sistemas Computacionais http://portal.acm.org (a partir de 2006) Fonte: Quadro obtido pela pesquisa direta. Quadro A.2 – Base de dados na área de Informática na Educação (continua) Biblioteca URL SBIE :: Simpósio Brasileiro de Informática na Educação http://www.br-ie.org/pub/index.php/sbie/issue/archive RBIE :: Revista Brasileira de Informática na Educação http://www.br-ie.org/pub/index.php/rbie/index MoodleMoot http://www.moodlemoot.com.br ABED :: Associação Brasileira de Educação a Distância http://www.abed.org.br RBAAD : Revista Brasileira de Aprendizagem Aberta e a Distância http://www.abed.org.br/revistacientifica Fonte: Quadro obtido pela pesquisa direta. 126 APÊNDICE A. Protocolo de Revisão Quadro A.3 – Base de dados na área da surdez Biblioteca URL Deaf Studies Digital Journal http://dsdj.gallaudet.edu Journal of Deaf Studies http://jdsde.oxfordjournals.org Daw Sign Press http://www.dawnsign.com Por Sinal http://www.porsinal.pt1 ETD - Educação Temática Digital http://www.fae.unicamp.br/revista/index.php/etd/index Fonte: Quadro obtido pela pesquisa direta. Quadro A.4 – Base de dados de Linguagem (continua) Biblioteca URL Dialnet :: Difusión de Alertas en la Red http://dialnet.unirioja.es Scielo :: Scientific Eletronic Library On-line http://www.scielo.org/php/index.php Anpoll :: Associação Nacional de Pós–Graduação e Pesquisa em Letras e Linguística http://www.anpoll.org.br/revista Directory of Open Access Journals (DOAJ) http://www.doaj.org Repositório Cientfico de Acesso Aberto de Portugal (RCAAP)2 http://www.rcaap.pt Fonte: Quadro obtido pela pesquisa direta. Quadro A.5 – Base de dados na área de Teses e Dissertações (continua) 1 2 Biblioteca URL Qualis Biblioteca Digital Brasileira de Teses e Dissertações (BDTD)3 <http://bdtd.ibict.br/en/a-bdtd. html> teste PUC-Rio :: Pontifícia Universidade Católica do Rio de Janeiro <http://www.maxwell.lambda. ele.puc-rio.br/Busca_etds.php> 7 (Informática) PUC-RS :: Pontifícia Universidade Católica do Rio Grande do Sul <http://verum.pucrs.br/F? func=find-b-0&local_base= tde> 7 (Linguística e Letras) UENP :: Universidade Estadual do Norte do Paraná <http://biblioteca.uenp.edu.br> 3 (Agronomia), 4 (Direito). Selecionado pois havia um EMR nesta base. UFMG :: Universidade Federal de Minas Gerais <http://www.bibliotecadigital. ufmg.br/dspace> 6 (Letras), 7 (Computação) Não foi considerado pois no site não apresenta os critérios de qualidade dos trabalhos submetidos. Esse não foi considerado por ser de Portugal A.2. Dados a serem coletados 127 Quadro A.5 – Base de dados na área de Teses e Dissertações (conclusão) Biblioteca URL Qualis UFMT :: Universidade Federal de Mato Grosso <http://www.cedes.ufsc.br: 8080/xmlui/handle/123456789/ 208> 4 (Letras e Linguística). Selecionado pois havia um EMR nesta base. UFPE :: Universidade Federal de Pernambuco <http://www.bdtd.ufpe.br/ bdtd/tedeSimplificado/tde_ busca/index.php> 6 (Computação) UFRGS :: Universidade Federal do Rio Grande do Sul <http://www.lume.ufrgs.br/ handle/10183/1> 6 (Computação) UFRJ :: Universidade Federal do Rio de Janeiro <http://fenix2.ufrj.br:8991> 7 (Computação) UFSC :: Universidade Federal de Santa Catarina <https://repositorio.ufsc.br> 6 (Linguística) UNESP :: Universidade Estadual Paulista <http://www.athena.biblioteca. unesp.br/F/?func=find-b-0& local_base=BDTD> 6 (Linguística) UNICAMP :: Universidade Estadual de Campinas <http://www.bibliotecadigital. unicamp.br> 6 (Computação), 7 (Linguística) USP :: Universidade de São Paulo <http://www.teses.usp.br> <http://www.tcc.sc.usp.br> 7 (Linguística) Fonte: Quadro obtido pela pesquisa direta. A.2 Dados a serem coletados Os dados de cada uma das categorias foram apresentados nos quadros Quadro A.6, Quadro A.7, Quadro A.8 e Quadro A.9. Quadro A.6 – Dados coletados - VISÃO GERAL dos estudos selecionados na etapa 4 Id. 3 Campos Valores 1 Código ID Código de identificação do estudo 2 Título/Autor Título/autor do estudo selecionado 3 Base de dados Nome da biblioteca pesquisada 4 Ano Ano de publicação do estudo (2007 a 2013) Realizamos uma busca também na Biblioteca Digital Brasileira de Teses e Dissertações (BDTD). Contudo, percebemos que a busca não retornou alguns estudos relevantes. Confirmamos que os trabalhos se encontravam na base de dados das próprias Universidades. Com isso, optamos por buscar em universidades que tivessem conceito Qualis 6 e 7 e outras nas quais deveriamos buscar os estudos relevantes. Consulta realizada em outubro de 2013. Cursos recomendados e reconhecidos: http://www.capes.gov.br/cursosrecomendados. 128 APÊNDICE A. Protocolo de Revisão Quadro A.6 – Dados coletados - VISÃO GERAL dos estudos selecionados na etapa 4 Id. Campos Valores 5 Tipo de publicação Artigo completo Artigo resumido Monografia (TCC) Dissertação Tese Outro (informe qual) 6 Língua Português Inglês Espanhol 7 Qualidade Percentual de qualidade do artigo (calculado após o preenchimento dos critérios de qualidade) 8 Objetivo Identificar e registrar o objetivo do estudo 9 Contexto Ambiente de aprendizagem Jogos Sistema Web Softwares Tecnologias assistivas para surdos Tecnologia em Libras Tecnologia em língua de sinais Vários 10 Qual ambiente de aprendizagem, jogo, sistema web, software ou tecnologia assistiva? Identificar e registrar o nome do sistema interativo do estudo. Fonte: Quadro obtido pela pesquisa direta. Quadro A.7 – Dados coletados - CARACTERÍSTICAS dos estudos selecionados na etapa 4 Id. Campos Valores 11 Aspecto abordado Conteúdo Ensino/aprendizagem Estratégias adaptativas Interface Material didático Leitura para surdos Linguagem Vários (informe quais) Outro (informe qual) 12 Nível de ensino Infantil Básico Técnico/Médio Universitário Vários (informe quais) A.2. Dados a serem coletados 129 Quadro A.7 – Dados coletados - CARACTERÍSTICAS dos estudos selecionados na etapa 4 Id. Campos Valores 13 Estratégia de comunicação adotada Imagens Língua materna do país Língua portuguesa Sign Writing Vídeo em língua de sinais americana (ASL) Vídeo em língua de sinais espanhola Vídeo em língua gestual portuguesa Vídeos em Libras Vídeos legendados Vários (informe quais) Outro (informe qual) 14 Dificuldades enfrentadas pelos surdos em relação às restrições de conhecimento llinguístico (lexical e/ou gramatical) Identificar e registrar as dificuldades linguísticas dos surdos apresentadas. 15 Dificuldades enfrentadas pelos surdos em relação ao design Identificar e registrar as dificuldades de design apresentadas. 16 Necessidades e preferências dos surdos em ambientes on-line Identificar e registrar as necessidades e preferências apresentadas. 17 Tecnologias digitais para apoio aos surdos Identificar e registrar as tecnologias apresentadas. Fonte: Quadro obtido pela pesquisa direta. 130 APÊNDICE A. Protocolo de Revisão Quadro A.8 – Dados coletados - METODOLOGIA de AVALIAÇÃO dos estudos selecionados na etapa 4 Id. Campos Valores 18 Avalia interface ou tecnologia assistiva? Sim Não 19 Metodologia/motivação para a avaliação Identificar e registrar informações sobre a avaliação apresentada no estudo. 20 Tipo de análise realizada Qualitativa Quantitativa Ambos 21 Público participante quisa/avaliação 22 Aspectos avaliados (qualidade de uso, linguagem entre outros) Identificar e registrar informações sobre os aspectos avaliados 23 Avalia qualidade de uso? Qual? Acessibilidade Apreensibilidade Comunicabilidade Inteligibilidade Sociabilidade Usabilidade Várias (informe quais) Outra (informe) da pes- Especialistas Estudantes ouvintes Estudantes surdos Estudantes ouvintes e surdos Pesquisadores Professores Profissionais ouvintes Profissionais surdos Profissionais ouvintes e surdos Vários (informe quais) Outro (informe qual) Fonte: Quadro obtido pela pesquisa direta. Quadro A.9 – Dados coletados - RESULTADOS dos estudos selecionados na etapa 4 (continua) Id. Campos Valores 24 Recomendações (ou classes ou categorias) para desenvolvimento de interface de sistemas interativos para surdos Identificar e registrar as recomendações apresentadas. 25 Contribuições para inclusão digital dos surdos Identificar e registrar as contribuições apresentadas no estudo 26 Resultados obtidos na avaliação Identificar e registrar os resultados obtidos na avaliação. 27 Resultados obtidos no estudo Identificar e registrar os resultados obtidos no estudo. A.3. Critérios de qualidade 131 Quadro A.9 – Dados coletados - RESULTADOS dos estudos selecionados na etapa 4 (conclusão) Id. Campos Valores 28 Dificuldades encontradas na avaliação e/ou estudo Identificar e registrar as dificuldades encontradas na avaliação e/ou estudo 29 Anotações Identificar e registrar observações pertinentes sobre o estudo analisado. Fonte: Quadro obtido pela pesquisa direta. A.3 Critérios de qualidade A lista a seguir apresenta os critérios de qualidade para avaliação dos estudos encontrados. Para cada um dos critérios, a qualidade do trabalho é avaliada como “sim”, "parcial"ou "não", pontuados, respectivamente, com os valores 1, 0,5 e 0. Os pesos para cada um dos critérios variaram de 1 (relevante), 2 (muito relevante), 3 (extremamente relevante). A pontuação da qualidade máxima é 34 pontos (100%) e da qualidade mínima para cada estudo foi definida no valor de 19 pontos (aproximadamente 56%). Ou seja, os estudos com valores inferiores a 19 pontos (56%) foram excluídos para a parte da análise da etapa 5. O Quadro A.10 apresenta os critérios, a pontuação máxima e mínima, o peso para cada um dos critérios e a questão de pesquisa da SRL a que se refere o critério. Para cada um dos critérios, a qualidade do trabalho é avaliada como “sim”, “parcial” ou “não”, pontuados, respectivamente, com os valores 1, 0,5 e 0. Os pesos para cada um dos critérios variaram de 1 (relevante), 2 (muito relevante), 3 (extremamente relevante). Quadro A.10 – Critérios de qualidade para avaliação de estudos desta SLR (continua) Id. Questão Peso Qualidade G1 O estudo apresenta claramente os objetivos/questão problema? (1) Sim, os objetivos/definição do problema do estudo estão claramente definidos e descritos. (0,5) Parcialmente, os autores apresentam uma descrição geral do problema. (0) Não, os objetivos/questão problema não são claramente apresentados. 1 Qualidade geral do estudo G2 O estudo apresenta e discute os resultados relativos ao objetivo/questão problema? (1) Sim, os autores apresentam e discutem os resultados relativos aos objetivos/definição do problema do estudo. (0,5) Parcialmente, os autores apresentam somente os resultados, mas não discutem. (0) Não, os autores não apresentam os resultados relativos ao objetivo/questão problema? 1 Qualidade geral do estudo 132 APÊNDICE A. Protocolo de Revisão Quadro A.10 – Critérios de qualidade para avaliação de estudos desta SLR (continua) Id. Questão Peso Qualidade G3 O estudo discute os trabalhos relacionados? (1) Sim, os autores apresentam e discutem os trabalhos relacionados. (0.5) Parcialmente, os autores somente apresentam os trabalhos relacionados, mas não discutem. (0) Não, os autores não apresentam trabalhos relacionados. 1 Qualidade geral do estudo E1 O estudo trata de um sistema interativo? (ambiente online de aprendizagem ou ambiente web ou software ou tecnologia assistiva para surdos) (1) Sim, o estudo trata de um ambiente online de aprendizagem. (0,5) Parcialmente, o estudo trata de um ambiente web, software ou tecnologia assistiva para surdos. (0) Não, o estudo não trata sobre um sistema interativo. 3 QE1 E2 O estudo trata de aspectos de interface/design de um sistema interativo para um público surdo? (1) Sim, o estudo trata de aspectos de interface/design para um público surdo. (0,5) Parcialmente, o estudo trata de aspectos que envolvem material didático, conteúdo ou ensino/aprendizagem para um público surdo. (0) Não, o estudo trata de outro foco ou não especifica claramente. 3 QE1 E3 O estudo apresenta as principais dificuldades dos surdos em relação ao design ou linguagem do sistema interativo? (1) Sim, os autores apresentam as principais dificuldades dos surdos em relação a design. (0,5) Parcialmente, os autores apresentam as principais dificuldades relacionadas somente com a linguagem. (0) Não, os autores tratam de outro foco ou não especificam claramente. O estudo tem como público-alvo estudantes universitários? (1) Sim, o público-alvo são estudantes universitários. (0,5) Parcialmente, o público-alvo são estudantes do ensino médio/técnico e/ou é variável (são surdos de vários níveis de ensino) (0) Não, o público-alvo são crianças surdas. 3 QE3 2 QE3 hline E4 A.3. Critérios de qualidade 133 Quadro A.10 – Critérios de qualidade para avaliação de estudos desta SLR (continua) Id. Questão Peso Qualidade E5 O estudo avalia alguma interface ou tecnologia assistiva para surdos (via web)? (1) Sim, os autores avaliam a interface de um ambiente de aprendizagem online ou sistema interativo. (0,5) Parcialmente, os autores avaliam uma tecnologia assistiva para surdos. (0) Não, os autores não avaliam interface ou tecnologia assistiva para surdos (via web). 3 QE6 E6 A avaliação do estudo é realizada com surdos? (1) Sim, com surdos universitários e/ou ouvintes. (0,5) Parcialmente, com surdos do ensino médio/técnico e/ou variável (surdos de vários níveis de ensino) e/ou ouvintes. (0) Não, o estudo não realiza avaliação. 3 QP1 E7 O estudo avalia aspectos da interface com os surdos explorando a língua portuguesa? (1) Sim, são avaliados aspectos da língua portuguesa e/ou imagens. (0,5) Parcialmente, são avaliados aspectos de vídeos legendados ou vídeos em Libras. (0) Não, o estudo não avalia aspectos da interface. 3 QE4 E8 O estudo trata de questões específicas de qualidade de uso da interface (comunicabilidade, usabilidade, acessibilidade, apreensibilidade?) (1) Sim, o estudo trata de questões relacionadas à qualidade de uso da interface. (0,5) Parcialmente, o estudo trata de alguns aspectos relacionados a qualidade de uso da interface. (0) Não, o estudo não trata de qualidade de uso de interface. 3 QE2 E9 O estudo apresenta os resultados da avaliação? (1) Sim, os resultados são apresentados e discutidos. (0,5) Parcialmente, os resultados são somente citados. (0) Não, os resultados da avaliação não são apresentados. 3 QE6 E10 Os resultados encontrados são validados? (1) Sim, os resultados são validados através uma metodologia citada e claramente explicada. (0,5) Parcialmente, os resultados são validados através de uma metodologia citada. (0) Não, os resultados não são validados. 2 QE6 134 APÊNDICE A. Protocolo de Revisão Quadro A.10 – Critérios de qualidade para avaliação de estudos desta SLR (conclusão) Id. E11 Questão Peso O estudo apresenta recomendações para desenvolvimento de interface de sistemas interativos e/ou específico para surdos? (1) Sim, o estudo apresenta recomendações para desenvolvimento de interface de sistemas interativos. (0,5) Parcialmente, o estudo apresenta recomendações para desenvolvimento de tecnologias assistivas para surdos. (0) Não, o estudo não apresenta recomendações para desenvolvimento de tecnologias assistivas para surdos. 3 Qualidade QE6 Fonte: Quadro obtido pela pesquisa direta. Utilizamos a seguinte fórmula para a classificação e validação dos estudos. Qualidade = [(G1*p1 + G2*p2 + G3*p3)/3 + (E1*p1+ E2*p2+ E3*p3+ E4*p4+ E5*p5+ E6*p6+ E7*p7+ E8*p8+ E9*p9+ E10*p10 + E11*p11)/11] Para cada valor informado, pelo avaliador, para as questões (G1, G2, G3, E1, E2... E11), multiplicamos pelo peso definido para os critérios no quadro anterior, (ver Quadro A.10) e calculamos sua média. A partir disso, obtivemos o valor final de avaliação de cada um dos estudos. A Tabela A.1 apresenta o ranking para a validação final de cada estudo. Este ranking foi definido a partir dos valores definidos na fórmula. A pontuação da qualidade máxima é 34 pontos (100%) e da qualidade mínima para cada estudo foi definida no valor de 19 pontos (aproximadamente 56%). Ou seja, os estudos com valores inferiores a 19 pontos (56%) foram excluídos para a parte da análise da etapa 5. Tabela A.1 – Ranking de qualidade dos estudos Intervalo Percentual Nível 29 a 34 85% a 100% Ótimo 24 a 29 71% a 85% Bom 19 a 24 56% a 71% Aceitável Abaixo de 19 Abaixo de 56% Excluído Fonte: Dados obtidos pela pesquisa direta. A.4. Strings Validadas A.4 135 Strings Validadas A partir destes testes realizados nas próprias bases de dados, as nossas combinações de strings (em português) sugeridas foram então validadas. Para o tema relacionado a educação a distância e surdez, chegamos a validação das seguintes combinações de strings em português (identificamos por “p1”) e inglês (identificamos por “i1”). A combinação da string em inglês pode ser consultada no Apêndice. Ela não foi utilizada pois consideramos que os resultados encontrados em testes com as strings em português estavam de acordo com a proposta da questão principal da SLR. p1: (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "elearning"OR elearning) AND (online OR "on-line"OR internet OR distancia OR virtual) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) i1: (education OR teaching OR design OR interface OR interaction OR EAD OR learning OR technology OR HCI OR "e-learning"OR elearning) AND (online OR "on-line"OR internet OR distance OR virtual OR web) AND (deaf OR deafness OR "Hard of Hearing"OR "Hard Hearing") E para o tema relacionado a design, interface e surdez, chegamos às seguintes combinações de strings em português (p2) e inglês (i2): p2: (design OR interface OR interação OR tecnologia OR tecnologias OR IHC) AND (online OR "on-line"OR internet OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditiva OR auditivos OR auditivo OR auditivas) i2: (design OR interface OR interaction OR technology OR HCI) AND (online OR "on-line"OR internet OR virtual OR web) AND (deaf OR deafness OR "Hard of Hearing"OR "Hard Hearing") Contudo, optamos por realizar a SLR somente com a combinação de strings em português. Consideramos que se trata de uma temática que envolvem as pessoas surdas, com sua cultura e identidade surdas com relação direta com sua língua, a Língua Brasileira de Sinais. Com isso apresentamos os resultados de estudos publicados por autores e pesquisadores brasileiros, tanto no Brasil quanto em outros países, desde que cadastrados nas bases de dados já indicadas. 137 APÊNDICE B – Operadores B.1 Operadores Booleanos A Álgebra de Boole surgiu ainda no século XIX, conforme destaca Guimarães e Lages (2001, p. 71): No Século XIX, George Boole desenvolveu um sistema de álgebra (a álgebra das proposições) onde poderia determinar se uma sentença é falsa ou verdadeira. Em 1930, Alan Turing mostrou que com a álgebra de Boole, apenas três funções lógicas são necessárias para o processo de determinação dos “falsos” ou “verdadeiros. Estas funções são: E, OU e NÃO. Percebeu-se ainda, por esta época, a relação entre dispositivos de chaves e de relés, a álgebra de Boole e a teoria de conjuntos. Guimarães e Ribeiro (2007, p. 71) apresentam o seguinte exemplo para ilustrar os operadores booleanos: Suponha que você goste de pizza com mussarela, presunto, sem azeitonas e nem cebola e que você deseja pesquisar por este sabor de pizza na Internet. Para representar este sabor utilizando operadores Booleanos você pode organizar a seguinte sentença: pizza E mussarela E presunto E NÃO azeitonas E NÃO cebola. Uma máquina de busca interpretaria esta expressão Booleana da seguinte maneira: usuário deseja que eu apresente links para todas as páginas que possuam as palavras pizza e presunto e que não possuam as palavras azeitonas e nem cebola. O operador E significa que a palavra que o segue tem que estar no texto das páginas que serão listadas. Páginas que possuem as palavras seguintes a E NÃO não serão listadas. Ainda no caso do sabor da pizza, caso você goste também de lombinho canadense e não se importe caso o presunto seja substituído por este ingrediente você pode usar o operador OU. Neste caso a expressão seria: pizza E mussarela E (presunto OU lombinho) E NÃO azeitonas E NÃO cebola. Na Web, uma expressão como esta em uma pesquisa retornaria todas as páginas que contivessem as palavras presunto mais todas as páginas que contivessem as palavras lombinho mais todas as páginas que contivessem ambas as palavras, desde que estas páginas satisfizessem as outras cláusulas da expressão, ou seja, contivessem a palavra pizza e a palavra mussarela e não contivessem a palavra azeitonas e nem a palavra cebola. O símbolo de parênteses é utilizado para evitar confusões. Desta forma, fica claro para a máquina de buscas que presunto OU lombinho pode ser substituído por lombinho. Os autores ainda apresentam um exemplo gráfico destes operadores lógicos, através dos diagramas de Veen, usados para representar conjuntos. O exemplo abaixo apresenta uma representação do operador booleano AND = E. O conjunto representado pelas estrelas E luas é a interseção dos conjuntos Estrela e Lua, mostrados na parte central do diagrama. “Sabemos que a interseção entre dois conjuntos é formada pelos elementos que pertencem a ambos os conjuntos” (GUIMARÃES; RIBEIRO, 2007). 138 APÊNDICE B. Operadores Figura B.1 – Exemplo Estrela e Lua – Operador AND Fonte: Guimarães e Ribeiro, 2007, p. 88. O operador booleano OR = OU pode ser representado pel união de dois conjuntos. A união dos conjuntos Estrela e Lua é representada por todos os elementos dos dois conjuntos. Figura B.2 – Exemplo Estrela e Lua – Operador OR Fonte: Guimarães e Ribeiro, 2007, p. 88. E finalmente, o operador NOT = NÃO é análogo ao complemento de um conjunto. No diagrama abaixo é representado pelo conjunto do lado LUA = complemento da ESTRELA. B.1. Operadores Booleanos 139 Figura B.3 – Exemplo Estrela e Lua – Operador NOT Fonte: Guimarães e Ribeiro, 2007, p. 88. Quando não fazemos uso destes operadores booleanos, as bases de dados retornam as páginas que contém todas as palavras e temos que fazer a seleção manualmente (pelos olhos). E muitas vezes, por falta de tempo ou atenção, deixamos passar resultados importantes e selecionamos resultados sem importância. O uso dos operadores booleanos torna as buscas mais rápidas e eficazes. Em algumas bases de dados, é necessário informar os operadores booleanos diretamente como no exemplo apresentado. Em outras, devemos apenas informar as palavras e selecionar as opções “todas as palavras” ou “algumas palavras”. Ou ainda, informar se a busca deve ser realizada somente nos títulos ou no conteúdo das publicações. Quando realizamos uma busca no Google, por exemplo, podemos utilizar estes operadores lógicos para tornar os resultados mais focados no que precisamos. Em nossa SLR, as strings (palavras) devem ser combinadas usando os operadores booleanos. Isso porque as buscas nas bases de dados são feitas utizando essa lógica dos operadores booleanos. Essa Álgebra de Boole é utilizada em programas desenvolvidos para computadores, celulares, em buscas na web etc. O conceito é explorado na área de Ciência da Computação, Ciência Cognitiva, em especial nos estudos da Inteligência Artificial e Redes Neurais. Teixeira (1998), em seu livro “Mentes e máquinas: uma introdução à ciência cognitiva” traz importantes informações para compreender a origem destes conceitos e sua aplicação: Reunindo as ideias de Boole, de Shannon e o modelo super simplificado do cérebro humano de que falamos, W. McCulloch e W. Pitts propuseram um modelo de neurônio artificial. Eles acreditavam que, a partir deste modelo, seria possível simular redes de neurônios e, em última análise, a produção do pensamento. A intuição destes pesquisadores era que se neurônios artificiais pudessem efetuar computações lógicas, estaria aberto o caminho para simular o raciocínio humano. Estes neurônios artificiais eram unidades binárias, i.e., podiam estar “ligados” ou “desligados”. Cada unidade poderia receber inputs excitatórios ou inibitórios de outras unidades. Quando uma unidade recebe 140 APÊNDICE B. Operadores um input inibitório ela vai para a posição “desligado”. Quando não há input inibitório ela vai para a posição “ligado” (se a soma de inputs excitatórios exceder o seu limiar). McCulloch e Pitts mostraram como a configuração destas unidades pode realizar as operações lógicas caracterizadas como “E”, “OU” e “NÃO”. As demais operações lógicas realizadas pela mente humana podem ser derivadas destas três e se com isto conseguimos implementá-las num circuito com neurônios artificiais teremos construído uma máquina de pensar Teixeira (1998, p. 38–39). 141 APÊNDICE C – Planejamento da SLR APÊNDICE C.1- Links diretos de pesquisa das bases de dados APÊNDICE C.2 - Dados dos Estudos Mais Relevantes (EMR) já conhecidos APÊNDICE C.3 - Buscas de testes nas bases de dados - Resultados APÊNDICE C.4 - Tabela de resultados de SLRs já existentes com pesquisa em PORTUGUÊS APÊNDICE C.5 - Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS C.1 Links diretos de pesquisa das bases de dados APÊNDICE C.1 - Links diretos de pesquisa das bases de dados Links das bases de dados na área de Ciência da Computação Base de dados IEEE :: Insttute of Electrical and Electronics Engineers ACM :: Associaton for Computng Machinery Science Direct URL htp://ieeexplore.ieee.org htp://portal.acm.org htp://www.sciencedirect.com Springer htp://www.springerlink.com HCIBIB:: Human-Computer Interacton Bibliography Interact :: Conference on HumanComputer Interacton SEMISH/WEI/CSBC :: Seminário Integrado de Sofware e Hardware/ Workshop sobre Educação em Computação/Congresso da Sociedade Brasileira de Computação htp://hcibib.org/ htp://www.springerlink.com SEMISH (1): UFRN, PUC Minas, SBC WEI (2): UFRN, PUC Minas, SBC (1) Sites SEMISH/CSBC: htp://www.dimap.ufrn.br/csbc2011/anais/eventos/contents/CADERNO.pdf htp://www.dimap.ufrn.br/csbc2011/anais/eventos/semish_programacao.htm htp://www.inf.pucminas.br/sbc2010/anais/semish/index_arquivos/artgos_1.htm htp://www.inf.pucminas.br/sbc2010/anais/semish/index_arquivos/artgos_2.htm htp://www.sbc.org.br/sbc2009 (erro no site ao acessar em Outubro de 2013 “Internal Server Error”) htp://www.sbc.org.br/sbc2008 ( erro no site ao acessar em Outubro de 2013 “Internal Server Error”) htp://www.sbc.org.br/sbc2007 (erro no site ao acessar em Outubro de 2013 “Server not found”) (2) Sites WEI/CSBC htp://www.dimap.ufrn.br/csbc2011/anais/eventos/wei_programacao.htm htp://www.inf.pucminas.br/sbc2010/anais/wei/index_arquivos/artgos_1.htm Base de dados WebMedia :: Simpósio Brasileiro de Sistemas Multmídia e Web SBSC :: Simpósio Brasileiro de Sistemas Colaboratvos IHC :: Simpósio de Fatores Humanos em Sistemas Computacionais URL htp://www.inf.pucminas.br/sbc2010/anais/wei/index_arquivos/artgos_2.htm htp://www.inf.pucminas.br/sbc2010/anais/wei/index_arquivos/artgos_3.htm htp://www.sbc.org.br/sbc2009* (deu erro no site) htp://www.sbc.org.br/sbc2008* (deu erro no site) htp://www.sbc.org.br/sbc2007* (deu erro no site) ACM, SBBD, UFMG, SBC WEBMEDIA 2012: htp://dl.acm.org/citaton.cfm?id=2382636 2011: htp://www.sbbd-webmedia2011.inf.ufsc.br/webmedia/index.php/pt/artgosselecionados 2010: htps://www.ufmg.br/swib/?p=1358#artgos_completos 2009/2008: htp://portal.acm.org 2007: htp://www.sbc.org.br/webmedia2007/?c=accepted-full, htp://www.sbc.org.br/webmedia2007/? c=accepted-short SWS, ACM, IEEE 2012: htp://sws2012.ime.usp.br/sbsc/artgos-selecionados.php htp://sws2012.ime.usp.br/sbsc/SBSC2012/start.pdf#! 2011: htp://portal.acm.org A partr de 2008: htp://ieeexplore.ieee.org htp://portal.acm.org (a partr de 2006) Links das bases de dados na área de Informátca na Educação Biblioteca SBIE :: Simpósio Brasileiro de Informátca na Educação RBIE :: Revista Brasileira de Informátca na Educação MoodleMoot (3) URL htp://www.br-ie.org/pub/index.php/sbie/issue/archive htp://www.br-ie.org/pub/index.php/rbie/index htp://www.moodlemoot.com.br 2013: Anais em formato de imagem para CD (.iso): htp://www.moodlemoot.com.br/2013/moodle/mod/resource/view.php? id=45 2012: Acesso somente pelo site: htp://www.moodlemoot.com.br/2012/programacao-das-comunicacoes-orais-e-minicursos 2011: Anais disponíveis em htp://www.moodlemoot.com.br/moodle/mod/resource/view.php?id=42 2013: Anais em formato de imagem para CD (.iso): htp://www.moodlemoot.com.br/2013/moodle/mod/resource/view.php? id=45 2012: Acesso somente pelo site: htp://www.moodlemoot.com.br/2012/programacao-das-comunicacoes-orais-e-minicursos 2011: Anais disponíveis em htp://www.moodlemoot.com.br/moodle/mod/resource/view.php?id=42 2010: Anais disponíveis em htp://www.moodlemoot.com.br/2012/wp-content/uploads/2012/08/MoodleMoot_Brasil_2010.pdf 2009: Anais disponíveis em htps://moodle.org/mod/forum/discuss.php?d=136047 2008: Anais disponíveis em htp://www.moodlemoot.com.br/2012/wpcontent/uploads/2012/08/MoodleMoot_Brasil_2008.pdf 2007: Anais disponíveis em htp://www.moodlemoot.com.br/2012/wpcontent/uploads/2012/08/MoodleMoot_Brasil_2007.pdf Biblioteca ABED :: Associação Brasileira de Educação a Distância (4) RBAAD : Revista Brasileira de Aprendizagem Aberta e a Distância (5) URL htp://www.abed.org.br/ 2013: Anais em formato HTML disponiveis em: htp://www.abed.org.br/congresso2013/cd/index1.htm 2012: Anais em formato HTML disponíveis em htp://www.abed.org.br/congresso2012/anais/anais_18CIAED.pdf 2011: Anais em formato HTML disponíveis em htp://www.abed.org.br/congresso2011/cd/index1.htm 2010: Anais em formato HTML disponíveis em htp://www.abed.org.br/congresso2010/cd/index1.htm 2009: Anais em formato HTML disponíveis em htp://www.abed.org.br/congresso2009/cd/index1.htm 2008: Anais em formato HTML disponíveis em htp://www.abed.org.br/congresso2008/cd/index1.htm 2007: Anais em formato HTML disponiveis em: htp://www.abed.org.br/congresso2007/trabalhos.asp htp://www.abed.org.br/revistacientfca 2013: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2013/2013_Edicao.htm 2012: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2012/2012_Edicao.htm 2011: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2011/2011_Edicaov10.htm 2010: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2010/2010_Edicao.htm 2009: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2009/2009_Edicao.htm 2008: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2008/2008_Edicao.htm 2007: Lista de publicações disponivel em htp://www.abed.org.br/revistacientfca/_Brazilian/edicoes/2007/2007_Edicao.htm Links das bases de dados na área de SURDEZ Biblioteca Deaf Studies Digital Journal URL htp://dsdj.gallaudet.edu/ Journal of Deaf Studies htp://jdsde.oxfordjournals.org Daw Sign Press htp://www.dawnsign.com/ Por Sinal htp://www.porsinal.pt/ Não foi considerado pois no site não apresenta os critérios de qualidade dos trabalhos submetdos. ETD - Educação Temátca Digital htp://www.fae.unicamp.br/revista/index.php/etd/index Links das bases de dados na área dede LINGUAGEM Biblioteca Dialnet :: Difusión de Alertas en la Red URL htp://dialnet.unirioja.es/ Scielo :: Scientfc Eletronic Library On-line htp://www.scielo.org/php/index.php Anpoll :: Associação Nacional de Pós–Graduação e Pesquisa em Letras e Linguístca htp://www.anpoll.org.br/revista/ Directory of Open Access Journals (DOAJ) htp://www.doaj.org Repositório Cientico de Acesso Aberto de Portugal (RCAAP) htp://www.rcaap.pt Não foi considerado pois no site não apresenta os critérios de qualidade dos trabalhos submetdos. Links das Base de dados na área de Teses e Dissertações Biblioteca Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) PUC-Rio :: Pontfcia Universidade Católica do Rio de Janeiro URL htp://bdtd.ibict.br/en/a-bdtd.html Realizamos uma busca também na Biblioteca Digital Brasileira de Teses e Dissertações (BDTD). Contudo, percebemos que a busca não retornou alguns estudos relevantes. Confrmamos que os trabalhos se encontravam na base de dados das próprias Universidades. Com isso, optamos por buscar em universidades que tvessem conceito Qualis 6 e 7 e outras nas quais deveriamos buscar os estudos relevantes. Consulta realizada em outubro de 2013. Cursos recomendados e reconhecidos: htp://www.capes.gov.br/cursos-recomendados. Parâmetros/Qualis 7 (Informátca) htp://www.maxwell.lambda.ele.puc-rio.br/Busca_etds.php PUC-RS :: Pontfcia Universidade Católica do Rio Grande do Sul UENP :: Universidade Estadual do Norte do Paraná htp://verum.pucrs.br/F?func=fnd-b-0&local_base=tde 7 (Linguístca e Letras) htp://biblioteca.uenp.edu.br UFMG :: Universidade Federal de Minas Gerais htp://www.bibliotecadigital.ufmg.br/dspace 3 (Agronomia), 4 (Direito). Selecionado pois havia um EMR nesta base. 6 (Letras), 7 (Computação) UFMT :: Universidade Federal de Mato Grosso htp://www.cedes.ufsc.br:8080/xmlui/handle/123456789/208 UFPE :: Universidade Federal de Pernambuco UFRGS :: Universidade Federal do Rio Grande do Sul UFRJ :: Universidade Federal do Rio de Janeiro UFSC :: Universidade Federal de Santa Catarina UNESP :: Universidade Estadual Paulista UNICAMP :: Universidade Estadual de Campinas USP :: Universidade de São Paulo htp://www.bdtd.ufpe.br/bdtd/tedeSimplifcado/tde_busca/index.php 6 (Computação) htp://www.lume.ufrgs.br/handle/10183/1 6 (Computação) htp://fenix2.ufrj.br:8991/ 7 (Computação) htps://repositorio.ufsc.br/ 6 (Linguístca) htp://www.athena.biblioteca.unesp.br/F/?func=fnd-b-0&local_base=BDTD 6 (Linguístca) htp://www.bibliotecadigital.unicamp.br/ htp://www.teses.usp.br htp://www.tcc.sc.usp.br 4 (Letras e Linguístca). Selecionado pois havia um EMR nesta base. 6 (Computação), 7 (Linguístca) 7 (Linguístca) C.2 Dados dos Estudos Mais Relevantes (EMR) já conhecidos APÊNDICE C.2 - Dados dos Estudos Mais Relevantes (EMR) já conhecidos Este quadro apresenta os estudos que deveriam aparecer na pesquisa com as strings, nas respectvas bases de dados. Além disso, listamos também as palavras-chave das quais derivamos as strings e se era obrigatório aparecer nas buscas. Esta obrigatoriedade foi defnida a partr da relação do foco da respectva pesquisa com a SLR. Id. p1UFMG15 SEMISH1 Tipo/ Base de dados Dissertação UFMG Artgo SEMISH Autor Referência Palavras-chave (português) Abreu, 2010 ABREU, P. M. de. (2010). Recomendações Recomendações para projetos de de sofware, tcs para apoio a alfabetzação com Libras, TICs. libras. Universidade Federal de Minas Gerais. Abreu, 2010a ABREU, P. M., PRATES, R. O., BERNARDINO, E. L. A. Recomendações de acessibilidade para projetos de TICs para alfabetzação de crianças surdas. In: XXXVII Seminário Integrado de Sofware e Hardware (SEMISH), 2010, Belo Horizonte. Palavras-chave Obrigatório aparecer? (inglês) Foi encontrado? (S/N) Sim Sim Sim Sim Id. Tipo/ Base de dados Artgo ACM Autor Referência Alves et al, 2013 p1ACM15; p2ACM21; p2HCIBIB2 Artgo ACM Alves et al, 2012a p1SD1; p2SD84 Artgo Science Direct Alves et al, 2012b ALVES, A. da S., FERREIRA, S. B. L., OLIVEIRA, V. S., Silveira, D. S., & RAPOSO, A. B. (2013). Communicability in Corporate Intranet : Analyzing the Interacton among Deaf Bilingual Users, 3(6), 294–303. ALVES, A. da S., FERREIRA, S. B. L., OLIVEIRA, V. S., & SILVA, D. S. (2012). Comunicabilidade em sistemas de informação web corporatvos: analisando a interação de surdos bilíngues. IHC 2012 Proceedings Full Paper, pp. 13–22. Cuiabá, MT, Brazil: IHC 2012 Proceedings. Full Paper. Aline da Silva Alves, Simone Bacellar Leal Ferreira, Viviane Santos de Oliveira, Denis S. da Silva, Evaluaton of Potental Communicaton Breakdowns in the Interacton of the Deaf in Corporate Informaton Systems on the Web, Procedia Computer Science, Volume 14, 2012, Pages 234-244 ArtRelev3 Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Accessibility, Deaf, Interface, Communicability Não Não Observação de usuários; Acessibilidade; Avaliação de Comunicabilidade; surdos; Interação HumanoComputador. Não Sim Observaton of users; Accessibility; Usability; Deaf; Human-computer interfaces. Não Sim Id. Tipo/ Base de dados ArtRELEV5 Autor Referência Amorim e LIns, 2011 AMORIM, J. de A., & LINS, H. A. de M. (2011). Educação e surdez: aspectos da ciência cognitva aplicados a problemas de acessibilidade. Revista de Educação PUC-Campinas, 16(2), 191–199. AMORIM, M. L. C. de. (2012). Estlos de Interação Web de Navegação e Ajuda Contextual para Usuários Surdos em Plataformas Marcelo Lúcio Correia de Amorim Universidade Federal de Pernambuco. BARBOSA, G. A. R. (2012). Caracterização da interação social de usuários surdos em redes sociais online: um estudo de caso no orkut. Universidade Federal de Minas Gerais. TrabRELEV 2 Dissertação UFPE Amorim, 2012 p1UFMG4 Dissertação UFMG Barbosa, 2012 Palavras-chave (português) Técnicas de Criatvidade, Engenharia de Sofware, Inovação, Surdos, Educação a Distância. Técnicas de Criatvidade, Engenharia de Sofware, Inovação, Surdos, Educação a Distância. Redes Sociais Online, Comunidades Online, Sociabilidade, Comportamento de Usuários, Surdos. Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Creatvity Techniques, Sofware Engineering, Innovaton, Deaf, Distance Educaton. Não Não Creatvity Techniques, Sofware Engineering, Innovaton, Deaf, Distance Educaton. Não Não Online Social Networks, Online Communites, Sociability, User Behavior, Deaf. Não Não Id. p1p2UFSC14 Tipo/ Base de dados Tese UFSC p1ACM6; p2ACM9 Artgo IHC TrabRELEV5 TCC ArtRELEV8 Artgo Autor Barbosa, Prates, Correa, 2012 Referência Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) BATISTA, C. R. (2008). Modelo e Diretrizes para o processo de design de interface web adaptatva. Universidade Federal de Santa Catarina. design, hipermídia, educação a distância, surdo, Objetos de Aprendizagem, hiperlivro Comunidades Online, Sociabilidade, Surdos, Engenharia Semiótca, Redes Sociais. Sem palavras-chave cadastradas design, hypermedia, distance educaton, deaf, Learning Objects, hyperbook Não Sim Online Communites, Sociability, Engineering, Social Networks. Não Sim Sem palavras-chave cadastradas Não Não Acessibilidade, Inclusão, Tecnologia, Surdez, Cidadania, Responsabilidade Social Accessibility, Responsibility, Inclusion, Technology, Deafness, Citzenship, Social Responsibility Sim Não. Fora do período de busca. Barbosa, G. A. R., & Prates, R. O. (2011). Análise da Sociabilidade de Comunidades Online para os Usuários Surdos : Um Estudo de Caso do Orkut. IHC+CLIHC’2011, 237–246. CASTILHO, A. L. C. (2011). Um estudo de avaliação do ambiente virtual de aprendizagem (AVA) Moodle através de um caso de uso. Universidade Aberta do Brasil. CORRADI, J. A. M., & VIDOTTI, S. A. B. G. (2003). Ambientes informacionais digitais acessíveis a minorias linguístcas surdas: cidadania e/ou responsabilidade social, 2301–2320. Id. ArtRELEV9 Tipo/ Base de dados Artgo TrabRELEV 7 Dissertaçã o Autor Corradi et al, 2007 Corradi, 2007 Referência Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) CORRADI, J. A. M., & VIDOTTI, S. A. B. G. (2007). Arquitetura da informação para ambientes informacionais digitais inclusivos: acessibilidade para minorias linguístcas surdas. VII CINFORM - Encontro Nacional de Ensino e Pesquisa da Informação. CORRADI, J. A. M. (2007). Ambientes informacionais digitais e usuários surdos: questões de acessibilidade. Universidade Estadual Paulista. Arquitetura da informação. Ambientes informacionais digitais. Acessibilidade. Minorias lingüístcas surdas Arquitetura da Informação Digital Inclusiva. Modelo para Análise e Desenvolvimento de Ambientes Informacionais Digitais Inclusivos MADAIDI. Sem palavras-chave cadastradas Sim Não Accessibility. Digital informaton environments. Deaf Studies. Informaton and Communicaton Technology. Inclusive Digital Informaton Architecture. Model for Analysis and Development of Inclusive Digital Informaton Environments. Sim Não Id. p2ACM51 Tipo/ Base de dados Artgo Autor Referência Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Correa et al, 2012 CORREA, L. P. D., COUTINHO, F. R. S., PRATES, R., & CHAIMOWICZ, L. (2012). Uso do MIS para avaliar signos sonoros – Quando um problema de comunicabilidade se torna um problema de acessibilidade. IHC 2012 - Full Paper, November 5. Método de Inspeção Semiótca, Comunicabilidade, Acessibilidade, Engenharia Semiótca, Signos Sonoros, Jogos Digitais. Acessibilidade de Jogos, Surdos e Defcientes Auditvos, Método de Inspeção Semiótca, Sinestesia. Semiotc Inspecton Method, Communicability, Accessibility, Semiotc Engineering, Sound Signs, Digital Games. Game Accessibility, Deaf and Hard of Hearing, Semiotc Inspecton Method, Synaesthesia. Sem palavraschave cadastradas Não Sim TrabRELE V6 Dissertação UFMG Coutnho, 2012 COUTINHO, F. R. S. (2012). Revisitando a acessibilidade de jogos para jogadores surdos ou com defciência auditva. Universidade Federal de Minas Gerais. Não Não ArtRELEV 10 Artgo Oliveira, et al, 2010 DIAS, J. S., OLIVEIRA, D. R. R., MULLER, M. F., PRATES, R. O., BERNARDINO, E. Avaliaçao de acessibilidade do sito da Receita Federal para Defcientes Auditvos. In: IHC, 2010, BHte. p. 91-102. Não Não Sem palavraschave cadastradas Id. p1ACM27; p2ACM16 Tipo/ Base de dados Artgo ACM Autor Referência Martns e Filgueiras, 2010 MARTINS, S., & FILGUEIRAS, L. (2010). Avaliando modelos de interação para comunicação de defcientes auditvos. IHC 2010 – IX Simpósio de Fatores Humanos em Sistemas Computacionais., IHC2010. USP7 Dissertação Martns, 2012 MARTINS, S. J. O. (2012). CLAWS: uma ferramenta colaboratva para apoio à interação de surdos com páginas da web. Universidade de São Paulo. p1ACM19; p1SPR4; p2ACM49; p2SPR4 SPRINGER ACM Monteiro Alves, Souza, 2013 MONTEIRO, I. T., ALVES, A. da S., & de Souza, C. S. (2013). Using mediated communicaton to teach vocatonal concepts to deaf users. UAHCI’13: Proceedings of the 7th internatonal conference on Universal Access in Human-Computer Interacton: applicatons and services for quality of life - Volume Part III. Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Acessibilidade, Defcientes Auditvos, Comunicação Mediada e Interação acessível. acessibilidade, defcientes auditvos, surdos, comunicação mediada, interação acessível, interação humanocomputador sem palavraschave. Somente resumo em inglês. Não Sim accessibility, hearing impairment, deaf, mediated communicaton, interacton accessible, humancomputer interacton Mediated communicaton, deaf learners, vocatonal educaton Não Sim Não Sim Id. p1ACM27; p2ACM16 Id. Tipo/ Base de dados Artgo ACM ArtRELEV13 Tipo/ Base de dados Artgo ArtRELEV14 p1CAPES21; p1DOAJ1; Autor Referência Martns e Filgueiras, 2010 MARTINS, S., & FILGUEIRAS, L. (2010). Avaliando modelos de interação para comunicação de defcientes auditvos. IHC 2010 – IX Simpósio de Fatores Humanos em Sistemas Computacionais., IHC2010. Autor Referência Palavras-chave (português) Palavras-chave (inglês) Acessibilidade, Defcientes Auditvos, Comunicação Mediada e Interação acessível. Palavras-chave (português) sem palavraschave. Somente resumo em inglês. Deaf, Moodle, virtual learning environments Moreto,e t al MORETTO, L. A. M., QUEVEDO, S. R. P. de, BUSARELLO, R., SAVI, R., & ULBRICHT, V. R. (2010, September). Característcas para o Aprendizado do Aluno Surdo em Ambientes Web com base no Moodle. Congresso Nacional de Ambientes Hipermídia para Aprendizagem. Pelotas, RS. Surdos, Moodle, ambientes virtuais de aprendizagem Artgo Pereira, Cerny, Quadros, 2010 PEREIRA, A. T. C. P., CERNY, R. Z., & QUADROS, R. M. de. (2010). O Ambiente Virtual de EnsinoAprendizagem do curso LetrasLIBRAS. Revista TécnicoCientfca do IFSC, v. 1(n. 1), 52–60. ETD Quadros, Stumpf, QUADROS, R. M. de, & STUMPF, M. R. (2009). O primeiro curso de Educação a distância, ambiente virtual de ensinoaprendizagem, língua de sinais, surdos Língua de sinais; Bilíngüe; Educação Palavras-chave (inglês) Sign language; bilingual; E- Obrigatório aparecer? Encontrado? (S/N) Não Sim Obrigatório aparecer? Encontrado? (S/N) Não Não. Fora das bases de busca. Sim Não. Fora das bases de busca. Sim Sim Id. p1ACM27; p2ACM16 Tipo/ Base de dados Artgo ACM p2ETD1; p2ETD2 Id. p1UFSC6; p2UFSC6 p1UFSC7 Tipo/ Base de dados Tese Dissert. Autor Referência Martns e Filgueiras, 2010 MARTINS, S., & FILGUEIRAS, L. (2010). Avaliando modelos de interação para comunicação de defcientes auditvos. IHC 2010 – IX Simpósio de Fatores Humanos em Sistemas Computacionais., IHC2010. 2009 graduação em Letras Língua Brasileira de Sinais: educação a distância. Educação Temátca Digital, v.10, n.2(junho), 169–185. Palavras-chave (português) Acessibilidade, Defcientes Auditvos, Comunicação Mediada e Interação acessível. a distancia Palavras-chave (inglês) sem palavraschave. Somente resumo em inglês. Obrigatório aparecer? Encontrado? (S/N) Não Sim learning Autor Referência Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Quevedo, 2013 QUEVEDO, S. R. P. de, & ULBRICHT, V. R. (2013). Narratvas hipermidiátcas para ambiente virtual de aprendizagem inclusivo. UFSC Sim RIBAS, A. C. (2008). A interface do ambiente virtual de ensinoaprendizagem do curso LetraLibras segundo as característcas da cultura surda e os critérios de usabilidade. Universidade Federal de Santa Catarina. Narratves, Deaf, Inclusive Learning Management System interface, ergonomic criteria usability, sign language Sim Ribas, 2008 Narratvas, Surdos, Ambiente Virtual de Ensino Aprendizagem Inclusivo interface, critérios ergonômicos, libras Sim Sim Id. p1UFSC6; p2UFSC6 Tipo/ Base de dados Tese Autor Referência Palavras-chave (português) Palavras-chave (inglês) Obrigatório aparecer? Encontrado? (S/N) Quevedo, 2013 QUEVEDO, S. R. P. de, & ULBRICHT, V. R. (2013). Narratvas hipermidiátcas para ambiente virtual de aprendizagem inclusivo. UFSC Narratvas, Surdos, Ambiente Virtual de Ensino Aprendizagem Inclusivo Design, Hipermídia, Usabilidade, Curso on-line, Surdo, Inclusão Social, Site. design, hipermídia, educação a distancia, surdo, Objetos de Aprendizagem, hiperlivro Narratves, Deaf, Inclusive Learning Management System Sim Sim Sim Não. Sim Sim TrabRelev15 TCC Silva, 2007 SILVA, M. R. (2007). O processo de design do site do curso Letras/Libras: teorias que fundamentam e aplicações prátcas. Universidade Federal de Santa Catarina. p1p2UFSC14 Dissert. Silva. 2010 SILVA, M. R. da. (2010). Contribuições do design para a evolução do hiperlivro do AVEA-LIBRAS. 2010. Universidade Federal de Santa Catarina. design, hypermedia, distance educaton, deaf, Learning objects, hyperbook C.3 Buscas de testes nas bases de dados - Resultados APENDICE C.3 - Buscas de testes nas bases de dados - Resultados Id. Combinação de strings Validação 1 "educação a distância" OR "educação online" OR interface AND "Surdos" OR "Defciente auditvo" OR "Surdez" OR "defciência auditva" Trazia poucos resultados, em média, 30 estudos. Consideramos que seria importante incluir outras strings na combinação. 2 (educação OR ensino OR design OR educaton OR teaching) AND (surdo OR surdez OR auditva OR auditvo OR deaf OR deafness OR hearing) AND (online OR ead OR distance OR distância) Muitos resultados (em média 5000) e alguns relevantes não apareceram). 3 (educação OR ensino OR design OR interface OR interação OR EAD OR aprendizagem OR aprendizado OR tecnologia OR IHC OR e-learning OR elearning) AND (online OR on-line OR internet OR distancia OR virtual OR web) AND (surdo OR surda OR surdez OR auditva OR auditvo) (educaton OR teaching OR design OR interface OR interacton OR EAD OR learning OR technology OR HCI OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distance OR virtual OR web) AND (deaf OR deafness OR hearing) String7 gerada com ajuda da Simone, com sugestão de QP da SLR mais ampla e uma das QE ser sobre EAD e surdos. 4 5 6i 7 (educação OR ensino OR design OR interface OR interação OR EAD OR aprendizagem OR aprendizado OR tecnologia OR IHC OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distancia OR virtual OR web) AND (surdo OR surda OR surdez OR auditva OR auditvo) (educaton OR teaching OR design OR interface OR interacton OR EAD OR learning OR technology OR HCI OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distance OR virtual OR web) AND (deaf OR deafness OR hearing) (educação OR ensino OR design OR interface OR interação OR EAD OR aprendizagem OR aprendizado OR tecnologia OR IHC OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distancia OR virtual OR web) AND (surdo OR surda OR surdez OR ((defciente OR defciência) AND (auditva OR auditvo)) Essa veio muito trabalho que considerou hearing. Então resolvemos mudar a estrategia para "defciente auditvo" e "defciência auditva". Em ingles fca "Hard of Hearing" OR "Hard Hearing" 8 (educaton OR teaching OR design OR interface OR interacton OR EAD OR learning OR technology OR HCI OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distance OR virtual OR web) AND (deaf OR deafness OR "Hard of Hearing" OR "Hard Hearing") 9 (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distancia OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditva OR auditvos OR auditvo OR auditvas) 10 (educação | ensino | EAD | aprendizagem | aprendizado | "e-learning" | elearning) & (online | "on-line" | internet | distancia | virtual) & (surdo | surdos | surda | surdas | surdez | auditva | auditvos | auditvo | auditvas) 11 (educação | ensino | EAD | aprendizagem | aprendizado | elearning) & (online | internet | distância | virtual) & (surdo | surdos | surda | surdas | surdez | auditva | auditvos | auditvo | auditvas) 12 (educação | ensino | EAD | aprendiza* | elearning) & (online | internet | distância | virtual) & (surd* | auditv*) 13 (educação OR ensino OR EAD OR aprendizagem OR aprendizado OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR distancia OR virtual) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditva OR auditvos OR auditvo OR auditvas) Id. 14 Combinação de strings (design OR interface OR interação OR tecnologia OR tecnologias OR IHC) AND (online OR "on-line" OR internet OR virtual OR web) AND (surdo OR surdos OR surda OR surdas OR surdez OR auditva OR auditvos OR auditvo OR auditvas) (design | interface | interação | tecnologia | tecnologias | IHC) & (online | "on-line" | internet | virtual | web) & (surdo | surdos | surda | surdas | surdez | auditva | auditvos | auditvo | auditvas) 15 16 17 (design | interface | interação | tecnologi* | IHC) & (online | internet | virtual | web) & (surd* | auditv*) (educaton OR teaching OR learning OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR virtual OR distance) AND (deaf OR deafness OR "Hard of Hearing" OR "Hard Hearing") (design OR interface OR interacton OR technology OR HCI) AND (online OR "on-line" OR internet OR virtual OR web) AND (deaf OR deafness OR "Hard of Hearing" OR "Hard Hearing") (educaton OR teaching OR learning OR "e-learning" OR elearning) AND (online OR "on-line" OR internet OR virtual OR distance) AND (deaf OR deafness OR "Hard of Hearing" OR "Hard Hearing") Validação C.4 Tabela de resultados de SLRs já existentes com pesquisa em PORTUGUÊS APÊNDICE C.4 - Tabela de resultados de SLRs já existentes com pesquisa em português Combinação de strings Total encontrado Total etapa 1 1 " Ambiente online de aprendizagem" " Ambiente virtual de aprendizagem" " AVA" " Ambiente informacional digital" " Ambiente de aprendizagem" " Moodle" " curso on-line" 0 - 2 "Revisão Sistemátca da Literatura" + surdez + design 21 3 3 "Revisão Sistemátca da Literatura" + surdo + design 6 3 4 "Revisão Sistemátca da Literatura" + surdo + design + ouvinte 4 3 5 "Revisão Sistemátca da Literatura" + surdez + "educação a distância" 4 3 Nome do arquivo ou comentário sobre exclusão Sua pesquisa - “Ambiente online de aprendizagem” “Ambiente virtual de aprendizagem” “AVA” "Ambiente informacional digital" "Ambiente de aprendizagem" "Moodle" “curso on-line” não encontrou nenhum artgo correspondente. Grande parte dos trabalhos tratava de aspectos clínicos e não de design. SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessibi l_usabilidade_emocao.pdf BRITO_2012_teseSLR_Modelo_refer_artef ato_acesso_surdos_audiovisual.pdf "ANAIS DO XII CONgreSSO CIeNtfICO e A XI MOStrA De eXteNSãO (2010)" SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessibi l_usabilidade_emocao.pdf Combinação de strings Total encontrado Total etapa 1 6 "Revisão Sistemátca da Literatura" + surdo + "educação a distância" 3 2 7 "Revisão Sistemátca da Literatura" + surdez + "Ambiente online de aprendizagem" "Revisão Sistemátca da Literatura" + surdo + "Ambiente online de aprendizagem" "Revisão Sistemátca da Literatura" + surdo + "Ambiente virtual de aprendizagem" 0 - Nome do arquivo ou comentário sobre exclusão SCHNEIDER_2012_dissertSLR_AVA_cogni cao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessi bil_usabilidade_emocao.pdf - 0 - - 4 3 10 "Revisão Sistemátca da Literatura" + "defciente auditvo" + design 3 1 SCHNEIDER_2012_dissertSLR_AVA_cogni cao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessi bil_usabilidade_emocao.pdf BRITO_2012_teseSLR_Modelo_refer_arte fato_acesso_surdos_audiovisual.pdf - 11 "Revisão Sistemátca da Literatura" + "defciente auditvo" + design + ouvinte "Revisão Sistemátca da Literatura" + surdez + design + "Interação Humano-Computador" "Revisão Sistemátca da Literatura" + surdez + design + ouvinte 2 1 1 1 5 2 0 - 8 9 12 13 14 "Revisão Sistemátca da Literatura" + "defciente auditvo" + "Interação Humano-Computador" SCHNEIDER_2012_dissertSLR_AVA_cogni cao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessi bil_usabilidade_emocao.pdf SCHNEIDER_2012_dissertSLR_AVA_cogni cao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessi bil_usabilidade_emocao.pdf - Combinação de strings 15 16 "Revisão Sistemátca da Literatura" + "defciente auditvo" + ihc "Revisão Sistemátca da Literatura" + "comparatvo" + surdo + ouvinte 0 4 2 17 "Revisão Sistemátca da Literatura" + surdez + "Ambiente informacional digital" "Revisão Sistemátca da Literatura" + "defciente auditvo" + "Ambiente informacional digital" "Revisão Sistemátca da Literatura" + surdez + "sistema de interação" "Revisão Sistemátca da Literatura" + surdez + design +site 0 - Nome do arquivo ou comentário sobre exclusão SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf BRITO_2012_teseSLR_Modelo_refer_ar tefato_acesso_surdos_audiovisual.pdf - 0 - - 0 - - 13 2 18 19 20 Total encontrado Total etapa 1 21 "Revisão Sistemátca da Literatura" + surdez + "Tecnologias assistvas" 6 2 22 "Revisão Sistemátca da Literatura" + surdez + "Tecnologias para surdos" "Revisão Sistemátca da Literatura" + "Tecnologias para surdos" 0 - BERG_2013_dissertSLR_Avaliacao_aces sibil_usabilidade_emocao.pdf BRITO_2012_teseSLR_Modelo_refer_ar tefato_acesso_surdos_audiovisual.pdf BERG_2013_dissertSLR_Avaliacao_aces sibil_usabilidade_emocao.pdf SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf - 0 - - 23 Combinação de strings Total encontrado Total etapa 1 24 "Revisão Sistemátca da Literatura" + surdez + Tecnologias 24 3 25 "Revisão Sistemátca da Literatura" +surdos +Tecnologias 16 6 (1 foi repetdo) 26 "Revisão Sistemátca da Literatura" + "defciente auditvo" + Tecnologias "Revisão Sistemátca da Literatura" + surdos + design + diretrizes 3 2 (1 foi repetdo) 2 27 7 Nome do arquivo ou comentário sobre exclusão BERG_2013_dissertSLR_Avaliacao_ace ssibil_usabilidade_emocao.pdf SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf BRITO_2012_teseSLR_Modelo_refer_a rtefato_acesso_surdos_audiovisual.pdf XAVIER_BARBOSA_PRATES_2012_SLR_ Acessibilidade_SBC SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf BERG_2013_dissertSLR_Avaliacao_ace ssibil_usabilidade_emocao.pdf BRITO_2012_teseSLR_Modelo_refer_a rtefato_acesso_surdos_audiovisual.pdf ARAUJO_2012_Solução para Geração Automátca de Trilhas em Língua Brasileira de Sinais em C SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf XAVIER_BARBOSA_PRATES_2012_SLR_ Acessibilidade_SBC SCHNEIDER_2012_dissertSLR_AVA_cog nicao_DA.pdf Combinação de strings Total encontrado Total etapa 1 28 "Revisão Sistemátca da Literatura" + surdos + interface 12 4 29 "Revisão Sistemátca da Literatura" + "defciente auditvo" + interface 3 1 30 "Revisão Sistemátca da Literatura" + surdos + modelo + design 10 5 Nome do arquivo ou comentário sobre exclusão XAVIER_BARBOSA_PRATES_2012_SLR_Ac essibilidade_SBC SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf BERG_2013_dissertSLR_Avaliacao_acessib il_usabilidade_emocao.pdf ARAUJO_2012_Solução para Geração Automátca de Trilhas em Língua Brasileira de Sinais em C SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf XAVIER_BARBOSA_PRATES_2012_SLR_Ac essibilidade_SBC BERG_2013_dissertSLR_Avaliacao_acessib il_usabilidade_emocao.pdf SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf ARAUJO_2012_Solução para Geração Automátca de Trilhas em Língua Brasileira de Sinais em C BRITO_2012_teseSLR_Modelo_refer_artef ato_acesso_surdos_audiovisual.pdf Combinação de strings Total encontrado Total etapa 1 "Revisão Sistemátca da Literatura" + "defciente auditvo" + modelo + design "Revisão Sistemátca da Literatura" + surdos + recomendacoes + design "Revisão Sistemátca da Literatura" + "defciente auditvo" + recomendacoes + design "Revisão Sistemátca da Literatura" + surdos + recomendacoes + ihc 3 1 0 - Nome do arquivo ou comentário sobre exclusão SCHNEIDER_2012_dissertSLR_AVA_cognic ao_DA.pdf - 0 - - 0 - - 35 "Revisão Sistemátca da Literatura" + "defciente auditvo" + recomendacoes + ihc 0 - - 36 "Revisão Sistemátca da Literatura" +surdos +ihc + diretrizes 1 1 37 0 - 38 "Revisão Sistemátca da Literatura" + surdos + "Arquitetura da informação" "Revisão Sistemátca da Literatura" + surdos + ouvintes + design XAVIER_BARBOSA_PRATES_2012_SLR_Ac essibilidade_SBC - 0 - - 39 "Systematc Literature Review" + deaf + design + ihc 3 1 Artgo da Soraia e Raquel sobre SLR: Applicability of the semiotc inspecton method: a systematc literature review Artgo do Flávio, Raquel, Chaimo e Luiz Damilont: Uso do MIS para avaliar signos sonoros: quando um problema de comunicabilidade se torna um problema de acessibilidade BITTENCOURT_at_all_2013_SLR_Designin g for Diferent Users and Multple Devices 158 53 31 32 33 34 Total C.5 Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS APENDICE C.5 - Tabela de resultados de SLRs já existentes com pesquisa em INGLÊS Id. Combinação de strings Total Enc. 1 "Systematc Literature Review" + deafness + "Distance Educaton" 2 Total Etapa1 0 2 "Systematc Literature Review" + deaf + "Distance Educaton" 7 0 3 "Systematc Literature Review" + "Hard of Hearing" + "Distance Educaton" 2 0 4 "Systematc Literature Review" + deafness + "environment web" 0 - 5 "Systematc Literature Review" + "Hard of Hearing" + "environment web" 0 - 6 "Systematc Literature Review" + deaf + "environment web" 1 0 7 "Systematc Literature Review" + deafness + "environment web" 0 - 8 "Systematc Literature Review" + "Hard of Hearing" + design +ihc 0 - 9 "Systematc Literature Review" + deaf +design + "Distance Educaton" 7 1 10 "Systematc Literature Review" + "Hard of Hearing"+design + "Distance Educaton" 2 - 11 "Systematc Literature Review" + deaf +design + "environment web" 1 0 12 "Systematc Literature Review" + deaf + design + site 137 - 13 "Systematc Literature Review" + deaf + design +web 129 - 14 "Systematc Literature Review" +deaf +interface +ihc 3 2 Nome do arquivo ou comentário sobre exclusão Livro e um clínico Livros Livro SHEEBY_2008_SLR_Virtual_environm ents Um era livro. Não foi boa string. Veio muita coisa que não tem nada a ver. Não foi boa string. Veio muita coisa que não tem nada a ver. Resultado identco ao 4. 15 "Systematc Literature Review" + deaf +ihc 3 - 16 "Systematc Literature Review" + deaf + model + design 196 - 17 SRL + deaf + design + ihc 10 0 18 "Systematc Literature Review" + deaf + "Sofware Recommendatons" 0 - 19 "Systematc Literature Review" + deaf + interface 56 0 20 "Systematc Literature Review" + Deaf + "Human-computer interfaces" 0 - 21 "Systematc Literature Review" + deaf + design + "environment" 186 1 22 "Systematc Literature Review" + interface + "Hard of Hearing" 0 - 742 4 Total Artgo da Soraia e Raquel sobre SLR: Applicability of the semiotc inspecton method: a systematc literature review Artgo do Flávio, Raquel, Chaimo e Luiz Damilont: Uso do MIS para avaliar signos sonoros: quando um problema de comunicabilidade se torna um problema de acessibilidade BITTENCOURT_at_all_2013_SLR_Des igning for Diferent Users and Multple Devices Não foi boa string. Veio muita coisa que não tem nada a ver. Não foi boa string. Veio muita coisa que não tem nada a ver. Não foi boa string. Veio muita coisa que não tem nada a ver. SHEEHY_2008_SLR_Virtual_environ ments 177 APÊNDICE D – Participantes SLR APÊNDICE D - Identfcação dos partcipantes da SLR Título da SLR: Informações para contato Educação a distância, design e tecnologias assistvas para surdos: um panorama de 2007 a 2013 Letcia Capelão <[email protected]> - Faculdade de Letras (FALE)/Grupo PENSI/DCC/UFMG Hugo Leonardo <[email protected]> - Grupo Texto Livre/FALE/UFMG Orientadora: Reinildes Dias <[email protected]> FALE/UFMG Data de realização Período pesquisado Colaboradores: Versão 1 - Outubro de 2013 2007-2013 Raquel Oliveira Prates <[email protected]> Karina Hadassa < [email protected]> Aline Santos <[email protected]> Viviane Santos de Oliveira Veiga <[email protected]> Silvane Gomes <[email protected]> Integrantes do grupo Pensi (htp://pensi.dcc.ufmg.br) Lídia Vieira < [email protected] > Natália Santos <[email protected]> Simone Xavier < [email protected]> Soraya Reis <[email protected]> 179 APÊNDICE E – Aplicativo desenvolvido para SLR Figura E.1 – Tela do programa com a exibição dos trabalhos Fonte: Aplicativo desenvolvido para esta SLR A tela de avaliação estava dividida na parte de extração dos dados (análise) e avaliação da qualidade. As figuras seguintes apresentam o design destas funcionalidades: As abas de análise começam a partir das questões 4 a 29, solicitadas para preenchimento dos dados relacionados aos trabalhos. As questões 1 a 3 se referiam ao título, autor e tipo de base de dados (seguindo o mesmo padrão da planilha). Após uma avaliação informal de usabilidade, elas foram transferidas para a parte superior da tela, se caracterizando com uma informação ubíqua, ou seja, visível em todas as fases de análise e avaliação. Logo, a partir da análise desses dados era possível realizar a avaliação da qualidade do trabalho. Figura E.2 – Tela de análise do trabalho – Visão Geral Fonte: Aplicativo desenvolvido para esta SLR Figura E.3 – Tela de análise do trabalho – Características Fonte: Aplicativo desenvolvido para esta SLR Figura E.4 – Tela de análise do trabalho – Metodologia de Avaliação Fonte: Aplicativo desenvolvido para esta SLR Figura E.5 – Tela de análise do trabalho – Resultados Fonte: Aplicativo desenvolvido para esta SLR Figura E.6 – Tela do programa com a exibição dos trabalhos Fonte: Aplicativo desenvolvido para esta SLR Figura E.7 – Tela de avaliação da qualidade – Visão Geral Fonte: Aplicativo desenvolvido para esta SLR Figura E.8 – Tela de avaliação da qualidade – Características Fonte: Aplicativo desenvolvido para esta SLR Figura E.9 – Tela de avaliação da qualidade – Metodologia da avaliação Fonte: Aplicativo desenvolvido para esta SLR Figura E.10 – Tela de avaliação da qualidade – Resultados Fonte: Aplicativo desenvolvido para esta SLR