Alfabetização e inclusão em quadros sensoriomotores
Transcrição
Alfabetização e inclusão em quadros sensoriomotores
III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Alfabetização e inclusão em quadros sensoriomotores: Novos recursos de eficácia comprovada e diretrizes para implementação na escola Fernando Capovilla (Ph.D., Livre docente) Universidade de São Paulo A palestra apresenta recursos recentemente disponibilizados para comunicação, escolarização e inclusão de crianças que apresentam quadros neuromotores (ex.: paralisia cerebral, esclerose lateral amiotrófica), neurossensoriais (ex.: surdez congênita ou pré-lingual) e/ou neurolingüísticos (ex.: afasia, dislexias do desenvolvimento e adquirida), bem como para crianças com desenvolvimento sensoriomotor normal, mas que apresentam persistentes dificuldades de aquisição de leitura e escrita. Apresenta os dados experimentais que comprovam a grande eficácia Fernando Capovilla desses recursos, explica como implementar esses recursos no dia a dia da escola, e discute as implicações desses recursos e achados para a política de ensino. A título de ilustração, para crianças com paralisia cerebral a palestra apresenta recursos como: 1) sistemas de multimídia para comunicação alternativa pictossilábica falante com voz digitalizada, operáveis diretamente por tela sensível ao toque ou indiretamente por varredura e seleção pelo piscar, movimento grosso ou gemido (Capovilla, Capovilla, & Macedo, 2002; Capovilla, Capovilla, Macedo, & Duduchi, 2002), que permitem à criança participar ativamente das atividades sociais e acadêmicas; 2) procedimentos avançados de alfabetização fônica eficaz (Capovilla & Capovilla, 2000b, 2002a); 3) sistemas computadorizados falantes de escrita alfabética assistida que tiram vantagem das habilidades alfabéticas introduzidas pelo ensino fônico e substituem os sistemas pictoriais como recurso fundamental de comunicação e educação da criança com paralisia cerebral (Capovilla, Gonçalves, & Macedo, 1998; Gonçalves, Macedo, Sennyey, & Capovilla, 2000) 4) sistemas de avaliação psicométrica e neuropsicológica de competência de leitura silenciosa e em voz alta, de escrita, de vocabulário receptivo-auditivo e expressivo, de consciência fonológica por produção oral e por escolha de figuras, e de uma série de outras habilidades de capital importância à alfabetização e escolarização plenas da criança com paralisa cerebral, que permitem avaliar os grandes progressos educacionais obtidos pela introdução dos recursos de comunicação e alfabetização descritos (Capovilla, 2002a; Capovilla & Capovilla, 2002a; Capovilla, Thiers, & Macedo, 2002; Gonçalves, Macedo, Sennyey, & Capovilla, 2000; Lima et al., 2000) Para crianças surdas, a palestra apresenta recursos educacionais derivados de diferentes filosofias da educação (Capovilla, 2001; Capovilla & Capovilla, 2002g; Capovilla, Capovilla, Viggiano et al., 2002) como: 1) testes de aplicação coletiva escolar para avaliação do desenvolvimento da leitura e escrita em Português e do vocabulário receptivo-visual e expressivo em Libras (Capovilla 1 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 & Capovilla, 2001; Capovilla & Viggiano, 2002) normatizados para a população escolar surda do ensino fundamental (i.e., para alunos de 7 a 22 anos de idade); 2) sistemas de avaliação do desenvolvimento da linguagem oral e de sinais (incluindo vocabulário receptivo e expressivo) em Português e Libras (Capovilla, Viggiano, Capovilla, & Macedo, 2002). 3) sistemas de indexação, busca e recuperação lexical de sinais por menus quirêmicos de sinais (Capovilla, Duduchi et al., 2001, no prelo, in press) que permitem a crianças surdas consultar dicionários de sinais da Libras e de outras línguas e resgatar diretamente os sinais desses dicionários sem precisar da mediação da escrita alfabética em Português ou Inglês; 4) o dicionário enciclopédico ilustrado trilíngüe da Língua de Sinais Brasileira (Capovilla & Raphael, 2001a, 2001b) com 9.500 verbetes e definições, thesaurus Inglês-Português, 40.000 ilustrações da forma e significado dos sinais, capítulos sobre educação e surdez e sobre tecnologia e surdez; 5) a coleção de 19 livros intitulada O mundo do surdo em Libras (Capovilla & Luz, 2002a, 2002b, 2002c, 2002d, 2002e, 2002f, 2002g; Capovilla, Raphael, 2002a, 2002b, 2002c, 2002d, 2002e, 2002f, 2002g, 2002h, 2002i, 2002j; Capovilla & Viggiano, 2002) que permite verter o currículo escolar para Libras e obter educação bilíngüe de qualidade; 6) a enciclopédia digital da Libras (Capovilla, Duduchi, & Rozados, 2002), com 5.600 sinais da Libras acompanhados de seus respectivos verbetes em Português e Inglês e das ilustrações da forma e significado dos sinais, da classificação gramatical, definição, e exemplos de uso funcional, e finalmente da descrição detalhada do sinal. Para crianças com dificuldades de aquisição de leitura e escrita (Capovilla & Capovilla, 2002a, 2002a, 2002d), os recursos de avaliação incluem avaliação auditiva (Portugal & Capovilla, 2002), de processamento auditivo central (Capovilla, 2002b), de discriminação fonêmica e velocidade de processamento fonológico e de memória fonológica (Capovilla & Capovilla, 2002f; Capovilla, Macedo, & Charin, 2001), de consciência fonológica por produção oral e por escolha de figuras e vocabulário receptivo-auditivo (Capovilla & Capovilla, 2002c; Capovilla, Macedo, & Capovilla, 2002a, 2002b), e decodificação grafofonêmica (Capovilla, Capovilla, & Macedo, 2001b). Os procedimentos de intervenção incluem mais de uma centena de novos procedimentos baseados no desenvolvimento de consciência fonológica (Capovilla & Capovilla, 1999, 2000a) e método fônico (Capovilla & Capovilla, 2000b, 2002; 2002d). Referências bibliográficas Capovilla, A. G. S., & Capovilla, F. C. (2000a). Efeitos do treino de consciência fonológica em crianças com baixo nível sócio-econômico. Psicologia: Reflexão e Crítica, 13(1), 7-24 Capovilla, A. G. S., & Capovilla, F. C. (2000b). Problemas de leitura e escrita: Como identificar, prevenir e remediar numa abordagem fônica (2a. edição). São Paulo, SP: MemnonFAPESP. 2 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Capovilla, A. G. S., & Capovilla, F. C. (2002a). Alfabetização: método fônico. São Paulo, SP: Memnon, Fapesp-CNPq. Capovilla, A. G. S., & Capovilla, F. C. (2002b). Etiologia, avaliação e intervenção em dislexia do desenvolvimento. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 49-75). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, A. G. S., & Capovilla, F. C. (2002c). Instrumentos para avaliar desenvolvimento dos vocabulários receptivo e expressivo, e consciência fonológica, normatizados de maternal a segunda série e validados com medidas de leitura e escrita. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 305-316). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, A. G. S., & Capovilla, F. C. (2002d). Método fônico para prevenção e tratamento de atraso de leitura e escrita: Efeito em crianças de 4 a 8 anos. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 155-168). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, A. G. S., & Capovilla, F. C. (2002e). Perfil cognitivo de crianças com atraso de escrita no International Dyslexia Test. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 283-298). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C. (2001). O implante coclear em questão: Benefícios e problemas, promessas e riscos. In F. C. Capovilla, & W. D. Raphael (Eds.), Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 15191546). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom. Capovilla, F. C. (2002a) Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar. São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C. (2002b). Processamento auditivo central: Demonstrando a validade de uma bateria de triagem para crianças de 6 a 11 anos. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 121-145). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C., & Capovilla, A. G. S. (1999). Phonological awareness training: Effects on metaphonological, reading and spelling skills in Brazilian children. Brazilian Journal of Dysmorphology and Speech-Hearing Disorders, 3, 45-66. Capovilla, F. C., & Capovilla, A. G. S. (2001). Compreendendo o processamento do código alfabético: Como entender os erros de leitura e escrita de crianças Surdas. In F. C. Capovilla, & W. D. Raphael (Eds.), Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 1497-1516). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom. Capovilla, F. C., & Capovilla, A. G. S. (2002f). Atraso na aquisição de leitura: Relação com problemas de discriminação fonológica, velocidade de processamento e memória fonológica. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 173192). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. 3 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Capovilla, F. C., & Capovilla, A. G. S. (2002g). Educação da criança surda: Evolução das abordagens. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 229-256). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C., & Luz, R. D. (2002a). Sinais da Libras e o mundo da Alimentação, das Quantidades, Números e medidas. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 13, de 19 volumes, 485 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R. D. (2002b). Sinais da Libras e o mundo da Natureza, das Cores e dos Animais. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 11, de 19 volumes, 714 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R. D. (2002c). Sinais da Libras e o mundo das Leis e Política, Preocupações sociais, Violência e Drogas. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 17, 19 volumes, 450 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R. D. (2002d). Sinais da Libras e o mundo dos Transportes, da Economia, das Finanças e dos Negócios. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 15, de 19 volumes, 430 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R. D. (2002e). Sinais da Libras e o universo do Corpo humano, da Medicina e Saúde, e da Sexualidade e reprodução. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 12, de 19 volumes, 590 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R. D. (2002f). Sinais da Libras e o universo do Trabalho, das Profissões e dos Equipamentos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 16, de 19 volumes, 560 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Luz, R.D. (2002g). Sinais da Libras e tudo que diz respeito a Lugares, Orientação espacial, e Orientação temporal. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 14, de 19 volumes, 820 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002a). Sinais da Libras e a vida das Pessoas. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 5, de 19 volumes, 364 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002b). Sinais da Libras e a vida em Família, Relações familiares, e Casa. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 3, de 19 volumes, 450 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002c). Sinais da Libras e o mundo das Palavras de função gramatical. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 8, de 19 volumes, 340 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002d). Sinais da Libras e o mundo dos Adjetivos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 9, de 19 volumes, 300 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. 4 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Capovilla, F. C., & Raphael, W. D. (2002e). Sinais da Libras e o mundo dos Substantivos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 10, de 19 volumes, 1000 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002f). Sinais da Libras e o mundo dos Verbos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 7, de 19 volumes, 375 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002g). Sinais da Libras e o universo da Comunicação, dos Eventos e da Religião. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 4, de 19 volumes, 385 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002h). Sinais da Libras e o universo da Educação. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 1, de 19 volumes, 340 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002i). Sinais da Libras e o universo das Artes e cultura, dos Esportes e do Lazer. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 2, de 19 volumes, 330 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Raphael, W. D. (2002j). Sinais da Libras e o universo das Relações humanas, dos Objetos pessoais, dos Documentos e do Vestuário. In: F. C. Capovilla (Org.) O Mundo do Surdo em Libras. (Vol. 6, de 19 volumes, 340 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., & Viggiano, K. (2002). Como ler e escrever, comunicar-se, aprender e aferir aprendizagem em Libras. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol 18, de 19 volumes, 400 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., Capovilla, A. G. S., & Macedo, E. C. (2001a). Comunicação alternativa na USP na década 1991-2001: Tecnologia e pesquisa em reabilitação, educação e inclusão. Temas sobre desenvolvimento, 10(58-59), 18CE-42CE. Capovilla, F. C., Capovilla, A. G. S., & Macedo, E. C. (2001b). Rota perilexical na leitura em voz alta: tempo de reação, duração e segmentação na pronúncia. Psicologia: Reflexão e Crítica, 14(2), 409-427. Capovilla, F. C., Capovilla, A. G. S., Macedo, E. C., & Duduchi, M. (2000). Avaliação psicométrica-neuropsicológica e o uso de próteses sensório-motoras e cognitivas para reabilitação em surdez congênita, paralisia cerebral, dislexia, afasia e esclerose lateral amiotrófica. In M. J. Gonçalves, E. C. Macedo, A. L. Sennyey, & F. C. Capovilla (Eds.), Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa. (pp. 127-140). São Paulo, SP: Edunisc - Sociedade Brasileira de Neuropsicologia. Capovilla, F. C., Capovilla, A. G. S., Viggiano, K. Q. F., Raphael, W. D., & Dente-Luz, R. (2002). O desafio do bilingüismo na educação do surdo: Descontinuidade entre a língua de sinais e a escrita alfabética e estratégias para resolvê-la. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (261-274). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. 5 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D. (no prelo). Enciclopédia digital da Língua de Sinais Brasileira e sistemas de indexação e busca de sinais baseadas em menus quirêmicos. Espaço: Informativo Técnico-Científico do INES. Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D., Capovilla, A. G. S., & Macedo, E. C. (in press). Brazilian Sign Language lexicography and technology: Dictionary, digital encyclopedia, chereme-based sign-retrieval and quadriplegic deaf communication systems. Sign Language Studies. Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D., & Macedo, E. C. (2001). BuscaSigno: Sistema computadorizado de busca quirêmica da Libras que recupera sinais por forma de mão e não verbete ou classe semântica. In F. C. Capovilla, & W. D. Raphael (Eds.), Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 1573-1602). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom. Capovilla, F. C., Duduchi, M., & Rozados, D. (2002). Enciclopédia digital da Libras. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 19, de 19 volumes, 60 pp. e CD ROM). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis. Capovilla, F. C., Gonçalves, M. J., & Macedo, E. C. (1998). Tecnologia em (re)habilitação cognitiva: uma perspectiva multidisciplinar. São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Edunisc, Loyola. Capovilla, F. C., Macedo, E. C., & Capovilla A. G. S. (2002a). Tecnologia para análise de emissões vocálicas em nomeação e leitura oral nas afasias e dislexias. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 327-346). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C., Macedo, E. C., & Capovilla, A. G. S. (2002b). Usando testes computadorizados de competência de leitura silenciosa e em voz alta para mapear desenvolvimento de rotas de leitura, e testes de compreensão auditiva e de leitura para diagnóstico diferencial da dislexia. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 355-379). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C., Macedo, E.C., & Charin, S. (2001). Tecnologia e modelos na avaliação de compreensão em leitura silenciosa e de reconhecimento e decodificação em leitura em voz alta. In M. T. M. Santos, A. L. P. Navas (Eds.). Distúrbios de leitura e escrita: teoria e prática (pp. 97-167). São Paulo, SP: Manole. Capovilla, F. C., & Raphael, W. D. (2001a). Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. Volume I: Sinais de A a L (Vol 1, pp. 1-834). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom. Capovilla, F. C., & Raphael, W. D. (2001b). Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 835-1620). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom. Capovilla, F. C., Thiers, V. O., & Macedo, E. C. (2002). Avaliação cognitiva de crianças com severos distúrbios motores: Versões computadorizadas, normatizadas e validadas de 6 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 testes de vocabulário, compreensão auditiva, leitura e inteligência geral. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 205-218). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. Capovilla, F. C., Viggiano, K., Capovilla, A. G. S., & Macedo, E. C. (no prelo). Sistemas computadorizados de avaliação do desenvolvimento da linguagem oral e de sinais em Português e Libras. Gonçalves, M. J., Macedo, E. C., Sennyey, A. L., & Capovilla, F. C. (2000). Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa. São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Edunisc. Lima, J. L. P., Macedo, E. C., Capovilla, F. C., & Sazonov, G. C. (2000). Implantação e adaptação do sistema de comunicação NoteVox para uma pessoa com esclerose lateral amiotrófica: Um relato de caso. In M. J. Gonçalves, E. C. Macedo, A. L. Sennyey, F. C. Capovilla (Eds), Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa. (pp. 347-353). São Paulo, SP: Edunisc - Sociedade Brasileira de Neuropsicologia. Portugal, A. C., & Capovilla, F. C. (2002). Triagem audiológica: Efeitos de perda auditiva sobre vocabulário, consciência fonológica, articulação da fala e nota escolar de escolares de primeira série. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 87-110). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci. 7 III C ONGRESSO I BERO -A MERICANO DE I NFORMÁTICA NA E DUCAÇÃO E SPECIAL – CIIEE 2002 Fernando César Capovilla, Ph.D. (Temple University), Livre Docente (USP), Professor Associado, Instituto de Psicologia, USP Psicólogo (1982) e Mestre em Psicologia da Aprendizagem e do Desenvolvimento pela Universidade de Brasília (1984), Ph. D. em Psicologia Experimental pela Temple University of Philadelphia (1989), com medalha de Outstanding Achievement Award pela Pennsylvania Psychological Association, e Livre Docente em Neuropsicologia pelo Departamento de Psicologia Clínica da Universidade de São Paulo (2000). Ex-professor da Temple University, da Universidade do Estado do Rio de Janeiro, da Universidade Estadual de Londrina, da Universidade de Brasília, da Universidade Federal de Uberlândia, e da Pontifícia Universidade Católica de Campinas. Professor Associado do Instituto de Psicologia da USP e orientador do Programa de Doutorado em Psicologia Experimental. Chefe do Laboratório de Neuropsicolingüística Cognitiva Experimental (Lance), do Laboratório de Tecnologia e Reabilitação Cognitiva, e do Centro de Atendimento Clínico em Distúrbios de Comunicação e Linguagem do Instituto de Psicologia da USP. Editor chefe do periódico Ciência Cognitiva: Teoria, Pesquisa e Aplicação, e membro do Conselho Editorial de diversos periódicos científicos nacionais e internacionais, como o canadense Augmentative and Alternative Communication. President-elect (1996-2000) do Brazilian Chapter, International Society for Augmentative and Alternative Communication. Autor de 25 livros e de mais de duas centenas de trabalhos científicos publicados, e co-autor de mais de uma centena de sistemas especialistas de multimídia para diagnóstico, comunicação e reabilitação cognitiva em distúrbios neuromotores (e.g., paralisia cerebral e esclerose lateral amiotrófica), neurolingüísticos (e.g., dislexia e afasia) e neurossensoriais (e.g., surdez congênita profunda). Research Fellow do National Institute of Mental Health. Ex-bolsista da Capes, Faperj e Fapesp, e bolsista de Produtividade CNPq. Co-autor de livros como: 1) Neuropsicologia e Aprendizagem; 2) Alfabetização: Método fônico; 3) Dicionário enciclopédico ilustrado trilíngüe da Língua de Sinais Brasileira; 4) Problemas de leitura e escrita: Como identificar, prevenir e remediar numa abordagem fônica; 5) Neuropsicologia cognitiva da leitura: Novos modelos teóricos e implicações diagnósticas; 6) Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa; 7) Manual ilustrado de sinais e sistema de comunicação em rede para Surdos; 8) Tecnologia em (re)habilitação cognitiva: Uma abordagem multidisciplinar; 9) Avaliação da linguagem da criança; e 10) O mundo do surdo em Libras. Endereço eletrônico: [email protected]. 8 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO Reflections on the use of computer-generated haptic feedback in learning tools for the blind Sile O’Modhrain M. Sile O’Modhrain Media Lab Europe Sugar House Lane Bellevue Dublin 8 Ireland. Tel.: 353 1 4742844 Fax.: 353 1 4742809 Email: [email protected] Abstract: The emerging medium of computer-generated haptic feedback has been hailed as a potentially rich modality for presenting information to blind computer users. Many researchers have explored ways to employ programmable haptic feedback to enhance speech in conveying the spatial components of graphical interfaces. At the same time, researchers in the field of scientific data visualization have begun to employ haptic feedback to convey to the sense of touch properties of simulations that are dynamic e.g. shifting centers of mass, changes in rate of change, and so on. A very few researchers have exploited the power of combining both of these strands of enquiry, to bring to blind learners the power of computational simulation through touch, and to provide tools to explore multiple representations of complex phenomena. This paper attempts to step back from the coalface of application development in order to assess how and where the power of computer-generated haptic feedback might best be employed in the development of computational tools for blind learners. 1) Introduction The past ten years have seen a growing interest in haptic interfaces, computercontrolled robotic devices which convey the feel of virtual textures, objects and environments to the human haptic senses, the senses of touch and kinesthesia. In a recent report, the Computer Sciences Corporation identified haptic technologies as one of a number of so1 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO called “disruptive technologies”, technologies that are so radical that they are likely to render entire industries obsolete. [1] Certainly there has been a rapid increase in the number of commercially available haptic display devices, parallelled by an increasing number of applications using haptics - from game controllers to car stereo controls to medical training and telerobotics applications.Though it has long been identified as a potentially rich medium for enhancing computer interfaces for blind computer users [2, 3, 4] computer-generated haptic feedback has yet to find its way into commercially available access solutions for the blind. There are, I believe, a number of reasons why this is so, some of which are related to the devices themselves and others to the capabilities of the human haptic system. In the following pages, I will draw on studies both in the areas of human haptic perception and human-computer interaction to show that, where appropriate, haptic feedback can usefully complement other forms of information presentation in learning environments. 2: Haptic Perception and Haptic Display The human haptic system is a complex sensory system with sensory receptors distributed throughout the body in skin, muscles and joints. Most of its receptors are socalled mechano-receptors, which transduce mechanical energy resulting from contact with the environment into electrical signals that pass along nerve fibres to the somatosensory centres in the brain. Unlike the auditory and visual systems, the haptic system has many points of contact with the world and many ways of receiving information as we move in and act on our environment. Designing a display device to engage the haptic system that is as general in function as the screen is for vision or the loud speaker for sound is a non-trivial task because, ideally, it requires us to encode and present many neuances of haptic stimuli to which different parts of the haptic system normally respond - surface texture, object shape, object compliance, vibration, motion cues and so on. Though there are display devices capable of conveying one or more of these cues, no device exists which is capable of conveying all these cues similtaneously. Broadly speaking, there are four classes of devices which display information to the haptic senses under computer control - tactile display devices such as braille displays, vibrotactile displays such as rumble packs, pager motors and vibrotactile mice, motion displays such as vehicle simulaters and force-feedback displays. Of these four categories, forcefeedback displays are the most versatile since they can be used both to display properties of objects such as rigid surfaces and textures, as well as vibration and motion cues. They are currently the most widely available haptic feedback devices within the context of humancomputer interaction and are supported by consumer gaming and interface protocols. (Note: though thermal and electrocutanious displays do exist, they are not yet in general use within the field of human-computer interaction. Tactile displays are available, usually in the form of braille displays. While being adequate for the display of braille characters, their structure does not permit the display of fine-grain textures of variable height or even line graphs of variable complexity. Considerable technical challenges must still be overcome before general-purpose tactile displays reach the consumer market.) Force-feedback displays are small robotic devices which are capable of outputting forces in response to the motion of a puck or handle which is held by the user. The relationship between the position of the user’s hand and the forces generated by the device is determined in software. In this way, it is possible to create for the user the impression of touching a rigid 2 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO surface, moving over a texture or moving through a viscous fluid simply by changing the algorithm controlling the haptic device. The effect for the user is one of probing a virtual environment with a hand-held tool like a pencil with an infinitely fine point. Such devices are in fact referred to as “point-based haptic displays.” The biggest drawback of point-based displays is that they do not support the kinds of exploratory hand movements we normally employ when investigating objects through touch. As Lederman and Klatsky have shown [5], the hand movements we use when allowed to freely explore an object are stereotypical and fall into categories that correspond to the object property we are interested in. When exploring an object’s texture, for example, we typically move our fingers over its surface in lateral sweeping motions, whereas we will make judgements of size and shape by enclosing part or the entire object in our hand. Lederman and Klatsky call these stereotypical hand movements “exploritory procedures” or “eps [5].” When we are constrained to explore the world using only a pointed tool, some of these eps are no longer available to us—We cannot, for instance, make judgements of size by enclosing an object in the hand. The consequence of point-based haptic interaction for object exploration is that properties associated with eps which can still be performed with a prrobe (e.g. lateral motion for texture, contour-following for edge detection) are easier to perceive than those which cannot (e.g. enclosure for size and shape detection.) Though properties such as size and shape can still be detected using a probe, the eps used with a probe are fall-back eps which are sufficient, but not optimal, for the task [6]. In short, one reason why point-based devices are not really sutible for object exploration ideal is that they provide access to a subset of the manipulation strategies we normally use when exploring objects in the real world. For blind users there is an additional cognitive burden because, lacking the support of an on-screen image, they must build a mental representation of the object by integrating traces of its boundaries and surfaces over time [7]. For this reason, considerable care must be taken when designing haptic environments for blind computer users. (note: hand-based exo-skeletons have been developed which support whole-hand haptic interaction with virtual objects. Currently these do not have the robustness, output force capability or position resolution of grounded haptic displays but it can be expected that they will reach the consumer market and provide a viable alternative to point-based haptic interaction.) While point-based haptic displays present some limitations for haptic interaction with virtual objects, there are many situations in which they can be used very effectively. In toolmediated tasks, such as surgical training for example, it is possible to simulate the feel of a virtual tool tip as it acts on its environment. Here the affordances of the point-based haptic device are aligned closley with the affordances of the point-based virtual tool tip being simulated. A further area where point-based devices have been used to great effect is that of haptic scientific visualisation, particularly in simulations of systems with complex dynamic behaviour. Physics, chemistry, engineering, and mathematics curricula are full of abstract principles and physical concepts, many of which are inherently dynamic in nature - gravity, inertia, springs, damping, friction, momentum, fluid flow, and so on. Since our understanding of these phenomena is most often based on experience (lifting objects against the force of gravity, rotating tools and feeling inertial forces, etc.), this understanding is mediated by our haptic senses, which in turn are finely tuned to interpret dynamic properties in our environment. Furthemore, many of these properties are still available to us when our interaction with the world is mediated by tools [8]. For this reason, the simulation of dynamical systems is still remarkably effective even when restricted to point-based haptic interaction with a simulated 3 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO environment. Examples of the use of haptics in simulation of dynamical systems include the rendering of forces applied to molecules in a steered interactive molecular dynamics simulation tool [9], and haptics-augmented activities to reinforce concepts presented throughout a highschool physics course [10]. 3) Some Examples and some Guidelines Given the foregoing considerations, how might a designer approach the task of incorporating haptic feedback into tools for blind learners? As with the design of any application for the blind, the process must begin by addressing the question of representation. Should the goal be to provide the blind learner with access to an existing tool being used by their peers, complete with its visual metaphors, so that the representation of the domain being explored is common, or should the tool be designed from the bottom up to interpret for the sense of touch the underlying phenomenon being explored? Most existing work in the domain of haptic interaction for blind computer users falls into the first category, rendering objects, desktop widgets and tactile graphs and drawings. As such, these applications make use of haptic feedback to convey spatial components of a task, supporting these with speech and non-speech audio for content description. Several research projects are ongoing, some of which are providing useful guidelines for the development of such applications. Sjöström and collegues at Lund University in Sweden have conducted a series of studies in which blind computer users have interacted with a variety of environments including haptic desktops, 3D haptic sceenes with many objects and games. Their work has produced a series of guidelines relating to the design of haptic interaction for blind users [11, 12]. With respect to the understanding of objects, they suggest that objects might not always have to feel “real”, and that there may be a benefit to helping the user follow the outline of the object by giving it an attractive wall to guide the user’s hand, so improving the process of mentally integrating its shape. Where there are many objects in a space, they should not have boundaries too close together as the accelleration of the fingertip caused by pushing through a force barrier can result in nearby boundaries being overshot. As Miller et al have shown, this problem is most apparent when trying to represent menues and buttons on a desktop [13]. Sharp edges and corners are also difficult to understand when felt from the outside because the user looses contact with the surface of an object when an edge ends, interupting their cognitive mapping of the object. Users also find it hard to judge the size of angles, believing that angles are more acute than they really are [12]. Most importantly, in helping a user navigate a virtual haptic space, they recommend providing well-defined and easy-to-find reference points in the environment - corners and boundaries for a space, etc. - and that this frame of reference, once established, should remain constant for all activities in the environment. Clutter, too is an important issue. Most haptic devices have limited workspaces and, combined with the point-based nature of the interaction, can easily become crowded with detail. Further, as Fritz and Barner have shown [1, 14], a tactile image is much more meaningful if it is reduced in complexity to the equivalent of a line drawing so that only its underlying structural components remain. Beyond the rendering of images of real objects, haptic feedback has been used to render for blind users vareous types of abstract data representations. The most comprehensive work in this area is being carried out at Glasgow University where researchers in the GIST group are conducting a long-term project on multi-modal visualization of graphs 4 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO and tables (the Multivis project.) In evaluating the use of point-based haptic displays for rendering line graphs, they concluded that it is not appropriate to simply render haptically a visual graph because a) it is probably too complex and b) information such as numeric values and lables are most appropriately conveyed using speech or braille, leaving the haptic channel free to explore the contour of lines and their relationship to each other. Furthemore, simple techniques like rendering lines as v-shaped grooves and differenciating lines by giving them different levels of surface friction made the graphs much easier to understand [15]. In a further study, Yu et al also added non-speech audio to indicate general trends in graphs. They asked both blind and blindfolded sighted participants to judge the relative size of segments of a pie chart and discovered that, by combining haptic and auditory feedback, they could improve performance when compared to either haptic feedback alone or auditory feedback. They also added a “tour” feature, which took the user’s hand on a tour of the edge of the pie chart at constant speed, so making comparison of segment sizes easier [16]. As noted earlier, the majority of work in the field of haptic interaction for blind computer users has concentrated on spatially-based haptic environments which retain most if not all of the structural elements of the corresponding visual representation. However, given the known limitations of point-based haptic interaction, particularly for blind users who have the additional burden of mentally constructing spatial models from point-based traces, it seems that some attention should be given to other capabilities of force feedback devices - namely to the fact that they can also display vibration and motion cues and can guide a user through a haptic space. Yu et al [15] have shown that such cues can be used to great effect in enhancing haptically rendered graphs, but few other researchers have tapped this potentially rich source of meaningful haptic cues. One exception is the work carried out by Wise et al [17], who explored the use of a wide range of haptic cues in an accessible science tutorial for blind highschool and college physics students. Taking the example of the behavior of an electric charge on the surface of a sphere, they developed a metafore which mapped polarity and size of electric charge to the direction and amplitude of a spring force displayed using a force feedback mouse. The closer the mouse was to the edge of the sphere, the smaller the spring force, the direction of the force depending on whether the pointer was inside or outside the sphere. Students explored the simulated charged sphere and collected data which they could later plot. The plot function offered several ways of feeling data points: the student could feel the points as notches in a groove, step through the points by having the mouse move from one to the next, or take a tour of the entire plot under the mouse’s guidance. In other words, there were multiple representations of the data plot, each of which highlighted different aspects of the relationship between data points. The design of the plot-reading functions reflected a desire on the part of the corriculum developers to provide for blind users several “views” of the same phenomena, acknowledging that often the cost of producing accessible materials prohibits the provision of a rich range of representations. One advantage of software-controlled rendering techniques is that it becomes much easier to provide such representations at will. Responses to an evaluation survey lead the authors to conclude that haptic feedback could provide information in this context not available through traditional access technologies. While this example takes accessible haptic feedback beyond the rendering of data to the relm of interactive simulation, it does present some interesting questions: Firstly, for such simulations to be successful, there must exist a powerful metafore that can function in a haptic-only domain. In this case, the metafore was a spring, an object whose behaviour is most often experienced through touch. However any metafore is subjective and must be carefully constructed. In time it is conceivable that a language of metafore for haptic interaction 5 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO will evolve and it is possible that it would be driven by the development of haptic applications for the blind. Secondly, might the need to design haptically enhanced applications for blind learners lead to a richer representation for all learners? Certainly the science corriculum module described here was designed to be used by blind children in conjunction with their sighted colleagues. Though no sighted students took part in the evaluation, the physics teachers who designed the module were excited by its potential to provide multiple representations of phenomena for sighted students as well. 4: Conclusions: As with any good learning tool, tools for blind learners that employ haptic feedback should do so in order to provide appropriate representations of information that allows the learner to make connections. Several researchers have shown that haptic feedback can function to enrich interaction for blind learners, if it is strategically employed. With current limitations to the display technology available, such applications should build on the strengths of point-based interaction, rather than focusing on forcing the human haptic system to be used in a non-ideal mode and thereby increasing the cognitive load on the user. As can be seen from the forgoing discussion, there are many haptic effects which lend themselves well to point-based interaction - surface discrimination, dynamic effects and so on, and it is these effects which should be the building blocks of haptic learning tools. As we move toward an era where we are increasingly relying on machine-mediated interaction to perceive, understand and control things outside our visual reach e.g. keyhole surgery, micro and nanno assembly, and so on, tools that allow us to explore and interact with the invisible world will be required, and computer-based haptic feedback will be a key component of these tools. There is a real need for learning and exploration tools that allow people to engage with phenomena beyond our normal sensory thresholds. in searching for ways to represent this invisible, intangible world of bits and atoms, we will need to find ways to represent and manipulate information and behavioural dynamics. As we develop tools for blind learners, that allow them to perceive, explore, interact with and control complex dynamic systems, imagine how these tools could inform the design of tools for a much wider population of learners. 5: References [1] http://www.csc.com/newsandevents/news/1750.shtml [2] Fritz, J.P. and Barner K. E. Design of a haptic graphing system. Proceedings of the RESNA ’96 Annual Conference Exploring New Horizons... Pioneering the 21st Century (1996A) p. 158-160. [3] O’Modhrain and Gillespie. The Moose: A Haptic User Interface for Blind Persons. Proceedings of the WWW6 (1996). [4] Ramstein, C., Century, M. Navigation on the Web using Haptic Feedback. Proceedings of the international symposium on Electronic Art ISEA’96. 6 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO [5] Lederman, S.J. and Klatzky, R.L. “Hand movements: A window into haptic object recognition,” in Cognitive Psychology, Vol. 19, No. 3, pp. 342-368, 1987. [6] Lederman, S.J. and Klatzky, R.L. “Flexible exploration by human and robotic haptic systems,” in Proceedings of the 12th Annual International Conference of the IEEE/ Engineering in Medicine and Biology Society, Vol. 12, No. 5, 1990. [7] Magnusson, C., Rassmus-Grohn, K., Sjostrom, C. & Danielsson H. “Navigation and Recognition in Complex Haptic Virtual Environments - Reports from an Extensive Study with Blind Users” in Proceedings of EuroHaptics 8-10 July 2002, Edinburgh, UK. [8] Turvey, MT, Solomon, HY, & Burton, G. (1989). “An ecological analysis of knowing by wielding”. Journal of the Experimental Analysis of Behavior, v52, p.387-407 [9] Stone, J. E., Gullingsrud, J., Schulten, K., Grayson, P., “A System for Interactive Molecular Dynamics Simulation” 2001 ACM Symposium on Interactive 3D Graphics, p. 191194, New York, 2001, ACM SIGGRAPH [10] William, R.L. II, Chen, M.Y., Seaton, J.M., “Haptics-Augmented High School Physics Tutorial” International Journal of Virtual Reality. http:www.ent.ohiou.edu/~bobw/PDF/ IJVR2001.pdf October, 2001 [11] Sjöström, C. The IT Potential of Haptics – Touch Access for People with Disabilities, Licentiate Thesis Certec, Lund University, Sweden, 1999. [12] Sjstrm,, C. Using Haptics in Computer Interfaces for Blind People Certec, Lund University, Sweden. url http://www.citeseer.nj.nec.com/506504.html [13] Miller, T., Zeleznik, R. An insidious haptic invasion: Adding Force Feedback to the X desktop, Proc. of the Third PHANToM User Group Workshop, Dedham, MA, 1998. [14] Fritz, J. P., Barner, K. E. Design of a Haptic Visualization System for People with Visual Impairments, IEEE Transactions on Rehabilitation Engineering, vol. 7, No 3, 1999, pp 372-384. [15] Yu, W., Ramloll, R., Brewster, S.A. and Riedel, B. Exploring computer-generated line graphs through virtual touch. IEEE ISSPA 2001 (Kuala-Lumpur, Malaysia), IEEE. [16] asked blind and blind-folded sighted subjects to explore Pie charts using haptic and auditory feedback. [17] Wies E., Gardner J., O’Modhrain M., Hasser C & Bulatov V., “Web-based Touch Display for Accessible Science Education”, Haptic Human-Computer Interaction. Springer LNCS, Vol 2058. 2000. pp 52-60. Dr. O’Modhrain earned her undergraduate degree in Music from Trinity College, Dublin, and her Ph.D.from Stanford University’s Center for Computer Research in Musicand Acoustics (CCRMA.) Her dissertation investigated the potential role for haptic feedback in interfaces for computer-based musical instruments. 7 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO Before embarking on her Ph.D. studies, she worked as a sound engineer and producerfor BBC Network Radio. In 1994, she received a Fulbright Scholarship and went to Stanford to develop a prototype haptic interface augmenting graphical user interfaces for blind computer users. In 1998, she received a Stanford Centennial Teaching Award in acknowledgment of outstanding performance in teaching. For the past 3 years, she has been a consultant for Immersion Corporation on an NSF SBIR grant to investigate the potential for haptic feedback in distributed web-based science education packages for blind school children. 8 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO Reflexões sobre o uso de resposta tátil gerada por computador em ferramentas de aprendizagem para os cegos M. Sile O’Modhrain Media Lab Europe Sugar House Lane Bellevue Dublin 8 Ireland. Fone: 353 1 4742844 Fax: 353 1 4742809 e-mail: [email protected] Resumo: A emergente mídia baseada em resposta (feedback) tátil gerada por computador tem sido aclamada como uma modalidade potencialmente rica para a apresentação de informações aos usuários de computadores que são cegos. Muitos pesquisadores já exploraram formas de empregar a resposta tátil programável a fim de melhorar a fala na comunicação de componentes espaciais presentes nas interfaces gráficas. Paralelamente a isso, os pesquisadores da área de visualização de dados científicos começaram a utilizar a resposta tátil para transmitir ao sentido do tato as propriedades de simulações dinâmicas como, por exemplo, translado de centros de massa, mudanças em taxas de variações e assim por diante. Pouquíssimos pesquisadores exploraram a capacidade de se combinar essas duas linhas de estudo para proporcionar aos aprendizes cegos o poder da simulação computacional por meio do toque e propiciar ferramentas para a exploração de representações múltiplas de fenômenos complexos. Este trabalho é uma tentativa de se distanciar das condições práticas do desenvolvimento desses aplicativos com o intuito de avaliar como e onde o poder da resposta tátil gerada por computador pode ser mais bem empregada para a criação de ferramentas computacionais para aprendizes cegos. 1) Introdução Os últimos dez anos testemunharam o crescimento do interesse por interfaces táteis, dispositivos robóticos controlados por computador que transmitem a sensação de texturas, objetos e ambientes virtuais aos sentidos táteis humanos, os sentidos do tato e da sinestesia. Em um relatório recente, a Computer Sciences Coorporation identificou as tecnologias táteis como estando dentre as chamadas “tecnologias revolucionárias”, aquelas tecnologias que são tão radicais que são capazes de tornar segmentos inteiros obsoletos. [1] Certamente, houve um rápido aumento no número de dispositivos de comunicação tátil de uso comercial, ao mesmo tempo em que se verificou uma elevação do número de aplicativos que utilizam sensações táteis – de controladores de jogos e controles de som estéreo de automóveis até aplicações de treinamento médico e de telerobótica. Embora tenha sido identificada há bastante tempo como uma mídia potencialmente rica para o aperfeiçoamento das interfaces de computadores para usuários cegos [2, 3, 4], a resposta (feedback) tátil gerada por computador está por encontrar uma forma de penetração no mercado de soluções de acesso para os cegos. Existem, creio eu, várias razões para isso, algumas das quais estando ligadas aos dispositivos em si e outras às capacidades do sistema tátil humano. Nas páginas a seguir, vou me valer de estudos das áreas de percepção tátil humana e de interação entre seres humanos e computadores para demonstrar que, em certos casos, a resposta tátil pode constituir um útil complemento a outras formas de apresentação de informações em ambientes de aprendizagem. 1 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO 2: Percepção Tátil e Comunicação Tátil O sistema tátil humano é um sistema sensorial complexo dotado de receptores sensoriais distribuídos por todo o corpo: pele, músculos e articulações. A maior parte de seus receptores é chamada de mecanoreceptores, que convertem energia mecânica resultante do contato com o meio externo em sinais elétricos que perpassam as fibras nervosas até alcançar os centros somatosensoriais do cérebro. Diferentemente do sistema auditivo e do sistema visual, o sistema tátil possui vários pontos de contato com o mundo e muitas formas de receber informações à medida que nos deslocamos e agimos no nosso ambiente. A criação de um dispositivo de comunicação para envolver o sistema tátil cuja função seja tão genérica quanto a da tela para a visão e a do autofalante para a audição é uma tarefa nada trivial, pois, em termos ideais, exige que decodifiquemos e apresentemos várias nuances dos estímulos táteis para os quais diferentes partes do sistema tátil normalmente reagem: textura de superfícies, forma e flexibilidade de objetos, vibração, sinais de movimento e assim por diante. Embora existam dispositivo de comunicação capazes de transmitir um ou mais desses sinais, não há dispositivos capazes de transmitir todos esses sinais simultaneamente. Em termos gerais, existem quatro categorias de dispositivos que comunicam informações para os sentidos táteis sob o controle de um computado: dispositivo de comunicação tátil, como os mostradores Braille; os aparatos vibrotáteis, como os “rumble packs”, os sistemas de vibração dos “pagers” e os mouses vibrotáteis; mostradores de movimento, como os simuladores de veículos; e os dispositivos de reação à força. Dessas quatro categorias, os dispositivos de reação à força são os mais versáteis, visto que podem ser usados tanto para a comunicação de propriedades de objetos, como superfícies rígidas e texturas, bem como vibração e sinais de movimento. Atualmente, constituem os dispositivos de resposta tátil mais amplamente disponíveis no contexto da interação entre seres humanos e computadores, sendo encontrados em jogos eletrônicos e protocolos de interface. (Observação: embora existam dispositivos térmicos e eletrocutâneos, eles ainda não são usados de forma ampla no campo da interação entre seres humanos e computadores. Estão disponíveis aparatos táteis, em geral na forma de mostradores Braille. Apesar de ser adequado para a exibição de caracteres em Braille, sua estrutura não permite a exibição de texturas de granulação fina de altura variável ou mesmo de gráficos de linhas de complexidade variável. Desafios técnicos consideráveis ainda estão por ser superados antes que os aparatos táteis de uso genérico cheguem ao mercado de consumo.) Os aparatos de reação à força são pequenos dispositivos robóticos capazes de produzir forças em resposta ao movimento de um disco ou de uma alavanca que pode ser manuseada pelo usuário. A relação entre a posição da mão do usuário e as forças geradas pelo dispositivo é determinada por um software. Dessa forma, é possível provocar no usuário a sensação de estar tocando em uma superfície rígida, de estar se movendo sobre uma textura ou se movendo em um fluido viscoso, bastando para isso alterar o algoritmo que controla o dispositivo tátil. O efeito para o usuário é o de estar explorando um ambiente virtual com um instrumento manual, como um lápis com uma ponta infinitamente fina. Na verdade, esses dispositivos recebem o nome de “dispositivos táteis pontiagudos”. A maior desvantagem dos dispositivos pontiagudos é sua incompatibilidade com os tipos de movimentos exploratórios da mão que normalmente fazemos quando examinamos objetos pelo toque. Conforme foi demonstrado por Lederman e Klatsky [5], os movimentos da mão que fazemos quando podemos explorar livremente um objeto são estereotipados e se enquadram em categorias que correspondem à propriedade do objeto que nos interessa. Quando exploramos a textura de um objeto, por exemplo, normalmente passamos os dedos sobre a superfície com movimentos laterais abrangentes, enquanto fazemos julgamentos da dimensão e forma envolvendo parte ou todo o objeto na nossa mão. Lederman e Klatsky chamam esses movimentos estereotipados da mão de “procedimentos exploratórios” ou “pes [5].” Quando estamos limitados a explorar o mundo usando apenas um instrumento pontiagudo, alguns desses “pés” deixam de estar ao nosso alcance. Não podemos, por exemplo, fazer julgamentos da dimensão envolvendo o objeto na mão. A conseqüência da interação tátil pontiaguda para a exploração de objetos é que as propriedades associadas aos “pés” que ainda podem ser executadas com uma tentativa (por exemplo, o movimento lateral para verificar a textura; o acompanhamento do contorno para detectar a beirada) são percebidas com maior facilidade do que aquelas que não podem (por exemplo, o envolvimento do objeto para a verificação de dimensão e forma). Embora propriedades como dimensão e forma ainda possam ser detectadas por meio de uma tentativa, os “pés” usados com uma tentativa são “pés” secundários que são suficientes, mas não ótimos, para a tarefa [6]. Para resumir, uma razão pela qual os dispositivos pontiagudos não são efetivamente adequados para a exploração de objetos é que eles proporcionam acesso a um subconjunto das estratégias de manipulação que normalmente utilizamos ao explorarmos objetos do mundo real. Para os usuários cegos, há uma 2 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO sobrecarga cognitiva adicional, pois na falta do apoio de uma imagem na tela, esses usuários são obrigados a construir uma representação mental do objeto por meio da integração de pistas sobre seus contornos e superfícies que são obtidas ao longo do tempo [7]. Por esse motivo, cautela considerável deve ser empregada no design de ambientes táteis para os usuários cegos de computadores. (Observação: exoesqueletos baseados na mão foram desenvolvidos para permitir a interação tátil de mão inteira com objetos virtuais. Atualmente, esses exoesqueletos não possuem a robustez, capacidade de força de produção e resolução de posição dos aparatos táteis fixos, mas pode-se esperar que cheguem ao mercado de consumo e ofereçam uma alternativa viável para a interação tátil pontiaguda.) Embora os aparatos táteis pontiagudos apresentem algumas limitações para a interação tátil com objetos virtuais, há muitas situações em que eles podem ser usados de forma bastante eficiente. Em tarefas mediadas por instrumentos, como o treinamento cirúrgico, por exemplo, é possível simular a sensação proporcionada pela extremidade de uma ferramenta virtual atuando em seu ambiente. Nesse caso, as possibilidades do dispositivo tátil são bastante semelhantes às possibilidades da ferramenta virtual pontiaguda sendo simulada. Outra área em que os dispositivos pontiagudos foram usados com grande eficácia é a da visualização científica tátil, sobretudo em simulações de sistemas com comportamento dinâmico complexo. Os currículos de física, química, engenharia e matemática estão repletos de princípios abstratos e conceitos físicos, muitos dos quais sendo de natureza intrinsecamente dinâmica – gravidade, inércia, molas, amortecimento, fricção, momento, escoamento de fluido e assim por diante. Como nosso entendimento desses fenômenos se baseia, na maior parte das vezes, na experiência, (levantar objetos contra a força da gravidade, girar ferramentas, sentir forças inerciais etc.), essa compreensão é mediada pelos nossos sentidos táteis que, por sua vez, são ajustados de forma sutil para interpretar propriedades dinâmicas de nosso ambiente. Ademais, muitas dessas propriedades continuam ao nosso alcance quando nossa interação com o mundo é mediada por ferramentas [8]. Por esse motivo, a simulação de sistemas dinâmicos ainda é admiravelmente eficaz, mesmo quando restrita à interação com um ambiente simulado por intermédio de dispositivos pontiagudos táteis. Exemplos do uso dos princípios táteis na simulação de sistemas dinâmicos incluem a reprodução de forças aplicadas a moléculas em uma ferramenta de simulação de dinâmica molecular interativa dirigida [9] e as atividades com ampliação tátil para reforçar os conceitos apresentados ao longo dos cursos de física no ensino médio [10]. 3) Alguns Exemplos e algumas Diretrizes Tendo em vista as considerações acima, de que maneira um projetista pode lidar com a tarefa de incorporar a resposta tátil em ferramentas para aprendizes cegos? Assim como ocorre com o projeto de qualquer aplicativo para cegos, o processo deve começar pela questão da representação. Qual deve ser o objetivo? O de oferecer ao aprendiz cego acesso a uma ferramenta já existente que esteja sendo usada por seus colegas, complementada com suas metáforas visuais, para que a representação do domínio explorado seja comum? Ou a ferramenta deve ser projetada de baixo para cima a fim de interpretar para o sentido do tato o fenômeno subjacente sendo explorado? A maior parte do trabalho atual no campo da interação tátil para usuários cegos de computadores se enquadra na primeira categoria, reproduzindo objetos, controles na tela do computador e diagramas táteis e desenhos. Como tal, esses aplicativos fazem uso da resposta tátil para comunicar componentes espaciais de uma tarefa, complementando-os com áudio falado ou sem fala para a descrição do conteúdo. Vários projetos de pesquisa se encontram em andamento, alguns dos quais proporcionando diretrizes úteis para o desenvolvimento desses aplicativos. Sjöström e seus colegas da Universidade de Lund, na Suécia, conduziram uma série de estudos em que usuários cegos de computadores interagiam com vários ambientes diferentes, inclusive telas de computador táteis, cenas em 3-D táteis com vários objetos e jogos. Seus trabalhos produziram uma serie de diretrizes relativas à criação de interação tátil para usuários cegos [11,12]. No que diz respeito à compreensão de objetos, eles sugerem que objetos nem sempre têm que ser sentidos como “real”, e que possa haver um benefício em ajudar o usuário a seguir o contorno do objeto dando-lhe um apoio atrativo para guiar a mão do usuário, melhorando com isso o processo de integração mental de sua forma. Quando há vários objetos em um espaço, seus contornos não devem ficar muito próximos, visto que a aceleração da ponta do dedo causada pelo exercício de passar por uma barreira de força pode fazer com que os contornos próximos não sejam percebidos. Conforme foi demonstrado por Miller et al, esse problema fica mais evidente quando tentamos representar menus e comandos na tela [13]. Arestas e cantos pontiagudos também são de difícil compreensão quando apalpados pelo lado de fora, pois o usuário perde o contato com a superfície do objeto quando a aresta chega ao fim, interrompendo com isso seu mapeamento cognitivo do objeto. Os usuários também têm dificuldades para julgar a dimensão dos ângulos, acreditando que estes são mais agudos do que de fato são [12]. O mais importante é que ao ajudar 3 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO um usuário a navegar em um espaço tátil virtual, eles recomendam o fornecimento de pontos de referência bem definidos e fáceis de serem localizados – cantos e limites para um espaço etc – e que esse arcabouço referencial, uma vez definido, permaneça constante para todas as atividades desenvolvidas no ambiente. O amontoamento também é uma questão importante. A maioria dos dispositivos táteis possui espaços de trabalho limitados e, aliados à natureza pontiaguda da interação, podem ficar abarrotados de detalhes. Além disso, como foi provado por Fritz e Barner [1, 14], uma imagem tátil é muito mais significativa se tiver sua complexidade reduzida ao equivalente de uma linha traçada de tal modo que somente seus componentes estruturais subjacentes permaneçam. Além da reprodução de imagens de objetos reais, a resposta tátil já foi usada para a transmissão de diversos tipos de representações de dados abstratos para usuários cegos. O trabalho mais abrangente nessa área está sendo realizado na Universidade de Glasgow, onde pesquisadores do grupo GIST estão desenvolvendo um projeto de longo prazo acerca da visualização multimodal de gráficos e tabelas (projeto Multivis). Avaliando o uso de aparatos táteis pontiagudos para a reprodução de linhas gráficas, eles concluíram que não é adequado se limitar a reproduzir de forma tátil um gráfico visual porque, a) é provável que seja muito complexo e b) informações como rótulos e valores numéricos são comunicados de forma mais apropriada usando a fala ou o sistema Braille, deixando o canal tátil livre para explorar o contorno de linhas e suas relações entre si. Ademais, técnicas simples, como a reprodução de linhas como sulcos em forma de “v” e a diferenciação de linhas atribuindo-lhes diferentes níveis de fricção de superfície, facilitaram sobremaneira a compreensão dos gráficos [15]. Em um estudo posterior, Yu et al também acrescentaram áudio sem voz para indicar tendências gerais em gráficos. Eles pediram a participantes cegos e a participantes vendados que avaliassem a dimensão relativa dos segmentos de um gráfico em forma de pizza e constataram que, ao combinar respostas táteis e auditivas, eram capazes de melhorar o desempenho em comparação com a resposta tátil ou a sensação auditiva isoladas. Eles também acrescentaram uma opção de “passeio”, guiando a mão do usuário ao longo da aresta do gráfico em forma de pizza a uma velocidade constante, facilitando assim a comparação de dimensões de segmentos [16]. Conforme foi observado anteriormente, a maior parte do trabalho no campo da interação tátil para usuários cegos de computadores se concentrou em ambientes táteis baseados no espaço que retenham a maioria, se não a totalidade, dos elementos estruturais da respectiva representação visual. Entretanto, tendo em vista as limitações conhecidas da interação tátil pontiaguda, sobretudo para os usuários cegos que têm a sobrecarga adicional de construir mentalmente modelos espaciais a partir de marcas pontiagudas, parece que merecem atenção outras capacidades dos dispositivos de reação à força, isto é, o fato de que também podem emitir sinais de vibração e movimento e podem guiar o usuário através de um espaço tátil. Yu et al [15] demonstraram que esses sinais podem ser empregados com grande eficácia no aperfeiçoamento de reprodução de gráficos de forma tátil, mas outros poucos pesquisadores aproveitaram essa fonte, potencialmente rica de sinais táteis significativos. Uma exceção é o trabalho realizado por Wise et al [17], que explorou o uso de uma ampla gama de sinais táteis em um tutorial científico acessível para estudantes de física cegos do ensino médio e superior. Adotando o exemplo do comportamento de uma carga elétrica sobre a superfície de uma esfera, eles desenvolveram uma metáfora para o mapeamento da polaridade e dimensão da carga elétrica na direção e amplitude de uma força de mola que pode ser sentida por intermédio do uso de um mouse que reage à força. Quanto mais próximo o mouse se situava da aresta da esfera, menor era a força da mola, ficando a direção da força condicionada à posição do apontador: dentro ou fora da esfera. Os estudantes exploraram a simulação de esfera carregada e coletaram dados para posteriormente serem representados de forma gráfica. A função de representação gráfica oferecia diversas possibilidades de sensação dos pontos de dados: o estudante podia sentir os pontos como entalhes em um sulco, passar pelos pontos fazendo o mouse se mover de um ponto a outro ou passear pelo gráfico inteiro deixando-se guiar pelo mouse. Em outras palavras, havia múltiplas representações dos dados no gráfico, cada qual ressaltando diferentes aspectos da relação entre os pontos de dados. O design das funções de leitura do gráfico refletia um desejo da parte dos elaboradores do currículo de proporcionar aos usuários cegos diversas “visualizações” dos mesmos fenômenos, reconhecendo que o custo de produção de materiais acessíveis freqüentemente impede a oferta de um amplo leque de representações. Uma vantagem das técnicas de reprodução controladas por software é que fica muito mais fácil oferecer essas representações sob demanda. As respostas a uma pesquisa de avaliação levaram os autores a concluir que a resposta tátil poderia oferecer informações nesse contexto que não estão disponíveis por meio das tecnologias de acesso tradicionais. Embora esse exemplo faça com que a resposta tátil extrapole a reprodução de dados e atinja o campo da simulação interativa, ele de fato suscita algumas questões interessantes. Primeiro, para que essas simulações obtenham êxito, é preciso que haja uma poderosa metáfora capaz de funcionar em um campo puramente tátil. Nesse caso, a metáfora foi uma mola, um objeto cujo comportamento é experimentado, na maioria das vezes, pelo tato. Não obstante, toda metáfora é subjetiva e deve ser construída com cautela. Com o tempo, é plausível que uma linguagem de metáforas para a interação tátil se desenvolverá, e é possível que isto seja 4 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO guiado pelo desenvolvimento de aplicativos táteis para cegos. Em segundo lugar, será que a necessidade de se projetar aplicativos cada vez mais aperfeiçoados do ponto de vista tátil para aprendizes cegos pode conduzir a uma representação mais rica para todos os aprendizes? Certamente, o módulo do currículo de ciências aqui descrito foi projetado para ser usado por crianças cegas juntamente com seus colegas de visão normal. Embora nenhum estudante de visão normal tenha participado da avaliação, os professores de física que elaboraram o módulo ficaram animados com seu potencial de propiciar representações múltiplas dos fenômenos também para os estudantes de visão normal. 4: Conclusões: Assim como ocorre com qualquer bom instrumento de aprendizagem, as ferramentas para aprendizes cegos que empregam a resposta tátil devem assim faze-lo a fim de propiciar representações adequadas de informações que permitam ao aprendiz estabelecer conexões. Diversos pesquisadores já demonstraram que a resposta tátil pode servir para enriquecer a interação para os aprendizes cegos, se utilizada de forma estratégica. Com as atuais limitações da tecnologia de mostradores existente, espera-se que essas aplicações sejam construídas com base nos pontos fortes que são encontrados na interação pontiaguda, em vez de se concentrarem em forçar o sistema tátil humano a ser usado em termos não-ideais aumentando, desse modo, a carga cognitiva que recai sobre o usuário. Conforme pode ser observado na discussão acima, existem muitos efeitos táteis que se prestam bem à interação pontiaguda - identificação de superfície, efeitos dinâmicos e assim por diante, de modo que são esses efeitos que devem ser os elementos constitutivos das ferramentas de aprendizagem tátil. À medida que adentramos em uma era em que dependemos cada vez mais da interação mediada por máquinas para perceber, compreender e controlar objetos situados fora de nosso campo visual como, por exemplo, a cirurgia de invasão mínima, a micro e a nano montagem de objetos e assim por diante, ferramentas que nos permitam explorar e interagir com o mundo invisível se farão necessárias, de tal sorte que a resposta tátil computadorizada será um componente essencial desses instrumentos. Há uma necessidade concreta de ferramentas de aprendizagem e de exploração que permitam às pessoas participar de fenômenos que extrapolam nossos limiares sensoriais normais. Em busca de formas de representação desse mundo invisível e intangível de “bits” e átomos, precisaremos descobrir maneiras de representar e manipular informações e dinâmicas comportamentais. Ao desenvolvermos ferramentas para usuários cegos, que lhes permitam perceber, explorar, interagir com sistemas dinâmicos complexos e controla-los, imagine o quanto esses instrumentos podem contribuir para a criação de ferramentas para um grupo bem mais amplo de aprendizes. 5: Referências [1] http://www.csc.com/newsandevents/news/1750.shtml [2] Fritz, J.P. and Barner K. E. Design of a haptic graphing system. Proceedings of the RESNA ’96 Annual Conference Exploring New Horizons... Pioneering the 21st Century (1996A) p. 158-160. [3] O’Modhrain and Gillespie. The Moose: A Haptic User Interface for Blind Persons. Proceedings of the WWW6 (1996). [4] Ramstein, C., Century, M. Navigation on the Web using Haptic Feedback. Proceedings of the international symposium on Electronic Art ISEA’96. [5] Lederman, S.J. and Klatzky, R.L. “Hand movements: A window into haptic object recognition,” in Cognitive Psychology, Vol. 19, No. 3, pp. 342-368, 1987. [6] Lederman, S.J. and Klatzky, R.L. “Flexible exploration by human and robotic haptic systems,” in Proceedings of the 12th Annual International Conference of the IEEE/Engineering in Medicine and Biology Society, Vol. 12, No. 5, 1990. [7] Magnusson, C., Rassmus-Grohn, K., Sjostrom, C. & Danielsson H. “Navigation and Recognition in Complex Haptic Virtual Environments - Reports from an Extensive Study with Blind Users” in Proceedings of EuroHaptics 8-10 July 2002, Edinburgh, UK. 5 III CONGRES SO IBERO-AMERICANO DE INFORMÁTICA NA EDUCAÇÃO ESPECIAL – CIIEE 2002 ONGRESSO [8] Turvey, MT, Solomon, HY, & Burton, G. (1989). “An ecological analysis of knowing by wielding”. Journal of the Experimental Analysis of Behavior, v52, p.387-407 [9] Stone, J. E., Gullingsrud, J., Schulten, K., Grayson, P., “A System for Interactive Molecular Dynamics Simulation” 2001 ACM Symposium on Interactive 3D Graphics, p. 191-194, New York, 2001, ACM SIGGRAPH [10] William, R.L. II, Chen, M.Y., Seaton, J.M., “Haptics-Augmented High School Physics Tutorial” International Journal of Virtual Reality. http:www.ent.ohiou.edu/~bobw/PDF/IJVR2001.pdf October, 2001 [11] Sjöström, C. The IT Potential of Haptics – Touch Access for People with Disabilities, Licentiate Thesis Certec, Lund University, Sweden, 1999. [12] Sjstrm,, C. Using Haptics in Computer Interfaces for Blind People Certec, Lund University, Sweden. url http://www.citeseer.nj.nec.com/506504.html [13] Miller, T., Zeleznik, R. An insidious haptic invasion: Adding Force Feedback to the X desktop, Proc. of the Third PHANToM User Group Workshop, Dedham, MA, 1998. [14] Fritz, J. P., Barner, K. E. Design of a Haptic Visualization System for People with Visual Impairments, IEEE Transactions on Rehabilitation Engineering, vol. 7, No 3, 1999, pp 372-384. [15] Yu, W., Ramloll, R., Brewster, S.A. and Riedel, B. Exploring computer-generated line graphs through virtual touch. IEEE ISSPA 2001 (Kuala-Lumpur, Malaysia), IEEE. [16] indivíduos cegos e indivíduos vendados foram solicitados a explorar gráficos em forma de pizza usando a sensação tátil e auditiva. [17] Wies E., Gardner J., O’Modhrain M., Hasser C & Bulatov V., “Web-based Touch Display for Accessible Science Education”, Haptic Human-Computer Interaction. Springer LNCS, Vol 2058. 2000. pp 52-60. 6