Interdisciplinaridade e dimensionalidade das provas do Enem

Interdisciplinaridade e dimensionalidade das provas do
Enem
Interdisciplinarity and dimensionality of the Enem’s1 tests
Bolivar Alves Oliveira a
Resumo
Desde 2009, as provas do Enem passaram a ser analisadas estatisticamente segundo um modelo
unidimensional da Teoria de Resposta ao Item-TRI, ostentando, dessa forma, conforme seus
empedernidos defensores e usuários, cientificidade e confiabilidade no cálculo das proficiências
dos alunos. No entanto, neste trabalho, levanta-se a questão da dimensionalidade das provas
do Enem, mais especificamente, da prova de Ciências da Natureza e suas Tecnologias-CNT,
segundo a qual o estudante deve mobilizar conhecimentos de física, biologia e química de modo
disciplinar e interdisciplinar. O construto Ciências da Natureza e suas Tecnologias apresenta,
portanto, a priori uma estrutura, pelo menos, tridimensional devido à presença de suas 3
componentes disciplinares. Como superar, então, a incoerência metodológica entre a
multidimensionalidade da prova de CNT e o postulado da unidimensionalidade da TRI? Com o
objetivo de contribuir construtivamente para o aprimoramento do Enem, sugere-se que tal
incoerência metodológica poderia ser superada, fazendo-se uso de modelos multidimensionais
da TRI, os quais, para o professor, poderiam ostentar maior relevância pedagógica que seus
modelos unidimenionais ao fornecerem informações sobre as correlações disciplinares e a
desejada interdisciplinaridade das provas do Enem.
Palavras-chave: ENEM. Interdisciplinaridade. Dimensionalidade. Teoria de Resposta ao Item-TRI.
Modelos multidimensionais da TRI.
Abstract
Since 2009 the Brazilian National Secondary Education Examination (Enem, Exame Nacional do
Ensino Médio) is statistically analyzed within the item response theory (IRT) framework, thereby
exhibiting, according to its both adamant supporters and users, a high degree of scientific
character and reliability in its assessment process. In this work one raises the question about the
dimensionality of the Enem’s tests, more specifically, about the dimensionality of the test of the
Natural Science Test.The theoretical construct called Natural Sciences and their Technologies
displays a three-dimensional framework. However, a unidimensional IRT model is used for
statistically analyzing the students’ responses. Such a methodological incoherence sets in doubts
the estimates of the students’ proficiencies and, accordingly, their classification in the score
ranking that allows them access to college. In order to constructively improve Enem, it is
suggested that such a methodological incoherence could be overcame by employing
multidimensional IRT models rather than unidimensional ones.
Keywords: ENEM secondary education assessment. Physics Item. Item Response Theory.
Unidimensional IRT Models. Multidimensional IRT Models.
1
National High School Exam.
a
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira-INEP, Brasília/DF - Brasil.
424
Bolivar Alves Oliveira
Referências
ANDRADE, D. F., KARINO, K. Teoria de resposta ao item. Nota Técnica. Brasília: INEP, 2012.
ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. Teoria da resposta ao item: conceitos e
aplicações. São Paulo: Associação Brasileira de Estatística-ABE, 2000.
BARBETTA, P. A.; TREVISAN, L. M. V.; TAVARES, H.; AZEVEDO, T. C. A. M. Aplicação da teoria da
resposta ao item uni e multidimensional, Estudos de Avaliação Educacional, v. 25, n. 57, 280302, 2014.
BRASIL. MINISTÉRIO DA EDUCAÇÃO. Diretrizes Curriculares Nacionais para a Educação Básica.
Brasília: MEC, 2013.
BRASIL. MINISTÉRIO DA EDUCAÇÃO. Comitê de Governança. Matriz de referência do Enem
2009. Brasília: MEC, 2009. Disponível em: . Acesso em: 25 de março de 2015.
CHIQUETTO, M. J.; KRAPAS, S. Examinando exames: análise dos vestibulares que nortearam o
livro Fundamentos da Física. Cadernos Brasileiros de Ensino de Física, v. 29, n. 1, p. 33-51,
2012.
COSTA, F. K. B. Os conceitos de habilidades e competências subjacentes ao Enem e o livro
didático do 1º Ano. 134f. Dissertação (Mestrado Profissional em Ensino de Ciências e
Matemática). Centro de Ciências, Universidade Federal do Ceará, Fortaleza, 2013.
FURR, R. M.; BACHARACH, V. R. Psychometrics: An Introduction. Los Angeles: SAGE
Publications, 2014.
GATTI, B. A. Possibilidades e fundamentos de avaliações em larga escala: primórdios e
perspectivas contemporâneas. In: Vinte e cinco anos de Avaliação de Sistemas Educacionais no
Brasil. V.1. Bauer, A.; Gatti, B. A.; Tavares, M. R. (Orgs). Florianópolis: Insular, 2013.
GONÇALVES Jr., W.P., BARROSO, M. F. As questões de física e o desempenho dos estudantes
no ENEM. Revista Brasileira de Ensino de Física, v. 36, n. 1, 1402, 2014.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Documento
básico do Enem. Brasília: INEP, 2002.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Exame
nacional do Ensino Médio (Enem): fundamentação teórico-Metodológica. Brasília: INEP, 2005.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA-INEP. Sobre
o Enem. Brasília: INEP, 2009a. Disponível em: . Acesso em: 25 de março de 2014.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Matriz de
referência Enem. Brasília: Inep, 2012a. Disponível em: . Acesso em: 25 de março de 2014.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Entenda a
sua nota no Enem: guia do participante. Brasília: INEP, 2012b.
ANAIS VIII Reunião da ABAVE Avaliação de Larga Escala no Brasil: Ensinamentos, Aprendizagens e Tendências
Nº 2, Ano 2016 p. 423-426
Interdisciplinaridade e dimensionalidade das provas do Enem
425
KARINO, C.; BARBOSA, M. T. Procedimento de cálculo das notas do Enem. Nota Técnica.
Brasília: INEP, 2011.
LANG, F., BARBOSA, M. C. Análise do Enem-2014 pelo Conselho do IF UFRGS. Sociedade
Brasileira de Física. Disponível em: . Acesso em: 25 de março de 2015.
LAROS, J., PASQUALI, L., RODRIGUES, M. Análise da unidimensionalidade das provas do SAEB.
Relatório do Centro de Pesquisa em Avaliação Educacional (CPAE). UnB: Brasília, 2000.
LUCKESI, C. C. Educação, avaliação qualitativa e inovação II. Textos para Discussão. Brasília:
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2012.
MACENO, N. G.; et al. A matriz de referência do Enem 2009 e o desafio de recriar o currículo
de química na educação básica. Química Nova, v. 33, n. 3, p. 153-159, 2011.
MARCELINO Jr., C. A. C. A interdisciplinaridade nas questões do Enem 2009. In: Aprendendo
com o Enem: reflexões para melhor se pensar o ensino e a aprendizagem das ciências naturais
e da matemática. Núñez, I. B.; Ramalho, B. L. et al. (Orgs). Brasília: Liber Livro Editora, 2011.
MOZENA, OSTERMANN. Integração curricular por áreas com extinção das disciplinas no Ensino
Médio. Revista Brasileira de Ensino de Física, v. 36, n. 1, p. 1403, 2014.
NOJOSA, R. T. Teoria da resposta ao item (TRI): modelos multidimensionais. Estudos em
Avaliação Educacional, n. 25, p. 123-166, 2002.
OLIVEIRA. B. A. O conceito de dimensionalidade na teoria de resposta ao item: aspectos
pedagógicos e psicométricos. Projeto de Pós-Doutorado aprovado pela Comissão de Pesquisa,
FEUSP, 2013.
OLIVEIRA. B. A. A qualidade das questões de física no Enem e o problema da dimensionalidade
da prova de Ciências da Natureza e suas Tecnologias. XV Encontro de Pesquisa em Ensino de
Física. Maresias: SBF, 2014.
PEIXOTO, K. C. Q. C.; LINHARES; M. P. Novo Enem: o que mudou? Uma investigação dos
conceitos de física abordados no exame. XII Encontro de Pesquisa em Ensino de Física. Águas
de Lindóia: SBF, 2010.
PINHEIRO, N. C.; OSTERMANN, F. Uma análise comparativa das questões de física no Novo
Enem e em provas de vestibular no que se refere aos conceitos de interdisciplinaridade e
contextualização. XII Encontro de Pesquisa em Ensino de Física. Águas de Lindóia: SBF, 2010.
RECKASE, M. D. Multidimensional item response theory. New York, NY: Springer, 2009.
TAVARES, C. Z. Teoria da resposta ao item: uma análise crítica dos pressupostos
epistemológicos. Estudos de Avaliação Educacional, v. 24, n. 54, 56-76, 2013.
VITÓRIA, F., ALMEIDA, L. S., PRIMI, R. Unidimensionalidade em testes psicológicos: conceito,
estratégias e dificuldades na sua avaliação. PSIC - Revista de Psicologia da Vetor Editora, 7, 1-7, 2006.
ANAIS VIII Reunião da ABAVE Avaliação de Larga Escala no Brasil: Ensinamentos, Aprendizagens e Tendências
Nº 2, Ano 2016 p. 423-426
426
Bolivar Alves Oliveira
Informações do autor:
Bolivar Alves Oliveira
Diretoria de Estudos e Pesquisas-DIRED do Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira-INEP. Contato: [email protected].
ANAIS VIII Reunião da ABAVE Avaliação de Larga Escala no Brasil: Ensinamentos, Aprendizagens e Tendências
Nº 2, Ano 2016 p. 423-426