Self-, peer- and professor assessment from a Bloom`s perspective

Transcrição

12th INTERNATIONAL CONFERENCE ON INFORMATION SYSTEMS & TECHNOLOGY MANAGEMENT - CONTECSI
Self-, peer- and professor assessment from a Bloom’s perspective
Luiz Antonio Titton (Universidade de São Paulo, São Paulo, Brazil) –
[email protected]
Jose Dutra Oliveira Neto (Universidade de São Paulo, São Paulo, Brazil) –
[email protected]
Helder Jose de Araujo (Universidade de São Paulo, São Paulo, Brazil) [email protected]
Abstract:
Among the existing assessment alternatives offered by virtual learning environments,
self and peer assessments are implementable options with low human and materials
cost. The existence of numerous studies on these forms of assessment without a proper
framework can lead to different results. Some lack of theoretical basis may cause their
reliability to be questionable. The objective of this study is to investigate, from the point
of view of the cognitive domain skills proposed by Bloom, three assessments: peer-,
self- and professor assessment. Through a sample of about 100 undergraduate
accounting students, we will investigate the use of a system of evaluation by self-, peerand professor assessment anonymously and with the use of rubrics. The findings show
evidence of alignment among the three forms as well as the impacts of the technique in
the learning process of accounting students. Furthermore, the evidence shows that the
type of activity promotes different convergence grading in the assessments. These
findings can help in new strategies for assessment and teaching and learning especially
in courses with high numbers of students.
Keywords: Assessment, rubrics, Bloom taxonomy
0120
Introdução
A simples investigação dos resultados obtidos de auto avaliações e as realizadas por
pares comparativamente àquelas produzidas pelo professor produziu resultados
relevantes demonstrando haver coerência em graus variados (Chang, Liang, & Chen,
2013a; Chang, Tseng, & Lou, 2012a; Chen, 2010a; Napoles, 2008)
Entretanto, constatam-se disparidades em graus variados nas análises dos resultados.
Esse fator pode induzir o pesquisador a obter conclusões inexatas. Um dos aspectos que
se observa é que o agrupamento das questões utilizadas para as avaliações é feito de
acordo com o significado das tarefas (Chang, Liang, & Chen, 2013b). O
questionamento que se faz é que nesse caso as conclusões não dispõem de um
arcabouço teórico conceitual para basear a forma como foram realizados os
agrupamentos. Portanto, as análises sobre o processo ficam prejudicados porque
qualquer comparação entre os grupos tem um sentido explicativo restrito a atividades e
não de forma mais ampla e generalizável como seria se os agrupamentos tivessem sido
realizados com base em um framework reconhecido pela ciência.
A adoção da taxonomia de habilidades cognitivas proposto por Bloom não é nova para
análises de avaliações. Um estudo realizou uma comparação entre os tipos de questões
em uma faculdade de química e concluiu que no exame admissional há predominância
de questões de níveis superiores de habilidades mas que, no decorrer do curso, são
utilizados essencialmente, acima de 99%, questões do primeiro nível de habilidades da
taxonomia. (Karamustafaoğlu, SEVİM, Karamustafaoğlu, & ÇEPNİ, 2003a)
Ainda com foco em estrutura curricular, foi sugerida como que fosse adotada uma
variante da taxonomia de Bloom, proposta por Krathwohl (2000) para determinar o
nível de habilidades de alto nível envolvido nas questões formuladas para realizar a
avaliação de tarefas. Essa variante foi utilizada para avaliar a presença de questões de
níveis mais avançados nos três primeiros anos de um curso. (Collier-Reed, 2011)
Foi observado, também, que o envolvimento proporcionado pela avaliação por pares
desenvolve mais as habilidades meta cognitivas, que são mais difíceis em uma auto
avaliação. (Chang, Tseng, & Lou, 2012b)
Esse trabalho buscou investigou, do ponto de vista das habilidades do domínio
cognitivo proposto Bloom, as avaliações: por pares, auto avaliação e avaliação do
professor. Dessa maneira, foi utilizado um arcabouço teórico conceitual para as
avaliações classificando as atividades de acordo com as habilidades representadas na
taxonomia de Bloom. Para isso, as rubricas utilizadas para a avaliação foram produzidas
utilizando o arcabouço teórico e esse mesmo framework foi utilizado para a análise.
Assim, os agrupamentos não utilizaram o sentido do conteúdo das questões do ponto de
vista do caso em si, mas as habilidades do domínio cognitivo.
2 – Modelos de avaliação
O processo de avaliação demanda o uso intensivo de recursos humanos que torna o
processo de avaliação muito caro e longo. A medida que crescem o número de alunos, o
processo de avaliação torna-se um elemento crítico no processo de viabilidade
financeira. Uma das iniciativas educacionais com grande volume de alunos são os
0121
Massive Open Course Online (MOOC) onde observa-se uma grande expectativa de
crescimento no mercado educacional (Gray, 2013)
A avaliação do professor torna-se inviável em cursos com grande número de alunos e,
portanto, surge a necessidade de identificar novas formas de avaliação viáveis com a
mesma qualidade. Dentre as possibilidades pode-se destacar a avaliação auto avaliação e
a feita por pares.
Sitzmann, Brown, & Bauer (2010) explicam o construto de auto avaliação por meio da
distinção entre três abordagens: conhecimento, aprendizado cognitivo e resultados
emocionais. A primeira refere-se a avaliação que os alunos fazem de seu nível de
conhecimento ou incrementos nos seus conhecimentos em um determinado domínio. A
segunda - auto avaliação na dimensão de aprendizado cognitivo - refere-se a
compreensão de informações que incluem conhecimento baseado em fatos e
conhecimentos. A distinção crítica entre essas duas dimensões é a origem de onde vem a
compreensão dos alunos. A primeira refere-se a depoimentos de seus níveis de
conhecimento enquanto que a segunda refere-se a auto graduações em exames e tarefas
assim como as atribuídas pelo professor. A terceira abordagem – resultados emocionais
– engloba três possíveis aspectos: reações, motivação e eficácia. As reações refletem a
satisfação do aluno com a sua experiência educacional (Sitzmann, Brown, Casper, Ely,
& Zimmerman, 2008). A motivação refere-se ao grau em que os alunos se esforçaram
para aplicar o conhecimento adquirido (Sitzmann et al., 2008). E, a eficácia diz respeito
a confiança dos alunos na sua habilidade de realizar tarefas associadas ao treinamento
dado (Bandura, 1977)
Nesse trabalho, ao referir-se a auto avaliação está sendo feira a referência a segunda
abordagem, aprendizado cognitivo, em que o objeto sendo medido é o conhecimento
baseado em fatos e conhecimentos em tarefas. Essa delimitação exclui a auto percepção
de conhecimento e resultados emocionais.
Nessa abordagem específica, o aluno avalia a sua atividade comparando com um critério
entendido como correto e que é o mesmo utilizado pelo professor para a avaliação da
tarefa.
A avaliação por pares tem se tornado comum em muitos cursos no contexto da
tecnologia de telecomunicações. Esse modo de avaliação pode ser combinado com a
auto avaliação e a do instrutor. No entanto, uma pesquisa foi realizada com os alunos
que trabalham no mesmo assunto presencialmente e foram encontrados indícios de
diferenças nos resultados dos três métodos de avaliação citados. Verificou-se que a auto
avaliação e a do instrutor são consistentes entre si, mas a avaliação por pares mostrou
diferenças significativas com relação aos outros dois métodos.(Chang, Liang, & Chen,
2013c; Chang, Tseng, & Lou, 2012c) Uma nova pesquisa posterior testou a mesma
configuração usando suporte baseado na web e descobriu-se que neste novo ambiente os
três métodos convergiram para os mesmos resultados (Chang et al., 2012c). Nessas
duas pesquisas todos os alunos sabiam que estava avaliando um ao outro. Isso é um
indício de que o meio pode influenciar a convergência de resultados obtidos.
A avaliação por pares melhora as habilidades do aluno para relacionar objetivos
instrucionais com atividades de avaliação, para entender os critérios e processos, para
identificar os pontos fortes e fraquezas do próprio desempenho dos alunos, para
melhorar a sua compreensão e sua confiança no assunto em mãos e para melhorar
0122
desempenho futuro (Ballantine, 2002 apud Chen, 2010). A avaliação pelos pares pode
expor o cenário de aprendizagem colaborativa, oferecendo uma maneira de incluir
sugestões para outro aluno fazer um trabalho melhor. Em outras palavras, os alunos não
precisam apenas do conteúdo do curso para produzir o trabalho, mas precisam, também,
conhecer os critérios de avaliação. Esse conhecimento é necessário para reunir esses
elementos para propor uma sugestão sobre o trabalho que está sendo avaliado de forma
independente sendo seu próprio ou de terceiros. Neste sentido, uma pressão social para
colaborar pode resultar numa melhor aprendizagem.
Quando a responsabilidade de fazer a avaliação é passada para os alunos, a sua
capacidade de atender a esses requisitos deve ser suficiente para corresponder à
importância da avaliação. (O’Toole, 2013) Embora na maioria dos alunos percebe-se
que a avaliação por pares "impacta positivamente a autoconfiança, melhora
comportamentos de aprendizagem, e ajuda na identificação de pontos fortes e limitações
pessoais" a maioria dos alunos concordou que o recebimento de feedback de um
instrutor é mais significativo do que a partir de um outro aluno. Além disso, os alunos
demonstraram-se divididos em relação ao impacto do anonimato e amizade.(Theising,
Wu, & Heck Sheehan, 2014) De fato, os alunos tendem dar mais valor a especialistas e
ao instrutor mais do que a si mesmos " e podem se sentir desconfortáveis quanto a
criticar o desempenho do outro.(Chen, 2010b)
Ver o trabalho do aluno a partir da perspectiva do avaliador pode ser uma experiência
poderosa instrutiva para os alunos, uma vez que não são avaliadores experientes. Em
outros casos, eles podem construir sobre essa experiência, tornando-se melhores
avaliadores da qualidade do trabalho de alunos (e, por decorrência, do seu próprio
trabalho). Dessa forma, sua responsabilidade pode crescer ao longo do tempo. (O’Toole,
2013) Observa-se que pela novidade deste método, isso pode ser um possível problema
porque os alunos duvidam de suas próprias capacidades para produzir um feedback
construtivo e sugestões apropriadas. (Bannister & Thorne, 1997 apud Chen, 2010)
Esta progressão na responsabilidade e capacidade de avaliação por pares pode ser
deliberadamente estruturada com um projeto de aprendizagem, que inclui as fases da
atividade, avaliação por pares, revisão e reflexão sobre a avaliação do par, aprendendo a
ser um assessor melhor, mais ativo e com uma avaliação mais aprofundada. As
atividades de avaliação podem ser incluídas no projeto do curso especialmente para
oferecer mais oportunidades para desenvolver habilidades de avaliação. Esta é uma
forma de pedagogia da aprendizagem-ação. O processo pode ser gerido de forma mais
eficaz onde a tecnologia pode ser usada para a acrescentar sugestões sobre o material
avaliado na área de avaliação, com comentários dos pontos de avaliação adicionadas por
outros, e, em seguida, reflexões sobre os comentários a ser acrescentados na mesma
área. (O’Toole, 2013)
Independentemente das crenças epistemológicas, a argumentação colaborativa
promoveu ambiente mais construtivo e interativo entre colegas questionando atividades
e ajudou a construir argumentos mais elevados em qualidade nos estudos de caso do que
em resumos colaborativos. Isso aponta indícios de que pode ser consistente uma
hipótese de que o tipo de atividade pode interferir na qualidade do ambiente
colaborativo no decorrer da avaliação por pares. Portanto, os efeitos de tarefas
correspondentes e crenças epistemológicas variou dependendo dos tipos de resultados
de aprendizagem (compreensão vs. argumentação) em questionamento por pares
0123
online.(Cho, Lee, & Jonassen, 2011). O ambiente colaborativo pode levantar
questionamentos acerca da avaliação de colegas, mais especificamente no anonimato.
3 Dominío Cognitivo de Bloom
Segundo Bloom (Ferraz, Belhot, 2010), as habilidades no domínio cognitivo tratam de
conhecimento, compreensão e o pensar sobre um problema ou fato.
•
•
•
Conhecimento: memorização de fatos específicos, de padrões de procedimento
e de conceitos.
Compreensão: imprime significado, traduz, interpreta problemas, instruções, e
os extrapola.
Aplicação: utiliza o aprendizado em novas situações.
Estudos anteriores demonstraram que podem ocorrer predominâncias extremas do uso
de questões centradas em habilidades cognitivas de baixo nível mesmo quando existem
recomendações institucionais para o uso de avaliações em habilidades cognitivas de alto
nível (Karamustafaoğlu, SEVİM, Karamustafaoğlu, & ÇEPNİ, 2003b).
Essa distinção entre graduação entre itens de alto ou baixo nível de habilidades
cognitivas também foi observada em estudo que apontou que os alunos tiveram
facilidade e demonstraram melhor acurácia na auto avaliação de itens de baixo nível e
demonstraram dificuldade em questões de alto nível. (Sadler & Good, 2006)
Em cursos na modalidade online, a condição de anonimato pode definir uma situação
que afeta positiva ou negativamente a confiança na avaliação. Sob esta condição
especial, verificou-se que a revisão por pares cegos apresentou um melhor desempenho
na avaliação de tarefas por escrito e forneceram feedback mais crítico para os seus pares
do que os estudantes que participam na revisão por pares com avaliadores
identificados.(Lu & Bol, 2007)
Observou-se que até mesmo entre grupos distintos, avaliando membros do seu grupo e
de outro, e em que se sabia qual era o outro grupo sendo avaliado, a tendência de alterar
a avaliação positivamente para o seu próprio grupo em detrimento a outro é um fato
(Sadler & Good, 2006).
Além do aspecto do anonimato, deve existir um critério claro no processo de avaliação
para uniformizar o processo de correção. Por isso, existe a necessidade de que os
critérios sejam transparentes, previsíveis e relevantes para o currículo e para as
necessidades dos alunos de forma a projetar um sistema confiável. (O’Toole, 2013)
Para manter a boa qualidade, a necessidade de esforços de avaliação tornou-se altamente
consumidora de tempo e recursos. Por esta razão, o uso de instrumentos de avaliação
que podem promover o pensamento e aprendizagem ao mesmo tempo em que os alunos
são avaliados estão ganhando interesse de ser utilizados em Ambiente Virtual de
Aprendizagem (AVA). Entre os instrumentos disponíveis, a adoção de rubricas
demonstra ser a forma mais rápida e eficiente para avaliar o trabalho do aluno. Quando
rubricas são produzidas de acordo com as recomendações encontradas na literatura,
0124
podem ser também ensinar ferramentas que suportam a aprendizagem do aluno e o
desenvolvimento de habilidades de pensamento sofisticados. O uso de rubricas
previamente definidas para avaliar o conhecimento sobre um assunto é uma boa maneira
de manter a transparência e a previsibilidade claras para alunos e instrutores.
O principal aspecto das rubricas que contribui levar o sistema à transparência,
confiabilidade e acurácia é que elas suportem a aprendizagem e o desenvolvimento de
habilidades e de compreensão. Elas, também, devem ser fáceis de usar e explicar,
mostrar claramente a expectativa do professor e proporcionar aos alunos um feedback
mais informativo sobre os seus pontos fortes. O número adequado de gradações para
rubricas é quatro opções.(Andrade, 2000)
Não há indicações sobre como produzir as rubricas de tal modo a atender a todas estas
necessidades. As recomendações são de que para fazer uma rubrica instrucional o
professor deve olhar para modelos, listas de critérios, construir e desconstruir critérios e
níveis articulados de qualidade, criar e rever o projeto de rubricas antes de usá-lo.
(Andrade, 2000). Além disso, a necessidade de avaliar se torna menos importante do
que o desejo de aumentar o processo de aprendizagem e desenvolver novas capacidades.
O projeto de rubricas depende de quanto os fins - formativo ou somativo - são os
objetivos da avaliação. O sucesso do sistema depende dos alunos: o engajamento em sua
aprendizagem, capacidade de agir no contexto, capacidade de aplicar seus recursos em
um contexto diferente do seu aprendizado um, capacidade de aplicar suas habilidades
em um contexto desconhecido no futuro, meta–capacitação para desenvolver as suas
capacidades ainda mais, meta-capacidade de ajudar os outros a desenvolver as suas
capacidades. Práticas de avaliação bem desenhados podem incluir vários ou todos estes
aspectos para promover a boa aprendizagem e avaliação confiável. (O’Toole, 2013)
Por outro lado, a experiência anterior com a utilização de rubricas é extremamente
importante pois se os alunos são simplesmente apresentados as rubricas e pede-se que
usem voluntariamente, eles acabam por ignorar as rubricas. (Sadler & Good, 2006) Por
isso, existe a necessidade de previamente ensinar aos alunos sobre como utilizar as
rubricas por meio de um treino nessa ferramenta de avaliação.
Entretanto, pode-se afirmar que as rubricas devem medir as habilidades de acordo com a
dimensão que se deseja mensurar podendo ser conhecimento, compreensão ou
capacidades de nível superior. Utilizaremos nesta proposta as 3 dimensões iniciais da
taxonomia de Bloom.
Esse trabalho tem como objetivo a investigação sobre alguns modelos de avaliação no
ensino de graduação usando uma ferramenta online. Existem diversas formas de
avaliação no ensino presencial, porém poucos estudos empíricos estão disponíveis na
literatura acerca do uso de ferramentas no processo avaliativo. Os modelos utilizados
são: auto avaliação, avaliação por pares e avaliação pelo professor. A etapa empírica
ocorreu em um curso de graduação em contabilidade em uma instituição pública. A
mensuração dos modelos baseou-se nas dimensões cognitivas de Bloom
Metodologia
Este é um estudo de caso que vai permitir identificar o alinhamento entre os diversos
tipos de avaliação em uma unidade de pesquisa que é um curso de graduação de
contabilidade.
0125
Os participantes foram alunos de graduação em contabilidade em uma universidade
pública. A disciplina utilizada para a pesquisa foi a de métodos científicos da pesquisa
onde os alunos aprendem a escrever artigos científicos e relatório de pesquisa, como
parte do curso. A amostra teve 101 alunos. Dessa amostra, três alunos foram excluídos
por não terem submetido seu trabalho para avaliação uma vez que essa condição os
impediu de avaliar os trabalhos de dois pares, além do seu próprio trabalho. Essa opção
foi tomada do ponto de vista didático com a justificativa de que a capacidade de avaliar
é posterior ao aprendizado decorrente de produzir o mesmo material na tarefa proposta
para a atividade.
Na atividade, o aluno deveria atingir os dois primeiros níveis cognitivos de Bloom
quando teve a oportunidade de mostrar a capacidade em conhecer e compreender os
conceitos básicos referentes as seções obrigatórias e opcionais de um resumo científico.
Neste caso, o aluno recebeu um resumo de um artigo publicado em uma revista
científica nacional e, também, uma cópia do artigo completo. Suas tarefas foram a de
identificar as seis seções do resumo que estão presentes e/ou faltantes. Essas seções
foram delimitadas como contexto, lacuna, objetivo, materiais e métodos, resultados e
conclusão. A tarefa seguinte consistiu em colocar o resumo nessa ordem uma vez que o
resumo fornecido estava em outra ordem. A terceira tarefa é identificar a seção ou as
seções faltantes e produzir uma frase para completar o resumo com as seis seções. No
caso do resumo fornecido, estavam faltando as duas primeiras seções.
Do ponto de vista da taxonomia de Bloom, as tarefas que compõem a atividade foram
associadas com as habilidades no domínio cognitivo como se apresenta no Quadro 1:
Quadro 1 - Relacionamento entre as tarefas e a taxonomia de Bloom
Tarefa
Habilidade no domínio
cognitivo
T1 - Identificar as seções do resumo
Conhecimento
T2 - Reordenar o resumo segundo o gabarito
proposto
Conhecimento
T3 - Demonstrar que identificou as partes faltantes
Conhecimento
T4 - Produzir a primeira parte faltante (contexto)
Compreensão
T5 - Produzir a segunda parte faltante (lacuna)
Compreensão
Após a submissão de sua atividade pelo AVA, o aluno terá que avaliar anonimamente
outros dois colegas anônimos, além de fazer a avaliação do seu próprio trabalho. O
professor efetua esta avaliação para todos os alunos. Todos usaram a mesma rubrica no
sistema de AVA.
Devido às necessidades institucionais e alinhamento para as questões éticas sobre as
pesquisas que utilizam seres humanos, foi exposto aos alunos que a nota final do curso
usou suas medidas de desempenho e que o material produzido foi parte de uma pesquisa
em que não haveria nenhuma identificação individual. O uso efetivo de suas avaliações
0126
como parte da nota final do curso foi o argumento apresentado estimular a avaliação
sincera e responsável.
Um questionário foi administrado a todos os alunos após a conclusão da tarefa para
verificar o grau de proteção do anonimato. É previsível que exista algum tipo de
influência da avaliação por quebra de anonimato. Isso é considerado como uma ameaça
a validade e foi mensurada resultando em 2 % de alunos que identificaram o trabalho de
terceiros sendo avaliado. Esse valor foi considerado aceitável e sem implicações para
essa pesquisa.
Em que pese a recomendação para que as rubricas sejam em número de quatro, foi
necessário incluir uma opção anterior para indicar que no trabalho sendo avaliado não
tinha sido realizada a tarefa correspondente à rubrica. Dessa forma, em todas rubricas
obteve-se 5 opções para as primeiras três tarefas. A graduação total mínima possível é 5
e a maior é 25.
Quadro 2 - Rubricas utilizadas
Enunciado da rubrica
Colocar marcação correta no word
usando o gabarito de seções do
resumo
Montar o resumo na ordem correta de
acordo com o gabarito de seções do
resumo
Demonstrar o que está faltando
(deixou alguma indicação ou produziu
Rubricas
Valor
Não fez
1
Errou mais de 3 marcações
2
Errou duas marcações
3
Errou uma das marcações
4
Marcou corretamente as partes
5
Não fez
1
Errou 3 ou mais partes
2
Errou duas partes
3
Errou uma das partes
4
Reordenou corretamente as partes
5
Nao fez
1
0127
Enunciado da rubrica
Rubricas
a parte que falta). As partes faltantes
são contexto e gap
Identificou mais de duas partes
faltantes (incorreto)
2
Identificou
(incorreto)
faltante
3
Identificou duas partes faltantes
(correto)
3
Não produziu um texto para o
CONTEXTO
1
Produziu o texto, mas não está
correto
2
Produziu corretamente, mas o texto
não está claro
3
Produziu corretamente e o texto
está claro
4
Não produziu um texto para o GAP
1
Produziu o texto, mas não está
correto
2
Produziu corretamente, mas o texto
não está claro
3
Produziu corretamente e o texto
está claro
4
Qualidade do texto produzido sobre o
CONTEXTO
Qualidade do texto produzido sobre o
GAP
uma
parte
Valor
Resultados
Os dados foram processados utilizando os valores atribuídos para cada opção em cada
rubrica e não representam as notas atribuídas aos alunos. Esses valores tem o objetivo
exclusivo de análise dos dados obtidos. Esses dados foram consolidados na Tabela 1:
0128
Tabela 1 - Dados primários das rubricas aplicadas
Rubric Professo
a
r
Pares Auto
1
3,05
3,43 3,53
2
1,78
3,60 3,71
3
3,01
2,96 3,23
4
2,11
2,75 2,91
5
2,44
2,43 2,59
Pares/Prof
12,45%
101,94%
-1,72%
30,16%
-0,47%
Auto/Prof
15,85%
108,39%
7,25%
37,50%
6,13%
Auto/Pare Convergênci
s
a
3,02%
0,25
3,19%
1,08
9,13%
0,14
5,64%
0,42
6,64%
0,09
O objetivo dessa tabela é apresentar os resultados de cada um dos níveis de avaliação –
professor, pares e auto avaliação. Sendo assim, na primeira coluna é indicada a rubrica e
nas três colunas seguintes apresentam-se as médias da amostra. Na quarta coluna
observa-se quanto, em percentual, as notas das avaliações dos pares foi superior a nota
atribuída pelo professor. Na coluna seguinte é apresentado o quanto a nota de auto
avaliação foi superior àquela dada pelo professor. A última coluna é o desvio padrão
dos três grupos de avaliações apresentadas – professor, pares e auto avaliação.
Entendeu-se que o desvio padrão entre todas as notas corresponde a uma medida de
convergência entre os grupos de avaliação. As avaliações realizadas por pares foram
tratadas conjuntamente e é necessário ressaltar que ocorreram duas avaliações para cada
trabalho submetido.
Outra tabela analítica foi produzida comparando o quanto as avaliações feitas pelo
próprio aluno e por pares estavam superiores a avaliação feita pelo professor. Nesse
caso, a tabela é extensa comparando cada nota e a consolidação das informações pode
ser visualizada na :
Tabela 2 - Variação percentual das auto avaliações e avaliações dos pares sobre as do professor
Descrição
Auto avaliações /
Avaliação do Professor
Avaliações dos pares /
Média
Desvio
Padrão
Média
Desvio
Padrão
Rubrica 1
24%
50%
19%
44%
Rubrica 2
Rubrica 3
Rubrica 4
Rubrica 5
182%
13%
78%
25%
155%
43%
123%
82%
167%
7%
72%
29%
143%
61%
120%
99%
Nessa tabela, são apresentados os percentuais em que as auto avaliações e avaliações
por pares são superiores àquelas atribuídas pelo professor. Assim, a média representa o
percentual médio dos favorecimentos dados em auto avaliações e avaliações dos pares.
São acompanhadas do desvio padrão desses percentuais.
Tabela 3 - Variações das auto avaliações e por pares sobre as do professor agrupadas
Descrição
Auto avaliações /
0129
Avaliações dos pares /
Total
Conhecimento
Compreensão
Média
65%
73%
52%
Desvio
Padrão
71%
95%
38%
Média
59%
64%
50%
Desvio
Padrão
65%
89%
31%
Nessa tabela, os mesmos dados da tabela anterior foram totalizados na linha ´total’. A
seguir, na linha de conhecimento foram totalizadas as rubricas 1 a 3 que foram
classificadas como sendo do primeiro nível de Bloom. Na linha de compreensão estão
totalizadas as rubricas 4 e 5 consideradas como pertencentes ao nível 2 de Bloom.
Análise
Do ponto de vista de existir algum favorecimento dos alunos ao conceder avaliações
superiores aos dados pelo professor, pode-se notar na Tabela 1 que há indícios de que
trata-se de um fato. Entretanto, não há um padrão para esse pretenso favorecimento.
Observe-se que há uma sensível diferença entre o grau de favorecimento entre as cinco
rubricas. Isso leva a considerar a suposição de que o favorecimento é afetado pelo tipo
de tarefa, corroborando o que afirmaram Cho, Lee & Jonassen (2011).
Por outro lado, isso não assegura que a causa dessa discrepância também não possa ter
sido a rubrica utilizada. Mas essa suposição não encontra fundamento no próprio
conjunto de rubricas utilizadas, uma vez que as duas últimas são idênticas e também
apresentam diferenças de favorecimento entre si. Dessa forma, é possível descartar o
efeito da rubrica como um fator que pudesse interferir na afirmação realizada por Cho,
Lee & Jonassen (2011) e que dessa forma confirmam o indício de que o resultado das
rubricas é afetado apenas pelo tipo de tarefa.
Ainda, na Tabela 1, na última coluna, pode-se observar que há pouca regularidade na
convergência entre as rubricas. Mesmo considerando que as três primeiras rubricas
referem-se a um tipo de habilidade de domínio cognitivo diferente das duas últimas,
essa tendência de divergência se mantém. E, isso faz merecer uma avaliação mais
detalhada para compreender se pode existir alguma coerência entre os dois grupos de
rubricas no sentido do favorecimento dado pelos alunos comparativamente com as
avaliações do professor.
Na Tabela 2 observa-se os percentuais de favorecimento das avaliações comparadas
com aquela produzida pelo professor. Observe-se que quando o favorecimento é alto –
rubricas 2 e 4 – o desvio padrão também é elevado. Isso acontece tanto nas avaliações
por pares como nas auto avaliações. Isso pode significar o indício de que em algumas
atividades há mais propensão ao favorecimento do que outras e que o consenso geral da
turma tende a ser menor.
Veja, na Tabela 3, na linha de total, que os favorecimentos gerais da turma, tanto
quando nas avaliações por pares quanto nas auto avaliações são próximas, tanto no
percentual quanto no desvio padrão. Essa convergência é muito importante por dar
indícios de que existe coerência da turma nas duas modalidades de avaliação, mostrando
que existiu um favorecimento maior, mas pequeno, nas auto avaliações.
0130
Mas, o dado relevante observável na Tabela 3 é que o nível de favorecimento nas
rubricas 1 a 3, totalizadas sob a dimensão de conhecimento de Bloom apresenta maior
nível de favorecimento do que os dados mostrados na dimensão da compreensão. E,
observa-se, da mesma forma convergência entre as auto avaliações e as avaliações por
pares. Essa pode ser uma indicação de que nas tarefas da segunda dimensão de Bloom, a
propensão ao favorecimento é menor.
Considerações Finais
Pode-se afirmar que há indícios de convergência entre auto avaliações e por pares
comparadas com as feitas pelo professor. Entretanto, deve-se observar que a quarta e
quinta rubricas são idênticas variando apenas a tarefa proposta que foi produzir um
texto referente ao contexto e lacuna (gap), respectivamente. Por isso, atribui-se a falta
de homogeneidade para a atividade que foi aplicada aos alunos, ou seja, a atividade
pode alterar a convergência, e portanto a acurácia, das avaliações feitas pelos alunos.
Por outro lado, há uma convergência relativamente uniforme entre a auto avaliações e
por pares, com superioridade da primeira. Isso demonstra a tendência para o maior
favorecimento em que o aluno avalia a si mesmo, mas que o comportamento geral é
coerente entre os dois tipos de avaliação.
O resultado apresentado corrobora as pesquisas anteriores mas a taxonomia de Bloom
apresenta uma dimensão nova para interpretar os dados. Foi constatado que ao se
oferecer atividades que envolvem o conhecimento – primeiro nível da taxonomia de
Bloom -, as discrepâncias entre as avaliações feitas pelos alunos e a do professor podem
ser muito maiores do que aquelas que envolvem a compreensão, que é o segundo nível
de Bloom. É interessante que a variação das diferenças entre avaliações de alunos e do
professor apresentaram desvio padrão menor também nessa comparação.
Isso sugere que o tipo de atividade influencia a avaliação pelos indícios de que nas
atividades de mais alto nível de habilidades a auto avaliação e por pares apresentem
maior acurácia.
Essa pesquisa foi aplicada em uma situação presencial utilizando um Ambiente Virtual
de Aprendizagem e, por isso, é facilmente replicável em um curso online utilizando os
recursos já disponíveis nessa ferramenta e independendo do número de alunos desde
que atendidas a algumas condições: avaliações por pares duplamente cegos, que seja
conhecido o percentual de favorecimento dos pares sobre as do professor, que seja
conhecido o percentual de favorecimento das auto avaliações sobre as dos pares,
produção de rubricas adequadas e, não menos importante, o percentual de convergência
de cada tipo de atividade.
Entre esses requisitos, o que demonstra maior dificuldade aparente é determinar quais
atividades induzem aos percentuais variados de falta de convergência. Entretanto, ficou
clara a existência de indícios de que nas atividades de maior nível na taxonomia de
Bloom, esses percentuais são menores.
Esse achado de que a acurácia em avaliações feitas pelos alunos em atividades de maior
nível de Bloom pode ser relevante para cursos em MOOC porque as avaliações
poderiam centrar em níveis mais elevados de habilidades. Esse pode ser um fator de
melhoria de qualidade desses cursos.
0131
A inserção da taxonomia de Bloom para análise da acurácia das avaliações feitas pelos
alunos avançou no conhecimento em relação a resultados anteriores pelo fato de
demonstrar que existem indícios de uma maior acurácia nas avaliações em atividades
que demandam maior nível de habilidades cognitivas.
Foram encontrados indícios de que quanto mais avançado a atividade no sentido das
habilidades de domínio cognitivo de Bloom menor será o desvio de avaliação dos
alunos com relação às tarefas avaliadas. Esses indícios têm suporte, também, na
coerência entre auto avaliações e avaliações por terceiros que, no caso estudado,
apresentaram forte convergência.
Referências
Andrade, H. G. (2000). Using Rubrics to Promote Thinking and Learning. Educational
Leadership, 57(5), 13–18.
Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change.
Psychological Review, 84(2), 191–215. doi:10.1037//0033-295X.84.2.191
Chang, C.-C., Liang, C., & Chen, Y.-H. (2013a). Is learner self-assessment reliable and
valid in a Web-based portfolio environment for high school students? Computers &
Education, 60(1), 325–334. doi:10.1016/j.compedu.2012.05.012
Chang, C.-C., Liang, C., & Chen, Y.-H. (2013b). Is learner self-assessment reliable and
Chang, C.-C., Liang, C., & Chen, Y.-H. (2013c). Is learner self-assessment reliable and
Chang, C.-C., Tseng, K.-H., & Lou, S.-J. (2012a). A comparative analysis of the
consistency and difference among teacher-assessment, student self-assessment and
peer-assessment in a Web-based portfolio assessment environment for high school
students. Computers & Education, 58(1), 303–320.
doi:10.1016/j.compedu.2011.08.005
Chang, C.-C., Tseng, K.-H., & Lou, S.-J. (2012b). A comparative analysis of the
doi:10.1016/j.compedu.2011.08.005
Chang, C.-C., Tseng, K.-H., & Lou, S.-J. (2012c). A comparative analysis of the
0132
doi:10.1016/j.compedu.2011.08.005
Chen, C. (2010a). The implementation and evaluation of a mobile self- and peerassessment system. Computers & Education, 55(1), 229–236.
doi:10.1016/j.compedu.2010.01.008
Chen, C. (2010b). The implementation and evaluation of a mobile self- and peerassessment system. Computers & Education, 55(1), 229–236.
doi:10.1016/j.compedu.2010.01.008
Cho, Y. H., Lee, J., & Jonassen, D. H. (2011). The role of tasks and epistemological
beliefs in online peer questioning. Computers & Education, 56(1), 112–126.
doi:10.1016/j.compedu.2010.08.014
Collier-Reed, B. (Ed. . (2011). Proceedings of the First Biennial Conference of the
South African Society for Engineering Education Proceedings of the First Biennial
Conference of the South African Society for Engineering Education.
Ferraz, A.P.C.M., Belhot, R.V., Taxonomia de Bloom: revisão teórica e apresentação
das adequações do instrumento para definição de objetivos instrucionais, Gestão
Produção, São Carlos, v. 17, n. 2, p. 421-431, 2010
Gray, D. (2013). Barriers To Online Postsecondary Education Crumble: Enrollment In
Traditional Face-To-Face Course Declines As Enrollment In Online Courses
Increases. Contemporary Issues In Education Research, 6(3), 345–348.
Karamustafaoğlu, S., SEVİM, S., Karamustafaoğlu, O., & ÇEPNİ, S. (2003a). Analysis
of Turkish High-School Chemistry-Examination Questions According To
Bloom’ S Taxonomy. Chemistry Education Research and Practice, 4(1), 25.
doi:10.1039/b2rp90034c
Karamustafaoğlu, S., SEVİM, S., Karamustafaoğlu, O., & ÇEPNİ, S. (2003b). Analysis
of Turkish High-School Chemistry-Examination Questions According To
Bloom’ S Taxonomy. Chemistry Education Research and Practice, 4(1), 25.
doi:10.1039/b2rp90034c
Lu, R., & Bol, L. (2007). A Comparison of Anonymous Versus Identifiable e-Peer
Review on College Student Writing Performance and the Extent of Critical
Feedback. Journal of Interactive Online Learning, 6(2), 100–115.
Napoles, J. (2008). Relationships Among Instructor, Peer, and Self-Evaluations of
Undergraduate Music Education Majors’Micro-Teaching Experiences. Journal of
Research in Music Education, 56(1), 82–91.
O’Toole, R. (2013). Pedagogical strategies and technologies for peer assessment in
Massively Open Online Courses ( MOOCs ).
0133
Sadler, P., & Good, E. (2006). The Impact of Self- and Peer-Grading on Student
Learning. Educational Assessment, 11(1), 1–31. doi:10.1207/s15326977ea1101_1
Sitzmann, T., Brown, K. G., & Bauer, K. N. (2010). Self-Assessment of Knowledge  :
A Cognitive Learning or Affective Measure  ?, 9(2), 169–191.
Sitzmann, T., Brown, K. G., Casper, W. J., Ely, K., & Zimmerman, R. D. (2008). A
review and meta-analysis of the nomological network of trainee reactions. The
Journal of Applied Psychology, 93(2), 280–95. doi:10.1037/0021-9010.93.2.280
Theising, K., Wu, K., & Heck Sheehan, A. (2014). Impact of peer assessment on student
pharmacists’ behaviors and self-confidence. Currents in Pharmacy Teaching and
Learning, 6(1), 10–14. doi:10.1016/j.cptl.2013.09.020
0134

Self-, peer- and professor assessment from a Bloom`s perspective

Transcrição

Documentos relacionados

the suspects wore loubotins_traducao

“Educar é um ato de amor, e para educar as crianças, é necessário

A revolução das avaliações

1 A taxonomia dos objetivos educacionais

Profª Divair Aparecida Nunes Domingues

Market Share Auto 1BI

teoria humanista - Teorias da Aprendizagem

Clique aqui para ler o memorando

speed-dome 30x

Apresentação - Instituto Fonte