ANAIS DA II REUNIÃO DE AVALIAÇÃO

Transcrição

ANAIS DA II REUNIÃO DE AVALIAÇÃO:
Temas da Atualidade:
Contribuições e Desafios da Avaliação
Rio de Janeiro, 10 e 11 de dezembro de 2012
Fundação Cesgranrio
Programa de Pós-Graduação
Mestrado Profissional em Avaliação
Rio de Janeiro
2012
Apoio
Presidente da Fundação Cesgranrio
Carlos Alberto Serpa de Oliveira
Coordenadora do Mestrado Profissional em Avaliação
Ligia Gomes Elliot
Comitê Organizador
Ligia Gomes Elliot
Angela Carrancho da Silva
Christina Marília Teixeira da Silva
Maria de Lourdes Sá Earp
Comitê Científico
Ligia Gomes Elliot
Christina Marília Teixeira da Silva
Gilberto Mendes de Oliveira Castro
Fátima Cunha Ferreira Pinto
Lígia Silva Leite
Lucí Hildenbrand
Mercêdes Moreira Berenger
Nilma Santos Fontanive
Roberto Guimarães Boclin
Ruben Klein
Thereza Penna Firme
Secretaria Geral do Evento
Nilma Gonçalves Cavalcante
Valmir Marques de Paiva
Revisão Bibliográfica
Alessandra H. Rodrigues
Anna Karla S. da Silva
___________________________________________
R444a
Reunião de avaliação: temas da atualidade: contribuições e desafios
Anais da II Reunião de Avaliação: temas da atualidade:
contribuições e desafios / Organização Ligia Gomes Elliot. – Rio de
Janeiro: Fundação Cesgranrio, 2012.
398 p.; 30 cm.
Encontro realizado nos dias 10 e 11 de dezembro de 2012.
ISBN 978-85-85768-52-2
1. Encontro em avaliação – Rio de Janeiro (RJ). 2. Fundação
Cesgranrio – Rio de Janeiro (RJ). I. Elliot, Ligia Gomes. II. Título.
CDD 371.26
_______________________________________________________________________
Ficha catalográfica elaborada por Anna Karla S. da Silva (CRB7/6298)
Todos os direitos desta edição são reservados à Fundação Cesgranrio
Rua Cosme Velho, 155
22241-125 – Rio de Janeiro – RJ – Brasil
www.cesgranrio.org.br
Sumário
Tema: Metodologias em Avaliação
TRADUÇÃO, ADAPTAÇÃO CULTURAL E VALIDAÇÃO DE
INSTRUMENTOS EM SAÚDE: a cultura como centro do processo
Bruno Borges do Carmo, Lucí Hildenbrand e Lígia Silva Leite
CONCEPÇÕES DE EDUCAÇÃO DE PROFESSORES DE ESCOLAS DE
PETRÓPOLIS: uma proposta de metodologia de avaliação qualitativa
Patricia Regina Macedo Rego, Maria Regina Menezes Alves e Maria de
Lourdes Sá Earp
METODOLOGIA DE AVALIAÇÃO DE LIVRO DIDÁTICO: Língua
Portuguesa como ponto de partida
Martha Isolda Tenório Padilha e Ligia Gomes Elliot
PARADIGMAS CLÁSSICOS E CONTEMPORÂNEOS NA AVALIAÇÃO
DE POLÍTICAS PÚBLICAS E A PROPOSTA DE UMA “AVALIAÇÃO
EM PROFUNDIDADE"
Lea Carvalho Rodrigues
1
11
26
36
Tema: Avaliação na Escola I
AVALIAÇÃO, APRENDIZAGEM E MEDIAÇÃO EM TEMPOS DE
GLOBALIZAÇÃO
Lina Cardoso Nunes e Lucia Regina Goulart Vilarinho
AVALIAÇÃO FORMATIVA E MONITORAMENTO DO RENDIMENTO
ESCOLAR
Nara Luz Chierighini Salamunes
SARESP E PROGRAMA LER E ESCREVER: ALGUMAS
CONSIDERAÇÕES
Valéria Nunes Friedmann Szewczuk
EXPOSIÇÃO ENERGIA & VIDA: avaliação de mérito e impacto na
prática docente
Irany da Silva Murta e Lucí Hildenbrand
48
62
69
82
Tema: Avaliação no Ensino Superior
DADOS DE AVALIAÇÃO NO ENSINO SUPERIOR: para onde vamos?
Hustana Maria Vargas
92
GESTÃO DO PROCESSO DE AVALIAÇÃO INSTITUCIONAL E DE
CURSOS DE GRADUAÇÃO DA UNIGRANRIO
Mary Neuza Dias Galdino, Ila Cecilia Falcão Kemp, Cristina de Mattos
Manier e Marcia Galdino de Araújo Serour
108
EXPERIÊNCIAS DE META-AVALIAÇÃO NA MARINHA DO BRASIL
Natália Morais Corrêa Borges de Aguiar e Maria Judith Sucupira da Costa
Lins
120
FORMAÇÃO DE PROFESSORES: o estudo de competências e
habilidades como pressuposto para a melhoria da formação
profissional de educadores
Nilza Magalhães Macario, Lígia Gomes Elliot, Lucí Hildenbrand e Angela
M. da Silva Campos
135
Tema: Avaliação em Saúde
AVALIAÇÃO DA EFETIVAÇÃO DO CONTROLE SOCIAL SOBRE OS
MECANISMOS DE PLANEJAMENTO, PREVISÃO ORÇAMENTÁRIA E
PRESTAÇÃO DE CONTAS DA SAÚDE NO ESTADO DO RIO GRANDE
DO NORTE
Valéria Rodrigues Leite, Maria Dalva Horácio da Costa e Anaílson Marcio
Gomes
149
AVALIANDO QUALIDADE DE VIDA DEPOIS DA CIRURGIA
BARIÁTRICA
Bernadete Valente Faria e Lígia Silva Leite
161
Tema: Avaliação na Escola II
UM ESTUDO AVALIATIVO SOBRE INCLUSÃO ESCOLAR: o caso de
escolas de Petrópolis
Maria da Graça Tavares Monteiro e Maria de Lourdes Sá Earp
AVALIAÇÃO DE ALUNOS DE OITO ANOS DE UM COLÉGIO
PARTICULAR DO RIO DE JANEIRO: habilidades e competências em
leitura, escrita e matemática
Maria Christina Velloso de Mello, Ligia Gomes Elliot e Nilma Santos
Fontanive
PROJETOS
DE
INVESTIGAÇÃO
E
A
AVALIAÇÃO
DA
APRENDIZAGEM
Adélia Maria Nehme Simão e Koff
CONSELHO DE CLASSE: sistemas de classificação e desigualdade
Maíra Mascarenhas
174
191
207
220
Tema: Avaliação em Educação a Distância
AVALIAÇÃO DE INTERFACE GRÁFICA DE CURSOS A DISTÂNCIA
VIA WEB
Simone de Paula Silva e Lígia da Silva Leite
231
AVALIAÇÃO DO GRAU DE SATISFAÇÃO DOS PROFESSORES DE
LÍNGUA PORTUGESA DO ESTADO DO RIO DE JANEIRO COM O
CURSO DE FORMAÇÃO CONTINUADA OFERECIDO PELA
FUNDAÇÃO CECIERJ: um estudo piloto
Angela Carrancho da Silva, Elizabeth Ramalho Soares Bastos, Carmen
Granja da Silva Rodrigues, Regina C. da Silva e Ana Maria Feydit Brito
246
AVALIAÇÃO DO CURSO WEBQUEST DE FORMAÇÃO CONTINUADA
DA FUNDAÇÃO CECIERJ: o olhar de especialistas
Carmen Granja da Silva Rodrigues, Angela Carrancho da Silva e
Elizabeth Ramalho Soares Bastos
263
Tema: Avaliação Multidisciplinar
A ATENÇÃO INTEGRAL PARA O TRATAMENTO DA DOENÇA DE
CHAGAS NO IPEC/FIOCRUZ: uma contribuição sobre a avaliação de
organizações multipropósito de saúde
Marcelino José Jorge, Alejandro Marcel Hasslocher Moreno, Paulo
Roberto de Sales e Cristina Monken Avellar
280
PROGRAMA
DE
PREPARAÇÃO
PARA
A
RESERVA
E
APOSENTADORIA: resultados de uma intervenção
Valeria de Figueiredo Studart Maia de Almeida e Lígia Silva Leite
AVALIAÇÃO E MONITORAMENTO DE INDICADORES DE DIREITOS
HUMANOS: aspectos teóricos e metodológicos
Marcelo Simas e Ronald Vizzoni Garcia
AVALIAÇÃO DA PERCEPÇÃO DE PROFESSORES EM UM
PROGRAMA CORPORATIVO DE EDUCAÇÃO AMBIENTAL
José Lindomar Alves Lima
O PLANO ESTRÁTEGICO DA EDUCAÇÃO DO ESTADO DO RIO DE
JANEIRO: uma melhora focada no resultado
Paulo Mauricio Pimenta Pereira Leite
O ENSINO MÉDIO ENTRE O VESTIBULAR E O ENEM
Pedro Flexa Ribeiro
AVALIAÇÃO DO NÍVEL DE SATISFAÇÃO DOS GRADUANDOS, QUE
CURSARAM DISCIPLINAS EM REDE NA UNIGRANRIO, COM A
DIMENSÃO MATERIAL DIDÁTICO
Mary Neuza Dias Galdino, Lúcia Inês Kronemberger e Vanessa Olmo
Pombo
UM INSTRUMENTO SIMPLES PARA AVALIAR A AUTOAVALIAÇÃO
Márcia da Silveira Ferreira e Lígia Silva Leite
295
309
320
334
345
360
376
A II Reunião de Avaliação - Temas da atualidade:
Contribuições e Desafios da Avaliação consolida-se
como um evento técnico e científico importante na
medida em que apresentou uma visão ampla do
tema, abrangendo de estudos acadêmicos até a
visão profissional de ações avaliativas nos campos
da educação, da saúde e social.
O evento veio ao encontro da demanda que setores
públicos e privados de uma sociedade democrática
exigem da avaliação no sentido de contribuir para
uma sociedade mais justa e inclusiva a partir de
resultados obtidos através de técnicas e abordagens
adequadas a cada setor. Com esse evento,
pretendeu-se contribuir para fomentar a cultura da
avaliação no país.
A seguir, os trabalhos apresentados no evento.
TRABALHOS APRESENTADOS
1
TRADUÇÃO, ADAPTAÇÃO CULTURAL E VALIDAÇÃO DE
INSTRUMENTOS EM SAÚDE: a cultura como centro do processo
Bruno Borges do Carmo
Lucí Hildenbrand
Ligia Gomes Elliot
Lígia Silva Leite
Mestrado Profissional em Avaliação, Fundação Cesgranrio
Resumo
Este estudo teve por objetivo analisar as etapas de tradução, adaptação cultural e
validação de instrumentos de avaliação na área da saúde, do idioma original para a
língua portuguesa. A metodologia utilizada para a etapa de tradução nos artigos
analisados abrange uma tradução inicial, uma retrotradução, um back translation e uma
tradução final. Na etapa de adaptação cultural, as questões são verificadas e analisadas,
ocorrendo um desdobramento cognitivo, com uma tradução literária e conceitual, e
posteriormente ocorrem os devidos ajustes. Comparações semânticas e gramaticais
também são realizadas nessa etapa, com a avaliação dos significados das palavras em
cada item para que seja identificada a clareza e as questões problemáticas do
instrumento como um todo. A etapa de validação ocorre com o instrumento já
traduzido e adaptado culturalmente, onde o mesmo é aplicado e testado, podendo
posteriormente ser reaplicado para que seu conteúdo seja validado através de
informações úteis. Constatou-se que as questões não devem ser somente traduzidas para
a língua que será utilizada, mas que também devem sofrer as devidas adaptações
culturais para manter a validade e a equivalência entre as versões. Essas etapas de
tradução, adaptação cultural e validação revelam que não basta apenas traduzir e aplicar
os instrumentos, mas também a importância da utilização de um guia sistematizado no
processo de tradução, adaptação cultural e validação. A tradução, a adaptação cultural e
validação para a língua portuguesa permitem com que os instrumentos passem a ser
empregados na avaliação da nossa população, obtendo vantajosamente resultados
uniformes, reprodutíveis e padronizados.
Palavras-chave: Instrumentos em Saúde. Avaliação. Tradução. Adaptação Cultural.
Validação.
Introdução
Na área de Saúde, os instrumentos de avaliação existentes em língua portuguesa
são disponibilizados em menor número quando comparados aos de língua estrangeira.
Com isto, torna-se necessário traduzir, adaptar culturalmente e validar os artigos
publicados em outros países para o português. O presente trabalho aborda as etapas da
tradução, adaptação cultural e validação de sete instrumentos de avaliação, publicados
originalmente em estudos produzidos em países de língua estrangeira. As etapas deste
processo constituem o foco deste trabalho e a importância desta discussão está no fato
2
de que a utilização de instrumentos de medida adequados pode intervir na melhoria das
condições de saúde da população. Em muitas situações, a falta de meios facilitadores do
diagnóstico ou mesmo da avaliação dos agravos à saúde acabam se tornando um
problema médico-trabalhista. Daí a importância da tradução, adaptação cultural e
validação dos instrumentos que, tendo suas características técnicas asseguradas em
estudos anteriores, possam servir, em nosso país, aos trabalhos realizados na área,
independentemente de fronteiras linguísticas, geográficas ou de qualquer outra natureza.
Nos últimos anos, o conceito de saúde evoluiu e passou de estado de ausência de
doença para um conceito positivo, abarcando aspectos pessoais e sociais, bem como
capacidades físicas, mentais e espirituais relacionadas a fatores diversos, que remetem,
especialmente, às oportunidades de educação e de aquisição de informações tendo em
vista a construção e a utilização de novos conhecimentos. Contudo, para que maior
número de pacientes possa ter maior e melhor conhecimento sobre a doença que lhe
acomete, é preciso que conheçam não só a sintomatologia que lhe é afeta, mas ainda os
hábitos de vida, os fatores de risco e os tratamentos que lhes são próprios e oportunos ao
seu caso. Neste contexto, cabe ao profissional de saúde, identificar até que ponto o
paciente conhece seu problema de saúde. Para isso, sobressai o mérito de se desenvolver
e/ou o aperfeiçoar instrumentos de medida e de avaliação que possam instrumentalizar o
profissional de saúde na breve e precisa realização do diagnóstico e/ou do
acompanhamento da evolução do problema.
Neste trabalho foram examinados e analisados sete artigos científicos que
contêm instrumentos de avaliação com as etapas de tradução, adaptação cultural e
validação, do idioma original para a língua portuguesa.
De acordo com Marx et al. (2006), a etapa de tradução de um instrumento de
avaliação pode ser definida como o acesso a ele a partir de sua língua materna, original,
e a transposição do código para a outra língua em que será utilizado, revelando suas
questões e itens de respostas, de forma literária e conceitual.
A etapa de adaptação cultural pode ser percebida como o momento em que o
instrumento de avaliação é submetido à apreciação do grupo no qual será utilizado;
consiste propriamente no exame do entendimento do teor do instrumento por parte da
população junto a qual se anseia utilizá-lo. Depois de explicado o propósito do
instrumento de medida e de o avaliador ter tomado todos os cuidados pertinentes à
aplicação do mesmo, as respostas fornecidas pelos pacientes poderão apontar, ou não,
3
para a necessidade de que o mesmo seja, ou não, adaptado culturalmente (MICHELS et
al., 2010).
A etapa seguinte é da validação e se faz subsequentemente à etapa de adaptação
cultural (MARX et al. 2006); nela, o instrumento, em sua versão final, é testado junto
aos participantes tendo em vista a medição de sua reprodutibilidade para o uso esperado.
A seguir, a Tabela 1 relaciona os questionários estudados e suas respectivas
etapas envolvidas para consulta.
Tabela 1 - Relação dos artigos estudados.
Questionário
Etapas envolvidas
Questionário específico para sintomas do joelho “Lysholm
Knee Soring Scale” – Tradução e Validação para a Língua
Portuguesa.
Adaptação Cultural e
Validação
Questionário SRS-30 para adolescentes portadores de
escoliose idiopática.
Tradução e Validação Cultural do Questionário Algofuncional
de Lequesne para Osteoartrite de Joelhos e Quadris para a
Língua Portugues.
Questionário de Atividades de Autocuidado com o Diabetes:
tradução, adaptação e avaliação das propriedades
psicométricas.
Versão em Português, Adaptação Transcultural e Validação do
Questionário de Claudicação de Edimburgo
Versão em Português, Adaptação Transcultural e Validação de
Questionário para Avaliação da Qualidade de Vida para
Pacientes Portadores de Marcapasso: AQUAREL.
Validação da Versão Brasileira do Fibromyalgia Impact
Questionnaire (FIQ).
Tradução
Tradução, Adaptação
Cultural e Validação
Tradução
Fonte: Os autores (2012).
De acordo com Michels (2010), a ampla utilização de instrumentos de avaliação,
ou mesmo de questionários, em programas educativos na área da saúde, pode ser vista
como vantajosa porque permite, a partir de avaliações do processo de ensino e
aprendizagem, identificar, em pacientes, possíveis mudanças de atitude que refletem o
modo pelo qual passam a lidar com suas doenças. Também fornecem dados que
propiciam conhecer as reais necessidades e dificuldades dos indivíduos quanto aos seus
problemas de saúde, oportunizando aos profissionais envolvidos refletir acerca das
condições convenientes para a implementação de programas educativos.
A adequada utilização de um questionário depende da qualidade de sua tradução
e do processo que investigou a sua adequação à cultura dos seus respondentes. Destaca
também ser necessário testar as características psicométricas do instrumento a fim de se
4
saber, com segurança, o valor que se pode atribuir às conclusões dos resultados
(MICHELS, 2010).
As etapas de tradução, adaptação cultural e validação de instrumentos de
avaliação na área da saúde devem ser percebidas por profissionais como elementos que,
além de coletarem dados fundamentais para o avanço da pesquisa científica, concorrem
para o maior conhecimento e valorização de instrumental de avaliação associado à
qualidade de vida de grupos particulares ou da sociedade em geral.
1. Etapas na tradução, adaptação cultural e validação de instrumentos em saúde
As comunidades científicas nacional e internacional demonstram grande
interesse pelo desenvolvimento de instrumentos de medida relacionados a problemas de
saúde comuns nas populações. Também consideram relevante proceder à transposição
de instrumentos existentes, gerados e testados em diferentes países, tendo em vista a
redução de esforços e a otimização dos benefícios implicados. Independentemente de
serem recém-construídos ou de estarem na etapa de validação, ressaltam a necessidade
de os instrumentos precisarem ser avaliados e reavaliados por diferentes pesquisadores,
considerando as particularidades socioculturais das populações e as situações de uso.
Desta forma, muito embora os instrumentos referidos neste estudo já tenham
sido validados em seus países de origem, a utilização deles, em qualquer outra nação,
passa a requerer sua submissão a processos de tradução, adaptação cultural e validação.
Visto ser este um procedimento técnico-científico, os pesquisadores brasileiros
executaram as distintas etapas para que os instrumentos pudessem ser empregados com
confiabilidade e validade no Brasil.
1.1
Tradução de instrumentos
Na sequência, são descritos os métodos que os autores dos artigos estudados
utilizaram nesta etapa: uma tradução inicial, uma retrotradução, um back translation e
tradução final, realizadas de distintas maneiras em cada caso.
As três traduções iniciais do artigo Versão em Português, Adaptação
Transcultural e Validação de Questionário para Avaliação da Qualidade de Vida para
Pacientes Portadores de Marcapasso: Aquarel deram origem à síntese que foi revisada
por membros de um comitê de especialistas e por três pessoas que haviam participado
5
da tradução inicial, feita por professor de língua inglesa e por duas pessoas com
proficiência no idioma.
A etapa posterior, chamada de retrotradução, buscou evidenciar possíveis falhas
ocorridas na tradução do instrumento, por ocasião da elaboração da síntese. Para tal,
procedeu-se a versão da síntese, revertendo-a para o inglês. No caso, foram realizadas
duas retrotraduções que deram origem à versão traduzida “um”, analisada pelo comitê
revisor (OLIVEIRA et al., 2005).
No artigo Versão em Português, Adaptação Transcultural e Validação do
Questionário de Claudicação de Edimburgo, a tradução do instrumento foi realizada de
forma independente por três membros da equipe e por dois professores de língua
inglesa. Como resultado, obtiveram-se cinco versões, dotadas de pequenas diferenças.
As comparações e discussões procedentes, levaram à elaboração de nova versão,
enviada a três outros tradutores independentes e fluentes em inglês. Mesmo
desconhecendo o texto original, os tradutores fizeram a versão do texto do português
para o inglês. As três novas versões foram comparadas entre si e deram origem a uma
outra, consensual - a versão “dois”. Ao ser comparada à anterior, a nova versão
mostrou-se equivalente à primeira em termos semânticos e gramaticais, o que permitiu
que a verão “um” fosse aceita pelo grupo como versão final do questionário em
português (MAKDISSE et al., 2007).
No caso do artigo Questionário de Atividades de Autocuidado com o Diabetes:
tradução, adaptação e avaliação das propriedades psicométricas, segundo Michels et
al. (2010), a etapa de tradução do instrumento foi realizada por um professor de inglês,
que identificou as equivalências semânticas e conceituais, a partir do significado das
palavras de cada item. Em seguida, procedeu-se um desdobramento cognitivo com 10
pacientes - etapa que buscou identificar, se o instrumento, expressava as questões com
adequada clareza redacional. Nesta ocasião, algumas questões foram reparadas. Após
isto, procedeu-se uma etapa de adaptação e, posteriormente, uma retrotradução para o
inglês, feita por um americano, fluente nos dois idiomas envolvidos: inglês e português.
Com isto, foi gerada a versão final do questionário.
No artigo Tradução e Validação Cultural do Questionário Algofuncional de
Lequesne para Osteoartrite de Joelhos e Quadris para a Língua Portuguesa, conforme,
a metodologia utilizada para a tradução do instrumento foi realizada por dois tradutores
independentes, conhecedores da língua original do questionário e cientes do objetivo do
estudo (MARX et al., 2006). As versões produzidas foram analisadas por especialistas.
6
Em seguida, realizou-se um back translation, quando o instrumento produzido na etapa
anterior foi traduzido novamente para o idioma original, objetivando comparações entre
as duas formas. Atuaram nesta etapa, tradutores com conhecimento dos dois idiomas
aos quais não se comunicou o objetivo do estudo.
De acordo com Marques et al. (2006), no Validação da Versão Brasileira do
Fibromyalgia Impact Questionnaire (FIQ), o instrumento foi inicialmente traduzido do
inglês para o português por dois brasileiros, independentes, professores de língua
inglesa que foram cientificados da finalidade da pesquisa. As traduções literária e
conceitual produzidas foram comparadas pelos tradutores, pelo pesquisador e orientador
da pesquisa, dando origem a uma versão em português. Em seguida, realizou-se uma
nova etapa - denominada de avaliação da tradução inicial. Nela, dois professores de
inglês, nativos, que não haviam participado do processo, versaram o texto do
instrumento para a língua inglesa. . Em seguida, foi feita a comparação da versão para o
inglês e da tradução inicial com o questionário do FIQ original. Esta comparação foi
feita por uma banca contendo especialistas e dois professores de inglês que tinham
participado da tradução inicial e da avaliação da tradução inicial. Esse processo resultou
na versão em português.
No Questionário específico para sintomas do joelho Lysholm Knee Soring Scale
– Tradução e Validação para o português, desenvolvido por Pecicin, Ciconelli e Cohen
(2006), os autores foram bastante sucintos em relação à descrição da etapa de tradução
do instrumento, referindo somente à utilização de metodologia para processos de
tradução e adaptação cultural, preconizada por Guillemin et al. (2000) no estudo
intitulado Cross-Cultural adaption of health-related quality of life measures: literature
review and proposed guidelines.
O Questionário SRS-30 para adolescentes portadores de escoliose idiopática
foi o último artigo estudado e a etapa de tradução do instrumento foi feita segundo um
protocolo recomendado pela American Association of Orthopedic Surgery e por diretrizes clínicas do International Quality of Life Assessment, onde a versão inglesa foi
inicialmente traduzida para o português por dois tradutores da língua inglesa. Neste
caso, fez-se uso da etapa denominada back translated, quando as versões foram
traduzidas novamente para o inglês por dois outros tradutores independentes. Em
seguida, um comitê de especialistas, juntamente com tradutores, revisou as versões. A
partir delas, gerou-se uma única versão em inglês que foi, então, comparada à original
7
visando checar a equivalência. Desta última versão originou-se a versão final em
português (OLIVEIRA; MEVES; AVANZI, 2010).
1.2 Adaptação cultural de instrumentos
Com base no grau de entendimento dos respondentes (representantes do públicoalvo) em relação às perguntas do questionário Aquarel, os pesquisadores procederam
ajustes no instrumento. Todas as questões que não alcançaram o padrão de
entendimento estabelecido foram, por conseguinte, reajustadas. Para esta adaptação
cultural foram realizadas três avaliações e dois momentos de ajuste; a partir deles é que
se chegou à versão final já traduzida e, nesse momento, adaptada (OLIVEIRA et al.,
2005).
A etapa de adaptação do Questionário de Atividades de Autocuidado com o
Diabetes ocorreu entre a fase inicial de tradução e a de retrotradução. Segundo Michels
et al. (2010), após analisado, o resultado do desdobramento cognitivo, conduzido junto
a 10 pacientes acerca de seus entendimentos em relação a cada questão do instrumento,
fez com que avaliadores do questionário realizassem algumas readaptações.
Segundo Marques et al. (2006), no questionário sobre o Impacto da
Fibromialgia realizou-se uma etapa chamada de avaliação da equivalência cultural considerada de ampla relevância para que realmente fossem avaliadas atividades
realizadas pela população brasileira. A versão do instrumento, aplicada a grupo de 20
pacientes, pretendeu identificar as questões que, segundo estes sujeitos, não eram
compatíveis, compreendidas ou executadas pela população. Para tal, cada questão
possuía a opção de resposta “não aplicável”; arbitrou-se que o atingimento de percentual
superior a 15% nesta opção de resposta implicava na substituição da questão por outras
de mesmo conceito, resultando na versão final do instrumento adaptado culturalmente.
Pecicin, Ciconelli e Cohen (2006), sem detalhar o processo, utilizaram no
questionário específico para sintomas do joelho Lysholm Knee Soring Scale os métodos
de adaptação cultural recomendados por Guillemin et al. (2000) no trabalho CrossCultural adaption of health-related quality of life measures: literature review and
proposed guidelines.
1.3 Validação de instrumentos
Segundo Oliveira et al. (2005), o questionário Aquarel teve a versão final
validada, em português, após a aferição feita em estudo calcado na associação entre os
8
escores obtidos por 139 pacientes nos domínios do mesmo. O julgamento da validade
da versão portuguesa do instrumento foi feita por meio de análise de correlação de
Pearson, bem como comparação das médias, usando-se análise de variância e teste de
Tukey.
Segundo Michels et al. (2010), o Questionário de Atividades de Autocuidado
com o Diabetes, em sua forma adaptada, foi pré-testado em grupo de 20 pacientes de
um consultório e, após ter sido retrotraduzido, enviado à sua autora para que apreciasse
se o mesmo sustentava o sentido e os conceitos objetivados pelo questionário original.
O Questionário Algofuncional de Lequesne, após ter sido de traduzido e
autorizada a sua aplicação pelo Comitê de Ética da instituição, teve sua validação
empírica instrumento junto a 73 pacientes. Estando o autor principal do estudo de
acordo com os resultados, o instrumento foi considerado validado para fins de aplicação
na população brasileira (MARX et al., 2006).
O questionário sobre o Impacto da Fibromialgia foi aplicado a 24 pacientes
com a doença por dois especialistas do assunto, que validaram seu conteúdo através dos
elementos úteis, identificando a porcentagem de indivíduos que responderam às
questões que denotavam comprometimento, ocorrendo como critério de corte ter 25%
de comprometimento em cada item válido (MARQUES et al., 2006).
A validade do questionário específico para sintomas do joelho Lysholm Knee
Soring Scale foi medida pela verificação de sua relação com o diagnóstico estabelecido
e outros parâmetros clínicos, realizados por um mesmo entrevistador (PECICIN;
CICONELLI; COHEN, 2006).
No Questionário para portadores de escoliose idiopática foi realizada uma prétestagem com 20 pacientes, porém, no texto do estudo, esse processo é citado como
parte da etapa de adaptação cultural (OLIVEIRA; MEVES; AVANZI, 2010).
2. Considerações Finais
Os instrumentos que deram base a este artigo foram tratados por seus autores
como questionários, apesar de alguns deles terem sido gerados para uso como roteiros
de entrevistas, situação em que o entrevistador faz as perguntas contidas no instrumento
e anota os retornos dos respondentes.
Outro aspecto a considerar, neste momento, diz respeito à diversidade de
metodologias desenvolvidas para cumprir as etapas de tradução, adaptação cultural e
validação dos instrumentos. O estudo deixa clara a importância de se fazer cumprir cada
9
etapa deste processo, onde não há caminho único a seguir, mas há caminhos já
percorridos que podem ser utilizados por outros pesquisadores e avaliadores.
Nesta discussão, a questão da cultura se impõe como central. Instrumentos já
construídos e testados em outros países, que expressam alta qualidade técnica, podem e
devem servir a distintos grupos sociais. Para tal, cumpre aos profissionais responsáveis
pelos estudos atentar para as especificidades socioculturais dos novos e vários grupos
junto aos quais os instrumentos podem ser usados. O novo uso implica na execução das
etapas de tradução, adaptação cultural e revalidação dos instrumentos de medida,
embora anteriormente testados. A supressão de qualquer das etapas abordadas implica
na fragilização do instrumento e no comprometimento de sua sensibilidade e
credibilidade.
A expansão das fronteiras dos instrumentos, favorecendo o alcance de novos
grupos e sociedades, facilita a comparação de sinais, sintomas e doenças em futuras
pesquisas científicas e em ensaios clínicos e terapêuticos nos quais venham a ser
usados.
As decorrências do uso de instrumentos transculturais na prática clínica e na
pesquisa são inúmeras vezes que a natureza dos dados obtidos pode contribuir para o
melhor planejamento das políticas públicas de saúde e para a necessária avaliação do
impacto das intervenções e tratamentos proporcionados.
Contudo, no Brasil, os processos de tradução, adaptação cultural e validação de
instrumentos na área da saúde ainda demandam um grande empenho. É notável a
escassez de instrumentos padronizados e atualizados que tenham sido devidamente
traduzidos, adaptados culturalmente e validados para a nossa realidade. No entanto,
ações nesse sentido têm sido ressalvadas e o fato de os estudos terem procurado seguir
passos metodológicos consistentes certamente fará com que, em futuro próximo, os
profissionais de saúde possam contar com maior disponibilidade de instrumentos a seu
favor.
10
Referências
CARMO, B. B. et al. Instrumentos de avaliação estrangeiros no contexto da saúde
brasileira: processo de tradução, adaptação cultural e validação. Revista Meta:
Avaliação, Rio de Janeiro, n. 11, v. 4, p. 120-134, mai./ago.2012.
GUILLEMIN, F. et al. Guidelines for the process of cross-cultural adaptation of selfreport measures. Toronto, Canadá, 2000. Disponível em: < http://emgoextra.nl/kc/preparation/research%20design/vragenlijsten/Beaton.pdf.>. Acesso em: 01
dez. 2012.
MAKDISSE, M. et al. Versão em português, adaptação transcultural e validação do
questionário de claudicação de edimburgo. 2007. Disponível em
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0066782X2007000500001&lang=pt.>. Acesso em: 22 fev. 2011.
MARQUES, A. P. et al. Validação da versão brasileira do Fibromyalgia impact
questionnaire (FIQ). São Paulo, 2006. Disponível em:
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S048250042006000100006&l
ang=pt.>. Acesso em: 03 mar. 2011.
MARX, F. C. et al. Tradução e validação cultural do questionário algofuncional de
lequesne para Osteoartrite de joelhos e quadris para a Língua Portuguesa. São Paulo,
2006. Disponível em:
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S048250042006000400004&l
ang=pt.>. Acesso em: 03 mar. 2011.
MICHELS, M. J. et al. Questionário de atividades de autocuidado com o Diabetes:
tradução, adaptação e avaliação das propriedades psicométricas. Florianópolis, SC,
2010. Disponível em: <http://www.scielo.br/pdf/abem/v54n7/09.pdf.>. Acesso em: 23
fev. 2011.
PECICIN, M. S.; CICONELLI, R.; COHEN, M. Questionário específico para sintomas
do joelho “Lysholm Knee Soring Scale”: tradução e validação para a Língua
Portuguesa. São Paulo, SP, 2006. Disponível em
<http://www.scielo.br/scielo.php?pid=S141378522006000500008&script=sci_arttext.>. Acesso em: 24 fev. 2011.
OLIVEIRA, B. G. et al. Versão em português, adaptação transcultural e validação de
questionário para avaliação da qualidade de vida para pacientes portadores de
marcapasso: AQUAREL. Belo Horizonte, MG, 2005. Disponível em
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0066782X2006001500003&lang=pt.>. Acesso em: 19 fev. de 2011.
OLIVEIRA, G. C.; MEVES, R.; AVANZI, O. Questionário SRS-30 para adolescentes
portadores de escoliose idiopática. São Paulo, 2010. Disponível em:
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S180818512010000200015&lang=pt.>. Acesso em: 03 mar. 2011.
11
CONCEPÇÕES DE EDUCAÇÃO DE PROFESSORES DE ESCOLAS DE
PETRÓPOLIS: uma proposta de metodologia de avaliação qualitativa
Patricia Regina Macedo Rego
Maria Regina Menezes Alves
Resumo
O texto apresenta uma proposta de metodologia de avaliação qualitativa realizada pelos
mestrandos 2011da Fundação CESGRANRIO na disciplina de Prática de Avaliação.
Este trabalho mostra detalhadamente todo processo qualitativo de análise das entrevistas
realizadas no Projeto “Concepções de educação de professores de escolas de Petrópolis
na contemporaneidade”. O resultado obtido foi a construção de um instrumento de
avaliação que possibilita uma análise qualitativa através de categorias, subcategorias,
indicadores e evidências, facilitando a compreensão e aplicação metodológica.
Pretende-se, a partir deste trabalho, contribuir para futuras práticas avaliativas de
abordagem qualitativa.
Palavras-chave: Concepções de Educação. Metodologia. Avaliação qualitativa,
Professores.
Introdução
A proposta desse trabalho é apresentar a trajetória percorrida na disciplina
Prática de Avaliação do Mestrado Profissional em Avaliação que teve como objetivo
analisar, classificar e avaliar as concepções docentes levantadas na Pesquisa
“Concepções
de
educação
de
professores
de
escolas
de
Petrópolis
na
contemporaneidade”1 .
A pesquisa estava ancorada em duas vertentes: a utilização de indicadores
produzidos pelas Políticas de Avaliação da Educação e questões sobre educação que
atravessam a contemporaneidade que podem provocar mudanças na escola.
A contemporaneidade é uma época de contrastes, incertezas e reordenamentos
que trazem novas inquietações e a busca de outras respostas para questões como a
educação, a escola, o ensino e a formação de professores. De acordo com Fridman
(1999), sistemas aparentemente sólidos, que conferiam sensação de segurança e
estabilidade à humanidade desmoronam e sua substituição por estruturas que parecem
1 Esta pesquisa foi realizada no período de agosto de 2011 a julho de 2012 e teve financiamento da
FAPERJ.
12
mais maleáveis abala a necessidade de solidez que parece ser uma constante da
humanidade.
De outro lado, temos a questão da educação como um direito e a escola como
um projeto da modernidade. Neste momento em que a cidadania enfrenta novos
desafios, busca novos espaços de atuação e abre novas áreas por meio das grandes
transformações pelas quais passa o mundo contemporâneo é importante lembrar que o
projeto da modernidade trouxe o direito à educação escolar. Cury (2002) constata que a
instrução passa a ser entendida como um direito a que todos devem ter acesso e se
constitui um dever do Estado.
Apesar desse direito não constar do estado de natureza ou mesmo
entre os direitos naturais, será no contexto da aceitação ou da recusa a
essa forma de encarar o nascimento da sociedade moderna que a
instrução lentamente ganhará destaque. Ora ela é o caminho para que
as Luzes (Universais) se acendam em cada indivíduo, a fim de que
todos possam usufruir da igualdade de oportunidades e avançar
diferentemente em direção ao mérito, ora ela é uma função do Estado
a fim de evitar que o direito individual não disciplinado venha a se
tornar privilégio de poucos (CURY, 2002, p. 248).
Desde 1990, várias instâncias de avaliação da educação foram criadas no país
como o Sistema de Avaliação da Educação Básica (SAEB), o Exame Nacional do
Ensino Médio (ENEM), a Prova Brasil, o ENADE, e mais recentemente, o Índice de
Desenvolvimento da Educação Básica (IDEB). Segundo Alves e Franco (2008), essas
avaliações têm o mérito de monitorar a situação educacional com métrica comparável
ao longo do tempo e apresentam tendências na evolução da qualidade da educação
brasileira.
Nesse contexto nasceu o projeto “Concepções de educação de professores de
escolas públicas de Petrópolis na contemporaneidade”, desenhado a partir das seguintes
indagações: Quais as concepções de educação escolar de professores de escolas públicas
com bom IDEB na cidade de Petrópolis? Como essas concepções norteiam as práticas
pedagógicas desses professores? Como os professores pensam a educação escolar na
contemporaneidade?
Breve descrição do contexto da pesquisa
Indicadores nacionais de avaliação mostram que o sistema de educação não está
provendo ensino de qualidade para todos, como determina a Constituição brasileira. No
Brasil, a questão do acesso está praticamente resolvida, uma vez que quase a totalidade
13
das crianças ingressa no sistema educacional. O problema reside nas altas taxas de
repetência, na elevada proporção de jovens que abandonam a escola sem concluir a
educação básica e na baixa proficiência obtida pelos estudantes em exames
padronizados.
Os testes aplicados no País para aferir a proficiência dos alunos (Saeb, Prova
Brasil e Enem) têm como base a série. A única exceção é o Pisa (Programme for
International Student Assessment), que é aplicado aos alunos de 15 anos de idade. Neste
caso, no entanto, a amostra é representativa apenas para o país como um todo,
impedindo que a medida de desempenho seja aplicável às escolas e redes de ensino.
Recentemente, no âmbito do Plano de Desenvolvimento da Educação (PDE), o
INEP integrou os resultados da Prova Brasil e do Censo Escolar, de modo a viabilizar
outra medida, o Indicador de Desenvolvimento da Educação Básica (IDEB). Este
índice, criado em 2007, se caracteriza por reunir num só indicador dois conceitos
igualmente importantes para a qualidade da educação: o fluxo escolar e as médias de
desempenho nas avaliações.
Nesse sentido, pode-se pensar que algumas escolas públicas de Petrópolis estão
provendo um ensino de mais qualidade do que outras, indicado pelo resultado no IDEB.
A hipótese da pesquisa é que existem relações entre as concepções de educação dos
professores dessas escolas e a qualidade da escola, na medida em que concepções,
representações e crenças possuem uma existência material e traduzem-se em atos e
práticas. Será que as concepções de professores petropolitanos sobre a educação, a
escola, o ensino, e os alunos estão contribuindo para um melhor desempenho de
estudantes?
Desde a teoria da reprodução de Bourdieu e Passeron (1970) é consenso que o
sistema escolar não é capaz, de por si só, mudar a determinação social; entretanto,
alguns professores conseguem em maior ou menor medida que seus alunos tenham um
aprendizado melhor do que a expectativa para suas condições sociais (BROOKE;
SOARES, 2007). O esforço de se melhorar a qualidade da educação e o desempenho
dos estudantes brasileiros passam por compreender o processo de ensino por dentro das
escolas e das salas de aula (SÁ EARP, 2006) bem como conhecer as concepções que
dão sentido às práticas.
É nesse sentido que este projeto de pesquisa buscou conhecer concepções e
modos de pensar de professores de escolas com bom IDEB na cidade de Petrópolis. Se
as concepções dos professores sobre educação, escola e ensino estão diretamente
14
relacionadas com seus modos de ensinar, elas podem ser um dos fatores explicativos da
qualidade da educação oferecida pela escola em que lecionam.
Uma pergunta que se faz é se a contemporaneidade e as mudanças de
paradigmas brevemente descritos acima estariam produzindo novas concepções de
educação, ou seja, a chamada pós-modernidade estaria engendrando novos modos de
pensar a educação escolar? Como os professores pensam a educação e a educação na
contemporaneidade? Que concepções aparecem hoje fundamentando as práticas
pedagógicas e escolares? Nesse sentido, a pesquisa esteve voltada para buscar
concepções de educação que informam o professor na contemporaneidade e como os
docentes pensam a contemporaneidade.
Desenvolvimento da Pesquisa
A pesquisa realizada em escolas públicas de Petrópolis foi do tipo qualitativa, na
medida em que interessava conhecer percepções, concepções e crenças dos professores
selecionados. Tais processos envolvem interpretações, intencionalidade, valores e
subjetividades e implicam também em que o investigador e o investigado estão ambos,
ao mesmo tempo, envolvidos na investigação enquanto sujeito e produtor de dados.
Como o objetivo da pesquisa era captar percepções de professores sobre
educação, escola e contemporaneidade, a metodologia utilizada foi focada em
observações e realizadas entrevistas aprofundadas com os professores sobre os temas
objeto desta investigação a partir de um roteiro semi-estruturado. Em seguida
apresentam-se núcleos de ideias em torno dos quais foi elaborado o roteiro de entrevista.
1- Dados pessoais do professor
Idade, sexo, cor autodeclarada; estado civil, tempo de magistério, graduação,
instituições escolares onde estudou, instituição formadora, cursos de pós graduação,
tempo de trabalho na escola, em outras escolas, escolaridade da mãe, do pai, profissão
do pai, da mãe, filhos, idade e escolaridade dos filhos, local de moradia, naturalidade.
2- Temas a serem abordados durante a entrevista
a) questões em torno de concepções de educação; de escola, de ensino; de aula;
principais problemas da educação no Brasil; questões em torno da aprendizagem dos
alunos, dificuldades e aspectos facilitadores; explicações sobre a repetência;
encaminhamentos a serem feitos com os alunos que não aprendem; teorias que usa para
15
ensinar; opinião acerca das avaliações em larga escala; conhecimento do IDEB
nacional, do estado, da cidade, da escola; explicações para esses números.
b) questões em torno da contemporaneidade; como vê o mundo hoje em dia;
como vê a sociedade em que vivemos; como pensa a relação entre as mudanças com a
educação, com o ensino, com a sala de aula, com a relação alunos–professor; relação
entre as mudanças tecnológicas e a educação.
Escolha e definição das escolas
A escolha das escolas foi uma significativa etapa que consumiu alguns meses, na
medida em que essa fase é extremamente importante para a pesquisa do tipo qualitativa.
Depois da equipe de pesquisa estudar tabelas de IDEB de escolas públicas da cidade,
que foram construídas bem como a localização das escolas e o público atendido,
selecionamos inicialmente um grupo de 10 escolas.
Foi feito um primeiro contato com diretores de escolas com os melhores IDEBs,
com o objetivo de sondar a possibilidade de execução da pesquisa. Fizemos um esforço
de busca para conseguir os contatos das escolas, contando com uma rede de pessoas a
partir dos alunos, funcionários e familiares. Cabe registrar que esse foi um ponto
positivo de realizarmos pesquisa na cidade de Petrópolis, na medida em que
encontramos uma grande disponibilidade e boa vontade por parte da maioria das
diretoras contatadas.
Visitamos as dez escolas selecionadas a fim de conversar informalmente com
diretores, coordenadores e professores sobre o interesse e possibilidade de realização da
pesquisa na escola.
Em função da variedade das escolas escolhidas e do tamanho reduzido da equipe
da pesquisa de campo foi possível manter um conjunto suficiente de 3 escolas que
pudessem apresentassem certa diversidade, bem como que permitisse relativizar as
concepções docentes; também optamos por entrevistar 3 professores de cada escola, em
função da equipe constituída por uma bolsista, um estudante de mestrado e a
coordenadora.
No segundo momento, precisamos pedir autorização à Diocese da cidade de
Petrópolis, pois cerca de 20% das escolas da rede municipal são paroquiais. Em
entrevista com a coordenadora das escolas na Diocese soubemos que as escolas
paroquiais têm como características terem a diretora escolhida pela diocese, oferecerem
aulas de religião e no início do dia promover uma oração com os alunos. Cabe
16
mencionar que em função dessa peculiar característica da rede municipal petropolitana,
uma das 3 escolas que fizeram parte do conjunto de escolas escolhidas é paroquial.
Nosso conjunto ficou então composto por duas escolas municipais e uma estadual.
As entrevistas
As entrevistas foram previamente agendadas e realizadas em local de preferência
do professor. Algumas vezes o professor desmarcava e remarcava a entrevista; algumas
vezes a entrevista não pôde ser realizada, fazendo com que tivéssemos que retornar à
escola. Mesmo com esses percalços, já previstos nesse tipo de trabalho, as entrevistas
foram realizadas no prazo previsto. Todas as entrevistas foram gravadas com a devida
autorização do entrevistado com equipamentos obtidos com financiamento da FAPERJ.
Cabe notar que essa etapa foi precedida por uma etapa de observação participante, que
contribuiu para a elaboração do roteiro de entrevistas.
A maioria das entrevistas foi realizada na própria escola, com os professores:
Josiane (Escola 1), Luciana (Escola 2), Betânia (Escola 2), Tiago (Escola 3), Márcia
(Escola 3) e Mariana (Escola 3); a professora Cecília (Escola 2) foi entrevistada em
uma escola particular em que também lecionava; a professora Sonia (Escola 1) foi
entrevistada na UCP e o professor Rafael (Escola 1) foi entrevistado no Rio de Janeiro,
na PUC – Rio , universidade em que realiza um doutorado.
Prática de Avaliação
A metodologia desta Prática foi construir um caminho para uma análise avaliativa
qualitativa das concepções de educação da pesquisa “Projeto Concepções de Educação
de Professores de Escolas de Petrópolis na Contemporaneidade”.
Esta metodologia iniciou-se pela análise das entrevistas realizadas no bojo da pesquisa,
conforme descritas na seção anterior. A metodologia escolhida foi a análise qualitativa
das entrevistas no sentido de mapear e classificar ideias que perpassassem concepções
relacionadas à educação bem como de construir categorias e indicadores.
Segundo Minayo (1996) sugere, empreendemos primeiramente uma ordenação
dos dados e posteriormente uma classificação dos dados. Segundo a autora, a primeira
fase “dá ao investigador um mapa horizontal de suas descobertas no campo” (p. 230).
Cabe registrar que os professores entrevistados se colocaram de uma forma
apreciativa em relação aos temas e questões abordados na entrevista, expressando seu
17
ponto de vista sobre concepções educacionais a partir de seu contexto escolar, focando
suas percepções de “boa escola”, “bom ensino”, “bom professor”, “bom aluno” etc.
A metodologia foi construída de forma coletiva, sob orientação da professora e
com a participação do grupo de estudantes matriculados na Prática de Avaliação, com
etapas consolidando-se de forma gradativa, conforme descrição a seguir:
a) Primeiramente o grupo de alunos da Prática de Avaliação debruçou-se sobre
as nove entrevistas fazendo uma leitura horizontal sobre as ideias dos professores
pesquisados. Partindo desta leitura inicial foi indicada a análise de uma entrevista
diferente para cada um dos componentes do grupo, para que destacasse as ideias de um
professor pesquisado, por temas sugeridos a partir do projeto e do roteiro de entrevistas,
a saber: educação, ensino, escola, aprendizagem, repetência, relação alunoprofessor,
sala de aula, aula, bom aluno/ mau aluno, avaliação, problemas da educação e Educação
na contemporaneidade. Alguns alunos transcreveram trechos das entrevistas e outros
destacaram na própria entrevista o tema.
A apresentação do resultado desta análise pelo grupo deu–se com muitos
questionamentos, como por exemplo: “o tema educação está presente em todos os
outros aspectos, como vamos distinguir?”; comentários e observações deste tipo
ocorreram em relação a todos os temas. Procuramos identificar nos discursos ideias
comuns, bem como outras que, apesar de isoladas, imprimiam sinteticamente alguma
concepção em questão, que acabavam ganhando ênfase no estudo, destacando-se pela
singularidade. Percebemos que a maioria dos professores entrevistados apontaram para
a questão da direção quando descreveram concepções de boa escola, como uma
professora:
É uma boa escola porque me dá oportunidade de fazer o que eu quero
fazer agora que é dar aula, me dá liberdade mesmo pra dar a minha
matéria sem ter que ficar seguindo muitas regras que eu não concorde,
eu acho que é boa, eles me dão os recursos, a infraestrutura eu acho
boa e eu tenho apoio da direção e dos colegas mesmo, porque a gente
conversa bastante, tá sempre conversando na sala dos professores (....)
(Mariana - Escola 3)
Já a fala de um professor apareceu a questão da boa escola relacionada à parte
pedagógica:
Acho que é uma escola organizada, acho que é uma escola pelos seus
alunos, é uma escola que tem a preocupação de realizar atividades que
não sejam essas de preparar para a prova, eu já vi projetos lá bem
interessantes [...] Projetos de teatro, projeto de leitura, tem um projeto
18
lá, quando eu entrei que era muito interessante chamado Dragão Azul,
se eu não me engano, que é (...) eu vi muitos alunos lendo, por
vontade de ler, não era porque ia fazer uma prova ou coisa parecida,
eu acho que essa escola busca muito isso. Busca essas atividades,
insiste no aluno pra que ele tome consciência de certa forma, porque
aquilo vai ser importante pra ele. Ele pode achar que aquilo não é
importante naquele momento...(Rafael- Escola 1)
Todos os professores trouxeram a questão da participação da família relacionada
à boa escola:
Eu acredito que uma boa escola é essa mesmo, é uma escola assim (...)
você tem esse compromisso, acho que profissionais compromissados
com a educação, ela faz uma boa escola, famílias que participem na
educação fazem uma boa escola, a boa escola é um conjunto disso
tudo. Eu posso chegar aqui pra você e dizer, ah, mas a família não
participa, é, que é uma coisa que a gente vê mesmo que acontece às
famílias em muitos casos; a gente manda dever pra casa, o dever fica
na mochila à semana inteira e não faz e a gente sabe que isso tudo
existe, mas eu acho que a boa escola é feita por um conjunto disso
tudo. (Cecília- Escola 2)
Somente um professor fez referência ao salário como qualidade na Educação:
Se você tem um salário, que ... um salário razoável, não é coisa
astronômica. Você não necessita de outros lugares pra você trabalhar
pra você sobreviver. Teoria. Quanto mais turmas você pega eu acho
que a qualidade das aulas também cai. Você tem menos tempo pra
poder planejar a sua aula (Tiago- Escola 3).
b) Nessa terceira etapa, ficou estabelecida para cada mestrando a tarefa de
realizar uma análise das entrevistas de três professores pesquisados para que fosse feito
um mapeamento a partir de algumas dimensões relacionadas a concepções de educação.
Elaborou-se uma lista de dimensões/temas relacionadas a concepções de educação e
abandonou-se a ideia inicialmente presente no projeto de pesquisa de se chegar a uma
concepção de educação mais geral, já que as entrevistas não apresentaram tal tipo de
concepção separadamente, com exceção da fala de uma professora:
Pra mim uma boa escola é aquela que dá ao aluno condições de se
tornar um cidadão digno em todos os sentidos, tanto na parte da
cidadania, do convívio, das relações inter-pessoais quanto do conteúdo
pra poder lá na frente conseguir um bom emprego, uma boa colocação
profissional (Josiane- Escola 1).
19
Nesse momento começamos a denominar os temas eleitos como “categorias”.
Cabe ressaltar que a princípio esses temas foram considerados como “dimensão”, mas
após várias considerações coletivas transformamos em “categoria”. Cada entrevista foi
mapeada por pelo menos dois alunos para que pudessem ter mais de uma visão sobre as
concepções de educação de um mesmo professor. Para padronizar esta etapa foi
construído o seguinte quadro de conteúdos das entrevistas:
Quadro 1 – Conteúdos das entrevistas
Categoria
Professor 1
Entrevistados
Professor 2
Professor 3
Professor 4
Escola
Ensino
Aprendizagem
Aula
Professor
Aluno
Direção
Família
Avaliação
Reprovação
Repetência
Indicadores Educação
Contemporaneidade
e
mudanças na educação
Escolha do Magistério
Fonte: As autoras (2012).
Uma grande dificuldade dessa tarefa era o fato do grupo de mestrandos pertencer
à área educacional, e, portanto, demandarem de uma atitude de “estranhar o familiar”
(DAMATTA, 1979), ou seja, compreender que o que estávamos mapeando e analisando
era a concepção dos professores entrevistados, portanto não cabia a interpretação ou o
julgamento do conteúdo das falas. A tendência da turma era julgar as falas ou interpretar
as ideias dos professores entrevistados, conforme exemplo: “Nossa, que professora é
essa que não entende para que serve a educação...”; “Esse professor não quer se
envolver...”; “Me identifico com ela, sua fala foi perfeita...”; “Que absurdo esse
professor pensar assim....” “Gostaria de trabalhar com uma direção tão perfeita como
essa...”.
Era preciso compreender que a visão era etnográfica, pois os mestrandos em
avaliação presentes na Prática tinham uma vasta vivência na área educacional e, ainda
que despretensiosamente, sempre arriscavam um breve comentário. A presença da
20
professora no grupo de mestrandos avaliadores era imprescindível, pois sua atuação de
mediação nos encontros auxiliava na compreensão do lugar de onde os entrevistados
falavam. Precisávamos realizar um distanciamento de nossas próprias crenças, opiniões
e preconceitos para enxergar as concepções de educação nas falas dos professores
entrevistados. Árdua tarefa, mas essencial para construção de uma análise de cunho
qualitativo. Foram necessários alguns encontros para obter êxito no entendimento da
proposta e consolidação da proposta de análise.
c)
Nesta etapa foram definidos duplas e trios de mestrandos para a
realização da análise de um grupo de entrevistados, consolidando o mapeamento no
quadro de conteúdos. Dessa análise qualitativa, definimos a categorização dos eixos
fundamentais em função da pesquisa original. Foram identificados quatro eixos, que
chamamos
de
principais
categorias:
“Escola”,
“Ensino”,
“Avaliação”
e
"Contemporaneidade”, na medida em que em torno dessas palavras poderíamos
organizar a totalidade do discurso dos professores em relação aos temas. Cabe ressaltar,
que de alguma forma, as categorias estavam presentes no roteiro de entrevistas e
apareciam nas perguntas, portanto a priori, já eram esperadas nesta composição.
Os encontros semanais apresentavam as análises dos grupos onde trocávamos
descobertas, passando pela análise de todos os componentes do discurso docente até que
descobríssemos todas as possibilidades de concepções existentes nas falas das
entrevistas analisadas. A construção das subcategorias foi um processo coletivo,
realizado pelo grupo de mestrandos, a partir da análise das entrevistas. As subcategorias
surgiram como consequência da definição das categorias, pois muitos temas analisados
eram absorvidos por outros, surgindo subdivisões das principais categorias.
Para maior entendimento, considerou-se que as falas relacionadas a Ensino eram
compostas dos seguintes temas: “bom professor”, “bom aluno”, “relação alunoprofessor” e “planejamento”. Desta forma, foi compreendido que a categoria era o tema
macro que abrangia as subcategorias e seus subtemas numa, microcomposição. Pode-se
compreender melhor a distribuição da categoria Ensino e subcategoria Bom aluno,
segundo exemplifica a fala de uma entrevistada acerca da sua ideia de bom aluno:
Eu acho que o aluno tem que participar, ele tem que ter
comprometimento com os estudos, são jovens, tem sempre aquela
esquecida, aquele dia que ele não tá a fim de fazer alguma coisa, isso é
normal e acho que a gente tem que esperar isso também, mas eles tem
que participar, se eles participam tanto no cumprimento das
atividades, estudando, trabalhando, bom relacionamento em sala de
21
aula, disciplina, tudo isso eu acho que ajuda a compor, se isso é
possível, um bom aluno. (Josiane-Escola 1)
Nesse processo, deve-se ressaltar a definição a posteriori da subcategoria
“relação com as famílias” pelos avaliadores, na medida em que aparecia
recorrentemente no discurso dos entrevistados em diferentes momentos da aplicação do
roteiro de entrevista. Cabe mencionar que no roteiro não havia uma pergunta que
trouxesse diretamente a questão da família, mas essa questão apareceu diversas vezes no
discurso de diferentes professores, reforçando a ideia de que no Brasil, a família é um
dos fatores que mais explicam o baixo desempenho na escola pelos professores. Como
se pode observar através da demonstração a seguir na fala de alguns professores
entrevistados:
São muitos bons... porque tem a participação da família, e eu acho que
isso é ponto positivo que a gente deve ressaltar. Tem alguns
momentos que a gente vê que as vezes família por estar passando por
algum momento de dificuldade ou pelo fato dos pais terem que
trabalhar, as vezes deixam um pouco a desejar, mais aí a escola busca
essa família, busca trazer ela pra dentro da escola, pra participar
realmente da vida do aluno. (Luciana- Escola 2)
(...) a família quer que ele esteja na escola, às vezes, por outros
motivos. É uma forma que ela tem que pelo menos um tempo, ele está
lá em algum lugar, alguém tá tomando conta. O aluno enquanto tá
quatro horas e meia, a família pode ficar tranquila que sabe que ele tá
na escola. Que senão ele estaria onde? ... Isso é muito difícil, porque
quando você fala assim, você generaliza. É lógico que não são todas
as famílias, mas tem um grande grupo que faz assim. Primeiro, a
escola, ela passa a ser creche, ou seja lá, o local pra ficar com as
crianças e os adolescentes enquanto o pai e mãe trabalham, segundo é
um lugar onde eles podem comer, tem alimentação. Então, às vezes, a
família quer que vá pra escola. Terceiro, porque eles recebem pra isso,
pra manter seus filhos na escola. Então, dizer assim, se a família quer
o filho na escola, então a família estaria... não, nem sempre! Nem
sempre a família tem essa visão. Os interesses já são outros. (Márcia –
Escola 3)
A construção dos indicadores foi um processo longo, em que buscamos nas
próprias falas elementos que os definissem. Assim, a subcategoria direção, na verdade
“boa direção”, foi descrita pelos professores entrevistados com os indicadores
“participativa” e “democrática”, lembrando que os professores traziam em suas falas
uma disposição avaliativa. O indicador ora surgia pelas categorias nativas, tal como
apareciam nas falas, como “democrática” e “organização” relacionada a direção, ora foi
criado pelo grupo a partir da análise do conteúdo e leitura da bibliografia como o
22
indicador “dimensão pedagógica”. Para exemplificar através das evidências,
apresentamos falas dos professores:
“A direção é muito boa, participativa,está sempre querendo saber o
que está acontecendo no Conselho de Classe, não só no Conselho de
Classe, mas fora dele (...)” (Tiago - Escola 3:) e de um professor da
Escola 2, sobre o tipo de gestão “(... ) uma gestão democrática mesmo.
Foi um trabalho que começou um tempo atrás e que procurou dar
sequência.” (Luciana). Cabe perceber que ambas as falas remetem a
um tipo de atuação da direção, sendo assim incluídas no indicador
“democrática”.
Este processo de construção das categorias, subcategorias e indicadores
perpassou todos os encontros para a finalização do esquema, apresentado a seguir,
estabelecendo a disposição estrutural da análise das entrevistas.
Quadro 2 - Disposição estrutural da análise das entrevistas
Categorias
Subcategorias
Direção
Escola
Organização
Relação com as famílias
Bom professor
Ensino
Bom aluno
Relação alunos-professor
Planejamento
Avaliações externas
Avaliação
Repetência
Desempenho
Contemporaneidade
Mudanças na educação
Uso tecnologias
Indicadores
democrática
suporte ao professor
estrutura e funcionamento
dimensão pedagógica
apoio da família ao aluno
participação da família na escola
conhecimento
formação
interação com o aluno
dedicação
participativo
interessado
disciplina
frequência
expectativa do professor desempenho
comportamento
expectativa do professor . desempenho
tempo de planejamento
Aula
larga escala
política educacional
pela comunidade
reprovação
aprovação automática
reforço escolar
avaliação do professor
perfil do aluno
perfil do professor
capacitação
23
disponibilidade de equipamentos
utilização
É interessante registrar que chegar a esse quadro foi um processo que envolveu
muita discussão do grupo da disciplina bem como a leitura de textos ligados ao tema em
questão bem como textos ligados a abordagem de análise do tipo qualitativa.
A investigação qualitativa requer atitudes fundamentais a abertura, a
flexibilidade, a capacidade de observação e de interação com o grupo de investigadores
e com os atores sociais envolvidos. Seus instrumentos costumam ser facilmente
corrigidos e readaptados durante o processo de trabalho de campo, visando às
finalidades da investigação. Improvisá-los significaria correr o risco de romper os
vínculos com o esforço teórico de fundamentação, necessário e presente em cada etapa
do processo de conhecimento (MINAYO, 1996, p. 101).
d) A partir da etapa anterior, foi realizada a reconstrução sucessiva do
mapeamento, com os fragmentos das falas recortadas das transcrições das entrevistas,
que seriam as “evidências” para a montagem de um quadro geral. Surgiram discussões
sobre o lugar de cada fala, na medida em que uma frase sobre “ensino” poderia ser
interpretada como uma fala sobre “avaliação”; mas na medida em que uma fala só
poderia estar relacionada a uma categoria/subcategoria/indicador:
Quadro 3 - Estrutura Metodológica de Análise Qualitativa das Entrevistas.
Categoria
Subcategoria
Indicadores
Escola
Direção
Democrática
Suporte ao
professor
Fontes: As autoras (2012).
Evidências
“A direção é muito boa. Ela é muito participativa, ela tá
sempre querendo saber o que tá acontecendo no Conselho de
Classe, não só no Conselho de Classe, mas fora dele. Ela dá
muita liberdade pra gente chegar e dar opiniões e as atitudes
que a gente tomar, eles sempre apoiam.[...]Eles sempre
tiveram uma participação boa. Por isso, que eu gosto muito
dessa escola...”
“E muito organizada, acolhedora, eu descrevo uma direção
assim, que nem a colega falou, democrática. A gente tem
liberdade de atuação. Assim, nós temos aqui profissionais
muito compromissados, com seu trabalho e isso também
facilita muito, a atuação, tanto das diretoras, a gestão
delas...”
“É uma boa escola. Porque... por causa da participação da
direção, os professores são mais bem empenhados, a gente
tem um apoio da direção quando a gente precisa, e o colégio
vai construindo uma fama...”
“... elas são bem assim, solícitas se a gente precisa, pelo
menos eu não tenho nada a reclamar e procuro inovar como
agora, que eu te falei: a Monique entrando, ela vai dando
uma... É, ela tá dando uma mexida assim nas ideias.” “Elas
têm uma aproximação com os professores...Toda a equipe
[...] Elas não tão assentadas só na carreira...”
24
Um caloroso debate do grupo em geral antecedia a decisão final sobre a
categorização de determinada ideia. Desta forma, as evidências foram incluídas nas
categorias, subcategorias e indicadores, finalizando o processo com a construção do
quadro das evidências. Apresentamos um fragmento do quadro final para demonstrar o
processo percorrido e sua finalização.
Cabe comentar que no quadro final as falas perdem a necessidade de
identificação, não mais importando a autoria, mas a ideia impressa nas frases que
evidencia a concepção sobre determinada categoria.
Considerações Finais
O presente trabalho mostrou-se original em termos da metodologia adotada do
processo de construção de uma análise qualitativa. O diferencial do método apresentado
foi a construção do processo com a elaboração de instrumento de análise qualitativa
através do quadro de categorização, tornando-o de fácil compreensão.
A singularidade de construção deste trabalho exemplifica-se na forma de
metodologia de análise, sendo inicialmente de forma horizontal na medida em que foi
realizada uma análise de todos os entrevistados; e vertical, prendendo-se aos eixos
temáticos e professores, depois partindo para uma análise coletiva no sentido horizontal,
desligando da identificação do autor da fala para o foco do conteúdo da fala para
correspondê-lo com a categoria; por ultimo, no momento da construção do Quadro de
Evidências volta-se para análise vertical, associando a evidência com a categoria ou
subcategoria, conforme esquema apresentado no quadro anterior.
Nesta metodologia de análise qualitativa de entrevistas avaliativas de
professores, pode-se destacar a realização num curto tempo e com um grupo pequeno de
mestrandos na prática de construção de uma metodologia de avaliação, em que o
processo foi construído passo a passo, num resgate coletivo constante de etapas e
concepções. Pretendemos com este relato descrever as etapas e os procedimentos
adotados nessa trajetória, destacando que o registro detalhado de cada etapa foi
fundamental para a reconstrução minuciosa do processo.
25
Referências
ALVES, M. T. G.; FRANCO, C. A pesquisa em eficácia escolar no Brasil: evidências
sobre o efeito das escolas e fatores associados à eficácia escolar. In: BROOKE, N.;
SOARES, J. F. (Org.). Pesquisa em eficácia escolar: origem e trajetórias. Belo
Horizonte: Editora UFMG, p. 482-500, 2008.
BOURDIEU, P.; PASSERON, J. A reprodução: elementos para uma teoria do sistema
de ensino. Lisboa: Veja, 1970. (Trabalho original publicado em Francês).
BROOKE, N.; SOARES, J. F. (Orgs.). Pesquisa em eficácia escolar: origem e
trajetórias. Belo Horizonte: Editora UFMG, 2007.
CURY, C. R. J. Direito à educação: direito à igualdade, direito à diferença. Cadernos de
Pesquisa da Fundação Carlos Chagas, Campinas, n. 116, jul. 2002.
DaMATTA, R. O ofício de etnólogo, ou como ter “Anthropological blues” In: Nunes,
E. de O. (Org.). A Aventura sociológica. Rio de Janeiro: Zahar, 1978.
FRIDMAN, L. C. Globalização e refugo humano. Lua Nova, São Paulo, n. 46, 1999.
MINAYO. M. C. de S. O desafio do conhecimento: pesquisa qualitativa em Saúde. São
Paulo: Hucitec-Abramo, 1996, p.101 - 230.
SÁ EARP, M. de L. A cultura da repetência em escolas cariocas. 2006. 245 f. Tese
(Doutorado em Sociologia e Antropologia)-Instituto de Filosofia e Ciências Sociais,
Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006.
26
METODOLOGIA DE AVALIAÇÃO DE LIVRO DIDÁTICO:
Língua Portuguesa como ponto de partida
Martha Isolda Tenório Padilha
Ligia Gomes Elliot, Fundação Cesgranrio
Resumo
O artigo tem por objetivo apresentar as etapas e os procedimentos de avaliação de
livro didático que compõem a metodologia. A avaliação de um livro didático de
Língua Portuguesa serve como ponto de partida, exemplificando o processo
avaliativo. A metodologia de avaliação contemplou várias etapas subsequentes:
descrição do livro; identificação de um quadro de referência para embasar a
avaliação; elaboração de uma ficha que foi o instrumento utilizado para registro
da análise de conteúdo do livro; análise desse conteúdo à luz do quadro de
referência e registro dos dados na ficha correspondente; comentários sobre a
habilidade relacionada a cada descritor; seleção de exercícios ilustrativos de cada
habilidade atendida pelo livro, apresentação dos resultados da avaliação. Cada
uma das etapas é descrita e exemplificada, de modo que o leitor interessado passa
a dispor de um protótipo para uma avaliação semelhante.
Palavras chave: metodologia de avaliação, avaliação de livro didático, Língua
Portuguesa.
Introdução
A despeito da era tecnológica em que se vive, o livro didático continua a ter uma
participação fundamental na aquisição de conhecimento pelos alunos do Ensino Básico,
ajudando-os a atingirem o objetivo de apresentar um desempenho satisfatório nas
avaliações escolares e também na vida. Além disso, o livro atua como mediador na
comunicação escrita entre o professor e o aluno. É por meio dele que se valoriza um
ensino informativo e teórico.
Já o domínio da Língua Portuguesa se torna essencial a qualquer área do
conhecimento. Está intimamente ligado ao sucesso do ser que aprende. A leitura fluente
permite ao homem situar-se com os outros, possibilita a aquisição de diferentes pontos
de vista e ainda o alargamento de experiências. Acrescente-se que o livro constitui um
importante veículo para a criação, transmissão e transformação da cultura.
No Brasil, em muitos sistemas públicos de ensino, em uma determinada série, o
livro didático é o mesmo para todas as escolas, não sendo acompanhado por outros
materiais didáticos, na maioria das vezes.
27
Em estudo publicado pelo Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira (INEP, 2004) sobre a qualidade da Educação, constata-se
que a situação dos concluintes do ensino médio brasileiro, em termos de consolidação
dos conhecimentos definidos pelos Parâmetros Curriculares Nacionais, está abaixo do
esperado. Verifica-se que os estudantes da 3ª série do Ensino Médio possuem
dificuldades em leitura e em interpretação de textos de gêneros variados, não são
leitores competentes e se encontram muito aquém do esperado para o final do Ensino
Médio. Tal situação leva a questionar não apenas a escolha dos conteúdos ensinados em
Língua Portuguesa, como também a forma como se apresentam nos livros adotados nas
escolas. Assim, a qualidade de um dos únicos recursos utilizados por alunos e
professores, o livro didático, assume papel de crucial importância no Ensino Médio.
Objetivo
Para atender a requisitos de qualidade, o livro didático necessita ser avaliado de
forma criteriosa. Uma metodologia de avaliação de livro didático é o que se pretende
apresentar neste artigo, tomando como ponto inicial a avaliação do livro didático de
Língua Portuguesa intitulado Português: linguagens, volume 3, Ensino Médio
(CEREJA; MAGALHÃES, 2005), objeto da dissertação de Padilha (2010).
Metodologia
A metodologia de avaliação de um livro didático se desdobra em várias etapas e
procedimentos. Para o livro de Língua Portuguesa, a metodologia de avaliação
contemplou as seguintes etapas, a saber: descrição do livro; identificação de quadro de
referência para a avaliação; elaboração de instrumento – uma ficha – que foi utilizado
para registro da análise de conteúdo; análise do conteúdo do livro à luz do quadro de
referência e registro na ficha correspondente; comentários explicativos sobre a
habilidade relacionada a cada descritor; seleção de exercícios ilustrativos de cada
habilidade atendida pelo livro, apresentação dos resultados da avaliação.
1) Descrição do objeto
A descrição retrata o objeto a ser avaliado revelando suas características, em
determinada situação ou manifestadas em um determinado tempo, ou seja, a descrição
está condicionada ao momento em que foi feita. Se cuidadosa e completa, auxilia na
obtenção de resultados apropriados.
28
Como primeira etapa da metodologia de avaliação do livro didático, encontra-se
a descrição do objeto a ser avaliado. Dela devem constar elementos identificadores
como a autoria, seguida de breve histórico profissional dos autores, a edição, a editora, o
ano da publicação e os temas abrangidos pelo exemplar avaliado. Dados referentes à
inclusão do livro em algum programa específico, no caso de livros adotados por escolas
públicas, com indicação ainda dos anos letivos referentes à sua adoção, o número de
escolas, municípios e estados que utilizam o livro são também necessários nessa
descrição. Por exemplo:
O exemplar avaliado está em sua 5ª edição, pela Atual Editora, ano de
2005, pelos dados internacionais de Catalogação de Publicação CIP,
Câmara Brasileira do Livro, São Paulo.
O livro em foco abrange literatura, produção de texto e gramática e foi
selecionado pelo Programa Nacional do Livro Didático para o Ensino
Médio (PNLEM) para os anos letivos 2009, 2010 e 2011. É adotado
em 427 escolas do ensino público do Estado do Rio de Janeiro.
Contém 368 páginas, distribuídas em quatro unidades e 38 capítulos
ricamente ilustrados e busca resgatar a cultura em Língua Portuguesa
em seus aspectos artísticos, históricos e sociais, com o intento de
estabelecer relações entre as diferentes linguagens: a literatura, a
pintura, a música, o cinema, o teatro, o quadrinho (PADILHA;
ELLIOT; PEREIRA, 2011, p. 151).
São informados, então, os números de páginas, de unidades e de capítulos da
obra, seguidos pelas características gerais dos capítulos, revelando os temas tratados por
cada um deles.
Nos capítulos relativos à literatura, os autores apresentam os estilos de
época, escolhem as figuras mais expressivas de cada movimento
literário, apresentam-nas por meio de uma biobibliografia, selecionam
fragmentos de obras capitais de cada um deles e propõem exercícios
com questões que encaminham ao processo de leitura (PADILHA;
ELLIOT; PEREIRA, 2011, p. 151).
A seguir, devem ser descritas as unidades que compõem a obra, incluindo o
título da unidade e o número de capítulos que são detalhados a seguir. O exemplo traz a
descrição da unidade inicial do livro e de seu primeiro capítulo:
A primeira unidade do livro, com o título “História Social do
Modernismo”, é constituída de 11 capítulos (CEREJA;
MAGALHÃES, 2005).
1. O Pré-Modernismo, em que são trabalhados autores como Euclides
da Cunha, Lima Barreto Monteiro Lobato, Augusto dos Anjos e Graça
Aranha, fragmentos de seus textos emblemáticos e 30 questões
29
referentes a esses autores, ao momento literário e as suas obras. Há,
também, recomendação de sites que contém obras inteiras dos
escritores pré-modernistas, boxes com comentários de Roberto
Ventura, Moacyr Scliar, Folha de São Paulo e revista Veja
(PADILHA, 2010, p. 16).
2) Quadro de referência para a avaliação
A elaboração do instrumento que será utilizado na análise do conteúdo, textos e
exercícios do livro, deve ter em consideração um quadro de referência para a avaliação.
No caso de Língua Portuguesa, esse quadro foi composto pelos descritores de
habilidades da Matriz de Referência do Sistema Nacional de Avaliação da Educação
Básica (SAEB) destinada à 3ª série do Ensino Médio. A Matriz de Referência do SAEB
em Língua Portuguesa se organiza em seis tópicos e seus respectivos descritores. Os
tópicos abrangem procedimento de leitura, implicações do suporte, do gênero e/ou
enunciador na compreensão do texto, relação entre textos, coerência e coesão no
processamento do texto, relação entre recursos expressivos e efeitos de sentido, variação
linguística. Cada tópico inclui descritores de habilidades a ele específicas (INEP, 2005).
A finalidade do quadro de referência é permitir cotejar o que cada descritor
recomenda, com o conteúdo do livro, isto é, com os textos e exercícios propostos,
verificando em que extensão se configura o atendimento ao descritor.
3) Ficha padrão de registro da análise
A construção de uma ficha padrão de análise consiste na próxima etapa da
avaliação do livro didático. Nela são inseridos dados que identificam os diferentes
componentes do livro, chegando até aos exercícios propostos. Assim, essa ficha de
registro contem colunas para indicação da unidade, do capítulo, da página nas quais os
exercícios ou conteúdos são apresentados no livro, e ainda a indicação de quais
exercícios se referem à habilidade analisada. A ficha permite que sejam acrescentadas
tantas linhas quantas forem necessárias para conter o registro dos exercícios de cada
página.
Um exemplo de ficha padrão utilizada por Padilha (2010) encontra-se
apresentado na etapa seguinte, já com dados analisados e registrados, provenientes do
livro que foi avaliado.
30
4) Análise dos textos e exercícios
A análise do livro didático se baseia na verificação do conteúdo em relação ao
quadro de referência da disciplina. No caso da avaliação do livro de Língua Portuguesa,
a análise dos textos e respectivos exercícios do livro foi realizada pela autora do estudo,
que é licenciada em Letras. É fundamental que o avaliador possua competência na área
de conhecimento relativa ao livro e, sempre que necessário, conte com a colaboração de
outro especialista na mesma área, de reconhecida expertise.
A análise consistiu então em verificar se os exercícios propostos no livro
condiziam com as habilidades da Matriz de Referência de Língua Portuguesa do SAEB.
Em outras palavras, se os exercícios davam oportunidade ao aluno de demonstrar que
tinham domínio de determinada habilidade da Matriz. Essa análise foi validada por uma
Doutora em Letras Vernáculas, com larga experiência em elaboração e análise crítica de
itens e questões baseados na Matriz de Referência de Língua Portuguesa do SAEB.
O Quadro a seguir serve de exemplo de como registrar os exercícios que
correspondem a um determinado descritor.
Quadro 1- Exercícios por unidade, capítulo e página que atendem ao descritor D6 – Identificar
o tema de um texto.
Unidade
3
4
Capítulo
23
28
31
Total
Página
238
272
303
Exercício
1, 2 b
15
6
4
Fonte: Padilha (2010, p. 34).
Observa-se que em apenas duas unidades e em três capítulos do livro foram
encontrados apenas 4 exercícios que atendiam ao descritor que focalizava a
identificação do tema em um dado texto. Esses dados vão merecer comentários na etapa
seguinte da avaliação.
5) Comentários acerca das habilidades abordadas pelos descritores
Nesta etapa da avaliação do livro é explicado o que se pretende analisar na
aprendizagem dos alunos, quando da utilização de determinado descritor contido no
quadro de referência pertinente ao livro. No caso da Matriz de Referência do SAEB, por
exemplo, os descritores são a base da elaboração dos itens de testes de avaliação de
larga escala. Apresentam-se, então, a quantidade de exercícios relacionados ao descritor
31
focalizado e seu percentual de ocorrência considerando o total de exercícios que se
atendem algum dos descritores da referida matriz.
O texto a seguir, retirado da dissertação de Padilha (2010, p. 33), serve de
exemplo de comentários explicativos a respeito de um dos descritores contidos na
Matriz de Referência do SAEB, o descritor D4 – Inferir uma informação implícita em
um texto.
Um texto apresenta informações explícitas e implícitas. A
compreensão de um texto se dá pela mobilização de um modelo
cognitivo, que integra as informações expressas no texto, sejam elas
clara ou que exijam do leitor a construção de seu sentido por meio de
inferências, com os conhecimentos prévios do leitor. Logo, os itens
relativos a esse descritor devem envolver elementos que não constam
na superfície do texto, mas que podem ser reconhecidos por meio da
identificação de dados pressupostos ou de processos inferenciais. No
livro avaliado foram encontrados 131 exercícios referentes a esse
descritor e esse número encontrado equivale a 16,75% de 782
exercícios referentes a descritores da Matriz de Habilidades do SAEB.
6) Seleção de exercícios ilustrativos para cada habilidade atendida no livro
Nessa etapa, após a seleção dos exercícios já identificados por descritor, devem
ser selecionados um ou mais exercícios do livro, para ilustrar o atendimento ao
descritor/habilidade. O exercício é apresentado após cada ficha de registro de resultados
por descritor, com indicação da fonte.
Apresenta-se como primeiro exemplo, extraído da dissertação de Padilha (2010,
p. 30), um exercício sobre como solicitar, ao aluno, que localize informações que
constam de um texto dado para os alunos lerem.
Quadro 2- Exemplo de exercício que atende ao descritor D1 – localizar informações explícitas
em um texto.
Exercício 1. De acordo com o texto I, como é a natureza no lugar onde vive o sertanejo?
Ela se mostra acolhedora ao homem?
Texto: CUNHA, Euclides da. Os sertões. São Paulo: Círculo do Livro, 1975. p.38.
Fonte: Cereja e Magalhães (2010, p.17)
Um segundo exemplo se refere à análise dos exercícios pertinentes ao descritor
que trata da inferência de sentido de uma palavra ou uma expressão que consta de um
texto. Além da ficha de registro preenchida em relação ao descritor, foram tecidas
32
considerações sobre a habilidade trabalhada e foi incluído um exemplo de exercício
correspondente ao descritor D3.
Quadro 3- Exercícios por unidade, capítulo e página que atendem ao descritor D3 – inferir o
sentido de uma palavra ou expressão.
Unidade Capítulo Página Exercício
8
84
2 b, 2 c
9
94
6
108
5
1
10
116
5a
120
1d
11
125
16
146
6b
12
154
5
2
17
177
1b
203
7 b, 7 c, 7 e
20
204
14, 15
3
28
273
19
301
1a
31
303
3 c, 5
304
1a
309
1 a, 1 b
32
309
3
310
5 a, 5 b
4
327
2
34
328
4, 6 c
35
334
4a
337
5a
36
345
4 a, 4 b
38
355
5
Total
33
As palavras são providas de sentido e, na maioria das vezes, são polissêmicas;
ou seja, podem assumir, em contextos diferentes, significados também diferentes.
Assim, para a compreensão de um texto, é fundamental que seja identificado aquele que
foi particularmente utilizado no texto, pois o sentido das palavras não está apenas no
dicionário, mas nos diferentes contextos nos quais elas são enunciadas.
Em um item que avalie essa habilidade, o aluno precisa decidir, entre várias
opções, qual apresenta o sentido com que a palavra foi usada no texto. Portanto, o que
se espera aqui não é apenas que o aluno conheça o vocabulário dicionarizado, mas o
sentido com que a palavra está sendo usada no texto em análise. Esse descritor aparece
em 33 exercícios distribuídos nas unidades 1, 2, 3 e 4 e nos capítulos 8, 9, 10, 11, 12,
17, 20, 28, 31, 32, 34, 35, 36 do livro avaliado. Correspondem a 4,21% do total das 782
33
exercícios em que foram trabalhadas as habilidades constantes da Matriz de Habilidades
do SAEB.
Quadro 4- Exemplo de exercício que atende ao descritor D3 - inferir o sentido de uma
palavra ou expressão.
Exercício 2. Na parte inferior do anúncio, lê-se o seguinte enunciado:
a) Chegou a revista Terra da Gente. A primeira revista que trata dos temas que a gente mais
ama. Para quem se preocupa há 18 anos com os pulmões da Mata Atlântica, um cérebro a
mais é sempre bem-vindo. Parabéns mesmo, de coração.
b) Na expressão “um cérebro a mais”, que sentido é atribuído pelo anunciante à palavra
cérebro?
c) Às vezes, quando queremos homenagear uma pessoa, dizemos que “vamos estender o
tapete vermelho” para ela. Explique o jogo de linguagem feito no anúncio com base nessa
expressão.
Texto: TERRA DA GENTE, ano 1, n.1.
Fonte: Cereja e Magalhães (2005, p. 84).
Fonte: Padilha (2010, p. 30 e 31).
7) Resultados
Nesta etapa, os resultados são resumidos e dão, ao leitor, a percepção global da
avaliação do livro. A ilustração desta apresentação se encontra a seguir.
A ficha de análise dos textos e respectivos exercícios contidos no livro
avaliado tomou por base os descritores da Matriz de Referência do
SAEB, para o 3º ano do Ensino Médio.
A Tabela 1 sintetiza o total de exercícios, por descritor, analisados em
todo o livro (PADILHA, 2010, p. 27).
Tabela 1- Total de exercícios analisados, por descritor e tópico da Matriz de Referência do
SAEB.
Tópico da Matriz Descritor Total de exercícios Percentual (%)
I
D1
163
20,8
I
D3
33
4,2
I
D4
131
16,8
I
D6
4
0,5
I
D14
0
0,0
II
D5
29
3,7
II
D12
6
0,8
III
D20
25
3,2
III
D21
7
0,9
IV
D2
29
3,7
IV
D10
21
2,7
IV
D11
8
1,0
IV
D15
20
2,6
34
IV
IV
IV
V
V
V
V
VI
Total
D7
D8
D9
D16
D17
D18
D19
D13
6
8
2
8
38
17
175
52
782
0,8
1,0
0,3
1,0
4,9
2,2
22,4
6,6
100,0
No total, o livro avaliado continha 991 exercícios, dos quais 782, ou
seja, 78,9% atendiam a algum dos descritores da Matriz de Referência
do SAEB em Língua Portuguesa. Pode-se perceber também os
descritores mais e os menos trabalhados, no livro avaliado; assim
como, aqueles que não constam do livro em nenhuma de suas
unidades (PADILHA, 2010, p. 27).
Exercícios não relacionados ao quadro de referência
O avaliador deve se encontrar preparado para se deparar com o inesperado em
uma avaliação. No estudo sobre o livro de Língua Portuguesa foram encontrados 209
exercícios os quais não se relacionavam a nenhum dos descritores constantes da Matriz
de Habilidades do SAEB. Esses exercícios testavam a habilidade do leitor em
reconhecer posições semelhantes entre duas ou mais opiniões relativas ao mesmo fato
ou ao mesmo tema. Porém, foi em Literatura que apareceu o maior número de
exercícios não pertencentes ao rol de descritores da Matriz de Habilidade do Saeb.
8) Considerações Finais
Após concluir a avaliação do livro, são feitas as considerações finais ou relatadas
as conclusões a que o autor chegou sobre o objeto avaliado e sobre a própria avaliação.
É nesse momento que são tecidos comentários que possam contribuir para a
manutenção dos aspetos adequados mostrados no livro ou que tragam sugestão de
possíveis melhorias.
No caso que serviu de ponto de partida para este artigo, a avaliação do livro de
Língua Portuguesa, a autora pronunciou-se, considerando que, de um modo geral, podese afirmar que os textos e os exercícios do livro atendem aos descritores da Matriz,
porém o professor deve estar atento aos descritores que foram pouco trabalhados, assim
como ao descritor que não foi abordado (D14 - distinguir um fato da opinião relativa a
esse fato), para a possível utilização de material e exercícios complementares.
35
Em se tratando da Matriz de Referência do SAEB, foi observado ainda pela
autora que existe, nos textos do livro avaliado, uma grande lacuna no tocante à
verificação da aprendizagem dos alunos do Ensino Médio em Literatura, matéria
estudada nos três anos que constituem essa etapa do Ensino Básico e que é cobrada nos
exames vestibulares de todo o país.
Concluindo
A avaliação de um livro didático demanda, do avaliador, a utilização de
procedimentos adequados, além de conhecimento específico sobre o conteúdo a ser
examinado. Espera-se, com o presente artigo, ter tornado clara a sequência de passos a
serem dados em uma avaliação semelhante, mesmo que em livro de outra disciplina do
currículo do Ensino Básico. Bastará replicar as etapas aqui apresentadas, fazendo a
adequação dos procedimentos, quando for necessário.
Referências
CEREJA, W. R.; MAGALHÃES, T. C. Português: linguagens: volume 3: ensino
médio. 5. ed. São Paulo: Atual, 2005.
INEP. As matrizes de referência do SAEB: Prova Brasil. Brasília, DF, 2005. Disponível
em: <http://www.INEP.gov.br/basica/SAEB/matrizes/default.htm>. Acesso em: 12 set.
2010.
______. Qualidade da educação: uma nova leitura do desempenho dos estudantes da 3ª
série do ensino médio. Brasília, DF, 2004. Disponível em:
<http://www.INEP.gov.br/download/SAEB/2004/qualidade_educacao/pdf/>. Acesso
em: 7 out. 2010.
PADILHA, M.I. Avaliação de livro de língua portuguesa adotado pelo ensino público
do Rio de Janeiro para o 3º ano do ensino médio em atendimento à matriz de
habilidades do Saeb. 2010. 56 f. Dissertação (Mestrado Profissional em Avaliação) –
Programa de Pós-Graduação em Avaliação, Fundação Cesgranrio, Rio de Janeiro, 2010.
PADILHA, M. I.; ELLIOT, L. G.; PEREIRA, C. C. Avaliação de livro de língua
portuguesa adotado para o 3º ano do ensino médio público do Rio de Janeiro. Meta:
Avaliação, Rio de Janeiro, v. 3, n. 8, p. 145-167, 2011.
36
PARADIGMAS CLÁSSICOS E CONTEMPORÂNEOS NA AVALIAÇÃO DE
POLÍTICAS PÚBLICAS E A PROPOSTA DE UMA “AVALIAÇÃO EM
PROFUNDIDADE”.
Lea Carvalho Rodrigues
Resumo
O texto apresenta diferentes paradigmas teórico-metodológicos (clássicos e
contemporâneos) na avaliação de políticas públicas, sobretudo aqueles desenvolvidos
no contexto norte-americano, para perceber limites e desafios dessas abordagens. A
proposta de avaliação em profundidade de políticas públicas sociais se inspira em
pressupostos desenvolvidos por autores que adotam o paradigma hermenêutico no
desenvolvimento de metodologias de avaliação (em especial Raul Lejano e Dvora
Yanow). Destaca-se, ainda, a proximidade da abordagem dos autores com o pensamento
de pesquisadores que, no Brasil, articulam antropologia e políticas públicas na prática
de avaliação de políticas e programas. Procura-se discutir, de forma mais detalhada,
alguns dos princípios formulados dentro dos eixos analíticos propostos para uma
“avaliação em profundidade”. A ênfase recai sobre a noção de processo, contexto e
cultura, com especial atenção a conceitos e paradigmas orientadores das políticas.
Palavras-chave: políticas públicas, avaliação, metodologia.
Introdução
Apenas no final da década de 1980 e inicio da de 1990 a discussão sobre o tema
da avaliação de políticas públicas se intensificou no âmbito dos países da América
Latina, chegando a ocupar um lugar de destaque na administração pública desses países.
No Brasil, a visibilidade maior dada à questão da avaliação se deu, sobretudo,
em razão da preocupação com a avaliação das políticas públicas, iniciada no contexto da
Reforma do Estado, em meados dos anos 1990, e em principio como parte da agenda
neoliberal adotada no país. A produção acadêmica brasileira sobre este tema, no
entanto, continua ainda muito reduzida. Vale destacar, ainda, que esta visibilidade do
tema, num primeiro momento, se deu de forma articulada à situação de dependência de
nosso país frente às agencias financeiras internacionais, como o Banco Mundial e o
Banco Interamericano de Desenvolvimento (BID), que começaram a exigir, com mais
critério, a elaboração de sistemas para acompanhar e avaliar os projetos por eles
financiados (STEPHANOU, 2005). Esta se pautou, sobretudo, em uma abordagem
gerencialista2 que expressa uma concepção instrumental da avaliação, com a função de
2
O paradigma gerencialista, no contexto da reforma do Estado, representa, em síntese, a subordinação
do Estado à racionalidade instrumental do mercado, sua lógica produtivista e de mensuração
exclusivamente econômica da relação custos/benefícios. Para uma crítica ao paradigma gerencialista
veja Costa (2000).
37
medir, acompanhar e avaliar o êxito das reformas administrativas e que, naquele
contexto, era fortemente orientada pelos princípios e valores neoliberais3. Isto, por
outro lado, leva-nos a inferir que a reflexão intelectual sobre essas práticas tenha sido
marcada, a princípio, por uma postura passiva e de acolhimento acrítico dos modelos
externos de avaliação.
A percepção dessa adesão acrítica se dá, por exemplo, quando do exame dos
pressupostos teórico-metodológicos que orientam grande parte da produção sobre o
tema no país, que no geral privilegiam dados quantitativos sobre qualitativos e onde a
formulação de indicadores segue os padrões clássicos de avaliação, sustentados por
concepções e modelos positivistas: dados estandardizados, abordagens lineares, testes
de hipóteses de mensuração do objeto de estudo e, portanto, uma limitação da avaliação
à percepção dos resultados diante dos objetivos formulados (eficácia); relação
metas/resultados, relação custos/benefícios (eficiência) e avaliação de impactos
(efetividade) em relação ao previsto. Como destaca Castro (1989), os limites deste tipo
de avaliação se apresentam, sobretudo, no fato de que se voltam aos efeitos esperados,
desconsideram ou minimizam “efeitos não previstos”, que muitas vezes são tomados
como atrasos a superar. Desta forma, há pouco espaço para a crítica à própria política,
desde sua formulação, e aos princípios em que estas se baseiam.
A absorção acrítica dos modelos tradicionais de avaliação, por outro lado, em
razão da própria perspectiva que os orienta, dificulta que propostas de análise mais
arrojadas adentrem o campo de reflexão sobre políticas públicas, como é o caso da
perspectiva interpretativista, uma nova linha de investigação desenvolvida nos Estados
Unidos por influência do paradigma hermenêutico. Esta considera que o conhecimento
produzido possui múltiplas dimensões e se constrói a partir de distintos tipos de
informações. Do ponto de vista analítico, procura integrar diferentes dimensões
presentes no objeto de investigação, para uma melhor apreensão da política ou do
programa em estudo, em sua inteireza. A natureza múltipla dos modelos interpretativos
expõe os elementos de integração e de articulação com a ação (LEJANO, 2012). Uma
forma possível de integração é a chamada triangulação metodológica, de forma que os
dados podem sobrepor-se e evidenciar pontos comuns em relação ao fenômeno
estudado. Esta proposta abre mais possibilidades de ação concreta uma vez que
possibilita reflexões continuadas e mudanças constantes, bem como uma compreensão
3 Veja, por exemplo, a proposta de avaliação de Faria (1998, 2001).
38
mais ampla da dinâmica das políticas, em processo (MARK; HENRY; JULNES, 2000;
MINAYO; ASSIS; SOUZA, 2005; GURGEL, 2008).
Esta linha de investigação interpretativa ganhou relevância para muitos
estudiosos do tema, sobretudo após a década de 1990. Questões acerca dos significados
das políticas são comunicados e percebidos por distintos públicos, sobre os diferentes
tipos de conhecimento que orientam as organizações em sua prática (YANOW, 2003),
assim como o caráter dialógico da avaliação, já que vista de uma perspectiva relacional
(GREENE, 2001) e com espaços de participação (MARK; SHOTLAND, 1985).
Vale ainda destacar que os pesquisadores que se filiam a este paradigma não
consideram que o grande diferencial em sua abordagem se restrinja à adoção ou não de
métodos qualitativos na avaliação de políticas públicas. Ao contrário, reivindicam um
lugar distinto daqueles que postulam a articulação entre metodologias quantitativas e
qualitativas, como os que propõem a triangulação de métodos, ou Mixed Methods4.
Como observa Yanow (2003 p. 1), a simples referência a metodologias qualitativas não
capta plenamente a ampla gama de métodos não quantitativos utilizados atualmente
pelos pesquisadores na área de ciência política.
Ao contrastar o método interpretativo com as abordagens correntes sobre
métodos qualitativos, Yanow (ibidem, p. 5) enfatiza que a designação “qualitativa”
originalmente se referia às características das pesquisas desenvolvidas no estilo do
trabalho de campo da Escola de Chicago – etnografia, observação participante,
entrevistas de profundidade – com um grau considerável de flexibilidade conferido à
coleta dos dados, em razão das circunstâncias específicas de interação. Além de que, diz
Yanow, tal metodologia qualitativa inviabilizava a construção prévia de hipóteses para
posterior teste, sendo que conceitos, variáveis relevantes e compreensão da realidade
emergiam dos dados coletados progressivamente, em campo. Entretanto, observa a
autora (ibidem, p. 6), “qualitativo cada vez mais está sendo usado para se referir não às
tradições do significado focadas na experiência vivida”, mas a pequenos estudos que
pretendem servir de ferramentas para fazer inferências mais gerais e que operam uma
“tradução” dos dados qualitativos às medidas quantitativas. Tais abordagens, portanto,
segundo ela, são pressionadas a se conformar com a validade e os critérios de
confiabilidade que caracterizam as metodologias quantitativas. O que é problemático,
diz Yanow, “é que os métodos quantitativos são, em grande medida, informados pelos
4 Sobre a referida metodologia, vide Greene (2001) e Creswell; Clark (2007).
39
pressupostos filosóficos positivistas, [...] enquanto os tradicionais métodos qualitativos
são informados, de forma explícita ou não, por pressupostos filosóficos interpretativos
(p. 6). Por fim, conclui aquilo que o que grande parte da produção sobre avaliação de
políticas denomina de abordagem qualitativa, não a realiza de acordo com o que
propõem os pressupostos hermenêuticos, nem retrata o que muitas das ciências
humanas, como as ciências sociais, praticam como metodologia qualitativa de análise.
A principal diferença entre o paradigma positivista e o interpretativista, para
Yanow, está no fato de que o primeiro está baseado em pressupostos universalistas
enquanto o segundo afirma a primazia do contexto e das singularidades, sendo,
portanto, totalmente contraditórios entre si. Na mesma linha de argumentação, Lejano
(2012) afirma a necessidade, em primeiro lugar, de considerar as múltiplas dimensões
da experiência e do entendimento, atentando para a complexidade dos fenômenos – seu
caráter processual, contextual, dinâmico e flexível –, só apreensível pelo entendimento
de sua realização na prática; o que confere à noção de experiência um lugar central.
Afirma o autor que se nós quisermos compreender porque políticas e instituições
funcionam ou falham, precisamos penetrar no que essas entidades realmente são, não
nos limitando a perceber como elas estão constituídas formalmente. O mesmo pode ser
dito sobre a diferença entre o que está formulado como política e como está política se
realiza na prática (RODRIGUES, 2008).
Contrapondo os dois modelos, positivista e interpretativo, Lejano mostra, ainda,
que o primeiro é pautado em uma apreensão linear do processo, parte de um conjunto de
hipóteses e termina com um teste dessas mesmas hipóteses, construídas isoladamente da
situação empírica, o que resulta num conhecimento confinado a um tipo restrito de
dados, geralmente dados estatísticos. A proposta do autor, de forma contrária, é não
linear, e nela as hipóteses emergem de um processo circular entre a situação empírica e
a reflexão dialógica entre pesquisador e grupo pesquisado; ou seja, a teoria emerge da
prática e os dados provêm de fontes diversificadas de informação.
Além do mais, enquanto no primeiro modelo os critérios são de confiança e
replicabilidade, no segundo modelo eles são fundados nos critérios de profundidade e
complexidade e os resultados não se restringem à confirmação ou não das hipóteses,
mas se constituem na fusão de diferentes linhas de informação. Ao invés de aferir
resultados pontuais, pela medida e comprovação, sua proposta visa, sobretudo, conhecer
e compreender.
40
A partir das formulações desses autores, vale considerar que se toda proposta de
avaliação é informada por pressupostos e concepções acerca da ciência e da prática
científica, é importante a clareza na definição do conceito de avaliação que embasa a
pesquisa. Observa-se que as diferentes abordagens se agrupam em duas distintas
propostas: uma, majoritária, que compreende avaliação como medida e julgamento;
outra minoritária, e onde se insere a abordagem interpretativa, que privilegia o sentido
de compreensão. Eleger uma ou outra concepção, portanto, faz toda a diferença.
Uma perspectiva multi e interdisciplinar, com proposta de articulação teórica e
metodológica entre diferentes paradigmas científicos é a que vem sendo desenvolvida
no Brasil no âmbito do Curso de Mestrado em Avaliação de Políticas Públicas da
Universidade Federal do Ceará (MAPP/UFC).
Tal proposta concorda com a ênfase no lócus empírico como fonte dos
conhecimentos que devem orientar a execução de políticas e programas, bem como a
sua avaliação; do lugar privilegiado que deve ser dado à noção de processo, como ponto
central de toda avaliação, em contraposição à lógica linear dos modelos positivistas; na
afirmação da multiplicidade de dimensões do conhecimento e, portanto, da necessidade
de valer-se de diferentes tipos de dados e informações: questionários, grupos focais,
entrevistas de profundidade, observação de campo, análise de conteúdo do material
institucional, compreensão dos sentidos formulados em diferentes contextos acerca de
uma mesma política ou programa, etc, como proposto pelos adeptos do paradigma
interpretativo (LEJANO, 2012).
A proposta de uma “avaliação em profundidade” como contraponto às abordagens
clássicas
No âmbito do Mestrado Profissional em Avaliação de Políticas Públicas – Mapp,
da Universidade Federal do Ceará, vem se desenvolvendo há dez anos um esforço para
desenvolver novos aportes teórico-metodológicos que deem conta da multiplicidade de
experiências expostas à avaliação na área de políticas públicas, a partir de uma
abordagem multi e interdisciplinar.
Foi pela percepção de linhas diferenciadas de abordagem da questão, sobretudo
o contato com esta literatura americana contemporânea que se diferencia das
abordagens clássicas que ali começou a se gestar reflexões que buscam integrar
diferentes perspectivas de análise e se construíram alguns eixos considerados
41
fundamentais para o que Rodrigues (2008) denominou de “avaliação em profundidade”,
como exposto na figura abaixo:
Figura 1 – Avaliação em profundidade.
Fonte: Rodrigues (2008).
As primeiras condições para a realização de uma avaliação em profundidade,
como expostas em Rodrigues (2008), foram de que a mesma conseguisse ser ao mesmo
tempo extensa, detalhada, densa, ampla e multidimensional, o que exigiria uma
abordagem multi e interdisciplinar. Dessa perspectiva, a proposta se configura, em
acordo com Lejano (2012) e Yanow (1997, 2000, 2003), como crítica ao modelo
positivista de análise, centrado em um saber fragmentado, disciplinar e especializado e
avalia que o paradigma vigente é incapaz de fornecer soluções adequadas para
problemas e fenômenos cada vez mais complexos. Isto significa que uma avaliação em
profundidade não poderá se restringir a um olhar focado apenas na averiguação do
cumprimento das metas propostas pela política e seus resultados, nos itens priorizados
por um programa ou tão somente no atendimento às suas diretrizes.
Ao propor que a avaliação seja ampla, detalhada e densa, a referência
fundamental é ao principal pressuposto das abordagens interpretativas, seguindo as
proposições geertzianas (GEERTZ, 1978), o da busca de significados, no caso os
significados da política para os que as formulam, executam ou vivenciam. Isto implica,
em primeiro lugar, que a pesquisa qualitativa ganha destaque. No plano prático, que a
avaliação não pode se restringir à análise de dados estatísticos resultantes da coleta de
42
dados por meio de questionários, ainda que estes contemplem perguntas abertas e
forneçam ao entrevistado espaço para colocar suas ideias. A apreensão de significados
exige a realização de entrevistas aprofundadas e abertas; ou seja, entrevistas que não
conduzam o entrevistado à resposta e que não lhe cerceiem o campo de reflexão, já lhe
apresentando perguntas que pressupõem razões para o sucesso ou fracasso da política ou
do programa em estudo, para o esclarecimento de problemas constatados nas
observações de campo, ou mesmo para esclarecimento de dados coletados por meio de
questionários ou provindos de estatísticas oficiais. Uma entrevista aberta e aprofundada
de qualidade é aquela que resulta em informações e reflexões novas, sequer imaginadas
pelo pesquisador. A riqueza dessa modalidade de entrevista é que ela fornece ao
pesquisador as categorias importantes para a análise a partir das ideias, informações,
reflexões e interpretações tecidas pelos próprios entrevistados.
O aspecto da multidimensionalidade, por si mesmo conduz às abordagens multi,
inter ou transdisciplinares, uma vez que exige a consideração de todas as dimensões
relevantes de uma política em foco e isto demanda a articulação de diferentes
especialidades como a ciência política, a sociologia, a economia, a história, a
antropologia, o direito, e outras específicas à política em tela.
Na primeira tentativa de sistematização das dimensões imprescindíveis à
realização de uma análise em profundidade (RODRIGUES, 2008, p. 11-12), os tópicos
foram elencados dentro dos quatro eixos principais de análise: 1) Conteúdo da política
e/ou do programa, contemplando: formulação, bases conceituais e coerência interna; 2)
trajetória
institucional;
3)
espectro
temporal
e
territorial
abarcado
pela
política/programa; e, 4) análise de contexto de formulação da política e/ou do programa.
Considerando esses quatro eixos analíticos, será apresentado a seguir um
detalhamento de cada tópico, bem como uma reflexão sobre os limites e possibilidades
de cada um, a partir de dados de pesquisas que procuraram empreender essa tarefa.
Quanto à análise de conteúdo da política ou programa, a proposta inicial
considerou três dimensões centrais que a diferenciam de abordagens de conteúdo que
apenas sistematizam as propostas da política, ou a busca do entendimento da filosofia
da política:
1) formulação da política: atenção aos documentos relativos ao processo de
formulação e de institucionalização da política; apreensão dos objetivos e critérios
apresentados para a sua implantação, acompanhamento e avaliação;
43
2) paradigmas orientadores da política: conceitos, ideias, noções e valores que
formam o corpo teórico que lhe dá sustentação e legitimidade;
3) coerência interna da política: cotejamento dessa base conceitual com os
critérios estabelecidos no item 1, ou seja, verificação da disponibilidade de todos os
mecanismos de efetivação da política segundo sua proposta teórica e sua base
conceitual.
O primeiro tópico foi pensado, na prática, como sendo o exame do material
institucional apenas, mas pesquisas realizadas no âmbito do Mapp como Chaves (2010)
e Pinto Jr. (2010), ampliaram essa perspectiva, pois ao aliarem a análise de conteúdo da
política à noção de trajetória mostraram que a apreensão das bases conceituais de uma
política ou programa ganha maior consistência quando além do material institucional o
pesquisador contempla entrevistas com os sujeitos que participaram do processo de
formulação da política em seus diferentes momentos.
O segundo tópico diz respeito à análise de contexto da formulação da política,
com levantamento de dados sobre o momento político, condições socioeconômicas, as
articulações entre as esferas local, regional, nacional, internacional, e mesmo
transnacional, quando for o caso. É fundamental nesta proposta a apreensão do modelo
político/econômico vigente no país e do lugar que o social ocupa neste modelo, além da
verificação da sobreposição de outras políticas ou programas àquela em estudo. Ou seja,
ver a política ou programa como parte de um conjunto de ações que expressa, de uma
forma mais abrangente, um modo de conceber a política, em seu sentido mais amplo,
contemplando o econômico, o social e a definição dos caminhos para o país. Uma
ênfase maior é dada à dimensão cultural, é fundamental à compreensão de contextos.
Para compreender a dinâmica de políticas implementadas em diferentes momentos
históricos, concebidas a partir de modelos político-econômico-sociais específicos, é
importante perceber como são acionados elementos de ordem simbólica – étnicos e
identitários; valores morais, cívicos e éticos; ideias e símbolos articulados a ideologias
do progresso e da modernização, dentre outros.
A trajetória institucional é um dos pontos mais importantes para o entendimento
do que realmente ocorre quando se implementam ações dentro de uma política gestada
nas esferas superiores; principalmente quando, em razão dos processos de
descentralização, é fornecida autonomia às esferas regionais e locais, e é também a
tarefa de mais difícil consecução. Isto porque demanda tempo, recursos e pessoas
44
capacitadas a realizarem um levantamento de dados quantitativos e qualitativos a
contento, bem como o tratamento consistente desses dados.
A reconstrução da trajetória institucional vem sendo especialmente desenvolvida
por Gussi (2008) a partir da ideia de que o princípio de legitimação dos conceitos,
regras, normas, valores e ações das instituições são naturalizados – e, quanto a esta
ideia, o autor segue a antropóloga inglesa Mary Douglas na obra Como pensam as
instituições. Ao propor um lugar de destaque para a trajetória institucional no processo
de avaliação de uma política pública, Gussi se respalda na noção de trajetória
desenvolvida por Pierre Bourdieu no ensaio A ilusão Biográfica. Afirma o autor que
Bourdieu desconstrói a ideia de que uma trajetória de vida seja um processo linear
apreensível de uma só vez, como se fosse um todo coerente. E assim como Bourdieu se
debruça sobre essa noção para pensar o processo de uma vida, Gussi transpõe o conceito
de trajetória de vida para as instituições, afirmando que elas, assim como uma vida,
podem ser apreendidas pelos processos relativos aos múltiplos trajetos (deslocamentos)
e posições que ocupam no campo social ao longo do tempo.
O último tópico desenvolvido diz respeito ao denominado espectro
temporal-territorial, referente ao percurso de uma política pelas vias institucionais e
espaços socioculturais, ao longo do tempo de sua implementação. Trata, portanto, dos
deslocamentos de uma política por espaços políticos, econômicos e socioculturais
distintos. Comporta, do ponto de vista macro-estrutural, não apenas o trânsito pelas
esferas federal, estadual e municipal, mas a apreensão da efetivação da política em
contextos distintos. A atenção é dada à variada gama de apropriações e interferências –
conforme os interesses, jogos de poder e forças políticas locais –, podendo levar a
resultados distintos, bem como revelar inadequações na forma como a política foi
pensada, formulada e implantada, em razão de particularidades que dizem respeito à
dimensão sociocultural local e/ou regional. Quanto a este aspecto, Gonçalves (2008,
2010) contribui sobremaneira ao afirmar a necessidade de construção de indicadores
socioculturais. Em suas palavras, “Trata-se de conhecer, para além dos indicadores
quantitativos de renda e de pobreza, quem está recebendo a política pública e como a
ressignifica? Em que contexto? Quais as mediações de ordem simbólica e política que a
atravessam?” (GONÇALVES, 2008, p. 22).
45
Evidentemente, propostas singulares como as presentadas (GUSSI, 2008;
GONÇALVES, 2008, 2010; RODRIGUES, 2008) têm a intenção de inovar no campo
da avaliação de políticas públicas no Brasil, sobretudo dado seu caráter emergente como
campo de estudos, apontam possibilidades metodológicas e analíticas instigantes. Mas
como dar conta deste conjunto de dimensões analíticas? Quais opções metodológicas
seriam mais adequadas para lograr êxito em tal empreitada?
Seguindo a proposição de Lejano (2012), o único caminho para solucionar tais
questões está na experiência. A avaliação em si mesma é processo e está fincada na
experiência; portanto devemos buscar respostas nos caminhos empreendidos por outros
pesquisadores em suas investigações e analises.
46
Referências
CHAVES, M. J. A. Trajetória do programa agentes de desenvolvimento do Banco do
Nordeste do Brasil (BNB): subsídios para uma avaliação em políticas de
desenvolvimento. 2010. Dissertação (Mestrado)-Programa de Mestrado Profissional em
Avaliação de Políticas Públicas, Universidade Federal do Ceará, Ceará, 2010.
COSTA, F. L. Por uma outra reforma do Estado: estratégias alternativas ao paradigma
gerencialista. Revista de Administração Pública, v. 34, n. 1, p. 267-70, jan./fev., 2000.
CRESWELL, J. W.; CLARK, V. L. Designing and conducting mixed methods research.
California: Sage Publications, 2007.
FARIA, W. Avaliação de programas e projetos sociais: um roteiro para formação de
especialistas. Campinas: NEPP/Unicamp, 1998.
______. Políticas públicas e governabilidade: desafios teóricos e práticos. In:
SEMINÁRIO DESENVOLVIMENTO E INTEGRAÇÃO NA AMÉRICA LATINA E
NO CARIBE, 1., 2001, Brasília. Anais... Brasília, DF: FLACSO, 2001.
GEERTZ, C. A interpretação das culturas, Rio de Janeiro: Zahar, 1978.
GONÇALVES, A. F. Políticas públicas, etnografia e a construção dos indicadores
socioculturais. AVAL Revista Avaliação de Políticas Públicas, [S. l.], ano 1, v. 1, n. 1,
jan./jun., 2008.
_______. Avaliação dos fundos rotativos solidários no Estado da Paraíba. Relatório de
pesquisa. Paraíba: Universidade Federal da Paraíba, 2010.
GREENE, J. Dialogue in evaluation: a relational perspective. California: Sage
Publications, 2001.
GURGEL, W. B. Triangulação de métodos: introdução às concepções, fundamentos e
técnicas de avaliação. In: SILVA, M. O. da S. (Coord.). Pesquisa avaliativa: aspectos
teórico-metodológicos. São Paulo: Veras Editora; São Luiz: GAEPP (Grupo de
Avaliação e Estudo da Pobreza e de Políticas Direcionadas à Pobreza), 2008.
GUSSI, A. F. Apontamentos teóricos e metodológicos para a avaliação de programas de
microcrédito. AVAL Revista Avaliação de Políticas Públicas, ano 1, v. 1, n. 1, jan./jun.,
2008.
LEJANO, R. P. Parâmetros para avaliação de políticas: fundindo texto e contexto.
Campinas, SP: Editora Arte Escrita, 2012.
MARK, M. M, HENRY, G.; JULNES, G. Evaluation: an integrated framework for
understanding, guiding and improving policies and programs. São Francisco: JosseyBass, 2000.
MARK, M. M.; SHOTLAND, R. L. Stakeholder-Based evaluation and value
judgments. Evaluation Review, v. 9, n. 5, Califórnia: Sage Publications, 1985.
47
MINAYO, M. C. S.; ASSIS, S. G.; SOUZA, E. R. Avaliação por triangulação de
métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz, 2005.
PINTO JR., V. C. Avaliação da política nacional de atenção cardiovascular de alta
complexidade com foco na cirurgia cardiovascular pediátrica. 2010. Dissertação
(Mestrado)–Programa de Pós Graduação em Avaliação de Políticas Públicas,
Universidade Federal do Ceará, Ceará, 2010.
RODRIGUES, L. C. Propostas para uma avaliação em profundidade de políticas
públicas sociais. AVAL Revista Avaliação de Políticas Públicas, ano 1, v. 1, n. 1,
jan./jun., 2008.
STEPHANOU, M. C. Análise comparativa das metodologias de avaliação das agências
de fomento internacionais BID e BIRD em financiamentos de projetos sociais no Brasil.
Civitas, Porto Alegre, v. 5, n. 1, jan./jun., p. 127-160, 2005.
YANOW, D. Conducting interpretive policy analysis. Newbury Park, CA: Sage, 2000.
______. Passionate humility in interpretive policy and administrative analysis.
Administrative Theory and Praxis, v. 19, p. 171-177, 1997.
______. Interpretive empirical political science: what makes this not a subfield of
qualitative methods. Qualitative Methods Section (APSA) Newsletter, California, v. 2,
2003.
48
AVALIAÇÃO, APRENDIZAGEM E MEDIAÇÃO EM TEMPOS DE
GLOBALIZAÇÃO.
Lina Cardoso Nunes
Lucia Regina Goulart Vilarinho
Resumo
O presente artigo tem os seguintes objetivos específicos: (a) situar os processos
educacionais em tempo de globalização; (b) discutir as relações entre aprendizagem e
avaliação; (c) explicitar o significado dos processos mediadores para a aprendizagem e
(d) identificar a importância das mediações entre a aprendizagem e a avaliação. Os
subsídios teóricos para fundamentar a temática buscaram ressaltar as relações
evidenciadas nos temas apresentados, em tempo de globalização. Como considerações
finais são destacadas: (a) o desafio da formação de professores nem sempre é
condizente com o avanço das inovações tecnológicas contemporâneas; (b) os mestres
enfrentam a problemática da obsolescência de seus processos de formação com
repercussões em suas práticas pedagógicas e nos processos de avaliação; (c) a vivência
da mediação pedagógica nem sempre é familiar para alguns mestres; e (d) a
compreensão das relações entre os processos de aprender e avaliar, ainda está distante
dos mestres.
Palavras-chave: Aprendizagem. Mediação. Avaliação; Globalização.
1.
Introdução
A complexa problemática da avaliação tem sido amplamente divulgada na
literatura educacional, destacando-se alguns autores, a saber: Saul (2001), Abreu e
Masetto (1993), Perrenoud (1999), Moran, Masetto e Behrens (2009), Hadji (2001),
Pozo (2002), Luckesi (2011), Gomez (2005), Castilhos e Ribeiro (2000), Haydt (2008)
e Veiga (2004), entre outros. Para analisarmos questões relativas aos processos de
avaliar, em tempo de globalização, não poderíamos separá-los das importantes
discussões sobre aprendizagem e mediação, aspectos que ganham novas dimensões
com a presença das tecnologias da informação e comunicação (TIC) nos contextos
educacionais.
A presente análise aponta para os seguintes objetivos: (a) situar os processos
educacionais em tempo de globalização; (b) discutir relações entre aprendizagem e
avaliação; (c) explicitar o significado dos processos mediadores para a aprendizagem; e
(d) identificar a importância das mediações no contexto das relações entre a
aprendizagem e a avaliação. Esses objetivos se derivam de estudos conduzidos
anteriormente sobre a avaliação e, na perspectiva de uma reflexão continuada,
49
constituem estímulo para aprofundarmos desafios que vêm sendo postos às práticas
pedagógicas no contexto do mundo globalizado.
2. Em tempos de globalização
Vivenciamos hoje o que Laszlo (2001, p. 73) denomina macrotransição, ou seja,
período que se apresenta como um desafio para o terceiro milênio. O autor (LASZLO,
2001) esclarece que diante da fase crítica pela qual passa a macrotransição, “precisamos
de novos valores e de uma nova visão – novos padrões de comportamento”. Afirma que
“sem a evolução da consciência em amplas massas de pessoas, as atuais tendências de
abuso e mau uso continuarão” (LASZLO, 2001). Laszlo refere-se à emergência de um
caminho capaz de enfrentar e dominar as transformações derivadas da macrotransição
globalizante. Para o autor, “o primeiro imperativo da globalização é esquecer tudo que
seja inútil e obsoleto” (LASZLO, 2001, p. 75).
Este imperativo se projeta na escola e acaba por exigir uma reflexão sobre os
seus processos de ensino-aprendizagem, com foco especial para as questões da
avaliação. Segundo Santos (2008, p. 174), é urgente a revisão de alguns procedimentos
de avaliação que não condizem com as mutações da era contemporânea, “tanto a
tecnológica quanto a filosófica da espécie humana”. A revisão das práticas avaliativas
dos professores parece-nos de importância significativa, tendo em vista as posturas de
resistência assumidas por alguns grupos de mestres, ainda presos a práticas avaliativas
arcaicas e autoritárias, se comparadas com as mutações da contemporaneidade.
Perrenoud (1999, p. 9) inicia seu livro alertando que “a avaliação não é uma
tortura medieval. É uma invenção mais tardia, nascida com os colégios por volta do
século XVII e tornada indissociável do ensino de massa que conhecemos desde o século
XIX, com a escolaridade obrigatória”. Adiante (PERRENOUD, 1999, p. 11), afirma
que, no seu entendimento, “existem duas principais lógicas no sistema de avaliação,
uma tradicional, outra emergente, lembrando ao leitor de não esquecer que elas não
esgotam a realidade e o sentido das práticas”. Infelizmente, em alguns casos, pode-se
afirmar que os processos avaliativos constituem práticas ultrapassadas, que visam,
fundamentalmente, separar os alunos dotados dos alunos com dificuldades de aprender.
Como vivemos em tempos de globalização faz-se urgente, de acordo com Pozo
(2002), a revisão dos procedimentos avaliativos obsoletos, remanescentes dos séculos
que nos antecederam, adequando-os aos procedimentos inovadores anunciados pela
“nova cultura de aprendizagem”. Luckesi (2011, p. 27) aborda a “necessidade do
50
educador aprender a avaliar a aprendizagem”, lembrando que a nossa história de
avaliação da aprendizagem é recente, enquanto a “história de exames escolares já é um
tanto mais longa”. Não podemos desconsiderar que o aprendizado dos alunos, de um
modo ou de outro, se relaciona ao que é ensinado pelo mestre.
Pozo (2002, p. 80) afirma que os resultados da aprendizagem são
interdependentes e acrescenta “a aquisição de alguns resultados facilita e consolida a
aprendizagem de outros”. Isto aponta para a relação entre o que os mestres ensinam e o
que os alunos aprendem como consequência do que foi ensinado e coloca em destaque a
importância das práticas avaliativas, que vão confirmar ou negar a validade da atuação
da prática pedagógica aplicada
Luckesi (2011, p. 263) explica que “se numa turma de trinta estudantes alguns
(que podem ser dois, três ou quatro) estão com aprendizagens insatisfatórias,
necessitamos de um foco imediato para eles, tendo em vista dar-lhes suporte para que
ultrapassem suas dificuldades”. Entretanto, “se nessa mesma turma, um número maior
manifestar um desempenho insatisfatório, há de se olhar para o que está ocorrendo com
a qualidade da atividade do educador”; em outras palavras, este autor admite que as
carências podem estar afetas à competência docente. Nesse sentido, é importante e
urgente estarmos atentos à reação dos alunos no decorrer do processo de aprender e ao
que está ocorrendo em nossa volta, a tempo de corrigir as falhas e superar os problemas
emergentes no cotidiano escolar no mundo globalizado, mundo este onde tudo ocorre de
forma acelerada.
Na opinião de Santos (2008, p. 170) um novo mundo será anunciado “cuja
edificação vai acontecer de baixo para cima”. O que veremos acontecer, de acordo com
o autor será a criação de um modelo econômico, social e político inovador, que, “a
partir de uma nova distribuição de bens e serviços, conduza à realização de uma vida
coletiva solidária, passando da escala do lugar à escala do planeta”. Admite a
necessidade de uma reforma no mundo que promova um outro tipo de globalização,
onde haja mais justiça social.
Será possível confiar nas palavras do autor? A globalização pode viabilizar a
mudança nos procedimentos e postura dos que ensinam e dos que aprendem? Podemos
afirmar que mestres e aprendizes estão preparados para a mudança de procedimentos,
tanto em relação à forma de ensinar, quanto à forma de avaliar? Muitas interrogações
estão em nossa mente, obrigando-nos a repensar como viabilizar a mudança de
procedimentos pedagógicos em tempos de globalização. As tecnologias de informação e
51
comunicação, também denominadas de mídias, introduzem nos procedimentos
vivenciados pelos professores e alunos, perspectivas inusitadas de cooperação e
mediação, sempre que existem condições para tal, isto é, quando se confirma a presença
de computadores, tanto nos ambientes escolares quanto familiares. Entretanto, outra
interrogação nos assalta: todos podem ter acesso às tecnologias?
Nesse
aspecto,
é
oportuno
lembrar,
que
a
globalização
atinge
indiscriminadamente ricos e pobres, o que, em muitos casos impede o acesso às mídias.
Santos (2008, p. 132) esclarece que é importante, “em primeiro lugar distinguir entre
pobreza e miséria. A miséria acaba por ser a privação total, com o aniquilamento, ou
quase da pessoa. A pobreza é uma situação de carência, mas também de luta, um estado
vivo, de vida ativa, em que a tomada de consciência é possível”. Assim, podemos
constatar que, nos casos de miséria, os recursos tecnológicos, em raríssimos casos estão
presentes, o que afasta grande parte da população do acesso às benesses da comunicação
digital. Por outro lado, pesquisas recentes têm evidenciado que indivíduos pobres não
apresentam maiores dificuldades para utilizar seus aparelhos digitais, minimamente os
telefones móveis, o que os torna, de certo modo, incluídos digitais.
Diante dessas ambiguidades do mundo globalizado cabe indagar: que
perspectivas se abrem para a relação aprendizagem - avaliação? É o que passamos a
discutir na seção subsequente.
3. Relações entre aprendizagem e avaliação
O cenário da globalização traçado até aqui impõe, no contexto educacional, uma
análise sobre como se relacionam os procedimentos de aprender e avaliar em um mundo
globalizado. No entanto, como foi anteriormente sinalizado, nem todos participam desse
cenário, pois um expressivo número de pessoas não está em condições de compartilhar
das facilidades que emergem no universo globalizado, tendo em vista as barreiras, de
caráter financeiro para o acesso às mídias digitais em ambientes menos favorecidos.
Nesta seção interessa-nos expor as possíveis relações entre aprender e avaliar,
tendo em vista a urgência de investir na seriedade e competência dos docentes para
vivenciar as possibilidades que se abrem para os espaços educacionais.
Saul (2001, p. 61) propõe o que chama de “paradigma da avaliação
emancipatória”, o qual “se caracteriza por ser um processo de descrição, análise e crítica
de uma dada realidade, visando transformá-la”. Esta autora esclarece que esse
paradigma destina-se à avaliação de programas educacionais ou sociais, assumindo uma
52
perspectiva político-pedagógica e tendo como principal interesse emancipar, ou seja,
provocar a crítica com vistas a libertar os sujeitos de condicionamentos deterministas.
Saul (2001) declara também que os conceitos envolvidos nessa proposta são relevantes
na busca da “emancipação, decisão democrática, transformação e crítica educativa”.
Pode-se afirmar que são conceitos complexos para avançar nos espaços
educacionais, se levarmos em conta a formação dos docentes, que nem sempre se dá de
forma interativa com os avanços pretendidos. Infelizmente, muitos mestres exercem seu
ofício sem refletir sobre as estreitas relações entre aprender e avaliar. Em um processo
democrático, as práticas avaliativas precisam ser anunciadas para os aprendizes, a fim
de que possam acompanhar as estratégias dos mestres e até discuti-las. Para a avaliação
emancipatória os discentes têm necessidade de conhecer passo a passo as práticas
docentes, contribuindo para um clima transformador e crítico no decorrer do processo.
Daí a importância de dialogar com os discentes, explicando minuciosamente os
procedimentos que serão aplicados e permitindo a expressão de opiniões sobre como
serão viabilizadas as estratégias de avaliação educacional. Luckesi (2011, p. 77), no
entanto, esclarece que as dificuldades ainda são muitas, pois:
[...] a avaliação da aprendizagem escolar no Brasil, hoje, tomada in
genere, está a serviço de uma pedagogia dominante que, por sua vez,
serve a um modelo social dominante, o qual genericamente, pode ser
identificado com um modelo social liberal conservador, nascido da
estratificação dos empreendimentos transformadores que culminaram
na Revolução Francesa.
O alerta de Luckesi (2011) traz à tona a problemática das estratégias políticas
que se apresentam distantes das necessidades inerentes ao vínculo indispensável que
deve ser estabelecido entre processos de aprendizagem e estratégias de avaliação.
Cabe ainda considerar uma questão teórica significativa vinculada à prática
docente crítica e construtiva ressaltada por Luckesi (2011, p. 139) trata-se dos
encaminhamentos que se tornam necessários para que uma prática possa ser crítica. Para
este autor, o docente precisa compreender e propor sua prática considerando o “contexto
de suas determinações sociais” e, ao mesmo tempo, assumir “princípios científicos e
tecnológicos que dêem conta da construção do ensino e da aprendizagem do educando”
Esses pontos trazidos por Luckesi ampliam a complexidade das relações entre
aprendizagem e avaliação.
53
Retomamos aqui os objetivos deste tópico ao destacar alguns pontos relevantes
que vinculam o processo de aprendizagem ao de avaliação, citados por Abreu e Masetto
(1993, p. 92), a saber: (a) o processo de avaliação está relacionado com o processo e
aprendizagem; (b) o processo de avaliação deve ser pensado, planejado e realizado de
forma coerente e consequente com os objetivos propostos para a aprendizagem; (c) a
avaliação, como um processo permanente, permite um contínuo reiniciar do processo de
aprendizagem, até atingir os objetivos finais; e (d) em todo processo de avaliação
requer-se uma capacidade de observação e registro por parte do professor, e, se possível
por parte do aluno. Evidenciam-se, a partir dos pontos arrolados, as estreitas correlações
entre os processos de aprendizagem e avaliação.
A linha de raciocínio adotada pelos citados autores aponta as evidentes relações
entre as formas de aprender e as de avaliar. Aqueles que estão como docentes em suas
classes precisam ter em mente as questões aqui colocadas, que encaminham
favoravelmente os argumentos sobre as estreitas vinculações entre os processos em
pauta.
4. Significado dos processos mediadores para a aprendizagem
A relevância do significado da mediação para os processos de aprendizagem tem
despertado a atenção dos educadores que discutem a necessidade de transformar os
espaços educacionais em redes educativas dialógicas, que se organizam interativamente,
com o apoio dos recursos propiciados pelas mídias digitais. Gomez (2005, p. 51) afirma
que “independente da educação ou da formação inicial de uma pessoa, que em momento
nenhum é negada, é preciso haver uma compreensão crítica e conhecimentos do mundo
digital no sentido weberiano, pois isso significa haver conexões”.
O estímulo às conexões pelo advento da Internet constitui uma estratégia
relevante para o favorecimento de mediações, no caso do presente artigo, entre mestres
e aprendizes. Gomez (2005, p. 53) sinaliza que “até o correio eletrônico, de uso cada
vez mais generalizado, permite criar um texto fluido em um espaço de debate, de
diálogo e construir repositórios de conhecimentos significativos, possibilitado a
produção coletiva da leitura e da escrita na web”. A autora (GOMEZ, 2005) reitera que
“é preciso sincronizar as aplicações que estão sendo distribuídas por vários canais para
uma melhor comunicação”.
As perspectivas de estabelecer mediações em âmbito escolar, criando espaços
para o diálogo, são consideradas expressivas para o êxito dos processos de
54
aprendizagem, se for destacada a força produtiva do diálogo entre professores e alunos,
visto que abre caminhos para a educação em rede, numa linha emancipatória (GOMEZ,
2005). Nesse sentido, Moran, Masetto e Behrens (2009, p. 136) destacam:
[...] dois fatos novos que trazem à tona a discussão sobre a mediação
pedagógica e o uso da tecnologia. Primeiro o surgimento da
informática e da telemática proporcionando a seus usuários - e entre
eles, obviamente, alunos e professores – a oportunidade de entrar em
contato com as mais novas e recentes informações, pesquisas e
produções científicas do mundo todo em todas as áreas; a
oportunidade de desenvolver a autoaprendizagem e interaprendizagem
a distância.
As possibilidades emergentes citadas têm favorecido significativamente o
universo escolar em todos os níveis, desde a Educação Básica até a Educação Superior.
Têm auxiliado, também, a criação de cursos a distância nos mais diversos espaços
escolares. O uso da Internet pode ser uma proposta valiosa para efetivar com êxito as
mediações no decorrer dos cursos, tanto presenciais quanto a distância.
Nessa perspectiva, cabe aprofundar as questões ligadas à teoria da comunicação
interpessoal, esclarecendo que “interpessoal” não é sinônimo de presencial, ou seja,
“tanto uma conversa telefônica quanto uma troca de e-mails são processos interpessoais,
apesar da falta e coincidência espacial e/ou temporal” (PRIMO, 2007, p. 10).
Primo (2007, p. 12) chama também a atenção para “a adoção acrítica do termo
da moda: interatividade”. Prossegue sua explanação explicando que “esse rótulo, tão
utilizado em discussões sobre cibercultura, é impreciso e escorregadio”. Assim é
importante, passar em revista as diferentes definições e teorias da dita “interatividade”,
buscando analisar a visão tecnicista, apoiada por alguns autores. Primo (2007, p. 14-15)
apresenta, em seu livro, uma detalhada discussão sobre “dois tipos de interação mediada
pelo computador, a interação mútua e a interação reativa”.
A interação mútua, de acordo com Primo (2007, p. 57) “é aquela caracterizada
por relações interdependentes e processos de negociação, em que cada interagente
participa da construção inventiva e cooperada do relacionamento”; já as interações
reativas, por outro lado, “são limitadas por certas determinações e, se a mesma ação
fosse tomada uma segunda vez (mesmo que por outro interagente), o efeito seria o
mesmo”. O autor explica que em muitos relacionamentos a comunicação não se dá
apenas por um canal, podendo ocorrer várias interações simultâneas. Exemplifica com o
fato de:
55
[...] em um chat, por exemplo, ao mesmo tempo em que um interagente conversa com
outra pessoa, ele também interage com a interface gráfica do software também com o mouse,
com o teclado. Assim em muitos casos tanto se pode estabelecer interações reativas quanto
mútuas, simultaneamente. (PRIMO, 2007, p. 58).
É válido sinalizar que, na atualidade, diante dos esclarecimentos sobre os dois
tipos de interação, mútua e reativa, vivemos em um tempo em que somos partícipes de
uma sociedade de aprendizagem, de informação e de conhecimento (Pozo, 2002), o que
nos leva a estar familiarizados com esses diferentes tipos de interação, marcando nossa
presença positiva, contribuindo com ações individuais e sociais pertinentes à sociedade
globalizada da qual participamos.
5. As mediações nos processos de aprendizagem e avaliação.
Inicialmente citamos a postura de Schon (2000, p. 128) que aponta como uma
das condições iniciais para um ensino prático reflexivo a importância do diálogo entre
instrutor e estudante.
Em seu diálogo, instrutor e estudante transmitem mensagens um ao
outro não apenas, ou até mesmo não basicamente, em palavras, mas
também da performance. A estudante tenta fazer o que busca
aprender, revelando, assim o que ela entende ou não. Instrutor
responde com um conselho, crítica ou explicação, descrições e
também com sua própria performance.
O diálogo estabelece a mediação entre professor e aluno, ajudando a
aproximação das ideias, conceitos e ações, por meio de procedimentos mediadores.
Como poderíamos definir esses procedimentos? Moran, Masetto e Behrens et al. (2009,
p. 144) entende por mediação pedagógica “a atitude, o comportamento do professor que
se coloca como um facilitador, incentivador ou motivador da aprendizagem, que se
apresenta com a disposição de ser uma ponte entre o aprendiz e sua aprendizagem”, que
de forma ativa colabora para que os alunos alcancem seus objetivos, pois possibilita o
diálogo entre os mestres e os aprendizes, configurando o processo interativo.
A contribuição de Primo (2007, p. 65), nesse caso, é expressiva, pois apresenta
características do diálogo interpessoal importantes para o tema em foco, explicando que
“cada comportamento de uma pessoa afeta o comportamento de outro interagente, ao
mesmo tempo em que é afetado pelo outro. As transformações sucessivas que ocorrem
não são predeterminadas.” O autor (PRIMO, 2007) assegura que “pelo contrário, a
56
interação demonstra um alto grau de flexibilidade e indeterminação”. Acrescenta ainda
que “os interagentes podem lidar com a novidade, com o inesperado, com o imprevisto,
com o conflito”.
É válido registrar que as mídias digitais propiciam excelentes recursos, para que
os docentes estabeleçam objetivos preciosos no alcance de processos mediadores. A
mediação pedagógica, conforme assegura Moran, Masetto e Behrens et al. (2009, p.
146) “coloca em evidência o papel do sujeito aprendiz e o fortalece como ator de
atividades que lhe permitirão aprender e atingir seus objetivos” e, nesse contexto, a
presença das referidas tecnologias nos processos de ensino favorece significativamente
os processos mediadores. Comparada com a aplicação de técnicas convencionais,
podem oferecer vantagens significativas em determinados aspectos, no entanto, não se
pode, por isso, deixar de lado o uso das técnicas já consagradas nos processos de
aprendizagem.
Hadji (2001, p. 110) fala da atenção que o avaliador precisará ter na codificação,
isto é, no código escolhido para comunicar os resultados da avaliação. Chama a atenção
sobre algumas questões que devem ser atendidas durante o processo avaliador: “(a) a
quem é dirigida a minha mensagem? Está suficientemente explícita? (b) O código
escolhido é plenamente accessível ao aluno receptor? e (c) Estabeleci as possibilidades
necessárias de feedback para estar certo de que a mensagem foi compreendida?”
Em certos casos, o mestre não se preocupa com estas questões o que vai
interferir seriamente na comunicação dos resultados da avaliação, provocando situações
negativas para os processos de mediação. Em relação a esta questão cabe destacar a
relevância dos processos comunicacionais para o sucesso dos procedimentos de
aprender e avaliar.
Ao enfatizar a questão da avaliação educacional, Veiga (2004, p. 116) chama a
atenção sobre “questões teórico-epistemológicas que devem ser assumidas pelo projeto
institucional da universidade”. Esclarece que os programas de avaliação educacional
devem “ter como foco central, tanto no sentido interno, quanto externo, o trabalho
pedagógico e científico, em sua dimensão técnica e formativa, e as atividades
diretamente ligadas aos compromissos sociais da instituição”. Veiga (2004) adverte que
“a avaliação tem um compromisso político, no sentido de propiciar o conhecimento
necessário para a incorporação das inovações, conscientizando a comunidade acadêmica
para um trabalho autocrítico”.
57
Daí a referência à avaliação autêntica, conforme os princípios e características
de Condemarín e Medina (2005, p. 13), dos quais selecionamos: (a) a avaliação
autêntica constitui uma instância destinada a melhorar a qualidade das aprendizagens;
(b) a avaliação autêntica constitui um processo participativo; (c) centra-se nos pontos
fortes dos alunos; (d) constitui um processo multidimensional e (d) favorece a equidade
educativa, entre outros.
Além dos princípios e características da avaliação autêntica, destacam-se, de
acordo com Condemarín e Medina (2005), os seguintes aspectos teóricos: (a) o
construtivismo e (b) a prática pedagógica reflexiva. Os princípios do construtivismo e a
reflexão sobre o processo de avaliação auxiliam, de forma expressiva, a conduta dos
mestres nos processos avaliativos. Esses aspectos dizem respeito à participação, à
multidimensionalidade, à reflexão, aos alunos e à construção do conhecimento, entre
outros referenciais teóricos. Estas autoras (CONDEMARÍN; MEDINA, 2005, p. 64)
privilegiam a leitura e a produção de textos pelos alunos e destacam as técnicas e
instrumentos para uma avaliação autêntica. Em relação à avaliação apresentam técnicas
e instrumentos específicos de avaliação, tais como a avaliação da expressão oral, a
avaliação da produção de textos escritos, a auto-avaliação das competências em face da
linguagem escrita, culminando pelas provas elaboras pelo professor/a. As autoras
preocupam-se em “melhorar as competências entre linguagem e comunicação”.
A proposta de mudança apresentada pelas autoras é valiosa, enfocando
propósitos fundamentados para alcançar os objetivos básicos, tendo em vista o processo
avaliativo, que privilegia aspectos teóricos fundamentais vinculados às relações que são
aqui defendidas entre aprendizagem, avaliação e mediação. Para um processo de
avaliação autêntica é expressivo o atendimento aos princípios comunicacionais, pois só
a partir de uma efetiva comunicação pode ser alcançada a mudança almejada com
ênfase na mediação entre aprendizes e mestres.
Em pesquisa sobre avaliação realizada por Castilhos e Ribeiro (2000, p. 77)
entre professores, um dos depoimentos, de caráter positivo, chamou a atenção:
Sabendo que a Avaliação é um processo que abrange observações,
relatórios, testagem (medir o conteúdo aprendido) acredito num
trabalho conjunto de toda a equipe escolar. Esse trabalho requer
comprometimento de todos os profissionais envolvidos na tarefa de
educar. É desta maneira que, cotidianamente, me esforço para manter
um trabalho dinâmico, mas com objetivos definidos para atender os
alunos em suas necessidades atuais.
58
Por outro lado, na mesma pesquisa foram citados pontos vulneráveis da
avaliação, entre os quais destacamos: (a) ausência de consenso para avaliar; (b)
dicotomia entre o que se pensa e o que faz; (c) imprecisão conceitual; (d) sistema de
registro insatisfatório; (e) falta de tempo, material e espaço; (f) formação de hábitos e
atitudes pouco valorizados; (g) incerteza na forma de avaliar: estarei agindo certo? e (h)
coisas escritas sem uma orientação prática (distância entre o discurso e a realidade
prática). Esses depoimentos evidenciam sérias fragilidades na opinião dos entrevistados,
evidenciando insegurança na tarefa de avaliar os alunos.
Se, por um lado encontramos professores conscientes do significado da
avaliação, por outro lado, pode ser observado que alguns mestres, participantes da
mencionada pesquisa, ainda estão distantes de conhecer o processo de avaliação
conforme os atuais parâmetros das ações avaliativas, ou seja, em estreita relação com o
contexto teórico e dialógico que marca a avaliação como instrumento de mediação.
Um questionamento pode ser levantado sobre as fragilidades apresentadas no
âmbito da pesquisa realizada: como os professores são preparados em sua formação
profissional em relação ao processo de avaliar? Será que existe nos referidos cursos
espaços para esclarecimento sobre a complexa tarefa de avaliação?
Consideramos importante buscar respostas para essas questões, na medida em
poderiam sugerir inovações no processo de formação dos professores, capazes de
prepará-los efetivamente para o compromisso de avaliar com sólida base teórica e
prática. É esperado que os docentes se conscientizem que o ensino envolve relações
com o aprender e o avaliar em tempo de globalização, vivenciando as perspectivas
mediadoras propiciadas pelas inovações tecnológicas.
6. Considerações finais
Nesta finalização, buscamos responder aos objetivos deste artigo, propostos
inicialmente.
Em relação ao primeiro objetivo - situar os processos educacionais em tempo de
globalização - discutimos a importância da globalização, considerando especialmente as
questões relativas às relações entre aprendizagem e avaliação no cenário
contemporâneo. Buscamos enfatizar a influência da macrotransição sobre os
compromissos profissionais e a necessidade de enfrentar os desafios do novo milênio.
Torna-se urgente abandonar atividades consideradas ultrapassadas, que não configuram
uma nítida compreensão do mundo globalizado.
59
Infelizmente ainda encontramos muitos professores que privilegiam ‘a voz e o
giz’, como instrumentos suficientes em sua tarefa de ensinar. Além de procedimentos
pedagógicos arcaicos em suas classes, assistimos formas de avaliação que não refletem
o universo da macrotransição. O diálogo não é comum nas classes dos mestres. É mais
fácil ver o professor apegado a apostilas com textos nem sempre condizentes ao mundo
atual...
Torna-se urgente um apelo aos mestres para que revejam seu compromisso com
seus alunos, preparando-os para o mundo não de ontem, nem de hoje, mas de amanhã.
Aqui nos deparamos com o desafio da formação de professores que, muitas vezes, pode
se dar à parte do avanço das inovações tecnológicas contemporâneas.
No que tange ao segundo objetivo - discutir as relações entre aprendizagem e
avaliação – emergem outras questões soberanas: como os mestres enfrentam a
problemática dessas relações, considerando que as práticas pedagógicas vivenciadas em
seus cursos de formação foram transmitidas da mesma forma que os seus professores
aprenderam, ou seja, constituem um conjunto de fórmulas ultrapassadas? É uma
pergunta com difícil resposta. Poderíamos afirmar que um pequeno grupo procura, com
veemência e persistência, novos procedimentos de ensino; no entanto, outros, em maior
quantidade, agarram-se a antigas práticas de ensinar e avaliar... É urgente sacudirmos ‘a
poeira e dar a volta por cima’, a fim de que possamos imprimir uma nova face à atuação
profissional dos mestres.
O terceiro objetivo - explicitar o significado dos processos mediadores para a
aprendizagem - parece apresentar um desafio maior, tendo em vista que a mediação
pedagógica nem sempre é familiar para alguns mestres, sendo ainda uma expressão
desconhecida para muitos. Temos conhecimento que um número significativo de
professores realizaram cursos de aperfeiçoamento, de atualização e/ou ainda cursos de
mestrado, com vistas a aprimorar e rever seus conhecimentos teóricos e práticos sobre
sua competência de ensinar. No entanto, esse número ainda não tem sido suficiente para
enfrentar os desafios da macrotransição. Cabe, pois, insistir junto aos professores
quanto à necessidade de estar em contínua formação, revendo e ampliando seus
conhecimentos.
Por último, em relação ao quarto objetivo - identificar a importância das
mediações no contexto das relações entre a aprendizagem e a avaliação, parece-nos o
mais distante dos mestres, pois exige o que é esperado dos objetivos anteriores, além de
acrescentar a visão integrada dos processos mediadores. No entanto, não podemos
60
assumir uma postura tão crítica a ponto de duvidar do empenho e capacidade de muitos
educadores para aperfeiçoar-se e dedicar-se às recentes estratégias formadoras, hoje, tão
ampliadas e diversificadas, tendo em vista as potencialidades dos espaços educacionais
presenciais e a distância. É esta capacidade de aperfeiçoamento que leva muitos
professores a participarem do que denominamos Educação com a letra E maiúscula.
61
Referências
ABREU, M. C.; MASETTO, M. T. O professor universitário em aula: práticas e
princípios teóricos. São Paulo: MG Ed. Associados, 1993.
CASTILHOS, M. T. de J.; RIBEIRO, A. E. A. Avaliação escolar: contribuições do
direito educacional. Rio de Janeiro: Wak Editora, 2000.
CONDEMARÍN, M.; MEDINA, A. Avaliação autêntica: um meio para melhorar as
competências em linguagem e comunicação. Porto Alegre: Artmed, 2005.
GOMEZ, M. V. Educação em rede: uma visão emancipadora. São Paulo: Cortez:
Instituto Paulo Freire, 2005.
HADJI, C. Avaliação desmistificada. Porto Alegre: Artmed Editora, 2001.
HAYDT, R. C. Avaliação do processo ensino-aprendizagem. São Paulo: Editora Ática,
2008.
LASZLO, E. Macrotransição: o desafio para o terceiro milênio. São Paulo: Axis
Mundi: Antakarana/Willis, Harman House, 2001.
LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. São
Paulo: Cortez, 2011.
MORAN; J. M.; MASETTO; M. T.; BEHRENS, M. A. Novas tecnologias e mediação
pedagógica. Campinas, SP: Papirus, 2009.
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens. Porto
Alegre: Artes Médicas, Sul, 1999.
POZO, J. I. Aprendizes e mestres: a nova cultura da aprendizagem. Porto Alegre:
Artmed Editora, 2002.
PRIMO, A. Interação mediada por computador: comunicação, cibercultura, cognição.
Porto Alegre: Sulina, 2007.
SANTOS, M. Por uma outra globalização: do pensamento único à consciência
universal. Rio de Janeiro: Record, 2008.
SAUL, A. M. Avaliação emancipatória: desafio à teoria e à prática de avaliação e
reformulação de currículo. São Paulo: Cortez; Autores Associados, 2001.
SCHON, D. Educando o profissional reflexivo: um novo design para o ensino e a
aprendizagem. Porto Alegre: Artes Médicas Sul, 2000.
VEIGA, I. P. A. Educação básica e educação superior: projeto político-pedagógico.
Campinas, SP: Papirus, 2004.
62
AVALIAÇÃO FORMATIVA E MONITORAMENTO DO
RENDIMENTO ESCOLAR
Nara Luz Chierighini Salamunes
Faculdade Padre João Bagozzi/Prefeitura Municipal de Curitiba
Resumo
O presente trabalho tem por objetivo registrar a experiência de construção de processos
de avaliação formativa no âmbito de uma rede de ensino municipal, iniciada com a
implantação da organização do ensino em Ciclos de Aprendizagem e desenvolvida ao
longo de 12 anos. Descrevem-se ações implementadas pela administração pedagógica
dessa rede de escolas; analisam-se as dinâmicas realizadas, seus limites e impactos;
apontam-se perspectivas para a continuidade do processo em evidência tendo em vista
os resultados obtidos nas avaliações nacionais e municipais em larga escala. Discute-se
ainda o significado pedagógico da experiência para os processos de formação
continuada de professores e equipes gestoras das escolas. Considera-se que o registro
desta pesquisa-ação pode iluminar o debate sobre a dimensão extraclasse da avaliação
formativa e a responsabilidade indutora dos sistemas de ensino sobre os resultados
gerais e específicos de rendimentos escolares.
Palavras-chave: Avaliação formativa; monitoramento; redes de ensino.
Introdução
O presente trabalho registra a experiência de construção de processos de
avaliação formativa no âmbito da rede municipal de ensino de Curitiba, ocorrida no
período entre o ano 1999, com a implantação da organização do ensino em Ciclos de
Aprendizagem (CURITIBA, 1999)5, e 2012, ano em que é divulgada, pelo INEP6, a
quarta edição do IDEB (Índice de desenvolvimento da educação básica) (BRASIL,
2012). A descrição das principais ações realizadas e induzidas pela administração
pedagógica no contexto de processos de avaliação formativa nessa rede de escolas e no
âmbito local nas unidades escolares, bem como as análises qualitativas dos impactos
dessas ações em comparação aos resultados de rendimento escolar, buscados nas
avaliações externas de caráter nacional, são aqui registradas tendo por base um processo
de pesquisa-ação.
Nesse tipo de investigação, os pesquisadores desempenham papel ativo, pois
participam do equacionamento de problemas; realizam o acompanhamento e avaliam as
ações desencadeadas em função de problemas detectados num dado contexto, para o
5 Processo coordenado pela autora enquanto Gerente de Currículo da instituição, no ano de 1999.
6 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
63
qual são visados objetivos emancipatórios (THIOLLENT, 1986; 1997). Nessa
perspectiva, os atores primam pela contínua construção de conhecimentos orientados
para e nas interações que buscam conhecimentos locais, no sentido de sua compreensão,
e expandem os limites interpretativos das ações dos seus agentes, pela autocrítica
contínua.
A experiência aqui apresentada ocorre no mesmo momento em que se observa a
institucionalização de pesquisas de intervenção e o crescente estabelecimento de
interfaces entre pesquisa e políticas educacionais (LESSARD, 2011), fato este
ocasionado por movimentos convergentes de organizações e de cientistas rumo à
construção de “mapas emancipatórios” (SANTOS, 2000), em que decisões profissionais
e investigativas oportunizam deslocamentos de poderes em diferentes instâncias sociais.
Numa dinâmica dialética situada entre a regulação social instituída, que pela
resistência à transformação se renova, e a condução autônoma de práticas sociais por
indivíduos e grupos, constroem-se novas subjetividades em contextos culturais, que se
atualizam. Configurações desse movimento podem ser identificadas em políticas
educacionais de avaliação de rendimento escolar e de avaliações de aprendizagem
levadas a efeito na rede municipal de ensino de Curitiba (RMEC) na última década. Um
impulso inicial interno à instituição e de caráter pedagógico a esse movimento, focado
na avaliação de aprendizagem escolar, foi o Projeto Alfa desenvolvido em 1997
(SALAMUNES, 1998a), com o objetivo de diagnosticar práticas e intervir de forma
presencial e local, nas dinâmicas de alfabetização levadas a efeito por professores de
quarenta e uma escolas, as quais apresentavam índices de 30% a 51% de repetência na
então chamada primeira série do ensino fundamental. Nesse trabalho, corroborado por
estudo longitudinal de interpretações de alfabetizadores sobre processos infantis de
aprendizagem da leitura e da escrita (SALAMUNES, 1998b), verificou-se que, pela
falta de aprofundamento teórico sobre aspectos psicolinguísticos e de desenvolvimento
infantil por parte dos professores, determinadas práticas avaliativas e didáticas
contribuíam com processos escolares seletivos e excludentes. Com o intuito de reverter
essa situação, os alfabetizadores eram reunidos em dois momentos mensais: um, com o
grupo escolar local, e outro, com o grupo de alfabetizadores de diferentes escolas, para
obterem feedbacks sobre as práticas observadas diretamente pela coordenadora do
projeto. Realizaram-se espelhamentos e reflexões rumo à tomada de consciência
(PIAGET, 1979) docente sobre procedimentos didáticos presentes e ausentes no
cotidiano da alfabetização dessas escolas. Essa ação foi fundamental para a implantação
64
da organização do ensino em Ciclos de aprendizagem na RMEC, que ocorreria a partir
do ano 2000, pois fomentou a discussão entre os professores sobre a democratização da
escola, em especial, no que diz respeito à progressão continuada no ciclo básico de
alfabetização. Tanto no desenvolvimento do projeto, quanto na implantação de tal
organização de ensino, a avaliação formativa foi uma das temáticas mobilizadoras das
equipes escolares. Assumia-se que esta concepção de avaliação tem sempre uma função
de regulação, isto é, sua finalidade é a de assegurar a articulação entre as características
dos sujeitos em formação e as características do sistema de formação (ALLAL, 1986).
Nessa concepção, uma sequência de etapas na avaliação são requeridas: levantamento
de informações sobre as aprendizagens dos alunos; interpretação das informações numa
perspectiva de referência ao critério considerado; diagnóstico de fatores intervenientes
nas aprendizagens; adaptação das atividades de ensino e de aprendizagem de acordo
com as interpretações do levantamento realizado (Idem).
A implantação da organização em ciclos de aprendizagem no primeiro segmento
do ensino fundamental aconteceu a partir de 1999, de forma gradativa (CURITIBA,
1999), num contexto educacional que já contava com a implantação do ciclo básico de
alfabetização nos dois primeiros anos do ensino fundamental nas escolas estaduais,
situação esta vista pela maioria dos professores como a simples “promoção automática”
dos alunos de um nível escolar a outro. Entendia-se que tal visão não deveria ser
transposta ou se repetir nas escolas municipais, pois poderia levar a práticas imobilistas
e fortificar concepções espontaneístas de aprendizagem entre professores. Para que a
progressão contínua do alunado nos níveis de escolaridade fosse acompanhada de níveis
mais elevados de aprendizagem, a construção de novos processos de avaliação
formativa foi necessária. Instituiu-se o trabalho de uma equipe multissetorial –
oficialmente chamada de equipe multidisciplinar - para analisar, em conjunto com as
equipes escolares (professores, pedagogos e gestores), os casos de alunos cujas
professoras os considerassem com aprendizagens escolares insuficientes. Tais análises
passaram a se efetivar in loco tendo como fonte de dados os materiais acadêmicos de
docentes e de discentes de cada uma das escolas. A partir dessas análises, cujo critério
básico se constituiu na identificação das condições de ensino e de aprendizagem dos
casos estudados, decisões pedagógicas e didáticas são tomadas, professores são
orientados e a os rumos acadêmicos dos alunos podem ser redefinidos, tendo em vista o
atendimento às suas necessidades de aprendizagem. Esses procedimentos permitiram
identificar a falta de unidade curricular e de gestão pedagógica no âmbito da rede
65
municipal de ensino de Curitiba. Daí adveio a necessidade de definição de diretrizes
curriculares comuns a todas as escolas. Embora um processo tenha sido deflagrado,
ainda no ano de 2000, com o intuito do alcance dessa definição de forma coletiva,
somente em 2005 ações nesse sentido foram efetivadas com a mobilização de todas as
escolas (CURITIBA, 2006). Com base nas proposições curriculares de cada escola,
princípios pedagógicos, objetivos, conteúdos e critérios de avaliação foram
estabelecidos para cada uma das áreas do conhecimento, para todas as escolas e para
todo o ensino fundamental7.
A partir dos fundamentos estabelecidos para o trabalho pedagógico, orientações
didáticas foram elaboradas na forma de cadernos pedagógicos, as quais explicitam
sequências e procedimentos de ensino.
O trabalho de monitoramento das equipes pedagógicas regionais diagnosticou a
necessidade de os critérios de avaliação de aprendizagem serem estabelecidos para cada
um dos anos de escolaridade apesar da organização de ensino em ciclos. Dessa forma,
foi elaborado o caderno pedagógico de avaliação de aprendizagem (CURITIBA, 2007).
Fundamentos e processos de avaliação formativa nos âmbitos institucional, pedagógico
e didático foram registrados, assim como critérios minuciosos de avaliação de
aprendizagem anuais para cada uma das áreas do conhecimento.
Ressaltou-se a articulação entre as diferentes instâncias avaliativas como
condição para o realinhamento de ações de melhoria da qualidade do ensino e
realimentação de programas. Nesse sentido, processos internos de avaliação de
aprendizagem foram desenvolvidos e implantados gradativamente até alcançar, em
quatro anos (de 2007 a 2010), a totalidade das áreas de conhecimento curricular e a
totalidade dos alunos da rede. Os resultados dessas avaliações foram computados,
quantificados e analisados em seminários periódicos em âmbito regional.
Os resultados quantitativos das avaliações de cada uma das escolas foram
analisados e comparados aos resultados regionais e municipais e devolvidos a elas na
forma de cadernos específicos, divulgados na forma digital, anualmente, entre 2007 e
2010. Esses materiais também contiveram comparações qualitativas entre os resultados
das avaliações internas da rede municipal de ensino e as avaliações nacionais da
educação básica, e se constituiu num registro histórico local, subsídio para a
composição de medidas educacionais e educativas locais. Ressalte-se que o IDEB
7 Processo coordenado pela autora enquanto Diretora do Departamento de Ensino Fundamental da
instituição.
66
(Índice de desenvolvimento da educação Básica) de Curitiba evoluiu de 4,7, em 2005,
para 5,1 em 2007 e 5,7 em 2009 (BRASIL, 2012).
De um debate que iniciou sobre os níveis de alfabetização das crianças na
primeira série, ampliaram-se as discussões para os níveis de letramento que são
alcançados com alunos da rede municipal de ensino de Curitiba. No bojo dessa
discussão, foi fundamental o conceito de avaliação formativa aqui apresentado, pois:
 Evidenciou-se o entendimento de que na organização de ensino em ciclos de
aprendizagem a avaliação com o uso de diferentes instrumentos se faz necessária, o que
significa que provas são úteis e formalizam o processo;
 Pode não haver contradição entre avaliações em larga escala e processos
democráticos de gestão de ensino;
 Avaliações em larga escala e formação em serviço podem ser componentes
fundamentais de práticas de melhoria da qualidade do ensino no âmbito institucional e
de sala de aula;
 O desafio de enfrentar mudanças efetivas na educação requer a implementação
de processos gerais de redes de ensino em função especifica da aprendizagem na
educação básica, sem perder de vista aspectos locais da escola e da sala de aula, da
gestão e do ensino, de professores e de alunos;
 Monitorar e proporcionar reflexão e aprendizagem aos docentes é ação básica
para intervenções pautadas em metodologias de pesquisa-ação;
 Possibilita a execução de intervenções locais a partir da tomada de consciência
dos resultados práticos da ação escolar;
 A composição de feedbacks de resultados e propostas de intervenção aos
grupos de escolas com base em dados quantitativos e qualitativos mostrou-se
instrumento eficiente para processos de formação continuada.
A avaliação formativa, que permeou toda a experiência aqui resumidamente
relatada, caracterizou-se por práticas de reflexão coletiva nas diferentes instâncias da
instituição, de indução a mudanças e à melhoria do processo de ensino, impulsionada
por dinâmicas de monitoramento e de feedback constantes da equipe central para
equipes escolares. Os resultados das avaliações externas não deixam dúvida de que os
efeitos dessa experiência foram significativos para a rede como um todo. No entanto, há
caminhos serem percorridos no percurso que virá:
67
 É necessário manter a dinâmica até aqui desenvolvida sem limitá-la a discursos
desconectados da ação didática;
 Encontros virtuais podem substituir deslocamentos de docentes das escolas e
ampliar a rede social interescolar de melhoria da qualidade do ensino;
 Os sistemas eletrônicos de registro de avaliação de aprendizagem já existentes
precisam ser disponibilizados aos professores das escolas públicas;
 Testes padronizados são úteis, mas não suficientes. A correção docente é a
ação que permite a percepção qualitativa do processo de aprendizagem, das
competências desenvolvidas e das habilidades lacunares;
 A conexão entre avaliação de rendimento escolar e avaliação de aprendizagem
é uma estratégia que se mostrou produtiva para intervenções locais;
 O avanço nas estratégias de efetivação da avaliação formativa depende de
ações de gestão pedagógica estarem focadas na construção da autonomia docente;
 As interpretações e decisões docentes dão o rumo ao ensino.
68
Referências
ALLAL. L. Estratégias de avaliação formativa: concepções psicopedagógicas e
modalidade de aplicação. In: A avaliação formativa num ensino diferenciado.
BRASIL. MEC. INEP. Índice de desenvolvimento da educação básica. 2011.
Disponível em: http://www.inep.gov.br/ideb Acesso em: 12 out 2012.
CURITIBA. Prefeitura Municipal. Secretaria Municipal da Educação. A escola
municipal e os ciclos de aprendizagem - Projeto de implantação na Rede Municipal de
Ensino de Curitiba. 1999.
CURITIBA. Prefeitura Municipal. Secretaria Municipal da Educação. Diretrizes
curriculares para educação do município de Curitiba. 2006.
CURITIBA. Prefeitura Municipal. Secretaria Municipal da Educação. Caderno
pedagógico – avaliação de aprendizagem. 2007.
LESSAR, C. Pesquisa e políticas educativas. In: ZANTEN, A. van. (Coor.) Dicionário
de educação. Petrópolis: Vozes, 2011. P. 629-634.
SALAMUNES, Nara L. C et al. Apoio pedagógico aos alfabetizadores – processo e
resultados – experiência da equipe de currículo da S.M.E. de Curitiba em 1997. In:
Encontro Nacional de didática e prática de ensino, IX., 1998, Águas de Lindóia. Anais.
Águas de Lindóia: UNICAMP, 1998a. Vol.1/2.
______. Em Busca da Relação Entre a Construção da Escrita Pela Criança e a Prática
Docente Curitiba, UFPR, 1998. 233 f. Dissertação (Mestrado em Educação). Programa
de Mestrado em Educação, Universidade Federal do Paraná, Curitiba, 1998b.
SANTOS, B. S. A crítica da razão indolente – contra o desperdício da experiência. São
Paulo: Cortez, 2000.
THIOLLENT, M. Metodologia da pesquisa-ação. São Paulo: Cortez, 1986.
______. Pesquisa-ação nas organizações. São Paulo: Atlas: 1997.
69
SARESP E PROGRAMA LER E ESCREVER: algumas considerações
Valéria Nunes Friedmann Szewczuk
Universidade Metodista do Estado de São Paulo
Resumo
A qualidade do ensino oferecida pelo governo do estado de São Paulo à população nas
escolas públicas estaduais é monitorada e avaliada desde 1996 por um sistema de
avaliação externa em larga escala, o Sistema de Avaliação de Rendimento Escolar do
Estado de São Paulo (Saresp). O Saresp gera informações que desencadeiam ações e
subsidiam as políticas publicas responsáveis pela educação paulista. O ensino nos anos
iniciais do ensino fundamental paulista desde 2007 é obrigatoriamente norteado pelo
Programa Ler e Escrever, um programa de formação de professores e alunos. Com a
intenção de construir um estado de conhecimento inicial sobre os assuntos para dois
trabalhos em andamento: uma dissertação de mestrado/UMESP e um trabalho de
conclusão de curso de especialização/USP este artigo traz resultados parciais de uma
pesquisa qualitativa de cunho documental a partir de uma releitura da legislação e de
alguns materiais produzidos pela Secretaria da Educação sobre as temáticas para
orientar o professor e o professor coordenador, cargo e função que exerço nessa rede de
ensino desde 1993.
Palavras-chave: currículo, avaliação, professor coordenador.
Introdução
O Gestor do Currículo do Ensino Fundamental (EF) e do Ensino Médio 8 (EM)
nas escolas estaduais paulistas é um docente designado por ato do diretor da unidade
escolar para ocupar o posto de trabalho da função gratificada de professor coordenador.
Para a Secretaria da Educação do Estado de São Paulo (SEE) a coordenação pedagógica
é um dos pilares estruturais das políticas que adentram as escolas em busca de melhoria
da qualidade de ensino, o professor coordenador é o gestor implementador dessas
políticas na unidade escolar e deve gerar resultados na unidade escolar que serão
evidenciados por instrumentos de avaliação interna e externa.
Essa função de professor coordenador foi criada pelo governo do estado de São
Paulo, em 2007 durante a gestão de José Serra (2007-2010) como uma medida de apoio
a 10 Ações para atingir 10 Metas previstas na “Nova Agenda” de governo que naquele
momento priorizou a melhoria das condições de aprendizado para os estudantes e de
8
O estado de São Paulo é a maior rede de ensino do Brasil, de acordo com os dados divulgados no site
da Secretaria da Educação em 2012 atende mais de quatro milhões de alunos. A educação básica nessa
rede organiza-se em ensino fundamental e ensino médio. O ensino fundamental estrutura-se em nove
anos e constitui-se por dois segmentos de ensino: Ciclo I que corresponde aos cinco anos iniciais e
Ciclo II que corresponde aos quatro anos finais do ensino fundamental. O ensino médio estrutura-se
em três séries anuais.
70
trabalho para os professores. Das várias medidas adotadas no período, dois programas,
básicos e obrigatórios, iniciados nesse período de governo relacionam-se a bases
curriculares: “O Programa Ler e Escrever” e a “Proposta Curricular do Estado de São
Paulo para o Ensino Fundamental e para o Ensino Médio”. O primeiro, pontual aos anos
iniciais do ensino fundamental, foi implantado como Ação à Meta n° 1 - Todos os
alunos de 8 anos plenamente alfabetizados até 2010. O segundo programa objetivou
criar uma base curricular comum para toda a rede de ensino estadual.
O “Programa Ler e Escrever” e o “Programa São Paulo faz Escola” no portal da
SEE, no acesso Programas e projetos, são assim apresentados à população:
O programa São Paulo Faz Escola (...) tem como foco a implantação
de um currículo pedagógico único para todas as mais de 5 mil escolas
da rede pública estadual. Com o programa, todos os alunos da rede
estadual recebem o mesmo material didático e seguem o mesmo plano
de aula. O fato de todas as instituições de ensino contarem com o
mesmo currículo pedagógico auxilia na melhora da qualidade de
ensino da rede pública, uma vez que coloca todos os alunos da rede
estadual no mesmo nível de aprendizado (SECRETARIA DA
EDUCAÇÃO DO ESTADO DE SÃO PAULO, 2012).
Mais do que um programa de formação, o Ler e Escrever é um
conjunto de ações articuladas que inclui formação, acompanhamento,
elaboração e distribuição de materiais pedagógicos e outros subsídios,
constituindo-se como uma Política Pública para o Ciclo I, que busca
promover a melhoria do ensino em toda a rede estadual. Sua meta é
ver plenamente alfabetizadas todas as crianças com até oito anos de
idade (2ª série / 3º ano) e consequentemente garantir, após a aquisição
da escrita alfabética, as competências necessárias para que as mesmas
possam adequar seu discurso oral e escrito as diferentes situações
comunicativas, intenções e interlocutores. (SECRETARIA DA
Em 2012, os dois programas continuam vigorando. Considerados como pontos
de partida e norteadores de algumas das novas ações desencadeadas pelo programa de
melhoria da educação o “Programa Educação – Compromisso de São Paulo” do atual
governo do estado de São Paulo sob a gestão de Geraldo Alckmin (2011-2014) estão
sendo ampliados e aprimorados.
O programa não teria sido possível sem os investimentos expressivos
realizados em gestões anteriores. O Estado pode agora dar esse passo
graças à conquista de importantes desafios, como a universalização do
Ensino Fundamental, o combate à evasão, a grande ampliação da
oferta do Ensino Médio (que passou de 545 mil matrículas em 1985
para 1,512 milhão em 2010), a implementação de um novo currículo
(com os programas Ler e Escrever e São Paulo Faz Escola), o
desenvolvimento de materiais de apoio a professores e alunos, o
71
Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo
(Saresp), a implantação da progressão por mérito e do bônus por
desempenho e a criação da Escola de Formação e Aperfeiçoamento de
Professores (SECRETARIA DA EDUCAÇÃO DO ESTADO DE
SÃO PAULO, 2012).
A “Proposta Curricular do Estado de São Paulo para o Ensino Fundamental e
para o Ensino Médio” implantada em 2007 foi complementada por um conjunto de
materiais para subsidiar as equipes escolares para atingir ou superar as metas propostas.
Entre esses materiais um era especifico para a Gestão do Currículo na Escola, o
Caderno do Gestor, publicado no período de 2008 a 2010, compôs uma coletânea de 10
exemplares dedicados aos gestores em exercício de função pedagógica. O material tem
esta apresentação veiculada no portal São Paulo Faz Escola,
Gestão do currículo na escola é a organização das ações dos
diretores, supervisores, professores coordenadores e Assistentes
Técnico-Pedagógicos envolvendo a gestão do tempo, dos espaços e
recursos humanos da escola para favorecer o sucesso do trabalho dos
professores na sala de aula. Parte integrante da Proposta Curricular é o
documento de orientações para a gestão do currículo na escola,
denominado Cadernos do Gestor dirigido especialmente às Unidades
Escolares e aos dirigentes e gestores que a lideram e a apoiam
(SECRETARIA DA EDUCAÇÃO DO ESTADO DE SÃO PAULO,
2012).
A versão preliminar do Caderno do Gestor no texto de apresentação explica o
que se entende por Gestão do Currículo:
Nos Cadernos do gestor entende-se por gestão do currículo o conjunto
de iniciativas que devem ser adotadas na instituição como um todo,
para que o currículo proposto se transforme em currículo em ação nas
situações de ensino e aprendizagem. Assim concebida e praticada, a
gestão do currículo deve ser o núcleo, o foco e a atividade-fim por
excelência da equipe gestora da (e na) escola. (...)
A gestão do currículo aqui prevista é a mediação entre os princípios
norteadores da Proposta curricular e as situações de aprendizagem dos
conteúdos específicos. Seu objetivo final é fazer com que aqueles
princípios ganhem vida nas ações de professores e alunos (SÃO
PAULO, 2008, p. 2-3).
72
O Gestor do Currículo das escolas estaduais do estado de São Paulo, o professor
coordenador, em atendimento a Resolução SE 88/20079 que regulamenta essa função
deve atender três objetivos:
- ampliar o domínio dos conhecimentos e saberes dos alunos,
elevando o nível de desempenho escolar evidenciado pelos
instrumentos de avaliação externa e interna;
- intervir na prática de sala de aula, incentivando os docentes a
diversificarem as oportunidades de aprendizagem, visando à
superação das dificuldades detectadas junto aos alunos;
- promover o aperfeiçoamento e o desenvolvimento profissional dos
professores designados, com vistas à eficácia e à melhoria de seu
trabalho. (SÃO PAULO, 2007c).
No portal Centro de Referência em Educação (CRE) Mario Covas, um dos
referenciais pedagógicos virtuais da SEE, apresenta esses dois instrumentos de
avaliação perante a Legislação Educacional e as exemplifica assim:
AVALIAÇÃO EXTERNA
Este tipo de avaliação é importante, pois recolhe indicadores
comparativos de desempenho que servirão de base para futuras
tomadas de decisões no âmbito da escola e nas diferentes esferas do
sistema educacional. Exame Nacional do Ensino Médio (ENEM),
Sistema de Avaliação da Educação Básica (SAEB) e Sistema de
Avaliação de Rendimento Escolar do Estado de São Paulo (SARESP)
são exemplos de avaliações externas (SECRETARIA DA
AVALIAÇÃO INTERNA
Este tipo de procedimento é de responsabilidade da escola e visa a
obter um diagnóstico do processo de ensino e aprendizagem dos
alunos, em relação à programação curricular prevista e desenvolvida
em cada nível e etapa de escolaridade (SECRETARIA DA
No Caderno do Gestor, avaliação interna e externa são “duas modalidades
complementares de avaliação são propostas para a implantação do currículo estadual: a
interna e a externa”,
- a primeira é a avaliação que os professores fazem do rendimento do
aluno, durante todo o processo de ensino aprendizagem, ou seja, a
avaliação do professor sobre a aprendizagem do aluno. Para realizá-
9 Alterada pela Res. 42/12 que modifica os critérios de credenciamento, designação e cessação,
extinguindo a certificação e elegendo a indicação feita pelo Diretor da Escola como critério determinante
de seleção.
73
la, os professores fazem a avaliação do desempenho de cada aluno,
tendo em vista às expectativas de aprendizagem, previstas para as
disciplinas e séries. Os professores devem utilizar diferentes
instrumentos para realizar essas avaliações, desde que elas sejam
regulares e seus resultados sejam registrados e divulgados
publicamente;
- a segunda é a avaliação externa do sistema (Saresp), que parte de
testes e habilidades padronizadas. Os instrumentos são planejados
originalmente como avaliações complexas de desempenho, nas quais
cada aluno apresenta seu desempenho em habilidades relacionadas
às aprendizagens construídas no desenvolvimento do currículo (SÃO
PAULO, 2008a).
Na Legislação Educacional, o Parecer CEE Nº 67/98 de 18 de Março de 1998
assim determina essas avaliações:
Artigo 39 - A avaliação externa do rendimento escolar, a ser
implementada pela Administração, tem por objetivo oferecer
indicadores comparativos de desempenho para a tomada de decisões
no âmbito da própria escola e nas diferentes esferas do sistema central
e local.
Artigo 40 - A avaliação interna do processo de ensino e de
aprendizagem, responsabilidade da escola, será realizada de forma
contínua, cumulativa e sistemática, tendo como um de seus objetivos o
diagnóstico da situação de aprendizagem de cada aluno, em relação à
programação curricular prevista e desenvolvida em cada nível e etapa
da escolaridade (SÃO PAULO, 1998).
A qualidade do ensino nas escolas públicas estaduais desenvolvida
nos níveis de ensino fundamental e ensino médio é monitorada e
avaliada anualmente por um sistema de avaliação externa em larga
escala que utiliza provas cognitivas e questionários respondidos pela
comunidade escolar, gerando dados e indicadores que desencadeiam
ações e subsidiam as políticas publicas responsáveis pela educação
paulista, o Sistema de Avaliação de Rendimento Escolar do Estado de
São Paulo, conhecido como SARESP.
Uma dessas ações desencadeadas a partir da leitura desses dados gerados pelo
SARESP foi o Programa Ler e Escrever um programa de formação para professores e
alunos. O Programa teve inicio na rede estadual em 2007 e desde então tem norteado a
prática dos professores das séries iniciais.
Sou professora desde 1993 e desde 2009 estou designada na função de Professor
Coordenador do Ciclo I. Em exercício de uma ou da outra função faço parte do grupo
responsável pela aprendizagem dos alunos desta rede de ensino, que anualmente
74
participam da avaliação SARESP. Em exercício de uma ou da outra função eu não faço
parte do grupo a que se referiu Rose Neubauer em entrevista a revista Nova Escola em
2005 “Se em oito anos uma criança normal não aprender nada, de quem é a culpa?
Alguém trabalhou, ganhou e não fez o que tinha de fazer.”.
A escola em que estou designada em função atende anualmente em média 900
alunos do Ciclo I. A preocupação com a formação desses alunos e dos cerca de 40
professores que participam semanalmente das ATPCs é uma constante em meu dia-adia. O que é o SARESP e qual a sua relação com o Programa Ler e Escrever? O
professor coordenador precisa elevar os índices de sua escola, mas como? Essas
inquietações surgiram no exercício da função de professor coordenador na rede de
ensino estadual paulista.
Assim na intenção de obter respostas para algumas das questões postas o
presente projeto foi estruturado e circunscrito em torno da seguinte questão de estudos:
como a gestão do currículo pelo professor coordenador pode interferir na aprendizagem
dos alunos?
Sendo ponto particular de interesse nesse trabalho a Gestão do Currículo pelo
Professor Coordenador com o objetivo de elevar o nível de desempenho evidenciado
pela avaliação externa denominada SARESP busquei inicialmente entender melhor esse
sistema de avaliação e sua relação com o Programa Ler e Escrever a partir de uma
releitura da legislação e de seus materiais específicos para estudo e apoio didáticopedagógico. Esse primeiro estado de conhecimento compõe este texto.
Saresp e Programa Ler e Escrever, há uma relação?
A qualidade do ensino nas escolas públicas estaduais desenvolvida nos níveis de
ensino fundamental e ensino médio é monitorada e avaliada anualmente pelo Sistema de
Avaliação de Rendimento Escolar do Estado de São Paulo, o SARESP, um sistema de
avaliação em larga escala que utiliza provas cognitivas e questionários respondidos pela
comunidade escolar, gera dados e indicadores que desencadeiam ações e subsidiam as
políticas publicas responsáveis pela educação paulista. A participação não é restrita as
escolas estaduais, mediante processo regrado de adesão as escolas de outras redes de
ensino também podem participar. Em 2012, em sua décima quinta edição quase 2,3
milhões de alunos dessas três esferas de ensino da educação básica realizarão as provas,
desse total 1,5 milhão estão matriculados na rede estadual.
75
A avaliação do SARESP, a se realizar nos dias 27 e 28-11-2012,
abrangerá, obrigatoriamente, todas as escolas da rede estadual e todos
os alunos do ensino regular, matriculados nos 3ºs, 5ºs, 7ºs e 9ºs anos
do Ensino Fundamental e nas 3ªs séries do Ensino Médio, além dos
alunos das escolas estaduais não administradas pela Secretaria da
Educação e das escolas municipais e particulares que aderirem à
avaliação (SECRETARIA DA EDUCAÇÃO DO ESTADO DE SÃO
PAULO, 2012).
Esse Sistema de Avaliação ao ser instituído em 1996 teve como objetivos
principais: desenvolver um sistema de avaliação do desempenho dos alunos e verificar o
desempenho dos alunos fornecendo informações que pudessem subsidiar ações em
busca da melhoria da qualidade da educação paulista. O trabalho de verificação do
desempenho teve inicio com um instrumento de avaliação diagnóstica que aplicado ao
inicio do ano verificava os conteúdos vistos pelos alunos no ano anterior e chega em
2012 utilizando um instrumento de avaliação que verifica se o aluno desenvolveu
determinadas habilidades para interagir com o currículo.
O desempenho do aluno apesar de prioritário não é o único objeto de verificação
desse sistema de avaliação, os fatores que possam interferir nesses resultados são
também verificados e para isso são utilizados questionários respondidos pelos docentes
e gestores e pelos alunos e seus pais. Os dados são apresentados em material impresso e
virtual com acesso aberto a população. A Secretaria da Educação do Estado de São
Paulo em seus órgãos centrais e nas unidades escolares utilizam esses dados para
desencadear ações em busca de melhoria da qualidade da educação.
O Programa Ler e Escrever foi uma Ação instituída pela Resolução SE – 86 de
19 de dezembro de 1997, inicialmente no Ciclo I das Escolas Estaduais de Ensino
Fundamental das Diretorias de Ensino da Coordenadoria de Ensino da Região
Metropolitana da Grande São Paulo10 (COGSP) em decorrência dos resultados
apresentados pelo SARESP no ano de 2005 que indicavam que os alunos das séries
iniciais do ensino fundamental apresentavam dificuldades em relação às competências
de ler e escrever.
Artigo 1º Fica instituído, a partir do ano de 2008, o Programa “Ler e
Escrever”, com os seguintes objetivos:
10
Essa Coordenadoria foi extinta em atendimento Decreto nº 57.141, de 18 de julho de 2011, que
reestruturou a Secretaria da Educação. Tinha como área de abrangência o Município de São Paulo,
dividido em treze Diretorias de Ensino, e trinta e quatro municípios da região da Grande São Paulo,
constituídos por quinze Diretorias. A Diretoria de Santo André fazia parte deste grupo.
76
I – alfabetizar, até 2010, a todos os alunos com idade de até oito anos
do Ensino Fundamental da Rede Estadual de Ensino;
II – recuperar a aprendizagem de leitura e escrita dos alunos de todas
as séries do Ciclo I do Ensino Fundamental (SÃO PAULO, 2007b).
Esta ação fez parte de um conjunto de outras dez ações para atingir as dez metas
do Plano Político Educacional do Governo do Estado de São Paulo (2007-2010). A
instituição do Programa Ler e Escrever teve como aspectos principais: solucionar essas
dificuldades, promover a recuperação da aprendizagem e investir na efetiva melhoria da
qualidade de ensino nos anos iniciais da escolaridade.
Para viabilizar o alcance das metas, serão desenvolvidas as seguintes
ações:
1. Implantação do Projeto Ler e Escrever
• Bolsa Universidade Escola Pública na Alfabetização: universitários
bolsistas com o professor auxiliar nas séries iniciais de alfabetização
para apoiar o trabalho do professor regente e aprimorar sua formação
em serviço;
• Formação continuada dos professores na escola;
• Material de apoio didático pedagógico para alunos e professores;
• Avaliação bimestral dos alunos;
• Implantação em 2007 na cidade de São Paulo; em 2008 na Grande
São Paulo e em 2009 no interior (SÃO PAULO, 2007a).
No SARESP edição 2005 o desempenho de leitura e escrita dos alunos da 1ª
série e da 2ª série foi organizado na escala de desempenho de Leitura e Escrita que
descreve 7 níveis de aprendizagem, numerados de 1 a 6 e um nível antes de 1
denominado “abaixo do nível 1”. Os resultados de desempenho que desencadearam a
instituição do Programa Ler e Escrever consideraram os dois primeiros pontos da
escala, Abaixo do Nível 1 - Alunos que não demonstram domínio das habilidades
avaliadas pelos itens da prova e Nivel 1 - Os alunos escrevem com correspondência
sonora ainda não alfabética. Em porcentagem os resultados da COGSP em 200511
foram: 1ª série (17,7% e 19,1%) 2ª série (12,8% e 5,3%). Transformando porcentagens
em números de alunos evidenciamos que os 36,8 % da 1ª série correspondiam a 54.977
alunos e os 18,1% da 2ª série correspondiam a 27.748 alunos. Em 2005 o SARESP
apontou que 82.725 alunos matriculados nas 1ªs e 2ªs séries das escolas estaduais sob
jurisdição da COGESP não sabiam ler e escrever.
11
Os dados foram obtidos no Relatório do SARESP 2005 e referem-se ao primeiro dia de aplicação que é
o dia em que se aplica a avaliação que verifica o desempenho em leitura e escrita. Na jurisdição da
COGSP no primeiro dia compareceram para fazer a avaliação, 149.396 alunos da 1ª série e 153.308
alunos da 2ª série.
77
As edições do SARESP posteriores12 as medidas anunciadas apresentaram os
seguintes resultados de desempenho13 para as 2ªs séries/3°s anos14 matriculados nas
escolas estaduais sob jurisdição da COGSP indicados nos níveis 1 e 2, insuficiente e
regular da escala de desempenho em leitura e escrita: ano 2008 (10,6 %) ano 2009 (7,8
%), ano 2010 (8,7 %), ano e 2011 (5,4 %).
Esse percurso de desempenho do Ciclo I evidenciado pelo SARESP tem sido
considerado nas tomadas de decisões pela Secretaria da Educação que envolvem o
Programa Ler e Escrever. Elencamos abaixo algumas dessas considerações:
Resolução SE 96, de 23-12-2008
Ementa: Estende o Programa “Ler e Escrever” para as Escolas
Estaduais de Ensino Fundamental do Interior.
A Secretária de Estado da Educação, considerando:
- os resultados alcançados com a implantação, em 2008, do Programa
“Ler e Escrever”, nas escolas das Diretorias de Ensino da
Coordenadoria de Ensino da Região Metropolitana da Grande São
Paulo;
- a importância de estender o Programa “Ler e Escrever” para as
escolas das Diretorias de Ensino da Coordenadoria de Ensino do
Interior; resolve:
Resolução SE - 66, de 21-8-2009
Ementa: Dispõe sobre a implementação do disposto no Decreto nº
54.553, de 15 de julho de 2009, que institui o Programa de Integração
Estado/Município para o desenvolvimento de ações educacionais
conjuntas que proporcionem melhoria da qualidade da educação nas
escolas das redes públicas municipais.
O Secretário da Educação, com fundamento no disposto no artigo 5º
do Decreto nº 54.553/09, e considerando:
- o êxito alcançado pelos programas Ler e Escrever e São Paulo faz
escola, desenvolvidos na rede estadual de ensino;
- o interesse manifestado pelos municípios na implementação de
programas que lograram bons resultados nas escolas da rede estadual
de ensino;
- a importância da troca de experiências entre as diversas redes
escolares na busca da melhoria da qualidade do ensino;
- a necessidade de subsidiar as ações das autoridades interessadas na
celebração de convênio Estado/Município, resolve:
12 Na edição de 2007 nem todos os dados foram divulgados ao público. O relatório pedagógico divulgado
apontou que no Estado, 20,3 % dos alunos da 1ª série e 12,6% dos alunos da 2ª série não sabiam ler e
escrever.
13 Os resultados apresentados se referem a somatória dos dados apresentados nos pontos iniciais da
escala de desempenho de leitura e escrita. Não foram “traduzidos” em números porque com o processo de
municipalização houve redução do numero de alunos matriculados no Ciclo I da rede estadual e poderia
dar uma falsa interpretação de redução de número. Numero de alunos matriculados na COGESP: ano
2008 (138.013), ano 2009 (121.574), ano 2010 (106.303) e ano 2011 (58.818).
14 A partir de 2008 o desempenho dos alunos da 1ªsérie não foi mais verificado. O ingresso das crianças
de 6 anos ampliou o ensino fundamental para 9 anos, a 2ª série passou a ser denominada 3°ano.
78
Resolução SE nº 46, de 25-4-2012
Ementa: Dispõe sobre formação em serviço do Professor Educação
Básica I, e dá providências correlatas.
O Secretário da Educação, considerando a significativa melhora do
rendimento escolar alcançada pelos alunos dos anos iniciais do ensino
fundamental no SARESP/2011, especificamente quanto à aquisição
das competências leitora e escritora, resultante da eficácia da
implementação do Programa Ler e Escrever; a importância que o
desenvolvimento de ações articuladas, de formação em serviço e de
acompanhamento da prática docente, representa para a equipe escolar,
na elaboração do plano de ação; a diversidade das condições de
exequibilidade dessas ações nas escolas, que continuam a reivindicar
ampliação da reorganização dos tempos e espaços escolares de forma
a assegurar, com a eficácia desejada, na continuidade do Programa Ler
e Escrever, a aprendizagem dos demais conceitos e conhecimentos
relativos às disciplinas que integram o currículo do ensino
fundamental, em especial à Matemática; resolve.
Diante destas reflexões o questionamento feito pela Coordenadora Geral do
SARESP em 2009, Maria Inês Fini no texto de apresentação de “Matrizes de
Referencia para a Avaliação SARESP: documento básico” em relação a esta avaliação
pode se validar:
Na organização de um sistema de avaliação o principal problema é
explicitar uma resposta à seguinte pergunta: O que avaliar? Pergunta
para a qual a resposta mais significativa só pode ser: Aquilo que o
aluno deveria ter aprendido.
De acordo com o mesmo documento o que o aluno das séries iniciais deveria ter
aprendido diz respeito às bases conceituais do Programa Ler e Escrever.
Para os primeiros anos da Educação Básica já estava estruturado na
Secretaria de Estado da Educação de São Paulo, desde o princípio de
2007, um projeto denominado Ler e Escrever, voltado para o primeiro
segmento da escolaridade básica (1ª a 4ª séries). Esse projeto elege a
identificação das expectativas de aprendizagem para cada série e
disciplina desse ciclo e, a partir delas, a formação continuada dos
professores na própria escola, com distribuição de material de apoio
didático-pedagógico para alunos e professores (...). As bases
conceituais desse projeto é que constituem as referências de avaliação
desse ciclo da Educação Básica (FINI, 2009, p. 8).
Assim se os resultados comprovam que o aluno aprendeu o que ele deveria ter
aprendido, a resposta tão significativa de Fini também permite as perguntas tão óbvias:
O professor sabe o que o aluno deveria ter aprendido? O que deve ter sido feito para que
o professor soubesse o que o aluno deveria ter aprendido? Esses questionamentos que se
79
direcionam para a Aula de Trabalho Pedagógico Coletivo (ATPC), espaço de formação
do professor na unidade escolar que tem como seu principal gestor o professor
coordenador, não são tão simples assim como uma brincadeira de perguntas e respostas.
O ATPC nem sempre é um horário de formação, todos os assuntos a adentrar as escolas
têm nesse horário o seu veículo de comunicação direta ao professor. Também não é o
SARESP uma avaliação de conteúdos, nem é o Programa Ler e Escrever um conteúdo a
ser avaliado.
Considerações finais
A pesquisa permitiu evidenciar que ao ser implantado em 2007 como ação para
melhorar o ensino de escrita e leitura para os alunos dos dois anos iniciais do ensino
fundamental, o Programa Ler e Escrever diante dos resultados de desempenho
apontados nos anos seguintes pelo SARESP tem sido o motivo disparador de outras
ações em busca da melhoria de qualidade do ensino, garantindo assim a sua
permanência por mais de uma gestão de governo nas escolas estaduais. Essa
permanência de políticas publicas é importante e dá credibilidade as ações do governo
que adentram as escolas.
A releitura da legislação permitiu entender melhor que as relações entre o
SARESP e o Programa Ler e Escrever encontram-se na centralidade de melhorar a
qualidade da educação. No entanto é necessário desvincular a associação de sentido que
se tem feito sobre essas políticas: avaliação e currículo/ prova e conteúdo. São políticas,
no sentido de melhorar a educação, norteadas por três determinantes da aprendizagem
significativa do aluno: habilidades, competências e expectativas.
Importa, por fim, lembrar que nesse artigo estruturamos a escrita em termos
próprios a escrita acadêmica, termos e números que “traduzidos” na escrita escolar, são
alunos e na escrita de uma professora dos anos iniciais, são crianças.
80
Referências
FINI, M. I. (Coord.). Matrizes de Referencia para a avaliação Saresp: documento
básico. São Paulo: SEE, 2009. Disponível em:
<http://saresp.fde.sp.gov.br/2012/Arquivos/Saresp2012_MatrizRefAvaliacao_DocBasic
o_Completo.pdf>. Acesso em: 29 nov. 2012.
NEUBAUER, R. Podemos combater as altas taxas de fracasso escolar do Brasil. Revista
Nova Escola, São Paulo, n. 178, p. 20-22, dez. 2004. (Entrevista concedida a Lucita
Briza).
SÃO PAULO (Estado). Conselho Estadual de Educação. Parecer CEE Nº 67/98 de 18
de Março de 1998. Dispões sobre as normas regimentais básicas para as escolas
estaduais. [Diário Oficial do Estado de São Paulo], São Paulo, 1998. Disponível em:
<http://www.crmariocovas.sp.gov.br/pdf/diretrizes_p1022-1048_c.pdf>. Acesso em: 29
nov. 2012.
______. Proposta curricular do Estado de São Paulo. Gestão do Currículo na Escola:
Caderno do Gestor - versão preliminar. [Diário Oficial do Estado de São Paulo]. São
Paulo: 2008a. Disponível em: <http://www.rededosaber.sp.gov.br/contents/SIGSCURSO/sigsc/upload/br/site_25/File/caderno_gestor_versao_preliminar_16_01.pdf>.
Acesso em 29 nov. 2012.
______. Secretaria da Educação de São Paulo cria Nova Agenda para a Educação
Pública. [Diário Oficial do Estado de São Paulo], São Paulo, 2007a. Disponível em:
<http://www.imprensaoficial.com.br/PortalIO/DO/BuscaDO2001Documento_11_4.asp
x?>. Acesso em: 29 nov. 2012.
______. Resolução SE 42 de 10 de abril de 2012. Altera dispositivos da Resolução SE
nº 88, de 19 de dezembro 2007, que dispõe sobre a função gratificada de Professor
Coordenador. [Diário Oficial do Estado de São Paulo]. São Paulo, 2012a. Disponível
em: <http://lise.edunet.sp.gov.br/sislegis/pesqpalchav.asp?assunto=145>. Acesso em:
29 nov. 2012.
______. Resolução SE 46 de 25 de abril de 2012. Dispõe sobre formação em serviço do
Professor Educação Básica I, e dá providências correlatas. [Diário Oficial do Estado de
São Paulo]. São Paulo, 2012b. Disponível em:
<http://lise.edunet.sp.gov.br/sislegis/pesqpalchav.asp?assunto=145>. Acesso em: 29
nov. 2012.
______. Resolução SE 66 de 21 de agosto de 2009. Dispõe sobre a implementação do
disposto no Decreto nº 54.553, de 15 de julho de 2009, que institui o Programa de
Integração Estado/Município para o desenvolvimento de ações educacionais conjuntas
que proporcionem melhoria da qualidade da educação nas escolas das redes públicas
municipais. [Diário Oficial do Estado de São Paulo]. São Paulo, 2009. Disponível em:
nov. 2012.
______. Resolução SE 72 de 4 de julho de 2012. Dispõe sobre a realização das provas
de avaliação relativas ao Sistema de Avaliação de Rendimento Escolar do Estado de
81
São Paulo – SARESP/2012. [Diário Oficial do Estado de São Paulo]. São Paulo, 2012c.
Disponível em: <http://saresp.fde.sp.gov.br/2012/Arquivos/4_Resolucao_SE_72.pdf>.
Acesso em: 20 nov. 2012.
______. Resolução SE 86 de 19 de dezembro de 2007. Institui para o ano de 2008, o
Programa “Ler e Escrever”, no Ciclo I das Escolas Estaduais de Ensino Fundamental
das Diretorias de Ensino da Coordenadoria de Ensino da Região Metropolitana da
Grande São Paulo. [Diário Oficial do Estado de São Paulo]. São Paulo, 2007b.
Disponível em: <http://lise.edunet.sp.gov.br/sislegis/pesqpalchav.asp?assunto=145>.
______. Resolução SE 88 de 19 de dezembro de 2007. Dispõe sobre a função
gratificada de Professor Coordenador. [Diário Oficial do Estado de São Paulo]. São
Paulo, 2007c. Disponível em:
<http://lise.edunet.sp.gov.br/sislegis/pesqpalchav.asp?assunto=145>.Acesso em 29 nov.
2012.
______. Resolução SE 96 de 23 de dezembro de 2008. Estende o Programa “Ler e
Escrever” para as Escolas Estaduais de Ensino Fundamental do Interior. [Diário Oficial
do Estado de São Paulo]. São Paulo, 2008b. Disponível em:
nov. 2012.
SECRETARIA DA EDUCAÇÃO DO ESTADO DE SÃO PAULO. Programa faz
escola. São Paulo, 2012. Disponível em: <http://www.educacao.sp.gov.br/>. Acesso
em: 29 nov. 2012.
82
EXPOSIÇÃO ENERGIA & VIDA:
avaliação de mérito e impacto na prática docente
Irany da Silva Murta
Lucí Hildenbrand
Resumo
Este artigo resulta do estudo que avaliou o mérito da Exposição Energia & Vida e seu
impacto nas práticas pedagógicas de professores da Educação Básica. Por meio de três
questões avaliativas buscou-se conhecer com que objetivo o professor realizou a
visitação; qual o reflexo desta visitação na prática docente; até que ponto o professor
mostrou-se receptivo ao evento. A avaliação, de cunho formativo, fez uso da abordagem
centrada nos participantes. Estudos relacionados à visitação de alunos e professores a
Centros de Ciências e consulta a stakeholders do Espaço Ciência Interativa do Instituto
Federal de Educação, Ciência e Tecnologia do Rio de Janeiro - (ECI/IFRJ) contribuíram
para a definição dos critérios adotados no estudo, que incluíram as categorias Mérito e
Impacto, suas dimensões e indicadores. Os dados levantados junto a 30 professores e 16
mediadores foram analisados utilizando-se, predominantemente, o método qualitativo e
a análise de conteúdos. Os resultados evidenciaram que: por ocasião da visitação, os
professores visaram objetivos pedagógicos; a Exposição estimulou os docentes a
articular os conteúdos vivenciados no evento com aqueles que integram o currículo
escolar; os professores mostraram-se altamente receptivos aos conteúdos da Exposição,
quer dispondo-se, por exemplo, a trazer novos grupos de alunos para visitação, quer
dispondo-se a participar de programas de formação continuada no ECI. A avaliação
confirma o mérito da Exposição Energia & Vida e seu impacto nas práticas pedagógicas
dos professores visitantes. Dentre as recomendações, destacam-se a intensificação da
divulgação do evento junto as escolas de Educação Básica da região e a
disponibilização de materiais didáticos, que informem aos professores acerca dos
conteúdos da Exposição, favorecendo a articulação entre estes e os objetivos
curriculares.
Palavras-chave: avaliação de mérito e impacto. Exposição. Centros de ciência.
1 Introdução
A Declaração sobre a Ciência e o Uso do Conhecimento Científico, firmada na
Conferência Mundial sobre Ciência (UNESCO, 1999), deu ênfase à educação científica
tendo em vista a realização e o desenvolvimento humanos.
No Brasil, iniciativas governamentais, efetivadas em instâncias diversas, vêm
contribuindo, ao longo do tempo, para a popularização da ciência e da tecnologia junto à
sociedade em geral. Afinado a tal ideal, o Instituto Federal de Educação, Ciência e
Tecnologia do Rio de Janeiro (IFRJ) também concebeu e implementou ações neste
mesmo sentido, visando o favorecimento das regiões geoeducacionais de sua influência.
Dentre as iniciativas que se propôs, destaca-se a Exposição Energia & Vida,
desenvolvida pelo campus Mesquita, em caráter permanente, a partir de março de 2009.
83
Dirigida à sociedade civil como um todo, a Exposição atende de forma especial
à Lei de Diretrizes e Bases da Educação Nacional (BRASIL, 1996), proporcionando a
professores e alunos da educação básica o acesso à ciência e à tecnologia em um
ambiente de educação não formal. Por meio da manipulação e/ou observação de
tecnologias, materiais, objetos, experimentos e equipamentos, relacionados ao campo
científico, os visitantes são desafiados, de forma criativa, inovadora e contextualizada, a
estabelecer relações entre o tema da Exposição, Meio Ambiente e Qualidade de Vida
(PEREIRA; VENTURA; CHINELLI, 2010). Assim, envolvidos em ambiente próprio à
descoberta e à experimentação, alunos e professores vivenciam, em nova dimensão,
temas comumente trabalhados pelos currículos escolares.
Ante a expressiva visitação deste segmento social ao evento, buscou-se avaliar o
mérito da Exposição e seu impacto na prática pedagógica de professores visitantes. A
justificativa para tal decorreu do entendimento de que os achados do estudo poderiam,
numa instância, contribuir para o aprimoramento da Exposição e, em outra, para a
identificação temas que pudessem gerar novas ações em Extensão Universitária,
capazes de concorrer com o processo de formação continuada do referido professorado.
2 A Exposição Energia & Vida
A Exposição Energia & Vida tem médio porte, caráter multidisciplinar, é de
longa duração e está sendo aberta ao público de terça à sexta-feira, das 10h às 17 h, e
aos sábados de 9h às 12h20min, mediante agendamento anterior (MURTA, 2011). A
elaboração do projeto da Exposição resultou da vontade institucional do IFRJ em trazer,
para as suas comunidades intra e extramuros, as atuais discussões relativas à “temática
energia, correlacionando-a com as diversas áreas de saber científico e contextualizandoa com as principais questões que permeiam a sociedade contemporânea” (IFRJ, 2009, p.
1). Contando com financiamento da Fundação de Apoio à Pesquisa do Estado Rio de
Janeiro (FAPERJ) e com o apoio das instituições IFRJ, Museu de Astronomia de
Ciências Afins, Museu de Astronomia de Ciências Afins (MAST) e Universidade Federal
Rural do Rio de Janeiro, a Exposição, converteu e consolidou o antigo Centro de
Ciências num rico espaço de educação não-formal na região.
A Exposição aborda, em paralelo, os temas Energia & Vida em dimensões
diversas, ressaltando desde as formas de captação de energia às possibilidades de
transformação. Também mostra como os seres animados a utilizam em sua vida e os
seres humanos, em especial, se apropriam dos diversos tipos de energia em favor da
84
melhor qualidade de vida e do avanço tecnológico. Entre outras questões, enfatiza
situações de consumo e de desperdício de energia em variadas formas.
Estudos acadêmicos anteriores conduziram não só a definição dos temas da
Exposição Energia & Vida – Eletricidade e Magnetismo, Geração e Transformação de
Energia, Trabalho de uma Força, Calor e Luz, e Vida –, mas ainda das áreas de saber
envolvidas: Física, Química, Biologia, Ciências Humanas e Sociais, e História das
Ciências.
Na expectativa de divulgar e popularizar a ciência, o evento, que é composto por
módulos experimentais, convida o público-alvo a interagir com ele. Para tal, apoiandose na interatividade, na ludicidade e na robustez da proposta, explora experimentos,
aparatos, vídeos interativos, painéis, fotografias, textos (PEREIRA, 2011). À guisa de
ilustração, integram a Exposição os módulos Pilha Humana, Bicicleta Geradora de
Energia, Casinha de Consumo, Casa Solar, Compare as Lâmpadas, Máquina a Vapor,
Gerador de Van der Graaff, Célula Animal e Vegetal. Do conjunto de painéis constam,
por exemplo, Energia não Renovável, Desperdiçando Energia, Mas afinal, O que é o
Trabalho? (MURTA, 2011).
3 Procedimentos Metodológicos
3.1 Abordagem
Murta e Hildenbrand (2012) lembram que todos os ramos da atividade humana
são permeados por processos avaliativos, caracterizados como avaliações formais ou
informais. Segundo Worthen, Sanders e Fitzpatrick (2004), as avaliações formais
apoiam-se em procedimentos sistemáticos e públicos; nelas, buscam-se obter
informações precisas e consistentes sobre os objetos avaliados.
Ao serem planejadas, as avaliações incorporam uma ou mais abordagens. No
caso deste estudo avaliativo, a abordagem adotada foi a centrada nos participantes. Com
isto, pessoas interessadas e/ou alcançadas pelo programa avaliado, podem influenciar na
escolha do foco da avaliação, no tipo de informações coletada, nos critérios e valores a
serem considerados. As duas grandes diretrizes que ancoram as práticas avaliativas
conduzidas por meio desta abordagem são: a) a ênfase em um processo mais amplo que
abarque a complexidade da realidade humana; b) a sensibilidade aos valores plurais dos
participantes, de modo que sejam acomodados, resguardados e expressos, com
perspicácia, pelo avaliador, nos relatórios da avaliação (WORTHEN; SANDERS;
FITZPATRICK, 2004).
85
3.2 Questões avaliativas
O objetivo proposto pelo estudo de Murta (2011) – avaliar o mérito da
Exposição Energia & Vida e seu impacto nas práticas pedagógicas de professores
visitantes – foi investigado a partir de três questões avaliativas: (1) Com que objetivo o
professor realiza a visita escolar à Exposição Energia & Vida? (2) Em que medida a
visita realizada se reflete na prática pedagógica do professor? (3) Até que ponto o
professor visitante mostra-se receptivo à Exposição Energia & Vida?
3.3 Categorias mérito e impacto versus dimensões e indicadores
Pesquisas relacionadas à visitação de alunos e professores a centros de ciências,
exposições e museus (GUISASOLA; MORENTIN, 2007, 2010; SOUZA, 2008;
CAZELLI; MARANDINO; STUDART, 2003; GOUVÊA et al., 2001; PASSOS et al.,
2000) bem como reflexões pessoais da autora, que, em parte, resultaram na consulta a
stakeholders do ECI, permitiram estabelecer as duas categorias avaliadas no estudo Mérito e Impacto - suas respectivas dimensões e indicadores. Especialistas em
Avaliação validaram o conjunto de critérios estabelecidos, apresentados por meio do
Quadro 1.
Quadro 1- Critérios de avaliação da exposição energia & vida.
Categorias
Dimensões
Qualidade da Exposição
Planejamento didático
Mérito
Participação docente
Prática pedagógica
Receptividade ao tema
Impacto
Fonte: Murta (2011).
Indicadores
Localização e acesso
Infraestrutura
Módulos experimentais
Mediação pedagógica
Duração da visita
Avaliação da Exposição
Objetivo da visita
Preparação prévia dos alunos para a
visitação
Recebimento prévio de material de
divulgação da Exposição
Interação do professor com os alunos
Interação do professor com os
mediadores
Interação do professor com os
conteúdos
Articulação dos conteúdos da
Exposição na prática educativa
Interesse em trazer novos grupos de
alunos
Interesse em aprofundar o tema por
meio da participação em eventos
Contribuição docente à Exposição
86
3.4 Construção, validação e aplicação dos instrumentos
A entrevista foi escolhida como técnica adequada para investigar a apropriação
pedagógica da Exposição Energia & Vida pelos professores visitantes, pois,
caracterizando-se como uma conversa a dois, que é conduzida por um entrevistador
(MINAYO, 2011), favorece o acesso a dados apurados. Definida a técnica, construiu-se
o instrumento principal do estudo, pautado no quadro de critérios, nas questões
avaliativas e em um questionário usado por Guisasola e Morentin (2010), em estudo
equivalente. Contendo questões abertas, fechadas e relacionadas, este primeiro
questionário constou de duas partes: a primeira, composta por oito questões a serem
respondidas pelos próprios professores, destinou-se à caracterização do perfil do grupo;
a segunda, com 21 questões a serem conduzidas pela entrevistadora, objetivou,
propriamente, a avaliação da visita. O segundo questionário construído recolheu dados
junto aos mediadores do ECI, que disseram respeito à identificação do perfil deste
grupo e à participação docente na visita à Exposição.
Avaliadores e pesquisadores preocupam-se com a validade dos instrumentos
utilizados em seus estudos, pois há que se saber se os instrumentos selecionados,
adaptados ou construídos medem aquilo que pretendem medir. No presente estudo, o
processo de validação dos questionários ocorreu em dois momentos: do primeiro
participaram especialistas em Avaliação e Língua Portuguesa; do segundo, três
professores e três mediadores, em um trabalho conduzido em pequeno grupo.
Informações disponíveis em documentos do ECI possibilitaram à Murta (2011) a
identificação dos dados necessários para que fosse feito contato com as escolas de
origem dos professores visitantes. A partir disto, as próprias escolas fizeram a mediação
do agendamento das entrevistas a serem realizadas com os professores. O contato com
os mediadores foi feito de modo diverso: por meio da intercessão do coordenador do
grupo. Tanto professores quanto mediadores foram abordados individualmente pela
avaliadora, salvo raras exceções. Por ocasião dos encontros, estes colaboradores
tomaram ciência da finalidade do estudo avaliativo e assinaram o Termo de
Consentimento Livre e Esclarecido. Os instrumentos foram aplicados em julho e agosto
de 2011 junto a 30 professores de educação básica, que haviam visitado a Exposição
Energia & Vida, com suas turmas, no período de agosto de 2010 a agosto de 2011, e
junto a 16 mediadores.
87
3.5 Análise dos dados
Os
dados
quantitativos
foram
organizados
em
tabelas
e
estudados
descritivamente. Com isto, ao serem sintetizados os valores de mesma natureza,
permitiram uma visão global de suas variações (GUEDES et al., [2005?]). A análise dos
dados qualitativos foi feita a partir da técnica de análise de conteúdos, proposta por
Bardin (2011). Após a transcrição das entrevistas, as falas docentes foram agrupadas,
segundo as unidades de registro do estudo (indicadores) e unidades de contexto
(dimensões).
4 Resultados
Os 30 professores que colaboraram com o estudo avaliativo atuam em nível da
educação básica; estão vinculados a 14 escolas públicas e particulares, que, em sua
maioria, são de ensino fundamental e situam-se na Baixada Fluminense e adjacências.
Do total deles, a maioria é do sexo feminino (24, em 30), possui de 20 a 39 anos e curso
de superior completo (20, em 30). À exceção de um mediador, os 15 outros são
licenciandos em Física e Química, no IFRJ; têm, no máximo, 24 anos; pertencem a
ambos os sexos; têm até dois anos de experiência na função e, entre outras tarefas,
ocupam-se do recebimento e do acompanhamento dos diversos públicos em visita à
Exposição (MURTA; HILDENBRAND, 2012).
4.1 Respostas às questões avaliativas
As respostas dos professores à primeira questão avaliativa evidenciou que cinco
deles não definiram propriamente um objetivo para a visita, alegando não terem tido
tempo hábil para fazê-lo. O restante do grupo sinalizou objetivos pedagógicos amplos,
por exemplo: proporcionar aos alunos situações de aprendizagem desafiadoras e
criativas, em ambiente diverso do ambiente escolar; apreender o conteúdo da Exposição
para enriquecer o próprio trabalho na escola; usar, o ambiente da Exposição, como meio
favorecedor de novas oportunidades para o relacionamento professor-aluno. Os
resultados do estudo avaliativo também mostraram que a maioria do professorado não
realizou atividades pedagógicas preparatórias para o evento (MURTA, 2011).
Em relação à segunda questão avaliativa, constatou-se que a prática pedagógica
do professor se refletiu na forma pela qual os docentes interagiram, durante a
Exposição, com seus alunos, mediadores e conteúdos apresentados. Para os professores,
esta interação foi considerada boa e excelente; mediadores, diversamente, acreditaram
88
ser necessário intensificar a interação dos docentes com suas turmas e com os próprios
conteúdos do evento. Também registraram que a divulgação prévia do conteúdo da
Exposição, junto ao professorado, pudesse trazer importantes benefícios pedagógicos.
A prática pedagógica da quase totalidade dos professores mostrou-se sensível ao
evento, vez que a visitação converteu-se em fator motivador e desencadeador de novas
situações de aprendizagem, evidenciando o seu mérito e impacto da Exposição.
As respostas à terceira questão avaliativa evidenciaram que os professores
acolheram a Exposição, segundo os vários indicadores estabelecidos no estudo:
localização e acesso, infraestrutura, módulos experimentais, mediação pedagógica,
duração da visita e avaliação da exposição. Ao todo, os 98 pontos positivos destacados
pelos docentes, foram categorizados entre aspectos técnicos, didáticos, de conteúdo,
procedimentais e atitudinais (GUISASOLA; MORENTIN, 2010).
A receptividade ao tema por parte dos docentes também foi positiva vez que: a)
declararam interesse em retornar à Exposição com novos grupos de alunos; b) disseramse desejosos de aprofundar o tema do evento, a partir de programa de formação
continuada desenvolvido pelo ECI; c) apresentaram sugestões de atividades visando o
aprimoramento do evento e, em consequência, maiores ganhos para toda a comunidade.
Segundo Murta e Hildenbrand (2012), a aceitação da Exposição por parte do
professor – principal agente de mobilização da escola para novas realizações e
empreendimentos – ganha importância quando, por meio dele, o ECI, ao contribuir para
a popularização e difusão da ciência e tecnologia nas regiões geoeducacionais de sua
influência, possibilita novas conquistas pessoais e sociais.
5 Conclusões e Recomendações
A partir das respostas às questões avaliativas, pode-se afirmar que a Exposição
Energia & Vida possui mérito e impacta a prática pedagógica de professores e alunos
visitantes. Como tal, deve ser percebida como objeto merecedor de atenção,
aprimoramento e investimento. O fato de suas qualidades intrínsecas terem sido
amplamente reconhecidas pelos docentes, terem servido à inovação pedagógica em sala
de aula e terem suscitado, neles, a vontade de engajar-se em programa de educação
continuada na área é evidencia das duas categorias estudadas.
Dentre as recomendações da avaliação, destacam-se apenas algumas delas:
diversificação do planejamento pedagógico da Exposição para atender interesses e
necessidades distintas de alunos e professores; intensificação da divulgação do evento
89
de modo a ampliar o seu alcance populacional; disponibilização de materiais didáticos
informando os conteúdos pedagógicos; concepção de projeto de avaliação contínua
junto aos beneficiários, garantindo o aprimoramento permanente da Exposição;
intensificação de contatos políticos junto às prefeituras da região, otimizando a
participação das escolas no evento e em possíveis desdobramentos.
90
Referências
BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011.
BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da
educação nacional. [Diário Oficial da União], Brasília, DF, 23 dez. 1996. Disponível
em:<http://portal.mec.gov.br/seb/arquivos/pdf/blegais.pdf>. Acesso em: 20 de jun.
2011.
CAZELLI, S.; MARANDINO, M.; STUDART, D. C. Educação e
comunicação em museus de ciências: aspectos históricos, pesquisa e prática. In:
GOUVÊA, G.; MARANDINO, M.; LEAL, M. C. Educação e museu: a construção
social do caráter educativo dos museus de ciências. Rio de Janeiro: Access/Faperj,
2003. p. 83-106. Disponível em:
<http://moodle.stoa.usp.br/file.php/669/Textos_de_leituras_previas/Microsoft_word__
ed_com_museus.pdf>. Acesso em: 10 abr. 2011.
GOUVÊA, G. et al. Redes cotidianas de conhecimentos e os museus de ciência:
parcerias estratégicas, Brasília, DF. n. 11, p. 169-174, 2001. Disponível em:
<http://www.geenf.fe.usp.br/conteudo/arquivo/Redes_cotidiana.pdf>. Acesso em: 20
maio 2011.
GUEDES, T. A. et al. Estatística descritiva: projeto de ensino: aprender fazendo
estatística. [S. l., 2005?]. Disponível em:
<http://www.des.uem.br/uploads/arquivos_professor/0221095505.pdf>. Acesso em: 25
out. 2011.
GUISASOLA, J.; MORENTIN, M. ?Qué papel juegan las visitas escolares a los
Museos de Ciencias em el aprendizaje de las Ciencias?: uma revision de lãs
investigaciones. Enseñanza de las Ciencias, País Vasco, ES, v. 25, n. 3, p. 401-414,
2007.
______. Concepciones del profesorado sobre visitas escolares a Museos de Ciencias.
Enseñanza de las Ciencias, País Vasco, ES, v. 28, n. 1, p. 127-140, 2010.
IFRJ. Exposição energia e vida do centro de ciência e cultura. Nilópolis: Cefet
Química/Nilópolis, 2009.
MINAYO, M. C. de S. Trabalho de campo: contexto de observação, interação e
descoberta. In: ______. Pesquisa social: teoria método e criatividade. 30 ed. Petrópolis:
Vozes, 2011.
MURTA, I.da S. Exposição energia & vida e prática pedagógica: uma avaliação de
mérito e impacto. 81 f. 2011. Dissertação (Mestrado Profissional em Avaliação) –
Fundação Cesgranrio, Rio de Janeiro, 2011.
MURTA, I. da S.; HILDENBRAND, L. Mérito e impacto da Exposição energia & vida:
um estudo avaliativo. Revista do EDICC, São Paulo, v. 1, n. 1, p. 250-259, out. 2012.
Disponível
em:<http://www.iel.unicamp.br/revista/index.php/edicc/Article/view/2322/2363>.
91
PASSOS, E. F. et al. A relação entre o museu de ciência e a escola: uma discussão com
professores do ensino médio. In: ENCONTRO DE PESQUISA EM ENSINO DE
FÍSICA, 7., 2000, Florianópolis. Trabalhos apresentados... Florianópolis, SC, 2000.
Disponível em: <http:// www.ufv.br/dpf/evandro.epef.htm>. Acesso em: 31 maio 2011.
PEREIRA, G. R.; VENTURA, G.; CHINELLI, M. V. Divulgação científica na baixada
fluminense e o centro de ciência e cultura do Instituto Federal do Rio de Janeiro:
Campus Nilópolis. Secretaria de Educação Profissional e Tecnológica: Brasília, DF,
2010. (Cadernos Temáticos Comunicação e Cultura, n. 24).
PEREIRA, G. R. [Entrevista]. Nilópolis, 2011. Mimeografado.
SOUZA, A. V. S. A ciência mora aqui: reflexões acerca dos museus e centros de
ciência interativos do Brasil.161 f. 2008. Dissertação (Mestrado)–Instituto de Química,
Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2008. Disponível em:
<http://www.cciência.ufrj.br/Publicações/Dissertações/adriana_dissertação.pdf>.
Acesso em: 28 out. 2010.
UNESCO. Declaración de Budapest-Declaración sobre la Ciência y el uso del saber
científico. In: CONFERÊNCIA MUNDIAL SOBRE LA CIÊNCIA PARA EL SIGLO,
21, 1999, Hungria. Trabalhos apresentados... Hungria, 1999.
WORTHEN, Blaine, R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de
programas: concepções e práticas. São Paulo. Ed. Gente, 2004.
92
DADOS DE AVALIAÇÃO NO ENSINO SUPERIOR: para onde vamos?
Hustana Maria Vargas
Resumo
O ensino superior no Brasil passa por um processo de expansão orientado por políticas
que procuram contemplar também a permanência e as taxas de conclusão dos novos
alunos. A fim de monitorar esse processo, a produção e disponibilização de dados
estáveis sobre alunos e instituições torna-se crucial. Atualmente, os dados do Censo da
Educação Superior e do Exame de Desempenho dos Estudantes (ENADE) são as
principais fontes disponíveis. Entretanto, o Exame Nacional do Ensino Médio (ENEM)
ganha força como veículo da seleção ao ensino superior e para subsidiar a análise dos
ingressantes, no ENADE. Nesse caso, a necessidade de uma perfeita integração entre
essas bases de dados se impõe, a fim de acompanhar a trajetória dos estudantes. Esse
artigo levanta e discute essa problemática, alertando para problemas e riscos da
inadequação de ferramentas e de dados para monitoramento da política empreendida.
Palavras-chave: ensino superior, democratização, dados socioeconômicos.
Introdução
Para Giddens (1997), Kumar (1997) e Silva (1994), a sociedade pós-moderna ou
contemporânea pode ser caracterizada como modernidade reflexiva, na medida em que
encerra elevado potencial de autocrítica social, decorrente da consciência de que as
instituições15 e os projetos sociais que nascem com a modernidade, apresentam
fragilidades e inconvenientes irrefutáveis.
Nesse sentido, a sociedade teria perdido sua inocência e se percebe como
“sociedade de risco”. Seja no campo da ciência, seja no da política, as soluções fáceis
que apresentam “mais do mesmo”, são renegadas. É o momento em que a ciência e o
que ela produz se coloca como seu próprio objeto de questionamento. Da mesma forma,
é o momento em que a política se politiza, ampliando seu espectro de ação e
relacionando de forma interdependente atores que antes se colocavam em polos opostos
e independentes, como emissores ou receptores de política. Em outras palavras:
ao contrário de cidadãos passivos que delegam a competência do fazer
político às instituições e aos políticos profissionais, os quais por sua
vez transferem as atribuições recebidas à estrutura de implementação
segmentada e regionalizada das diferentes políticas (...) a política
reflexiva passa a conformar, então, um campo de ação
interdependente entre instituições e cidadãos. O cotidiano politiza-se e
todas as ações humanas passam a ser informadas pelo conteúdo
político que elas ineludivelmente encerram. Nesses termos, a
15Dentre elas a família nuclear, o Estado moderno, a técnica e a ciência.
93
sociedade de risco estreita os laços que separam o local e o remoto, os
cidadãos e as instituições, o privado e o político (Costa, 2004).
Entre nós, na última década do século XX, particularmente o campo da educação
assistiu ao início de um processo de esquadrinhamento, mensuração e avaliação que
remete a uma comunidade argumentativa informada e tendendo a múltiplas
responsabilizações, produzindo embates que não poderiam mais contar com a inocência
ou a negligência de tempos opacos. Nesse sentido, notar-se-á cobrança de transparência
e participação na formulação de políticas educacionais, bem como se buscará ampla
publicação e acompanhamento de resultados da atividade educacional, permitindo uma
qualificação do debate. Entendemos ser possível associar esse movimento à dinâmica de
uma sociedade reflexiva.
Este processo se institucionaliza no Brasil com a criação de sistemas de
avaliação da educação. Inicialmente, tivemos o Sistema de Avaliação da Educação
Básica (SAEB), aplicado pela primeira vez em 1990 e intensificado a partir de 1995.
Em 1998 surge a primeira edição do Exame Nacional do Ensino Médio – ENEM. Além
da extensão das avaliações em larga escala para outros níveis de ensino, as gestões
governamentais passaram a realizar os censos educacionais e a aplicar uma política de
disponibilização de todos estes dados via portal do Instituto Nacional de Estudos e
Pesquisas Educacionais Anísio Teixeira - INEP.
Quanto ao ensino superior, o instrumento avaliativo criado em 1996 foi o Exame
Nacional de Cursos (vulgo Provão), substituído em 2004 pelo Exame Nacional de
Desempenho de Estudantes (ENADE), ambos em conjunto com a aplicação de
questionários socioeconômicos e da realização de censos educacionais. Especialmente
os censos e os questionários socioeconômicos que acompanham os exames nacionais de
avaliação, são apropriados para monitorar o atual momento de expansão do ensino
superior, dentro da perspectiva jurídico-política que a fundamenta.
Essa perspectiva prevê uma expansão qualificada do ensino superior, no sentido
da inclusão de parcelas populacionais historicamente alijadas. Sobressai, assim, a
importância do acompanhamento do perfil socioeconômico dos estudantes incluídos e
de sua trajetória no interior do sistema.
Neste trabalho, enfocamos questões alusivas aos dados socioeconômicos do
ensino superior, levantando e discutindo problemas que ameaçam sua potencialidade
como ferramenta de monitoramento de políticas públicas.
94
1. Ensino superior em expansão
Embora em crescimento desde os fins dos anos 90, o ritmo da expansão do
ensino superior vem declinando desde 2002. Tal declínio percentual no crescimento do
ensino superior ocorre num momento em que, sob as metas do Plano Nacional da
Educação16 (PNE) de 2001 a 2010, o sistema deveria estar em forte expansão. Quanto
ao número de matrículas, projetavam-se 6.400.000 matrículas para o ensino superior em
2007 (MEC/INEP, 2004). Essa meta está prestes a ser alcançada, mas apenas três anos
depois, visto que pelo Censo de 2010, eram 6.379.299 matrículas no ensino superior.
Sucede, então, que de forma a implementar as metas do PNE, o governo adotou
uma série de políticas. Dentre outras: criou novas universidades públicas e multiplicou
campi de antigas universidades fora das capitais, ofertou bolsas em instituições
particulares (Programa Universidade para todos - PROUNI, Lei 11096/2005), ampliou o
FIES (Programa de Financiamento Estudantil, Lei 11552/2007) e preconizou uma
política de cotas (Projeto de Lei 73/1999 e sucedâneos). Posteriormente, através do
Decreto 6096/2007, elaborou o Programa de Apoio a Planos de Reestruturação e
Expansão das Universidades Federais (REUNI), propondo a elevação gradual da taxa de
conclusão média dos cursos de graduação, a redução das taxas de evasão, a ocupação de
vagas ociosas e o aumento das vagas de ingresso, especialmente no período noturno.
A despeito do crescimento de matrículas nos últimos anos, a escolarização
líquida por nós alcançada em 2009 foi de apenas 14% de jovens neste nível de ensino.
Não obstante, o próximo PNE17 é ainda mais ambicioso que o anterior: pela meta 12,
pretende “elevar a taxa bruta de matrícula no ensino superior para 50% e a taxa líquida
para 33% da população de 18 a 24 anos”.
Finalmente, cabe referir que todo esse conjunto normativo coaduna com
premissas constitucionais. Na qualidade de documento fundante da nação, a
Constituição estabelece a meta de incorporação de sujeitos historicamente excluídos do
direito à educação, pela "igualdade de condições para o acesso e permanência na escola"
(art. 206, I). Determina, também, no artigo 208 inciso V, que o dever do Estado com a
16 Previsto no art. 214 da CRFB: “a lei estabelecerá o Plano Nacional de Educação, de duração
plurianual, visando à articulação e ao desenvolvimento do ensino em seus diversos níveis e à
integração das ações do Poder Público (...)”. Estes planos, por sua vez, devem estar em consonância
com os princípios constitucionais atinentes à meta de incorporação de sujeitos historicamente
excluídos do direito à educação, pela "igualdade de condições para o acesso e permanência na escola"
(art. 206, I).
17 Enviado ao Congresso Nacional em dezembro de 2010 pelo presidente Lula, encontra-se ainda em
discussão em 2012. Deveria vigorar entre 2011 e 2020.
95
educação será efetivado por meio da garantia de acesso aos níveis mais elevados do
ensino, da pesquisa e da criação artística, segundo a capacidade de cada um. Estes
artigos, por sua vez, estão em consonância com os objetivos da República Federativa do
Brasil, preconizados no artigo 3º: construir uma sociedade livre, justa e solidária;
erradicar a pobreza e a marginalização e reduzir as desigualdades sociais e regionais.
1.1 Uma expansão qualificada: surge o conceito de democratização
Assumidas essas premissas, um novo conceito é mobilizado no caso do ensino
superior, o conceito de democratização. Na síntese de Ristoff:
Se a palavra de ordem da década passada foi expandir, a desta década
precisa ser democratizar. E isto significa criar oportunidades para que
os milhares de jovens de classe baixa, pobres, filhos da classe
trabalhadora e estudantes das escolas públicas tenham acesso à
educação superior. Não basta mais expandir o setor privado - as vagas
continuarão ociosas; não basta aumentar as vagas no setor público –
elas apenas facilitarão o acesso e a transferência dos mais aquinhoados
(RISTOFF, 2011, p. 16).
A expressão democratização aparece pela primeira vez na legislação educacional
no Projeto de Reforma da Educação Superior (PL 7200/2006). Não constava nem
mesmo da atual LDB18. Entretanto, as políticas públicas mais recentes incorporam o
princípio da democratização em sua formulação, como exemplificam a legislação do
PROUNI e do REUNI. Senão, vejamos:
 PROUNI: Lei 11.096/2005
As informações sobre o PROUNI encontradas no site do MEC e na legislação
correspondente, embora não explicitem o termo democratização, têm como destinatários
estudantes de baixa renda. Informa o site:
Dirigido aos estudantes egressos do ensino médio da rede pública ou
da rede particular na condição de bolsistas integrais, com renda per
capita familiar máxima de três salários mínimos, o Prouni conta com
um sistema de seleção informatizado e impessoal, que confere
transparência e segurança ao processo. Os candidatos são selecionados
pelas notas obtidas no Enem - Exame Nacional do Ensino Médio
conjugando-se, desse modo, inclusão à qualidade e mérito dos
estudantes com melhores desempenhos acadêmicos. O Prouni possui
também ações conjuntas de incentivo à permanência dos estudantes
18
Nesta, encontramos apenas o termo “democrática” como adjetivo: “gestão democrática do ensino
público” e “ordem democrática”.
96
nas instituições, como a Bolsa Permanência, os convênios de estágio
MEC/CAIXA e MEC/FEBRABAN e ainda o Fundo de
Financiamento Estudantil - Fies, que possibilita ao bolsista parcial
financiar até 100% da mensalidade não coberta pela bolsa do
programa (MEC/PROUNI, 2012).
As evidências da preocupação do Programa Universidade para Todos com a
democratização do processo se materializam no grupo de renda atendido e na menção à
permanência desses estudantes.
De forma mais evidente, encontramos essas mesmas preocupações na legislação
do REUNI:
 REUNI: Decreto 6.096/2007
O decreto do REUNI, além de explicitar a questão do acesso e da permanência,
vai além, enunciando o tema “taxa de conclusão média”:
Art. 1o Fica instituído o Programa de Apoio a Planos de Reestruturação e
Expansão das Universidades Federais - REUNI, com o objetivo de criar condições para
a ampliação do acesso e permanência no ensino superior, no nível de graduação, pelo
melhor aproveitamento da estrutura física e de recursos humanos existentes nas
universidades federais.
§ 1o O Programa tem como meta global a elevação gradual da taxa de conclusão
média dos cursos de graduação presenciais para noventa por cento e da relação de
alunos de graduação em cursos presenciais por professor para dezoito, ao final de cinco
anos, a contar do início de cada plano.
(...)
Art. 2o O Programa terá as seguintes diretrizes:
I - redução das taxas de evasão, ocupação de vagas ociosas e aumento de vagas
de ingresso, especialmente no período noturno;
(...)
V - ampliação de políticas de inclusão e assistência estudantil
(...)
Sem dúvida, as políticas de democratização do acesso ao ensino superior não
esgotam a garantia do direito à educação. Estas ações devem ser combinadas com
investimentos no âmbito da Assistência Estudantil (VARGAS, 2012; NASCIMENTO,
2011). Nesse sentido, encontramos previsão de assistência tanto para o caso do ensino
superior privado quanto público.
97
Estudantes que recebem bolsas integrais em cursos presenciais de duração
mínima de seis semestres e com duração igual ou superior a seis horas diárias de aula,
em instituições particulares, podem receber, pela via do PROUNI, bolsas de
permanência. Quanto ao setor público, as Instituições Federais de Educação Superior
(IFES) passaram a contar com o apoio social do Programa Nacional de Assistência
Estudantil (PNAES). Este Programa objetiva fortalecer a igualdade de oportunidades e
contribuir para prevenir e erradicar a retenção e a evasão, através da democratização de
condições de permanência dos estudantes em IFES, oferecendo assistência à moradia,
alimentação, transporte, apoio pedagógico, entre outros.
O PNAES vinha sendo executado desde 2008 e tinha um prazo de validade até
2010. Em julho de 2010, o então presidente Luiz Inácio Lula da Silva institucionalizou
o programa através do Decreto 7.234. Este decreto confirma, no parágrafo único do seu
art. 4º, que as ações da Assistência Estudantil devem considerar a necessidade de
viabilizar a igualdade de oportunidades, reduzindo as desigualdades socioeconômicas e
culturais entre os graduandos das IES, bem como contribuir para a melhoria do
desempenho acadêmico e agir, preventivamente, nas situações de retenção e evasão
decorrentes da insuficiência de condições financeiras (BRASIL, 2010).
2.
Avaliação do ensino superior e as questões de acesso, permanência e conclusão
Percebemos que as premissas políticas estabelecidas – ampliação do acesso,
permanência e conclusão – são tão ambiciosas quanto necessárias, tendo em vista o
almejado processo de democratização do ensino superior. Como acompanhar seu
desenvolvimento? Parece claro que o acompanhamento da trajetória entre o acesso e a
conclusão pressuponha a existência de bancos de dados concebidos para tal. De outra
forma, sem monitoramento, o processo de democratização do ensino superior pode
resultar apenas em boas intenções.
O Ministério da Educação parece bastante consciente dessa condição. Sobre o
Censo da Educação Superior 2010 o INEP enuncia:
com base nos dados e informações geradas a partir do Censo da
Educação Superior são formuladas, monitoradas e avaliadas as
políticas públicas. Os seus resultados também são importantes no
meio acadêmico, subsidiando estudos, monografias, dissertações e
teses (MEC/SINOPSES, 2012).
98
Até janeiro de 2007 estes dados estavam disponibilizados para o público como
fonte secundária no site do INEP. Após essa data, foram disponibilizados como
Microdados para download ou em CDs enviados por correio pelo INEP. O site do INEP
assim anuncia a divulgação dos dados: “integra as ações desenvolvidas pela Diretoria de
Tratamento e Disseminação de Informações Educacionais (DTDIE), em cumprimento à
missão institucional do INEP de produzir e disseminar informações, a partir de estudos,
pesquisas e avaliações sobre o Sistema Educacional Brasileiro, com o objetivo de
subsidiar a formulação e implementação de políticas voltadas para a melhoria contínua
da qualidade da educação do País” (MEC/INEP, 2007). De fato, não havendo adesão
dos pesquisadores à utilização destes bancos, restaria subutilizada uma imensa massa de
dados que se presta a inúmeras reflexões, o que seria um desperdício num país com
condições tão precárias de educação e pesquisa.
Na esteira da modernidade reflexiva, o MEC veio aprofundando o estímulo à
utilização dos dados. Uma forte expressão dessa adesão é o Observatório da Educação
(Decreto 5803/2006). Conforme a chamada do EDITAL CAPES Nº 049/2012:
Do objeto. O Programa Observatório da Educação – Edital 2012
apoiará o desenvolvimento de projetos de pesquisa em ensino e
educação que utilizem as bases de dados do INEP, conforme
estabelecido no item 3.4 desde Edital. Os projetos devem estar
vinculados aos PPGs recomendados pela CAPES, que ofereçam
cursos de mestrado e/ou doutorado ou mestrado profissional
(MEC/OBSERVATÓRIO, 2012).
Em obediência ao previsto no item 3.4 – indicação de quais bases de dados estão
disponíveis para serem utilizadas nos projetos de pesquisa - o Edital arrola os dados à
disposição. Dentre eles destacamos o Censo Escolar e o ENEM, aos quais voltaremos
mais tarde, mostrando suas conexões com os dados do ensino superior:
 Censo Escolar:
O Censo Escolar coleta dados sobre estabelecimentos, matrículas, funções
docentes, movimento e rendimento escolar. A base de dados traz informações
individualizadas sobre alunos, escolas e docentes, no entanto alguns dados como
endereço de alunos, CPF e outras informações pessoais só são liberadas em casos
especiais e após assinatura de termo de sigilo.
 ENEM
O Exame é feito por adesão e além das informações de desempenho recolhe
dados de contexto socioeconômico dos alunos.
99
2.1 Dados específicos do ensino superior: Censo e ENADE
Os dados principais, no rol dos disponíveis atualmente, encontram-se no Censo e
nos questionários socioeconômicos aplicados junto aos processos de avaliação de
cursos, conforme referido. Conforme vimos, os censos basicamente reúnem
informações sobre as instituições, matrículas e docentes. Já os questionários
socioeconômicos levantam as informações dessa natureza sobre cada um dos estudantes
avaliados. Essas informações devem ser articuladas, a fim de se dimensionar a
problemática do acesso, da permanência e da conclusão, dadas as evidentes associações
entre condição socioeconômica e vantagens ou desvantagens escolares (BARBOSA,
2009; BARROS et al. 2001; BOURDIEU, 2002; VARGAS, 2008).
O Censo é coletado diretamente junto às instituições de ensino. O INEP o
apresenta como uma “coleta de dados sobre a educação superior, com o objetivo de
oferecer informações detalhadas sobre a situação atual e as grandes tendências do setor,
tanto à comunidade acadêmica quanto à sociedade em geral”. Há microdados deste
Censo de 1995 até 2011 no site do INEP. Embora seu conteúdo e sistemática de coleta
naturalmente venham se aprimorando com o tempo, o informante continua o mesmo, e
nenhuma mudança substancial está prenunciado.
Pelo contrário, com relação ao questionário socioeconômico do ENADE, muitas
transformações vêm ocorrendo desde sua primeira aplicação, em 2004. Em primeiro
lugar, mencionamos o número de questões, que caiu de 110 para 54, nas últimas
versões19. O MEC/INEP explica que tal fato se deve, justamente, à possibilidade de
obter as mesmas informações em outras fontes, dentre elas o próprio Censo. A
sistemática de preenchimento do questionário também vem se alterando no tocante à
obrigatoriedade, momento e suporte do preenchimento.
No quadro abaixo, sintetizamos as principais transformações nessa sistemática:
Quadro 1 -Orientação sobre questionário socioeconômico - Manuais do Enade, 2004 a 2011.
Situação/
Ano
2004
Preenchimento do
Questionário
Socioeconômico
Participação voluntária
2005
Em que momento preenchem o Questionário
Socioeconômico
Recebem pelos correios junto com o cartão de
confirmação e devem entregar no dia da prova
19 As 110 perguntas chegavam a 115, em edições nas quais Licenciaturas eram avaliadas. A partir de
2009 o número de questões foi reduzido a 54.
100
2006
2007
2008
2009
2010
2011
Participação obrigatória
Pela internet, em período estabelecido pelo
Enade
Pela internet. Se não responderem não
conseguem saber o local de prova e imprimir o
cartão de confirmação
Fonte: MEC/INEP (2004).
Observamos, com alguma preocupação, que a principal fonte de dados
socioeconômicos dos estudantes do ensino superior proveio de informações prestadas
sem obrigatoriedade e com variação quanto à sistemática de recolhimento e mesmo
quanto ao número de questões. Embora compreensível por se tratar de um sistema em
estabelecimento, mesma trajetória acidentada não tiveram outros bancos de dados, como
o Censo.
De qualquer forma, esse questionário tem se prestado, durante anos, para
dimensionar vários aspectos do ensino superior brasileiro. Um dos seus trunfos é o fato
de se aplicar a ingressantes e concluintes, permitindo uma análise de percurso. Vale
dizer: acesso, permanência e conclusão têm, por essa via, um razoável
acompanhamento. Não é demasiado relembrar que a análise do acesso e sobretudo da
permanência e da conclusão de alunos do ensino superior, em suas chaves explicativa e
compreensiva, certamente passa pelo conhecimento da condição socioeconômica dos
estudantes.
Além do questionário do ENADE, que como vimos abarca ingressantes e
concluintes, as instituições, no ato da inscrição no vestibular, aplicam questionários
socioeconômicos aos candidatos. Nesse caso, formam bancos de dados de seus
candidatos, aprovados e matriculados. Esse banco é complementado, assim, pelos dados
do ENADE, permitindo às instituições uma visão bem abrangente de seu alunado.
A vantagem do banco próprio é que a instituição não fica refém da montagem e
disponibilização dos dados nacionais. Conquanto o INEP esteja aprimorando20
20 Por exemplo: no site estão divulgados os conceitos das instituições desde 1996 mas os dados
socioeconômicos são muito resumidos e incompletos até 2002. Em 2003, ano da última edição do
Provão, os dados foram apresentados de forma mais detalhada e por relação a mais indicadores, como
101
continuamente a apresentação e a qualidade dos dados coletados e expostos no site,
ainda se verificam problemas para o pesquisador que queira proceder a trabalhos sobre
os mesmos. O primeiro deles é o da instabilidade do sistema, muitas vezes fora do ar.
Outro problema seria o tamanho das bases, porque nacionais, gerando dificuldades no
uso. Ainda se pode apontar como altamente problemática, a demora na atualização dos
dados. Finalmente, o INEP padece de problemas ainda não sanados com relação ao seu
quadro funcional. A alta rotatividade entre os funcionários prevalece, dificultando a
existência de uma memória técnica sobre os dados. Além disso, solicitações de dados
específicos ou dúvidas que tenham que ser sanadas sobre sua manipulação, via e-mail
ou telefônica, ficam recorrentemente sem resposta ou demoram demasiado a chegar.
3. Ascensão do ENEM e do SISU: repercussões
Sucede que essa situação está em franca mudança, em função da consolidação
do ENEM e do SISU como sistemas de seleção ao ensino superior. Nesse sentido,
caminha-se em direção ao estabelecimento de grandes e centralizados bancos de dados
nacionais, e não no fortalecimento dos bancos próprios das instituições. Do nosso ponto
de vista, tais mudanças inspiram muita atenção e acompanhamento.
O ENEM se firma como exame de acesso ao ensino superior, seja como um dos
requisitos para a bolsa do PROUNI em instituições privadas, seja como substituto do
sistema seletivo em instituições privadas e públicas. Mais recentemente, a lei
12.711/2012, sobre o ingresso nas universidades e institutos federais de ensino médio,
associa obrigatoriamente o ENEM ao acesso nessas instituições21, associação na
verdade iniciada antes, por meio do Sistema de Seleção Unificada – o SISU.
Indo além, é nítido o fortalecimento do ENEM, não só pela crescente adesão dos
estudantes ao mesmo, como por outros aspectos, dentre eles, o fato de que desde 2011,
o ENADE passa a considerar o ENEM como resultado válido para os estudantes
ingressantes dos cursos avaliados, uma mudança bastante expressiva, principalmente
porque os chamados “conhecimentos específicos” deixam de ser avaliados. Ou seja: o
percentis do conceito em correlação com indicadores socioeconômicos e a distribuição de conceitos
por curso, categoria administrativa e organização acadêmica. Além disso, pela primeira vez foram
explicitados os pontos de corte dos conceitos. A partir de 2004 com o ENADE, verificam-se
inovações como a introdução de relatórios por cursos e instituições e a criação do IDD (índice de
diferença de desempenho).
21 A presidente vetou o artigo 2º da Lei 12711, de forma que a nota do ENEM será o principal requisito
de ingresso nas instituições federais, e não o coeficiente de rendimento dos alunos no ensino médio.
102
conhecimento agregado pela instituição será aferido por intermédio da nota do aluno no
ENEM, em comparação com a nota do concluinte no ENADE.
Por outro lado, o fato do SISU se firmar como sistema avaliativo das instituições
públicas, para os estudantes participantes do ENEM, torna prescindível a realização de
vestibulares específicos por instituições, os mesmos que captavam, no momento da
inscrição para o vestibular, os dados socioeconômicos dos candidatos. Algumas
instituições poderão adotar um sistema de captação desses dados no momento da
matrícula; outras, não. Em levantamento preliminar em três instituições federais no
Estado do Rio de Janeiro que utilizam o ENEM como critério total ou parcial de
seleção, encontramos o seguinte resultado: uma aplica questionário no momento da
inscrição dos aprovados na universidade, independente dos dados do ENEM; outra, não
realiza qualquer tipo de levantamento e não solicita informações ao MEC. A terceira
não sabe ainda como procederá, nesse sentido, após aceder à sistemática de seleção
integral pelo ENEM.
Assim, o cenário que se desenha é o do escasseamento de informações e de sua
centralização no MEC/INEP.
3.1 Desafios, problemas e preocupações: integração, confiabilidade e disponibilidade
dos dados
Certamente, qualquer processo de racionalização de obtenção, armazenamento e
divulgação de dados é bem-vindo. Entretanto, devemos atentar para o seguinte: a
hegemonia do ENEM como ferramenta de seleção e de coleta de dados para o ensino
superior eleva o escopo e as responsabilidades do seu banco de dados. Sabemos que
para conseguir se inscrever no ENEM, os candidatos respondem a 22 perguntas
referentes ao perfil socioeconômico. O processo apenas se conclui quando as
questões do questionário são respondidas. Além do grau de escolaridade dos pais, o
questionário inclui perguntas sobre a cor/raça, renda familiar, condições de moradia e os
estudos de nível Fundamental e Médio.
De outro lado, o ENADE conta hoje com um questionário de 54 questões. Do
questionário do ENEM virão informações dos ingressantes; do questionário do ENADE
as informações dos concluintes. A questão passa a ser: esses dois bancos dialogam entre
si de forma eficiente para subsidiar a avaliação de ingresso, permanência e conclusão?
Os dados dos ingressantes (ENEM) estarão disponíveis de forma robusta, amigável e
eficiente para instituições, pesquisadores e sociedade? E quanto aos dados do Censo da
103
educação básica? Da mesma forma, eles dialogam com os do ensino superior de modo a
poder identificar, por exemplo, gargalos entre potenciais estudantes do superior (atuais
ou ex-alunos do ensino médio) e reais estudantes do ensino superior?
Por sua vez, cabe indagar se esses bancos também dialogam com outros bancos
de dados nacionais, como o Censo Demográfico Nacional do IBGE e a PNAD. A
respeito desses últimos, convém destacar um aspecto de divergência: na questão sobre
cor/raça do ENADE, as opções de resposta contrariam a prática consagrada pelo Censo
e pela PNAD. Ao invés de branco, preto, pardo, amarelo e indígena, desde sua primeira
edição o ENADE oferece as opções: branco, negro, pardo, amarelo e indígena. O que
explicaria esse persistente descompasso do MEC/INEP em relação à prática do IBGE?
Indagamos, ainda: informações coletadas nacionalmente – ENEM e ENADE –
são eficientes para acompanhar trajetórias de grupos de alunos? Vale dizer: seria
possível acompanhar o percurso dos alunos A, B, C, D....Z, de um banco a outro?
Existiria uma chave ou número de identificação comum, de forma a prover essa
possibilidade?
A centralização das informações no MEC/INEP exige do sistema algo que, nesse
momento, é alvo de extrema preocupação: seu esgotamento operacional. Apenas a título
de exemplo, no caso da regulação da qualidade do sistema de ensino superior,
o INEP realiza cerca de 5000 visitas de avaliação in loco por ano, o
que dá cerca de 100 por semana. A logística para uma operação desse
porte, em âmbito nacional, a cada dia, assume proporções ciclópicas.
São mais de 400 trechos de passagens aéreas/semana, a serem
agendados, orçados, emitidos e contabilizados. Todavia, para um
sistema com quase 30.000 cursos e 3 mil IES, sem contar com novos
processos de autorização de cursos e de credenciamento de IES, 5 mil
visitas são insuficientes. Isso causa o abarrotamento do sistema de
avaliação e crescente acúmulo de processos. Há cursos com pedido
de reconhecimento aguardando há anos as visitas das comissões
(CASTRO, 2012).
Estamos falando do mesmo sistema, que apenas no tocante às tarefas de
regulação e controle do ensino superior, padece desse congestionamento. É de se prever
a multiplicação de dificuldades técnicas, operacionais e relacionadas a recursos
humanos – com a consolidação do Exame Nacional do Ensino Médio como sistema
avaliativo centralizado de coleta e disponibilização de dados.
104
Conclusão
É prudente reconhecer que não se amplia a oferta de um bem com as
características da educação da mesma forma como se amplia a produção de bens
materiais numa fábrica. No caso específico do ensino superior, não se amplia o número
de matriculados da mesma forma como se amplia uma linha de produção de sapatos ou
carros. Numa fábrica, aumentando os insumos de forma geral, garante-se o aumento da
produção de carros ou sapatos. No caso do ensino superior, embora se possa aumentar o
número de vagas, professores, funcionários e instalações, a ocupação efetiva das vagas
pode não ocorrer, ou não ocorrer da maneira concebida pela política educacional.
Isso se deve ao fato de que os novos estudantes, atores centrais sem os quais
não há que se falar no aumento de matrículas e muito menos na expansão desse nível de
ensino, precisam de um tempo para ajustar-se às mudanças, equipando-se do necessário
para acompanhá-las e absorvê-las. E devido a inúmeros fatores, dentro os quais a
desinformação sobre as novas oportunidades ou a incapacidade das famílias de
prolongar a escolaridade de seus membros, as novas vagas podem ficar ociosas ou
serem abandonadas precocemente.
Materializado esse cenário, a expansão, a permanência e a conclusão
democráticas do acesso ao ensino superior estarão irrevogavelmente comprometidas.
Novamente, o divisor de águas entre o sucesso e o insucesso das políticas públicas nessa
direção está absolutamente conectado a fatores de origem socioeconômica dos
candidatos e estudantes do ensino superior.
Tal circunstância explica a sanção da Lei das Cotas (Lei 12711/2012), que
associa critérios de origem do aluno caracteristicamente alusivos ao desfavorecimento
socioeconômico e cultural: egressos do ensino médio público, renda igual ou inferior a
um salário mínimo e meio e minorias raciais. Da mesma forma, explica o teor das
políticas públicas aqui mencionadas, especialmente o PROUNI e o REUNI.
Entretanto, como sucede com toda política pública, a intenção não define a
eficácia, notadamente em se tratando de tema tão sensível como o acesso ao ensino
superior. Há que se monitorar essas políticas. Para tanto, a concepção, formação e
disponibilização de bancos de dados se tornam condição definitivamente indispensável.
De nada adianta o conceito de reflexividade se sua operacionalização passar ao largo de
instrumentos confiáveis de aferição da realidade.
É o que nos preocupa nesse momento de transição de sistemas de coleta e
armazenamento de dados sobre ensino médio e superior no Brasil, preocupação essa que
105
entendemos deva ser exposta e compartilhada pela comunidade acadêmica e pelo
próprio MEC. Salientamos que nossas preocupações não se configuram, em absoluto,
como crítica ao ENEM ou ao SISU, e sim às decorrências da consolidação do processo,
no sentido aqui trabalhado.
Sem dúvida, o que se deseja é a efetivação de uma expansão democrática do
ensino superior, que contribua para a minoração das desigualdades sociais em nosso
país. Entendemos que essa nova realidade deve ser palpável e demonstrável, ações que
pressupõe não só a adoção de políticas mas, com igual importância, seu monitoramento.
Esse, por sua vez, pressupõe aparelhamento próprio e competente. Esperamos que os
dois propósitos sejam convergentes.
106
Referências
BARBOSA, M. L. de O. Desigualdade e desempenho: uma introdução à sociologia da
escola brasileira. Belo Horizonte: Argumentum, 2009.
BARROS, R. P. de et al. Determinantes do desempenho educacional no Brasil. 2001.
Texto para discussão nº 834. Disponível em:
<http://www.ipea.gov.br/pub/td/2001/td_0834.pdf.>. Acesso em: 29 fev. 2008.
BOURDIEU, P. Futuro de classe e causalidade do provável. In: NOGUEIRA, M. A.,
CATANI, A. Escritos de educação. Petrópolis: Vozes, 2002.
BRASIL. Decreto nº 7.234, de 19 de julho de 2010. Dispõe sobre o Programa Nacional
de Assistência Estudantil - PNAES. Diário oficial da União, Brasília, DF, 20 jul. 1998.
Disponível em: <http://www.planalto.gov.br/ccivil_03/_Ato20072010/2010/Decreto/D7234.htm>. Acesso em: 23 fev. 2012.
CASTRO, M. H. de M. Regulação & qualidade: tensões entre excelência e equidade. In:
ENCONTRO DO GRUPO DE PESQUISA ENSINO SUPERIOR: Expansão,
Diversificação, Democratização, 1., 2012, Belo Horizonte. Anais... Belo Horizonte:
[UFG], 2012.
COSTA, S. Quase crítica: insuficiências da sociologia da modernização reflexiva.
Tempo social, São Paulo, v. 16, n. 2, nov. 2004.
GIDDENS, A. A vida em uma sociedade pós-tradicional. In: BECK, U.; GIDDENS, A.;
LASH, S. Modernização reflexiva. São Paulo: Editora da Universidade Estadual
Paulista, 1997.
KUMAR, K. Da sociedade pós-industrial à pós-moderna: novas teorias sobre o mundo
contemporâneo. Rio de Janeiro: Jorge Zahar Editor, 1997.
MEC/INEP. Relatório Síntese do Exame Nacional de Cursos 2003. 2004. Disponível
em: <http://download.inep.gov.br/ENC_PROVAO/relatorio_sintese.pdf.>. Acesso em:
08 ago. 2012.
______. INEP disponibiliza Microdados. 2007. Disponível em: <
http://www.inep.gov.br/basica/levantamentos/microdados.asp.>. Acesso em: 06 jan.
2009.
MEC/PROUNI. 2012. Disponível em: < http://www.siteprouni.mec.br.>. Acesso em: 18
nov. 2012.
MEC/OBSERVATÓRIO. 2012. Disponível em:
<http://observatoriodaeducacao.gov.br.>. Acesso em: 18 nov. 2012.
MEC/SINOPSES. Sinopses estatísticas. 2012. Disponível em: <
wwww.inep.gov.br/superior/censosuperior/sinopse/.>. Acesso em: 18 nov. 2012.
107
NASCIMENTO, C. M. do. A assistência estudantil e a democratização da permanência
do estudante no ensino superior público. In: CONGRESSO INTERNACIONAL DA
ALAS, 28., Recife. Anais...Recife, PE: UFPE, 2011. Disponível em:
<http://www.alas2011recife.com/>. Acesso em: 25 fev. 2012.
RISTOFF, D. A expansão da educação superior brasileira: tendências e desafios. In:
FERNÁNDEZ LAMARRA, N.; PAULA, M. de F. C. de (Orgs.). La democratización
de la educación superior en América Latina: retos y posibilidades. Buenos Aires:
EDUNTREF, 2011.
SILVA, T. T. O adeus às metanarrativas educacionais. In: SILVA, T. T. (Org.). O
sujeito da educação: estudos foucaultianos. Petrópolis: Vozes, 1994.
VARGAS, H. M. Políticas de permanência na Universidade Federal Fluminense: um
estudo na perspectiva das carreiras e da interiorização. In: PAULA, M. de F. C. de ;
SILVA, M. das G. M. da. (Orgs.). As políticas de democratização da educação superior
nos estados do Rio de Janeiro e de Mato Grosso. Cuiabá: EduUFMT, 2012.
______. Represando e distribuindo distinção: a barragem do ensino superior. 2008.
Tese (Doutorado em Educação)- Pontifícia Universidade Católica do Rio de Janeiro,
Rio de Janeiro, 2008.
108
GESTÃO DO PROCESSO DE AVALIAÇÃO INSTITUCIONAL E DE CURSOS
DE GRADUAÇÃO DA UNIGRANRIO
Mary Neuza Dias Galdino22
Ila Cecilia Falcão Kemp23
Cristina de Mattos Manier24
Marcia Galdino de Araújo Serour25
Resumo
Este artigo relata a experiência de uma universidade com sede na região da baixada
fluminense com a gestão de processos de avaliação da instituição e de seus cursos. Para
gerenciar este processo a Universidade criou uma unidade de gestão, subordinada à Próreitora de Administração Acadêmica, denominada Assessoria de Desenvolvimento
Acadêmico (ADESA), que conta com equipe de especialistas com formação e
experiência em Avaliação Institucional. Para a gestão dos processos avaliativos a
ADESA realiza análises técnicas e ações sistemáticas que buscam potencializar os
aspectos positivos do objeto a ser avaliado e minimizar os possíveis resultados
insuficientes em processos de avaliação externa, promovendo a integração e
participação dos sujeitos envolvidos na formulação de estratégias para alcançar
melhoria de qualidade.
Palavras-chave: Ensino Superior; Avaliação Institucional; Regulação do Ensino
Superior; Gestão Participativa.
Introdução
É notória a preocupação dos dirigentes do país com o tema educação. No que diz
respeito ao ensino superior, percebe-se um cuidado especial na adoção de políticas que
favoreçam a manutenção e a criação de instituições com condições de oferta e qualidade
de ensino para este nível. Nesse panorama o tema Avaliação Institucional ganha
projeção junto às Instituições de Ensino Superior (IES). No entanto, a avaliação
institucional não é uma novidade no cenário educacional, mas só ganhou força na
década de 90, quando foi instituído o Programa de Avaliação das Universidades
Brasileiras (PAIUB), que surgiu com a necessidade de imprimir uma avaliação de
caráter permanente e que somasse o resultado de outras avaliações. Hoje, a avaliação
22 Universidade do Grande Rio “Prof. José de Souza Herdy” – UNIGRANRIO
109
adquiriu novos contornos e está sendo implementada através do Sistema Nacional de
Avaliação da Educação Superior (SINAES), instituído pela Lei 10.861, de 14 de abril
de 2004 (BRASIL, 2004).
O SINAES prevê a avaliação institucional em dois níveis:
A avaliação interna ou autoavaliação, realizada por uma Comissão Própria de
Avaliação (CPA) e a Avaliação Externa, que envolve processos de avaliação para
credenciamento e recredenciamento institucional, autorização, reconhecimento e
renovação de reconhecimento de cursos de graduação, nas modalidades de ensino
presencial e a distancia.
A Universidade do Grande Rio “Prof. José de Souza Herdy” (UNIGRANRIO)
preocupada com o processo avaliativo nos dois níveis, já realizava a autoavaliação,
mesmo antes da homologação da Lei do SINAES. O processo de transformação em
Universidade, iniciado em 1992 e aprovado em 1994, contemplou a avaliação
institucional como garantia das funções de ensino, pesquisa e extensão. No ano de 1996,
a UNIGRANRIO aderiu ao PAIUB e instituiu uma Comissão de Avaliação composta
pelos Diretores de Escola e de Institutos e pelos Pró-Reitores. Em 1998, com o objetivo
de institucionalizar e sistematizar o processo autoavaliativo, instituiu o Núcleo de
Avaliação Institucional responsável por “instruir, no âmbito da Instituição, um sistema
de avaliação geral permanente, como estratégia para a melhoria da qualidade”
(UNIGRANRIO, 2010). Em 2004, com o advento do SINAES foi criada a CPA, que
desde então vem a realizando o processo de autoavaliação que tem como objetivo
contribuir para a melhoria continua da Universidade e a efetividade de seu processo
educacional por meio do rigor metodológico e da participação dos vários segmentos do
corpo social e da comunidade.
O processo de avaliação externa, também, ganhou atenção especial da
Universidade, a partir da conscientização de que era necessária a adoção da prática
diagnóstica permanente dos Projetos Pedagógicos dos cursos de graduação com o
objetivo de mantê-los coerentes com as Diretrizes Curriculares Nacionais (DCN)
emanadas pelo Ministério da Educação (MEC), e de atingir padrões melhores de
qualidade. Além disso, a UNIGRANRIO percebeu que o processo de avaliação externa
envolvia procedimentos que requeriam ações técnicas sistematizadas e criou uma
assessoria específica que ficaria responsável pelo processo de regulação e avaliação da
Instituição, a Assessoria de Desenvolvimento Acadêmico (ADESA).
110
2 O Processo de Avaliação Externa Contemporâneo no Ensino Superior
A utilização de Currículos Mínimos na composição dos desenhos curriculares
dos cursos de graduação, que se revelavam ineficazes e inibiam a inovação e a
diversificação na formação, deu espaço à adoção de referenciais expressos em Diretrizes
Curriculares Nacionais. Essas Diretrizes foram criadas pelo MEC em 1997, a partir da
orientação estabelecida pela Lei de Diretrizes e Bases da Educação (LDB) que defendia
a flexibilização dos desenhos curriculares para garantir uma formação de acordo com as
tendências contemporâneas da carreira profissional e qualidade na etapa inicial de uma
formação continuada.
Parta tanto, foram criadas Comissões de Especialistas de diversas áreas do
conhecimento a fim de contemplar um estudo sobre referenciais mínimos de qualidade
para a oferta de cursos de graduação. Nessa ocasião, complementando esses
referenciais, foram criados Manuais para Avaliação das Condições de Oferta (ACO),
substituídos pelos Manuais de Avaliação das Condições de Ensino (ACE) que serviam
de indicadores para os processos de avaliação externa dos cursos de graduação.
Em 2004, foi instituída a Lei nº 10.861, de 14 de abril de 2004 (BRASIL, 2004)
com o objetivo dar mais clareza e sistematizar o processo de avaliação institucional.
Nesse sentido, o processo de avaliação externa passou a considerar, além das DCNs, os
Instrumentos de Avaliação Externa para cada finalidade. Esses Instrumentos vêm
sofrendo adequações com o objetivo de otimizar e dar mais qualidade aos
procedimentos de avaliação institucional externa.
3 A Adesa: Unidade de Gestão do Processo de Regulação e de Avaliação da
Unigranrio
A Assessoria de Desenvolvimento Acadêmico (ADESA) foi criada no ano de
2002 com o objetivo de proceder às etapas de preparação e realização inerentes à
avaliação interna e externa da UNIGRANRIO. No atual organograma da Instituição se
encontra subordinada à Pró-reitoria de Administração Acadêmica. Compõe a ADESA
equipe de especialistas com formação e experiência em Avaliação Institucional,
seguindo o conceito de que “uma equipe de especialistas que se complementam
mutuamente tem muito mais probabilidade de fazer uma boa avaliação” (WORTHEN;
SANDERS; FITZPATRICK, 2004, p. 180).
No caso da avaliação interna, a ADESA colabora com o fornecimento dos
insumos necessários ao processo de organização e definição das prioridades do processo
111
de autoavaliação, no âmbito da Instituição, através da indicação das previsões de
avaliações externas, bem como dos resultados das avaliações já realizadas que revelam
o nível de suficiência apontado em cada indicador das Dimensões Avaliativas do
instrumento de avaliação utilizado na verificação in loco pelas Comissões Externas do
MEC.
Na avaliação externa, a ADESA exerce papel essencial no suporte técnico aos
processos que envolvem a regulação e avaliação da Universidade e de seus cursos de
graduação.
3.1 Regulação
A ADESA está sempre atenta à legislação vigente e assuntos que envolvem o
ensino superior, especialmente os referentes aos processos de regulação e avaliação, e
realiza estudos e apreciações técnicas sobre os mesmos com o objetivo de manter-se
atualizada, dar suporte e informações aos setores interessados, no âmbito da
Universidade.
A legislação e temas referentes ao ensino superior são analisados e discutidos de
forma criteriosa pela equipe especialista da ADESA e recebe tratamento técnico antes
de ser compartilhado com os setores interessados. Alguns temas merecem pareceres
técnicos em forma de legislação comentada para auxiliar na interpretação e
compreensão dos mesmos. Essa ação contribui para evitar subjetividades de olhares,
comuns em temas não colocados de forma clara, e ajuda na definição de estratégias a
partir da visão de equipe de especialistas.
A partir dessas análises muitas ações são pensadas para adequações nas
diretrizes dos Projetos Pedagógicos dos Cursos de graduação, incluindo estudo de
viabilidade técnica de um curso a ser implementado, ajustes nos componentes de
desenhos curriculares, adequação ou projeção de infraestrutura de pessoal e de
instalações físicas, etc.
Além disso, a ADESA se mantém atenta aos prazos estabelecidos pela Portaria
Normativa nº 40/2007 (BRASIL, 2010), com redação consolidada pela publicação no
Diário Oficial da União de 29/12/2010, para o cadastro e protocolo de informações
112
referentes aos processos regulatórios da Instituição e de seus cursos de graduação, pelos
quais é a responsável enquanto assessoria do Pesquisador Institucional26.
3.2 Avaliação
O processo de avaliação externa requer reflexão e definição de estratégias para
sua realização. Este processo deve prever a flexibilidade necessária a cada realidade
apresentada, considerando as especificidades e necessidades da instituição, de cada
curso e modalidade de ensino a ser avaliada. A ADESA, no processo de avaliação
institucional, exerce função articuladora, a partir de visão crítica do conjunto de
dimensões que integram uma instituição educativa.
O processo de avaliação institucional e de cursos, no ensino superior, requer a
organização de etapas e envolvimento dos sujeitos participantes do processo, de forma
sistematizada e comprometida. A ADESA prevê e participa ativamente dessas etapas e
convoca os sujeitos envolvidos no processo a serem proativos nas suas ações
colaborativas, cada qual no setor que lhe compete.
O processo de avaliação da instituição e de seus cursos começa mesmo antes da
sua criação/existência. É necessário um estudo de viabilidade para a criação de uma
instituição e de cursos a serem ofertados por ela. No entanto, não existe a garantia de
sucesso nesse processo. Este artigo versa sobre a experiência de gestão do processo de
avaliação institucional, que envolve a avaliação da instituição e de seus cursos de
graduação, realizado por um Setor com competência para essa finalidade. Dessa forma,
nesse relato são apresentados elementos que interferem de forma decisiva num processo
avaliativo, buscando minimizar possíveis resultados não satisfatórios.
Segundo Dias Sobrinho e Ristoff:
Certeza não há nos processos de avaliação nem em seus produtos,
como aliás não pode haver nem na própria ciência. Nisso consiste não
sua fragilidade, mas suas possibilidades alargadas. O campo teórico
geral apresenta um verdadeiro emaranhado de enfoque e modelos. As
práticas costumam exigir da avaliação as certezas e garantias que ela
não pode nem lhe compete oferecer. Há também uma tensa
conflitividade que define a avaliação como um campo em disputa,
especialmente nestes últimos anos, em que o “estado avaliador” evolui
para “estado fiscalizador” explicitamente interessado no ajustamento
26
O Pesquisador Institucional é o interlocutor entre o MEC e a IES, responsável pelas informações
inseridas e pelo acompanhamento dos processos no sistema e-MEC.
113
da educação às transformações da economia e aos interesses do
mercado (DIAS SOBRINHO; RISTOFF, 2000, p.8).
Nessa perspectiva, a ADESA adota um planejamento que comtempla a
categorização e execução das diversas etapas que envolvem procedimentos de
diagnóstico e ponderação sobre as potencialidades e fragilidades da Instituição e dos
cursos em suas dimensões gerais, considerando a necessidade de apontar soluções
proativas para saneamento dos pontos desfavoráveis que merecem maior atenção por
parte dos dirigentes e da coordenação do curso, bem como incentivar o realce dos
pontos favoráveis que podem fazer a diferença no resultado de uma verificação in loco
pelo MEC. Essa ação exige disciplina e perseverança na perseguição e cobrança das
soluções apontadas para as melhorias, com vistas a sanar ou minimizar os resultados
insuficientes nos diversos indicadores avaliativos observados pelas Comissões
Avaliadoras externas, do MEC.
As etapas de planejamento que envolve procedimentos relativos à gestão da
regulação e avaliação da Universidade e de seus cursos são cíclicas e de caráter
permanente (Quadro 1) e estabelecem o Ciclo Avaliativo27 do MEC como principal
referencial em seu plano de ação.
Quadro 1 – Etapas do planejamento da gestão das atividades da ADESA considerando os
processos avaliativos da Universidade e de seus cursos de graduação
Etapas
Preliminar
Ações
 Estudo da legislação vigente e temas inerentes o ensino superior.
 Estabelecimento de cronograma para inicio dos procedimentos relativos
ao processo avaliativo da Instituição e de seus cursos de graduação.
 Ciência do Cronograma aos interessados (envolvidos no processo
avaliativo).
 Solicitação de encaminhamento dos Projetos Pedagógicos dos Cursos a
serem protocolados no Sistema e-MEC conforme Ciclo Avaliativo ou
outa situação de regulação (cadastro, autorização, reconhecimento ou
renovação de reconhecimento).
Desenvolvimento
 Análise técnica dos Projetos Pedagógicos dos Cursos
 Confronto da análise técnica com a realidade apresentada no âmbito
institucional, considerando as dimensões avaliativas a serem analisadas
pela Comissão Avaliadora do MEC.
 Divulgação da análise técnica do PPC e definição de estratégias junto
aos interessados para sanar as situações que necessitam de ajustes.
 No Sistema e-MEC, do MEC, são gerenciados os seguintes
procedimentos:
27
De acordo com a Portaria Normativa nº 40/2007, artigo 33, o ciclo avaliativo compreende a realização
periódica de avaliação de instituições e cursos superiores, com referência nas avaliações trienais de
desempenho de estudantes, as quais subsidiam, respectivamente, os atos de recredenciamento e de
renovação de reconhecimento (BRASIL, 2010).
114
Cadastramentos de novos cursos de graduação
Protocolo e acompanhamento de processos (credenciamento,
autorização, reconhecimento e renovação de reconhecimento).
Formulário Eletrônico para a Avaliação in loco.
Confirmação dos insumos para o Índice Geral de Conceitos (IGC)
Acompanhamento da situação financeira dos processos protocolados
com custos.
 Articulação com os sujeitos envolvidos para estabelecer as
responsabilidades na organização para a visita da Comissão Avaliadora.
 Logística para recepção das Comissões de Avaliação do MEC.
 Recepção da Comissão Avaliadora.
 Recebimento e divulgação dos resultados da Avaliação externa aos
interessados, CPA e comunidade acadêmica.
 Análise técnica dos resultados e divulgação das fragilidades e
potencialidades percebidas no Relatório de Avaliação do MEC.
 Encaminhamento de estudos analíticos e estatísticas descritivas de temas
referentes ao ensino superior tratados no âmbito da ADESA.
Conclusiva
No ano de 2012, a ADESA gerenciou os processos de avaliação externa
referentes ao credenciamento institucional para a oferta de EaD, autorização de curso na
modalidade de EaD, reconhecimento de cursos de graduação. A UNIGRANRIO obteve
resultados satisfatórios na totalidade dos processos (Quadro 2).
Quadro 2 – Conceitos finais das Avaliações In Loco, do MEC.
Ato
Credenciamento
Institucional para EaD
Polo de apoio
presencial / curso
-
Credenciamento
para EaD
Polo de apoio
presencial
Autorização para EaD
Administração
Curso Superior de
Tecnologia em
Design Gráfico
Curso Superior de
Tecnologia em
Design de Moda
Curso Superior de
Tecnologia em
Gestão de Recursos
Humanos
Curso Superior de
Reconhecimento de
Curso
(Presencial)
Campus/unidade
Conceito final
UNIGRANRIO
4
Sede
Barra
Carioca
Lapa
Macaé
Magé
Nova Iguaçu
Santa Cruz da Serra
São João de Meriti
Silva Jardim
Duque de Caxias
5
4
5
3
4
5
4
5
5
5
4
Duque de Caxias
4
Duque de Caxias
4
Nova Iguaçu
4
Lapa
4
115
Tecnologia em
Gestão de Recursos
Humanos
Curso Superior de
Tecnologia em
Gestão de Recursos
Humanos
Curso Superior de
Tecnologia em
Gestão de Recursos
Humanos
Curso Superior de
Tecnologia em
Gestão Financeira
Curso Superior de
Tecnologia em
Logística
Curso Superior de
Tecnologia em
Redes de
Computadores
Direito
Medicina
Odontologia
Magé
4
Macaé
3
Duque de Caxias
4
Nova Iguaçu
4
Duque de Caxias
4
Lapa
Barra
Barra
3
4
4
Fonte: Sistema e-MEC, (2012).
Os resultados satisfatórios são fruto do envolvimento e comprometimento dos
segmentos institucionais e do investimento em soluções advindas das estratégias
apresentadas em articulação com a ADESA.
Além disso, a ADESA organiza a logística necessária para a recepção das
Comissões Externas do MEC, para que se sintam confortáveis e encontrem condições
favoráveis para a otimização dos seus trabalhos. Para tanto, além da logística de
transporte, hospedagem, alimentação, a ADESA se preocupa, de posse do Cronograma
de Trabalho enviado antecipadamente pelo Coordenador da Comissão de Avaliação In
Loco, em colocar à disposição toda a documentação institucional comprobatória para
consulta, bem como disponibilizar toda a infraestrutura para visita e verificação. Da
mesma forma, convoca previamente os envolvidos no processo avaliativo para
participarem de entrevistas com os avaliadores, seguindo o Cronograma de Trabalho
sugerido.
Após a publicação do resultado da Avaliação no Sistema e-MEC, a ADESA
realiza análise crítica dos resultados de cada Dimensão Avaliativa, de acordo com o
Instrumento utilizado para avaliação, compartilha e discute esse resultado com os
interessados. Havendo consenso sobre a aplicação de conceito inadequado a algum
116
indicador e o comprometimento do resultado, a ADESA é responsável pela solicitação
de impugnação do Relatório junto ao MEC.
O processo de avaliação é complexo e, nesse sentido, carece da (des)construção
de (pre)conceitos para que seja possível um olhar ampliado sobre as questões que
envolvem esse processo. A equipe de especialistas deve ter o rigor técnico na condução
dos procedimentos de avaliação, mas com sensibilidade para atender as particularidades
de cada curso e respeitar a trajetória e história da instituição avaliada.
3.3 Drive R
A atenção à legislação em vigor e o conhecimento dos insumos institucionais
que levam a um contato mais direto das Unidades de Gestão Acadêmica – Escolas por
área de conhecimento que congregam os cursos de graduação, e respectivas
Coordenações de Curso, com a realidade institucional é possível na UNIGRANRIO.
Com o objetivo de dar acesso à gestão dos cursos de graduação e pós-graduação aos
dados do cadastro institucional, aos resultados das avaliações, aos atos regulatórios da
Universidade, à legislação que envolve a regulação do ensino superior, aos documentos
institucionais consultados no processo de avaliação externa, aos pareceres da ADESA,
aos instrumentos utilizados no processo avaliativo e outros de interesse da Instituição, a
ADESA criou o Drive R em parceria com a Divisão de Tecnologia e Informação (DTI)
da Universidade. O Drive R está disponível em rede na UNIGRANRIO e pode ser
consultado pelos principais interessados – gestores institucionais e de cursos. O Drive R
é atualizado periodicamente pela ADESA que é a única responsável pela alimentação e
manutenção dos dados.
3.4 Gestão Participativa
O envolvimento e o comprometimento dos interessados com os procedimentos
que antecipam uma Avaliação Externa, do MEC, dependem da sensibilização e
motivação para participação no planejamento das ações que culminarão no resultado
dessa avaliação. Nessa perspectiva, a ADESA age como interlocutora dos principais
agentes da avaliação promovendo situações integradoras que evidenciam um processo
participativo.
Para que o trabalho interno da ADESA flua é fundamental que se realize num
modelo de gestão participativa que pressupõe o trabalho colaborativo de sua equipe e
117
resulta no fortalecimento e crescimento do grupo, bem como aumenta as possibilidades
de planejar de forma organizada as suas práticas de modo a interferir na rotina e propor
novos desafios.
4 Considerações Finais
A UNIGRANRIO é uma universidade que tem sede localizada na baixada
fluminense, no Estado do Rio de Janeiro. Possui 7 campi e 4 unidades. Atualmente
conta com 27 mil alunos, matriculados nos 47 cursos de graduação e 724 docentes
cadastrados na base de dados do Censo 2011. Desses 724 docentes, 74% possuem
mestrado e doutorado e 90% estão contratos em regime de trabalho parcial ou integral.
Possui 5 cursos em nível stricto sensu, 1 doutorado e 4 mestrados, além de cursos lato
sensu nas diversas áreas do conhecimento. Desenvolve pesquisas e iniciação científica e
tem uma forte presença comunitária. Sua missão de promover a qualidade de vida, por
meio do processo educacional, a leva para além da sala de aula, numa visão
empreendedora. A UNIGRANRIO sempre ocupou posição de destaque, entre as
instituições particulares, no cenário da educação superior no Estado do Rio de Janeiro.
Essa trajetória vem sendo acompanhada pela ADESA que tem parcela considerável de
contribuição nos resultados de sucesso alcançados pela Instituição. Esses resultados
denotam a qualidade do trabalho que vem sendo desenvolvido pela equipe de
especialistas dessa Assessoria junto aos principais atores da Avaliação Institucional. O
trabalho desenvolvido permite um envolvimento participativo desses atores e dos
segmentos institucionais em prol da melhoria da qualidade dos serviços oferecidos pela
Universidade aos seus alunos e à comunidade, especialmente, a formação profissional e
continuada pelos seus cursos de graduação. A ADESA ocupa posição privilegiada, mas
delicada, ao considerar o compromisso, desde a sua criação, de vencer os desafios de
cada avaliação e de procurar englobá-la numa dimensão prática que seja passível de
compreensão e de entendimento das necessidades básicas para se obter um resultado
favorável. Apesar da autonomia conquistada na condução dos processos de avaliação
que resultam na regulação da Instituição e dos seus cursos, a ADESA encontra,
também, limitações, ao considerar que todo processo avaliativo é composto de várias
visões e deve-se respeitar e ponderar as diversidades que podem se mostrar presentes
em determinados contextos.
118
A ADESA foi instituída pela UNIGRANRIO com a finalidade de contextualizar
possibilidades e conflitos nos processos de avaliação institucional, e propor ações
preventivas ou corretivas para o alcance do resultado positivo junto ao MEC.
119
Referências
BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da
educação nacional. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 23
dez. 1996.
______. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação
da Educação Superior – SINAES e dá outras providências. Diário Oficial [da]
República Federativa do Brasil, Brasília, DF, 15 Abr. 2004.
______. Ministério da Educação. Portaria Normativa nº 40, de 12 de dezembro de 2007.
Institui o e-MEC, sistema eletrônico de fluxo de trabalho e gerenciamento de
informações relativas aos processos de regulação da educação superior no sistema
federal de educação e da outras disposições. Republicada no Diário Oficial [da]
República Federativa do Brasil, Brasília, DF, 29 Dez. 2007.
DIAS SOBRINHO, J.; RISTOFF, D. (Orgs.). Universidade desconstruída: avaliação
institucional e resistência. Florianópolis: Insular, 2000.
UNIGRANRIO. Plano de Desenvolvimento Institucional 2010-2014. Rio de Janeiro,
2010.
WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de programas:
concepções e práticas. Tradução: Dinah de Abreu Azevedo. São Paulo: Gente, 2004.
120
EXPERIÊNCIAS DE META-AVALIAÇÃO NA MARINHA DO BRASIL
Natália Morais Corrêa Borges de Aguiar28
Maria Judith Sucupira da Costa Lins29
Resumo
Este artigo apresenta a evolução das práticas avaliativas adotadas no Sistema de Ensino
Naval (SEN), seu embasamento legal e teórico, além dos estudos realizados sobre a
avaliação do ensino militar em universidades e no âmbito da Marinha do Brasil (MB).
Descrevemos, sucintamente, como a avaliação do ensino na MB é concebida, de forma
a caracterizá-la por sua natureza e identidade institucionais. Relatamos a trajetória dos
estudos realizados sobre a temática da avaliação institucional, bem como o surgimento e
o aperfeiçoamento de sistemáticas de avaliação, por meio de pesquisas acadêmicas,
discussão coletiva e experiências de meta-avaliação. Enfatizamos também a
originalidade da pesquisa em andamento no Curso de Doutorado em Educação e as
razões para a estratégia de intervenção proposta para as novas descobertas e desafios
que se apresentam na meta-avaliação dos procedimentos e práticas avaliativas que
envolvem a avaliação pós-escolar instituída na MB, mais especificamente no SEN.
Palavras-chave: práticas avaliativas; avaliação institucional; meta-avaliação; sistema
de ensino naval.
Introdução
Este artigo trata das experiências de avaliação do ensino e de práticas de metaavaliação realizadas na Marinha do Brasil (MB), em busca de um constante
aperfeiçoamento dos procedimentos avaliativos e das metodologias de avaliação
adotadas no Sistema de Ensino Naval (SEN). Identificamos três experiências de metaavaliação na MB, duas internas, realizadas por pedagoga da própria instituição e a outra,
externa, realizada por uma equipe de Meta-Avaliação da Fundação Cesgranrio.
Inicialmente, cabe contextualizar, de modo sucinto, como o ensino é concebido e
regularizado na MB. Este ensino é regido por lei particular, possui características
próprias e obedece a um processo contínuo e progressivo de educação, atualizado e
aprimorado constantemente, “desde a formação inicial até os níveis mais elevados de
qualificação, visando a prover ao pessoal da Marinha o conhecimento básico,
profissional e militar-naval necessário ao cumprimento de sua missão constitucional”
(BRASIL, 2006).
28
Doutoranda em Educação (UFRJ), Oficial Pedagoga da Marinha do Brasil.
29 Doutora em Educação (UFRJ), Professora Associada da Faculdade de Educação da UFRJ.
121
Cabe ao Comandante da Marinha estabelecer a Política de Ensino da Marinha
(PoEnsM), baixando diretrizes para o órgão de direção setorial responsável pela
supervisão e administração das atividades de ensino relacionadas com o pessoal da
Marinha. Nas disposições gerais da PoEnsM consta a importância do SEN para a MB,
conforme visualizamos abaixo.
O SEN desempenha um papel fundamental para o cumprimento da
missão da Marinha, estabelecida no Plano Estratégico da Marinha
(PEM) - “Preparar e empregar o Poder Naval, a fim de contribuir
para a defesa da Pátria (...)”, prevendo entre suas diretrizes principais
a capacitação do pessoal para o emprego, eficiente e eficaz, do Poder
Naval e para a absorção adequada da constante evolução tecnológica
dos sistemas navais (BRASIL, 2009b, p. 1).
Destacamos três princípios basilares para o ensino na MB, estabelecidos em lei,
que revelam a importância de estudos contínuos sobre as ações avaliativas que
contribuam para o aperfeiçoamento da formação militar, que são: a garantia do padrão
de qualidade; a avaliação integral e contínua; e o efetivo aproveitamento da qualificação
adquirida, em prol da Instituição.
Entendemos que é por meio da avaliação, contínua e integral, que será possível
verificar o efetivo aproveitamento da formação adquirida no SEN, bem como a
qualidade desta. Isso fica evidenciado na PoEnsM, quando define como um dos
objetivos do ensino na MB “avaliar os cursos do SEN de modo a permitir a contínua
melhoria da qualidade do ensino e da capacitação oferecida”.
Nesse sentido, o aperfeiçoamento das práticas avaliativas adotadas na MB é de
extrema importância para o cumprimento das disposições previstas em lei. É preciso
avaliar a avaliação do ensino adotada na instituição militar, ou seja, fazer uso da metaavaliação para melhoria das práticas, processos, métodos e instrumentos avaliativos
vigentes. De acordo com a PoEnsM, a realização de estudos que objetivam aperfeiçoar a
metodologia de avaliação do ensino é incentivada na MB, conforme podemos constatar
na diretriz a seguir.
20. aperfeiçoar, continuamente, a Sistemática de Avaliação do SEN,
de modo a se constituir em um processo de investigação criterioso,
contínuo e dinâmico, a fim de produzir dados que permitam, por meio
de uma visão crítica, constatar a realidade acadêmica das OM do SEN
e, como consequência, promover a melhoria da qualidade da
capacitação oferecida, evitando-se as constantes mudanças na
estrutura e na condução dos cursos por preferências pessoais e/ou
ótica parcial do problema (BRASIL, 2009b).
122
Estudos e aperfeiçoamentos da avaliação do SEN
Os poucos estudos que versam sobre a avaliação do ensino militar, realizados
tanto no meio acadêmico quanto nas próprias instituições militares, são realizados com
uma mesma intenção – assessorar o alto escalão superior quanto ao aperfeiçoamento de
metodologias e processos avaliativos que permitam diagnosticar a qualidade do ensino
ministrado, de modo a permitir contínuos ajustes em prol da melhoria da formação
militar.
Na atual publicação que normatiza a condução da avaliação do SEN essa
preocupação com a qualidade da formação militar fica formalmente evidenciada.
A Avaliação do SEN contempla um trabalho integrado e planejado de
coleta e análise de informações e dados estatísticos, bem como de
difusão de resultados, visando a identificar em que grau tem sido
atendido o propósito de capacitar o pessoal, militar e civil, para o
exercício, na paz e na guerra, dos cargos e funções previstos na
organização da Marinha, em conformidade com o disposto na Lei do
Ensino na Marinha (BRASIL, 2009a, p. 3-1).
Podemos relatar três momentos distintos da avaliação do ensino na MB. Num
primeiro momento, as organizações de ensino utilizavam modelos próprios, elaborados
pelos setores de pedagogia, para avaliar a qualidade do ensino ministrado.
O segundo momento da avaliação do ensino na MB se deu a partir de 1996,
depois da determinação da Diretoria de Ensino da Marinha (DEnsM) de adotar, em
todas as Organizações Militares (OM) de ensino, a “Sistemática de Avaliação do
Sistema de Ensino Naval”, conhecida como SAVSEN. O estudo de Mestrado em
Educação que resultou na criação da sistemática SAVSEN foi realizado na
Universidade Federal do Rio de Janeiro (UFRJ), em 1994, pela pedagoga Márcia de
Lourdes Alves de Oliveira, Oficial da MB naquela época, e teve como objetivo
elaborar e validar uma proposta de sistemática de avaliação contínua
destinada ao Curso de Formação de Marinheiros, ministrado nas
Escolas de Aprendizes Marinheiros. Até então, cada Organização de
Ensino da Marinha avaliava seus cursos de maneira independente,
com instrumentos e critérios diferenciados. Esta metodologia foi
posteriormente adaptada a outras modalidades de cursos, para que
todas as Organizações de Ensino da Marinha utilizassem um modelo
de avaliação único, que englobasse todo o SEN (AGUIAR, 2006, p.
79-80).
123
A metodologia de avaliação SAVSEN foi utilizada pelas OM de ensino durante
quase uma década. Aguiar (2006) explica que a DEnsM
elaborou uma nova
metodologia de avaliação que veio substituir a primeira, após constatar a
Necessidade de alterações na metodologia, processo natural após
alguns anos de sua criação, onde ocorreram sugestões de mudanças e
pequenos ajustes, que ainda não constavam nos documentos
normativos e oficiais sobre avaliação, e visando acompanhar as
mudanças ocorridas no campo da avaliação institucional (AGUIAR,
2006, p. 16).
Esta nova metodologia de avaliação do SEN marca o terceiro momento da
avaliação do ensino na MB. Aguiar (2006), também oficial pedagoga da MB, pesquisou
e analisou durante Curso de Mestrado em Educação, realizado na UFRJ, no período de
2004 a 2006, atendendo uma indicação e uma necessidade apontada pelo próprio
Departamento de Avaliação da DEnsM. Apresentamos abaixo, a relevância da pesquisa,
bem como a motivação profissional de Aguiar (2006).
A oportunidade de realizar o estudo de caso, trazendo as experiências
vividas com a aplicação da metodologia de avaliação anterior, para
analisar comparativamente a metodologia recém-aprovada pelo
Diretor de Ensino da Marinha, bem como oferecer sugestões de
melhoria ao final da pesquisa, desperta o nosso interesse, em função
do envolvimento profissional com o tema, como também o interesse
da própria instituição militar, pois tenciona contribuir para o
aprimoramento da avaliação por ela realizada (AGUIAR, 2006).
Ao comparar as duas metodologias de avaliação utilizadas pela MB, Aguiar
(2006) verificou mudanças e avanços consideráveis no atual método avaliativo. Dentre
elas, podemos citar: a maior abrangência e interligação dos aspectos avaliáveis, com
ênfase na visão ampla da qualidade do ensino oferecido pelas OM do SEN, a busca de
um equilíbrio entre a regulação e a diversidade na avaliação com a construção de
instrumentos avaliativos com dimensões e categorias semelhantes, porém com aspectos
e pesos diferenciados nos indicadores; e a preocupação com a preparação e a
conscientização do pessoal envolvido com a avaliação, procurando mudar a visão
negativa da avaliação, entre outras (Aguiar, 2006, p. 160).
De acordo com Aguiar (2006), o modelo de avaliação institucional adotado pela
MB “abre caminhos para novas discussões sobre o tema da avaliação institucional,
124
ainda pouco explorado no meio acadêmico” e, portanto, a continuidade dos estudos é
incentivada pela autora.
Ao participar da banca examinadora de Aguiar (2006), a Professora Dra.
Thereza Penna Firme recomendou que a MB criasse um movimento de avaliação que
visasse preparar o seu pessoal para avaliar. Naquela oportunidade, Penna Firme alertou
que “o avaliador não deve perder de vista, ao fazer uma pesquisa avaliativa ou uma
avaliação, a necessidade de se verificar até que ponto a pesquisa/avaliação foi útil,
viável, precisa e ética/legal” (Aguiar, 2006, p. 157).
De forma a contribuir para o aperfeiçoamento da metodologia de avaliação,
instituída pela publicação DEnsM-2001, Aguiar (2006) apresenta sugestões de
aprimoramento dos instrumentos avaliativos utilizados na MB e explica que não teve a
pretensão de esgotar o tema durante o seu estudo, mas de “contribuir para o
amadurecimento de questões relativas ao tema avaliação, bem como fornecer elementos
para discussão de possíveis mudanças no modelo de avaliação”.
Em 2007, a DEnsM realiza a primeira revisão da publicação DEnsM-2001, após
análise das sugestões encaminhadas pelas OM usuárias do Manual de Avaliação do
SEN, bem como as registradas no trabalho de Aguiar (2006).
Cabe destacar que a Diretoria de Ensino da Marinha oportunizou
momentos de diálogo durante a elaboração do instrumento de
avaliação, solicitando a colaboração dos interessados e, também, de
negociação, na medida em que as OM de Ensino podem sugerir
mudanças na metodologia, buscando seu aperfeiçoamento. Isto irá
proporcionar e subsidiar um movimento de meta-avaliação,
viabilizando discussões de práticas avaliativas flexíveis e
transformadoras (AGUIAR, 2006, p. 163).
No âmbito da própria MB, os estudos sobre a temática da avaliação do ensino
continuaram. No ano de 2007, foi apresentada uma monografia intitulada “A avaliação
como instrumento útil para o Sistema de Ensino Naval” pela pedagoga Cassia Sant´anna
da Silva Dias, Oficial da Marinha, servindo à época no Departamento de Avaliação da
DEnsM, como requisito parcial para a conclusão do Curso Superior, realizado na Escola
de Guerra Naval (EGN).
O objetivo do estudo realizado por Dias (2007) foi apresentar a avaliação “como
um instrumento útil, capaz de contribuir para o aprimoramento da gestão do ensino no
Sistema de Ensino Naval”. A autora reconhece o potencial da avaliação, mas alerta que
125
seus processos são desafiadores. No ano de 2007, a nova metodologia de avaliação do
SEN encontrava-se em seu segundo ano de implementação nas OM de ensino da MB.
A avaliação institucional poderá impulsionar melhorias e contribuir para o
crescimento constante da instituição, desde que todas as facetas do processo avaliativo
sejam estudadas, monitoradas e bem conduzidas por todos os envolvidos. É preciso
acreditar no potencial da avaliação.
No ano de 2010, Fonseca, oficial pedagoga da MB, desenvolveu um estudo de
caso, no Centro de Instrução Almirante Alexandrino (CIAA), sobre a Avaliação PósEscolar e reformulação curricular nos cursos de aperfeiçoamento de praças ministrados
na instituição de ensino, como requisito parcial para a conclusão do Curso Superior,
realizado na EGN. Enfatizando a relação direta entre currículo e avaliação, constante
nas publicações que regulam a metodologia de avaliação do SEN, Fonseca (2010) tem
como objetivo verificar em que medida os dados coletados pela dimensão Pós-Escolar
têm contribuído no processo de reformulação dos currículos dos cursos. Os resultados
do estudo apontam que as sugestões de inclusão de conteúdos nos currículos dos cursos
avaliados, constantes nos Relatórios de Avaliação Pós-Escolar, ainda são pequenas. Esta
autora verifica que há uma
Prática de reformulação curricular mais influenciada pelo avanço da
tecnologia, pelas necessidades das Diretorias Especializadas e por
aspectos detectados pela própria escola responsável pela condução do
curso, do que por subsídios oriundos da avaliação pós-escolar
(FONSECA, 2010, p.18).
Três momentos de meta-avaliação na Marinha do Brasil
Identificamos três experiências de meta-avaliação na MB, duas internas e uma
externa. A primeira experiência, interna, foi realizada por Aguiar (2010), durante
pesquisa no Curso Superior da EGN. A referida autora, pedagoga da instituição desde
1994, desenvolve um estudo de caso no Centro de Instrução Almirante Sylvio de
Camargo (CIASC) para verificar as contribuições da metodologia de avaliação do SEN
e faz uma análise comparativa dos resultados da avaliação do Centro de Instrução dos
anos de 2007 a 2009.
A relevância do estudo está na possibilidade da Marinha, mais
especificamente a DEnsM e o CPesFN, como órgãos supervisores do
ensino, realizar a meta-avaliação, defendida por Penna Firme e
Letichevsky (2002), avaliando a contribuição da avaliação
normatizada pela DEnsM, verificando sua utilidade para a melhoria do
126
ensino, ao analisar a evolução dos resultados alcançados
historicamente pelo Centro Instrução supracitado, avançando na
questão da avaliação contínua e contribuindo para o aperfeiçoamento
e a melhoria da formação de seu pessoal (AGUIAR, 2010, p. 7).
Na intenção de realizar a meta-avaliação, Aguiar (2010) delimita o foco de
estudo, de acordo com o tempo disponível para realizar a pesquisa. Dos quatro padrões
estabelecidos pelo Joint Committee (1994 apud YARBROUGH et al, 2011) para julgar
uma avaliação de qualidade, foi escolhida a categoria utilidade, no intuito de verificar se
a aplicação da metodologia de avaliação do SEN, por um período amostral de três anos,
contribuiu para a melhoria do ensino no CIASC. Os critérios ou padrões de excelência
de uma avaliação - utilidade, viabilidade, ética e precisão - são universalmente
definidos por um grupo de especialistas e profissionais de competência reconhecida
internacionalmente, o Joint Committee (1994 apud YARBROUGH et al, 2011).
A análise comparativa demonstrou uma evolução dos resultados alcançados pelo
CIASC. Ao avaliar a própria avaliação que se realiza, verificando seu mérito e
relevância, Aguiar (2010) constata que a metodologia de avaliação contribuiu para “a
melhoria da qualidade do ensino no CIASC, sendo uma ferramenta útil e eficaz na
busca contínua por padrões de excelência no ensino, cumprindo o propósito para o qual
foi criada” (Aguiar, 2010, p. 22).
Ressaltamos, entretanto, que é preciso aperfeiçoar continuamente os
procedimentos e instrumentos avaliativos em busca de uma avaliação de qualidade e
verificar até que ponto foram alcançados os demais padrões, viabilidade, ética e
precisão. Instrumentos avaliativos inadequados podem gerar informações não
fidedignas ou inválidas, colocando todo o empreendimento avaliativo em risco.
Para que os resultados obtidos por intermédio de instrumentos
avaliativos atuem de forma impactante para as ações em busca de
melhorias, exige-se cuidado e, especialmente, uma preocupação
permanente com a sua qualidade (DIAS, 2007).
A Meta-avaliação Externa foi conduzida pela Equipe de Meta-avaliação da
Fundação CESGRANRIO no ano de 2010, em parceria com a DEnsM. As partes
envolvidas definiram e delimitaram a missão de avaliar a avaliação externa, com o
objetivo de julgar a qualidade desse processo de avaliação.
A Equipe de Meta-avaliação do CESGRANRIO foi coordenada pela Professora
Dra. Thereza Penna Firme e contou com a participação de mais seis membros. Os
127
especialistas do CESGRANRIO destacam que “a finalidade da Meta-avaliação é ajudar
a avaliação a realizar o seu potencial” (FUNDAÇÃO CESGRANRIO, 2011, p. 13). A
MB foi elogiada por ter permitido que uma instituição civil realizasse a meta-avaliação
em duas organizações de ensino militar, pertencentes à Força.
Vale, portanto, ressaltar e louvar a iniciativa da Marinha em submeter
sua ação avaliativa do Ensino à apreciação de especialistas da área, no
caso a Fundação CESGRANRIO, uma vez que ainda é raro constatar
que a Meta-Avaliação é procedimento indispensável e de rotina nas
organizações, nos cursos e programas de desenvolvimento, nas
diversas áreas de conhecimento e formação (FUNDAÇÃO
CESGRANRIO, 2011, p. 12-13).
O relatório do CESGRANRIO explicita a questão avaliativa norteadora da metaavaliação, que consistiu em indagar “até que ponto a metodologia de avaliação externa
do Ensino da Marinha atende aos padrões de uma avaliação de qualidade?”
(FUNDAÇÃO CESGRANRIO, 2011, p. 6). A forma de conduzir a meta-avaliação
também é clarificada, como podemos ver abaixo.
É a luz dos padrões de uma avaliação de qualidade – utilidade,
viabilidade, ética e precisão – e considerando os componentes
específicos de cada um desses padrões, que a presente meta-avaliação
chega a sua conclusão aqui resumida. Especificamente, entende-se por
meta-avaliação, a avaliação da própria avaliação para julgar sua
qualidade (FUNDAÇÃO CESGRANRIO, 2011, p. 6, grifo do autor).
A escolha dos parâmetros da meta-avaliação é justificada pelos especialistas do
CESGRANRIO, que acrescentam que “esses padrões, em constante revisão até o
presente tem sido a diretriz mais eloquente para se julgar a qualidade de uma avaliação”
(FUNDAÇÃO CESGRANRIO, 2011, p. 14).
Os quatro grandes atributos acima englobam trinta critérios, conforme definidos
por Worthen, Sanders e Fitzpatrick (2004). Estes critérios auxiliam no estabelecimento
de um juízo de valor sobre a qualidade da avaliação. Ter clareza dos critérios avaliativos
é um passo importante para o sucesso de um programa. Não só os avaliadores devem ter
o conhecimento do que se espera de uma avaliação de qualidade, mas também aqueles
que são seus usuários e, ao mesmo tempo, atingidos pelos resultados da avaliação.
Para uma avaliação, não é suficiente a construção de instrumentos de
coleta de dados ou de uma esmerada organização de registros, com
gráficos e tabelas. Fundamental é dispor critérios analíticos bem
128
estabelecidos, que permitam compreender o que os dados significam,
o que está se passando na instituição de forma contextualizada e para
onde ela caminha. Entende-se por avaliação institucional um processo
sistemático de análise de uma atividade ou instituição, que permite
compreender, todas as dimensões e implicações, com vistas a
estimular o aprimoramento (DIAS, 2007).
Os resultados da pesquisa avaliativa conduzida pela equipe de Meta-avaliação
do CESGRANRIO atestam que “a avaliação externa do Ensino Naval atende aos
padrões de qualidade” (FUNDAÇÃO CESGRANRIO, 2011, p. 28). Para cada padrão,
foram apresentados comentários e sugestões de melhoria.
Quanto ao padrão Utilidade, que assegura que “uma avaliação atenda às
necessidade de informação prática de determinadas clientelas dos usuários visados”
(FUNDAÇÃO CESGRANRIO, 2011, p. 20), a equipe considerou que há margem para
seu aperfeiçoamento, especialmente, na “ampliação do escopo da avaliação atingindo a
verificação da excelência no desempenho do profissional, por meio de procedimentos
que propiciem a fidedignidade dos dados coletados na dimensão pós-escolar”
O padrão Viabilidade, que “pretende assegurar que uma avaliação seja realística,
prudente, diplomática e simples” (FUNDAÇÃO CESGRANRIO, 2011, p. 22), foi
considerado alcançado. Porém, para seu aperfeiçoamento, foi sugerido que o Roteiro de
Avaliação (RotA), instrumento de coleta e registro, fosse revisto, “enfatizando mais o
significado dos conceitos do que os valores numéricos atribuídos” (FUNDAÇÃO
CESGRANRIO, 2011, p. 23). No padrão específico “V1 – Procedimentos Práticos”, foi
recomendado que “o instrumento de coleta de dados e registro poderia ser simplificado
para tornar sua aplicação mais prática” (FUNDAÇÃO CESGRANRIO, 2011, p. 22).
Em atendimento ao recomendado pela Equipe de Meta-avaliação, a DEnsM realizou,
em 2011, um estudo para revisão de todos os RotA das OM de ensino do SEN.
O relatório do CESGRANRIO explica que o padrão Ética assegura que “uma
avaliação seja realizada legalmente e eticamente com devido respeito ao bem estar dos
envolvidos na avaliação, bem como daqueles afetados pelos seus resultados”
(FUNDAÇÃO CESGRANRIO, 2011, p. 23). Apesar de ter sido considerado como
alcançado, os especialistas recomendam para o padrão em questão o contínuo
aperfeiçoamento “especialmente no que se refere a um processo de capacitação dos
envolvidos em avaliação, para reafirmar uma atitude apreciativa no julgamento do
129
mérito e da relevância do foco da avaliação” (FUNDAÇÃO CESGRANRIO, 2011, p.
25).
De acordo com o relatório do CESGRANRIO, o padrão Precisão também foi
alcançado. Foi registrado que este padrão assegura “que a avaliação revele e transmita,
teoricamente, informações adequadas sobre as características que determinam a
relevância ou o mérito do programa que esteja sendo avaliado” (FUNDAÇÃO
CESGRANRIO, 2011, p. 25).
No intuito de aperfeiçoar o padrão supracitado, a referida meta-avaliação
recomendou a “reformulação dos critérios de natureza qualitativa no processo
avaliativo, o que repercute na revisão estrutural do RotA simplificando sua formatação e
dando maior transparência e significado aos resultados” (FUNDAÇÃO CESGRANRIO,
2011, p. 28). Como forma de enfatizar mais os aspectos qualitativos da avaliação, foram
inseridos no RotA, itens que exigem entrevistas com discentes e docentes para o
diagnóstico do nível de satisfação destes com o curso realizado ou que ministra na OM
de ensino avaliada.
Nas conclusões da Meta-avaliação realizada pelo CESGRANRIO, a equipe de
especialistas registra que “a avaliação externa do Ensino Naval atende aos padrões de
qualidade”. Entretanto, o relatório incentiva outros olhares sobre o objeto de estudo
porque “sempre resta, no escopo da avaliação, um espaço para outras interpretações que
possam contribuir à melhor e mais nítida percepção da realidade” (FUNDAÇÃO
CESGRANRIO, 2011, p. 13). Desta forma, dar prosseguimento a processos de metaavaliação para garantir a qualidade das avaliações consta como uma das recomendações
conclusivas da Meta-avaliação realizada pela Fundação CESGRANRIO.
Perseguir a construção de uma avaliação útil, viável, ética e precisa é o desafio
que nos move. Avaliar com qualidade uma instituição, um programa, um curso, não é
uma tarefa simples, pois sabemos que vários fatores interferem no processo avaliativo.
Por isso, é preciso ter princípios técnicos para orientar tal prática. De acordo com
Chianca (2001), “qualquer profissão contém princípios orientadores técnicos e/ou éticos
que visam garantir que o resultado proveniente de sua prática seja da maior qualidade
possível”.
No relatório da Equipe de Meta-avaliação, para cada padrão de qualidade
alcançado, foram sugeridos aperfeiçoamentos, que podemos chamar de potenciais de
crescimento. Os padrões Utilidade e Ética trazem como potenciais de crescimento as
questões que são aprofundadas na pesquisa de Doutorado que está sendo desenvolvida
130
por Aguiar, sob a orientação de Lins. Esta pesquisa se traduz na terceira experiência de
meta-avaliação desenvolvida na MB. Ela é uma meta-avaliação interna porque se dá na
própria instituição com os elementos envolvidos na condução da avaliação do processo
ensino-aprendizagem, etapa conhecida no SEN como Avaliação Pós-escolar.
As questões de estudo se referem “a verificação da excelência no desempenho
do profissional, por meio de procedimentos que propiciem a fidedignidade dos dados
coletados na dimensão pós-escolar” (FUNDAÇÃO CESGRANRIO, 2011, p. 22) e “a
um processo de capacitação dos envolvidos em avaliação, para reafirmar uma atitude
apreciativa no julgamento do mérito e da relevância do foco da avaliação”
A questão da utilidade dos processos avaliativos conduzidos durante os períodos
de estágio das praças formadas e dos dados coletados na condução da avaliação pósescolar foi pesquisada. O problema inicial consiste da análise das contribuições da
avaliação pós-escolar para as revisões curriculares dos cursos conduzidos em dois
Centros de Instrução da MB, ambos do Corpo de Fuzileiros Navais (CFN), responsáveis
pela formação de todos os oficiais e praças fuzileiros navais.
Nossa preocupação foi, então, investigar nas OM de ensino do CFN, junto às
responsáveis pelas análises pedagógicas dos currículos dos cursos, se as informações e
avaliações realizadas pelas OM que recebem os estagiários têm contribuído para a
revisão e o aperfeiçoamento dos currículos e da formação propriamente dita.
A metodologia escolhida para a pesquisa foi o estudo de caso, com momentos de
pesquisa-ação. Ao pesquisar sobre a condução da avaliação pós-escolar e de como as
OM de ensino coordenam a avaliação dos estágios de militares que concluem os cursos,
vimos que uma série de procedimentos estão previstos e que há, ainda, dificuldades de
recebimento dos dados por meio dos documentos oficiais, além de ser observada a falta
de preenchimento de todos os campos e aspectos da avaliação nos modelos instituídos.
Verificamos que ainda não há uma estreita relação entre a aferição da qualidade
da formação, por meio da avaliação pós-escolar, com as revisões curriculares dos cursos
avaliados, apesar das publicações que tratam do assunto reforçarem esta relação,
conforme vemos abaixo.
O processo de revisão curricular tanto pode ter origem nas próprias
Organizações Militares responsáveis pela condução dos cursos, em
decorrência das observações e informações obtidas por intermédio da
aplicação da Sistemática de Avaliação dos Cursos do Sistema de
131
Ensino Naval, como nos diferentes setores da Marinha, em virtude da
aquisição, incorporação, modernização ou quaisquer alterações nos
meios, sistemas e equipamentos empregados. O mais importante,
entretanto, é que qualquer alteração proposta esteja fundamentada em
dados concretos e não em opiniões pessoais (BRASIL, 2000, p. 10).
Depois de diagnosticada a situação-problema, elaboramos uma ação planejada
que visa contribuir e apontar caminhos para a melhoria dos processos que envolvem a
avaliação pós-escolar, prevista na metodologia de avaliação do SEN. O aumento do
envolvimento e comprometimento dos participantes do processo avaliativo foi citado
para oportunizar o esperado feedback da qualidade da formação, bem como a
necessidade de se buscar a instalação de uma “cultura de avaliação” defendida por
Ristoff (1996, p. 52-53). Este autor descreve “cultura de avaliação” como "um conjunto
de valores acadêmicos, atitudes e formas coletivas de conduta que tornem o ato
avaliativo parte integrante do exercício diuturno de nossas funções". Para isso, Ristoff
(1996) alerta que é necessária a participação intensa de seus membros, tanto nos
procedimentos e na implementação, como na utilização dos resultados.
Na meta-avaliação realizada na MB, resgatando a ação recomendada pela
Fundação CESGRANRIO, para a dimensão ética, apresentamos uma tentativa de
implementar “um processo de capacitação dos envolvidos em avaliação, para reafirmar
uma atitude apreciativa no julgamento do mérito e da relevância do foco da avaliação”
(FUNDAÇÃO CESGRANRIO, 2011, p. 25) ao elaborarmos e conduzirmos um
treinamento experimental para oficiais coordenadores de bancas avaliadoras de estágio.
Defendemos o argumento de que, ao oferecer um treinamento para uma equipe
de avaliação, aproximamos os participantes do programa, damos ciência dos benefícios
de uma verdadeira avaliação, facilitamos a compreensão das finalidades da avaliação e
asseguramos a adequada aplicação da metodologia de avaliação nos diversos setores em
que a avaliação ocorre.
Entendemos que os encontros com os participantes da avaliação pós-escolar,
previstos como dias letivos do treinamento, são propícios para discussões coletivas e o
amadurecimento dos pontos em que o processo avaliativo precisa melhorar.
Acreditamos que para se criar uma “cultura de avaliação” é preciso que todos acreditem
no potencial da avaliação e contribuam para o sucesso do empreendimento avaliativo
proposto.
A intervenção feita, por meio da pesquisa-ação, tem como propósito o
aperfeiçoamento da avaliação do processo ensino-aprendizagem. Depois da capacitação
132
dos participantes do treinamento, realizamos a meta-avaliação das práticas avaliativas
presentes na Dimensão “Pós-Escolar”, utilizando os critérios do o Joint Committee
(1994 apud YARBROUGH et al, 2011) para julgar uma avaliação de qualidade. Os
resultados do treinamento e da meta-avaliação, as análises e sugestões de melhoria fruto
destas ações, bem como as considerações sobre a pesquisa-ação estão em fase de
conclusão no Curso de Doutorado em Educação, realizado na UFRJ.
Neste artigo procuramos descrever a evolução das práticas avaliativas adotadas
no SEN e reunir os estudos realizados sobre a avaliação do ensino, tanto no âmbito da
MB, como no meio acadêmico. Verificamos uma grande preocupação em avaliar
adequadamente o ensino conduzido nas OM de ensino, de modo a diagnosticar a
qualidade da formação dos militares cursados. Para isso, a metodologia de avaliação
adotada no SEN está em constante aperfeiçoamento e os estudos realizados por
pedagogas da instituição têm contribuído para isso.
Verificamos que a meta-avaliação tem sido um caminho para a MB na busca do
aperfeiçoamento da metodologia de avaliação e dos processos avaliativos por ela
instituídos. A ação recomendada pela Professora Dra Penna Firme, em 2006, de se
verificar até que ponto a avaliação que se pratica na MB é útil, viável, precisa e
ética/legal tem sido considerada nos estudos meta-avaliativos desenvolvidos.
Três experiências de meta-avaliação na MB foram relacionadas. Dois estudos de
meta-avaliação interna, realizados por Aguiar, e um estudo de meta-avaliação externa,
conduzido pela Fundação CESGRANRIO, em parceria com a DEnsM.
A pesquisa em andamento no Curso de Doutorado em Educação da UFRJ, de
autoria de Aguiar, revela uma estratégia de intervenção para melhoria dos processos
avaliativos da Dimensão “Pós-escolar”, de modo a “criar uma cultura de avaliação” na
MB. O propósito da intervenção é capacitar avaliadores para que se tornem
multiplicadores e divulgadores da importância da avaliação e busquem no exercício de
suas funções avaliativas os padrões estabelecidos para a condução de uma avaliação de
qualidade.
133
Referências
AGUIAR, N. M. C. B. Analisando um modelo de avaliação: um estudo de caso no
Sistema de Ensino Naval. 2006. 178 f. Dissertação (Mestrado em Educação)–Faculdade
de Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006.
______. A Metodologia de Avaliação do Sistema de Ensino Naval: uma análise
comparativa dos resultados alcançados em três anos de aplicação da DEnsM-2001 no
Centro de Instrução Almirante Sylvio de Camargo. 2010. 24 f. Monografia
(Graduação)-Escola de Guerra Naval. Marinha do Brasil, Rio de Janeiro, 2010.
BRASIL. Diretoria-Geral de Pessoal Militar. DGPM-101. Normas para os cursos e
estágios do Sistema de Ensino Naval (SEN). 6. Ed. rev. Marinha do Brasil: Rio de
Janeiro, 2009a.
______. Marinha do Brasil. Lei nº 11.279, de 09 de fevereiro de 2006. Dispõe sobre o
ensino na Marinha. Casa Civil. Diário Oficial [da] Republica Federativa do Brasil,
Brasília, DF, 2006.
______. Portaria n. 241, de 27 de novembro de 2000. Aprova a metodologia para
elaboração e revisão de currículos de cursos do Sistema de Ensino Naval. Diário Oficial
[da] Republica Federativa do Brasil, Rio de Janeiro: Marinha do Brasil, 2000.
______. Portaria nº 431, Marinha do Brasil, de 8 de dezembro de 2009. Aprova a
Política de Ensino da Marinha. Ministério da Defesa, Diário Oficial [da] Republica
Federativa do Brasil, Brasília, DF, 2009b.
CHIANCA, T. Avaliando programas sociais: conceitos, princípios e práticas. In:
CHIANCA, T.; MARINO, E.; SCHIESARI, L.(Orgs.). Desenvolvendo a cultura de
Avaliação em Organizações da Sociedade Civil. São Paulo: Global, 2001.
DIAS, C. S. S. A avaliação como instrumento útil para o Sistema de Ensino Naval.
2007. Monografia (Graduação)–Escola de Guerra Naval, Marinha do Brasil, Rio de
Janeiro, 2007.
FONSECA, M. V. R. Avaliação Pós-Escolar e reformulação curricular nos cursos de
aperfeiçoamento de praças: um estudo de caso no Centro de Instrução Almirante
Alexandrino. 2010. 39 f. Monografia (Graduação)-Escola de Guerra Naval. Marinha do
Brasil, Rio de Janeiro, 2010.
FUNDAÇÃO CESGRANRIO. Relatório de Meta-Avaliação: validação da metodologia
de avaliação do Sistema de Ensino Naval. Rio de Janeiro, 2011. 30p.
RISTOFF, D. I. Princípios do Programa de Avaliação Institucional. Avaliação: Revista
de Avaliação Institucional das Instituições de Ensino Superior, [S.l.], n. 1, p. 47 – 68,
1996.
YARBROUGH, D. B. et. al. The program evaluation standards: a guide for evaluators
and evaluation users. 3. ed. Califórnia: Sage, 2011.
134
WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de Programas:
concepções e práticas. Tradução de Dinah de Abreu Azevedo. São Paulo: Gente, 2004.
135
FORMAÇÃO DE PROFESSORES: o estudo de competências e habilidades como
pressuposto para a melhoria da formação profissional de educadores
Nilza Magalhães Macário30
Lígia Gomes Elliot31
Lucí Hildenbrand32
Angela M. da Silva Campos33
Resumo
O estudo identificou competências e habilidades não adquiridas por egressos dos Cursos
de Pedagogia e Letras, da Faculdade de Filosofia, Ciências e Letras Dom Bosco, a partir
da percepção de professores formadores. Trabalhos institucionais anteriores, revisão de
literatura referente à competências e habilidades, formação de professores e avaliação
de egressos subsidiaram a presente avaliação, sinalizando especialmente para que estas
formações atentem às competências profissionais emergentes. A relevância do estudo
está no fato de abrir opções de ação dos professores formadores junto a formandos e
egressos dos dois Cursos, tendo em vista alcançar maior sintonia entre a formação
destes (futuros) profissionais e as competências e habilidades emergentes.
Palavras chave: Avaliação de Egressos. Competências e Habilidades. Professores
Formadores.
Introdução
A formação de professores no contexto da Universidade
Num
mundo
em
que
os
recursos
cognitivos,
enquanto
fatores
de
desenvolvimento, tornam - se mais relevantes que os recursos materiais, falar no papel
da universidade requer buscar em seus próprios percursos e modelos as respostas que
ela tem dado à sociedade ao longo de sua existência.
A complexidade e a variedade dos sistemas de ensino superior conhecidos na
atualidade revelam que as universidades, por meio do conjunto das funções tradicionais
que exercem, enquanto contribuem para o aprimoramento do saber e progresso – a partir
da pesquisa inovação, do ensino e formação, da educação continuada, da cooperação
internacional, entre outros –, marcam seu papel social e importância política no cenário
do desenvolvimento sustentável e humano.
30
Associação Educacional Dom Bosco, [email protected]
Fundação Cesgranrio, [email protected]
32 Fundação Cesgranrio, [email protected]
33 Associação Educacional Dom Bosco, [email protected]
31
136
Como lugar que é fonte do saber, onde os homens aprendem a aprender, a
universidade é cada vez mais desafiada a satisfazer as necessidades de um público
numeroso e diversificado quanto aos seus interesses, necessidades, aptidões,
habilidades. Assim precisa contar com a formação de seus professores em nível de
excelência, pois o trabalho que realizam, por meio do ensino, da pesquisa e da extensão,
é decisivo para o estabelecimento das trocas que estabelece com o contexto social em
que ela se insere e/ou alcança.
As exigências das competências profissionais impõem às instituições de ensino
superior não só atribuições particulares que lhes são procedentes, mas outras
suficientemente amplas, que requerem, ante a multiplicidade de relações do mundo
moderno, a busca de valores comuns capazes de servirem à “solidariedade intelectual e
moral da humanidade” (DELORS, 2001, p. 140).
Por estar sintonizada com estas bases ético-morais emergentes, a Faculdade de
Filosofia Ciências e Letras Dom Bosco, mantida pela Associação Educacional Dom
Bosco (AEDB), situada no Município de Resende, Estado do Rio de Janeiro, Brasil,
redefine seu trabalho continuado de avaliação de egressos de cursos de formação de
professores para melhor posicionar-se frente às necessidades do novo tempo. Para tal,
coloca o estudo das competências e habilidades adquiridas e não adquiridas por egressos
como escopo de suas reflexões, trazendo, por meio de seus trabalhos, a solidariedade
intelectual e moral dos professores formadores e dos formandos para o centro de suas
atenções e decisões à maneira do que reflete o presente estudo.
Objetivo e Justificativa
O presente estudo buscou conhecer a percepção de professores formadores dos
Cursos de Pedagogia e Letras quanto às competências e habilidades não adquiridas por
seus egressos.
Para a AEDB, a formação de qualidade de professores pressupõe uma atenção
refinada às competências e habilidades que graduandos adquirem, ou não, ao longo de
suas formações. Entende também que ante a responsabilidade que cabe à Universidade,
na formação de professores, o alcance do objetivo deste estudo avaliativo antecede o
estabelecimento de ações inovadoras, nos campos do ensino, pesquisa e extensão,
capazes de contribuir para superação das possíveis dificuldades. Neste sentido, assume
que professores formadores têm contribuições especiais a fornecer às instituições
137
formadoras uma vez que eles acompanham toda a trajetória da vida acadêmica de seus
alunos nos contextos a que remetem as atividades que estes realizam.
Com base neste entendimento, justifica-se o presente estudo, que dará a AEDB,
ao assumir a avaliação processada pelos professores formadores, a oportunidade de
implementar, proximamente, medidas concretas e inovadoras capazes de favorecer tanto
a melhoria da prática profissional de seus ex-alunos quanto à elevação da qualidade de
seus cursos.
Revisão Teórica
 Egressos
Na década de 1990, a AEDB institucionalizou uma linha permanente de estudos
e análises sobre o perfil do egresso. Com os resultados obtidos nestes trabalhos, a
Instituição tem buscado estreitar coerência entre os objetivos dos cursos que oferece e a
política expressa em documentos oficiais (PDI, PPI, PPC e outros). Assim, a partir de
metodologias particulares têm criado e fomentado mecanismos de informação,
acompanhamento e avaliação dos cursos, com o intuito de estabelecer não só programas
e ações educativas adequadas à interação egresso/ faculdade/ sociedade, mas também de
subsidiar políticas de educação oportunas para o município de Resende e região.
 O sentido da competência na formação de formadores
O sentido que o professor formador atribui à competência adquirida, ou não, por
ele ou por seu aluno – também um futuro formador de gerações – expressa o conjunto
de ideias, conhecimentos e representações que construiu em torno daquilo que é o
“verdadeiro desafio” de sua profissão (PERRENOUD, 2002, p. 181).
O desenvolvimento de competências e, por conseguinte, o das habilidades por
elas abarcadas, não é algo distanciado da realidade, pois pressupõe tanto a análise da
prática vivida no âmbito da docência quanto a análise reflexiva dos problemas concretos
que permeiam e complexificam a vida profissional cotidiana.
O hábito de virar as páginas do conhecimento, com rapidez e desatenção, carece
ser superada entre os que se tornam formadores de formadores. Para esta opção de
encaminhamento profissional, um novo desafio se estabelece: é preciso aprender a fazer
o que não se sabe fazer e tal aprendizagem deve dar-se na prática. Do formador de
formadores, especialmente, exige-se que seja bem mais do que um guia no processo de
aprender a aprender; espera-se que “saiba acelerar seu próprio processo de
138
autotransformação por meio de uma prática reflexiva contextualizada, com fundamentos
teóricos e conceituais e com procedimentos mais metódicos” (opus cit.).
Trabalhar com o sentido das competências pressupõe, dentre outras
prerrogativas, não esquecer as contradições existentes entre o sistema educativo e o
desejo de educar e de instruir, entre o desejável e o possível, entre as promessas e os
atos, entre as belas ideias e as resistências, entre as aspirações democráticas e os
mecanismos de exclusão. Enfim, pressupõe ter clareza das tantas contradições - tão
decantadas em nossos dias - que não podem ser ignoradas nem assumidas como
barreiras impeditivas ao enfrentamento dos desafios.
Muito embora vários autores tenham se dedicado ao estudo das competências de
professores – quer sejam eles ligados aos campos da Ergonomia, Antropologia
Cognitiva, Psicologia, Sociologia do Trabalho, ou mesmo ligados à análise das práticas,
Perrenoud (2000, p. 12) as redefine em um grupo constituído por 10 grandes famílias.
Neste grupo privilegia não só as competências “que emergem atualmente”, mas ainda
aquelas que estão em mudança – melhor dizendo, aquelas que “representam mais um
horizonte do que um conhecimento consolidado”. Por meio de seu trabalho, propõe um
inventário das competências que contribui para redelinear a atividade docente, a saber:
organizar e dirigir situações de aprendizagem; administrar a progressão das
aprendizagens; conceber e fazer evoluir os dispositivos de diferenciação; envolver os
alunos em sua aprendizagem e em seu trabalho; trabalhar em equipe; participar da
administração da escola; informar e envolver os pais; utilizar novas tecnologias;
enfrentar os deveres e os dilemas éticos da profissão; administrar sua própria formação
contínua.
Morin, por meio de obras diversas - La Tête Bien Faite: repenser la réforme,
réformer la pensée (1999), Ciência com Consciência (1999), Religação dos Saberes
(2001), Educar na Era Planetária - o pensamento complexo como método de
aprendizagem pelo erro e incerteza humana (2003); Introdução ao Pensamento
Complexo (2005) - destaca a importância de o professor formador ocupar-se em
desvendar a realidade complexa em que se coloca o seu campo de trabalho. Ou seja,
chama atenção para que o professor formador desenvolva competências e habilidades
em si mesmo e em seu aluno para que, quando egresso, cônscio de seus próprios
desafios profissionais, insira-se na teia de relações existentes entre todas as coisas, de
modo que seja capaz de pensar a ciência una e múltipla, ter consciência da
139
complexidade, ter consciência da ciência, ter consciência do processo espiralado que
envolve a ida e a volta na própria experiência.
Modelos de processo de aprendizagem buscam entender a maneira pela qual
professores formadores e formandos elaboram a aquisição de competências e lhes
atribuem sentido de relevância.
A proposição de Le Boterf (1995 apud FLEURY, 2001) relaciona tipo de
conhecimento envolvido na competência, função a que se destina e possíveis formas de
desenvolvimento. Em seu entendimento, a educação formal tem grande influência na
construção dos conhecimentos teórico, metodológico e cognitivo; a experiência
profissional, favorece o desenvolvimento de todos os tipos de conhecimento, à exceção
do teórico; a experiência social promove os conhecimentos social e cognitivo, e a
educação continuada contribui para a aquisição dos conhecimentos teórico e cognitivo.
Compreende que as competências propiciam o entendimento e a interpretação dos
diferentes conhecimentos e a construção de saberes relacionados aos modos de
proceder, de fazer e de se comportar. Também chama a atenção para a conjugação de
situações de aprendizagem envolvidas na transformação do conhecimento em
competência, sublinhando que isto só acontece em contexto profissional específico. Por
fim, assinala que a realização da competência agrega valor não apenas ao indivíduo,
mas também à sua organização – isto é, em se tratando de universidades com cursos de
formação de professores, estes valores são agregados aos próprios professores
formadores, aos formandos, aos cursos e à instituição.
Metodologia
Esta avaliação adota a abordagem centrada em especialistas (WORTHEN;
SANDERS; FITZPATRICK, 2004). Por caracterizar-se como estudo descritivo está
claramente preocupada com uma atuação prática (GIL, 1994). Apoia-se em pesquisa
bibliográfica e documental, recuperando autores que tratam das competências e
habilidades essenciais para a formação de professores (MORIN, 1999; FLEURY, 2000;
PERRENOUD, 2000) e de professores formadores (MORIN, 2002; PERRENOUD,
2002). Também leva em conta a legislação nacional, que trouxe novas perspectivas e
desafios para os cursos de licenciatura, bem como estudos sobre avaliação de egressos.
O trabalho de campo, mediado por instrumento específico, envolveu o professorado em
exercício nos Cursos de Pedagogia e Letras da FFCLDB.
140
 Construção, validação e aplicação do instrumento
O instrumento construído no estudo - Instrumento de Autoavaliação Competências/Habilidades - consistiu de um formulário com as seguintes funções:
discriminação das competências; especificação do rol de habilidades das competências e
de outras habilidades consideradas essenciais pelos professores formadores; informação
sobre a aquisição, ou não, de cada uma das habilidades, por parte dos egressos, durante
o Curso de formação; informação acerca do Curso de origem do professor e
disciplina(s) por ele ministrada(s). Ao instrumento construído associou-se carta de
apresentação e instruções específicas para registro das respostas. A validação dele ficou
a cargo de dois especialistas em Língua Portuguesa.
Na fase seguinte, procedeu-se a apresentação dos objetivos da pesquisa e a
sensibilização do professorado, em evento institucional em que se destacaram a
importância e as finalidades do estudo de egresso na FFCLDB. Na ocasião, enfatizou-se
ainda que este trabalho agregaria valor especialmente a outras ações institucionais
anteriormente realizadas de 2007 a 2011(MACARIO, 2008). Por último, o formulário
foi disponibilizado para os professores presentes e enviado eletronicamente para os
demais. A devolução do instrumento foi feita por mais da metade do total de professores
em exercício, nos Cursos de Pedagogia e Letras, em 2012.
 Tratamento e análise dos resultados
O tratamento dos dados deu-se a partir das respostas apresentadas pelos
professores dos Cursos de Pedagogia (15) e Letras (12) que, ao compuseram a amostra
voluntária do estudo. Após tabuladas, estas respostas permitiram identificar o
entendimento docente quanto às competências e habilidades adquiridas e não adquiridas
pelos egressos dos referidos Cursos passando as não adquiridas, isto é, aquelas que não
atingiram o critério estabelecido nesta avaliação - no mínimo, 70% do consenso
interjuízes, a constituir o foco deste trabalho. Registradas nos Quadros 1 e 2, tais
competências e habilidades subsidiam a análise dos resultados, apresentada em seguida.
Análise dos Resultados
A unidade de análise eleita para discussão dos resultados foi a competência não
adquirida, por curso, em conformidade com o critério anteriormente citado.
Considerando que toda competência é constituída por um conjunto de habilidades, vale
lembrar que competência não adquirida é toda aquela que não tenha atingido o critério
141
arbitrado no estudo. Os Quadros 1 e 2 enfatizam as competências e habilidades não
adquiridas nos Cursos de Pedagogia e Letras, segundo a percepção dos professores
formadores.
Quadro 1 - Competências e habilidades não adquiridas em Pedagogia, segundo a opinião dos
professores formadores.
Competências não adquiridas
Envolver os alunos em sua aprendizagem e em seu
Trabalho
Trabalhar em equipe
Participar da administração da escola
trabalho
Informar e envolver os pais
Utilizar novas tecnologias
Enfrentar os deveres e os dilemas éticos da profissão
Administrar sua própria formação contínua
Habilidades não adquiridas
A
B
C
D
E
7
6
6
6
-
x
5
9
3
5
7
6
7
x
-
8
8
9
-
-
9
8
-
-
-
5
8
9
10
-
10
9
4
x
6
Legenda: X indica habilidade adquirida; - indica inexistência de habilidade.
Quadro 2 - Competências habilidades não adquiridas em Letras, segundo a opinião dos
professores formadores.
Competências não adquiridas
Envolver os alunos em sua aprendizagem e em seu
trabalho
Trabalhar em equipe
Habilidades não adquiridas
A
B
C
D
E
x
4
4
6
-
x
x
4
x
Participar da administração da escola
4
1x
x
x
-
x
-
Informar e envolver os pais
7
6
4
-
-
Administrar sua própria formação contínua
x
7
x
x
x
Legenda: X indica habilidade adquirida; - indica inexistência de habilidade.
 Análise por Competência não adquirida
Competência 4 - Envolver os alunos em sua aprendizagem e em seu trabalho
A leitura dos Quadros 1 e 2 revela situações distintas quanto a aquisição das
habilidades da competência em questão nos Cursos de Pedagogia e Letras. No primeiro,
nenhuma delas foi adquirida pelos egressos e no segundo, apenas uma: desenvolver [...]
[no aluno] a capacidade de autoavaliação “Suscitar o desejo de aprender, explicitar a
142
relação com o saber, o sentido do trabalho escolar e o” (PERRENOUD, 2000, p. 20).
Embora esta habilidade também não conste do repertório de saberes dos egressos de
Pedagogia, outras três habilidades devem ser a elas associadas, no caso específico desta
formação, a saber:
*Instituir e fazer funcionar um conselho de alunos (conselho de classe
ou de escola) e negociar com eles diversos tipos de regras e de
contratos.
*Oferecer atividades opcionais de formação, à la carte.
*Favorecer a definição de um projeto pessoal do aluno
(PERRENOUD, 2000, p. 20).
A carência de domínio da primeira habilidade citada – “suscitar o desejo de
aprender, explicitar a relação com o saber, o sentido do trabalho escolar e desenvolver
[...] [no aluno] a capacidade de autoavaliação”, por parte dos egressos dos dois Cursos,
é motivo de preocupação para os professores formadores. Isto porque, embora se saiba
que o desejo de aprender seja interno ao indivíduo, sabe-se também que ele é
susceptível de ser mobilizado por ações ou estímulos exteriores, a exemplo dos que são
fornecidos por professores formadores. Diante do exposto fica evidenciada a
necessidade de as duas formações investirem, por meio de mecanismos diversos, para
que seus alunos e egressos apropriem-se da habilidade em discussão.
A aquisição da habilidade de “instituir e fazer funcionar um conselho de alunos
[...]” dá-se no contexto da prática pedagógica regular e implica no estabelecimento de
diálogo e na negociação com os pares envolvidos, tendo em vista o cumprimento da
finalidade que lhe confere a comunidade escolar. Por conta disto, fica ressaltada a
importância do domínio da habilidade no correr dos processos formativos iniciais e/ou
continuados em Pedagogia.
A definição do projeto pessoal de aprendizagem do aluno é uma habilidade
docente de grande complexidade; pressupõe, dentre outras, conhecer as diversas
habilidades integrantes do repertório de saberes e fazeres do aluno, suas expectativas de
vida, suas condições objetivas de existência, seus anseios, desejos, limitações e
possibilidades de superação.
A partir do estudo destas quatro habilidades fica posto que a competência
docente de envolver os alunos em sua aprendizagem e em seu trabalho requer do
formador, dentre outras habilidades, a disposição para o diálogo com o aluno, com sua
comunidade e realidade, de maneira que, a partir da apreensão de seus reais interesses,
143
necessidades e habilidades, possa conceber sugestões para o encaminhamento de seu
projeto de vida pessoal.
Competência 5 – Trabalhar em equipe
Por meio dos Quadros 1 e 2 observa-se que a aquisição das habilidades da
competência “trabalhar em equipe” também se deu de forma diferenciada nos dois
Cursos. No caso da Pedagogia, à exceção de uma habilidade - Elaborar um projeto de
equipe, representações comuns - nenhuma outra foi adquirida por seus egressos; no caso
de Letras, apenas uma habilidade não foi adquirida: Enfrentar e analisar em conjunto
situações complexas, práticas e problemas profissionais (PERRENOUD, 2000, p. 20).
A situação do Curso de Pedagogia exige que este estudo avaliativo coloque em
evidência as quatro habilidades de que carecem ser revisitadas por seus egressos:
* Dirigir um grupo de trabalho, conduzir reuniões.
* Formar e renovar uma equipe pedagógica.
* Enfrentar e analisar em conjunto situações complexas, práticas e
problemas profissionais.
* Administrar crises ou conflitos interpessoais (PERRENOUD, 2000,
p. 20).
Torna-se difícil pensar o exercício da atividade profissional de um pedagogo se
o mesmo não incorpora, em si, as habilidades citadas. O trabalho deste profissional, de
ampla envergadura e relevância social, via de regra, prevê, no vasto elenco das
atividades que realiza, interações com o outro ou mesmo com a comunidade em que
atua; coordenações, supervisões e avaliações de indivíduos e grupos; administração de
conflitos; planejamentos de atividades diversas; orientações para nortear a tomada de
decisão pessoal ou coletiva; delegações de fazeres; avaliações de saberes.
Em síntese, esta competência – dado o conjunto de suas habilidades – é essencial
ao exercício profissional em Pedagogia. A partir dela, constroem-se pontes relacionais
que, de um lado, estabelecem valores e atitudes afetos à tolerância e à empatia e, de
outro, promovem trabalho intelectual sobre o que reúne e o que separa, valorizando,
assim, o individual e o coletivo e respondendo, ao mesmo tempo, aos desafios próprios
à vida em comum.
144
Competência 6 - Participar da administração da escola
Os Quadros 1 e 2 mostram que as três habilidades destacadas em seguida não
foram atingidas pelos egressos no Curso de Pedagogia, a saber:
* Elaborar, negociar um projeto da instituição.
* Administrar os recursos da escola.
* Coordenar, dirigir uma escola com todos os seus parceiros (serviços
para escolares, bairro, associações de pais, professores de língua e
cultura de origem) (PERRENOUD, 2000, p. 20).
No caso do Curso de Letras, os formadores indicaram como habilidades não
adquiridas as duas primeiras citadas, pois, em seus entendimentos, a última delas não é
própria ao exercício do profissional da área.
Diante deste entendimento, cabe aclarar que as 10 grandes famílias de
competências, arroladas por Perrenoud (2000), não são particulares a nenhuma
formação docente; ao contrário, aplicam-se a todas, pois, como assinalou a revisão
teórica desta avaliação, as famílias de competência foram estabelecidas com o propósito
de redelinear as atividades docentes na contemporaneidade.
Hoje, participar da administração da escola é inserir-se nas sinergias e participar
das complementariedades. Não se espera que o professor saiba fazer tudo, mas é
importante que todas as competências requeridas estejam presentes ou, pelo menos,
sejam motivos de busca no instituinte do momento escolar.
Competência 7 - Informar e envolver os pais
Em relação às três habilidades intrínsecas à competência em questão, verifica-se
que nenhuma delas integra o conjunto de saberes dos egressos dos Cursos de Pedagogia
e Letras. Com isto, os professores formadores acreditam que os licenciandos não estão
aptos a:
* Dirigir reuniões de informação e de debate.
* Fazer entrevistas.
* Envolver os pais na construção dos saberes (PERRENOUD, 2000,
p. 20).
Como destacado em trechos deste estudo, as habilidades e as competências que
as abarcam são parte dos domínios implicados nos saberes e fazeres dos formadores na
atualidade. E, como tal, formações que se pretendam de qualidade precisam incorporar
145
também estes novos sentidos à formação inicial e/ou continuada de (futuros)
formadores.
Direcionando um olhar mais particularizado para os temas implicados nesta
discussão, cabe lembrar que envolver a família nos assuntos afetos à escola não é
meramente uma questão técnica. Os verdadeiros profissionais de Educação precisam
aceitar negociar, saber ouvir, compreender o que os pais têm a dizer, e procurar exercer
o diálogo apoiados na ética e na tolerância.
Competência 8 - Utilizar novas tecnologias
Os resultados registrados no Quadro 1 mostram que as duas habilidades da
competência em pauta não são dominadas por egressos do Curso de Pedagogia.
* Utilizar editores de texto
* Explorar as potencialidades didáticas dos programas em relação aos
objetivos do ensino (PERRENOUD, 2000, p. 20).
Os avanços contemporâneos das tecnologias de informação e comunicação
impactaram profundamente a prática pedagógica, razão porque a escola não pode
eximir-se da alfabetização tecnológica de seus alunos sob pena de estar contribuindo
para o processo de exclusão digital. Estando alheios aos avanços tecnológicos, os alunos
ficarão à margem dos processos econômicos, sociais, culturais e históricos de seu
tempo, razão porque formadores precisam dominar as tecnologias a contento para poder
incorporá-la em seu trabalho.
A segunda habilidade, tal como a primeira, remete ao necessário domínio da
tecnologia: o desconhecimento de suas formas de expressão não permite convertê-la em
real instrumento de educação e libertação.
Competência 9 - Enfrentar os deveres e os dilemas éticos da profissão
A leitura do Quadro 1 deixa ver que, segundo a percepção dos professores
formadores, os egressos do Curso de Pedagogia não possuem as habilidades que
constituem a competência em questão, a saber:
* Prevenir a violência na escola e fora dela
* Lutar contra os preconceitos e as discriminações sexuais, étnicas e
sociais.
* Participar da criação de regras de vida comum referentes à disciplina
na escola, às sanções e à apreciação da conduta.
146
* Analisar a relação pedagógica, a autoridade, a comunicação em aula
(PERRENOUD, 2000, p. 20).
As desigualdades sociais e a falta de oportunidades de desenvolvimento humano,
que marcam a vida na sociedade comtemporânea, têm requerido novas habilidades aos
formadores tais como as elencadas acima. Por meio delas, objetiva-se que professores
atuem em favor da formação de consciências solidárias, respeitosas às diferenças
individuais e sociais, co-responsáveis pela qualidade de vida comum. Objetiva-se
também que reflitam os aspectos implicados na relação pedagógica que se estabelece
entre os pares situados em quaisquer espaços-tempos onde os homens se eduquem uns
aos outros.
Competência 10 - Administrar sua própria formação contínua.
Os Quadros 1 e 2 expressam duas realidades diferentes: segundo os formadores
consultados, egressos do Curso de Pedagogia não dominam quatro das habilidades
inventariadas nesta competência; egressos do Curso de Letras não dominam a
competência de “estabelecer seu próprio balanço de competências e seu programa
pessoal de formação contínua”.
O conjunto de habilidades não dominadas por Pedagogia é o que se apresenta:
* Estabelecer seu próprio balanço de competências e seu
programa pessoal de formação contínua.
* Negociar um projeto de formação comum com os colegas (equipe,
escola, rede).
* Envolver-se em tarefas em escola de uma ordem de ensino ou do
sistema educativo.
* Acolher a formação dos colegas e participar dela (PERRENOUD,
2000, p. 20).
As rápidas transformações porque tem passado o conhecimento na atualidade
introduziram a necessidade de as pessoas buscarem se atualizar permanentemente. Com
isto, tornou-se necessário a definição de projetos pessoais de formação continuada que
privilegiem tanto a perspectiva do sujeito quanto a do grupo a que pertence. Além disto,
o envolvimento em tarefas formais bem como o acolhimento e a colaboração na
formação de colegas recebeu nova conotação: a construção do conhecimento é
favorecida por meio da interação dos sujeitos em formação.
147
Conclusão
Para ser coerente com as afirmações e preocupações delineadas neste estudo,
pode-se dizer que o mesmo não é um trabalho em que se possa esboçar uma conclusão;
ao contrário, é um trabalho aberto porque em permanente construção. Construção esta
que resultará do empreendimento institucional acerca das competências e habilidades
que, no estudo, foram apontadas pelos professores formadores, como não adquiridas, a
saber: Envolver o aluno em sua aprendizagem e em seu trabalho; Trabalhar em Equipe;
Participar da Administração da Escola; Informar e Envolver os Pais; Utilizar Novas
Tecnologias; Enfrentar os Deveres e Dilemas Éticos da Formação; Administrar sua
Própria Formação Continuada.
Levar os resultados e as reflexões desta avaliação para o âmbito das discussões
institucionais – especialmente, aquelas que se fazem junto a professores formadores,
formandos e egressos - propiciará o respaldo necessário para que os achados assumam
importância e, assim, inspirem ações inovadoras e contextualizadas - garantia efetiva do
fazer solidário intelectual e moral com o qual se compromete a FFCLDB.
As constatações evidenciadas na análise de cada habilidade não adquirida – que,
a partir do somatório, revela competências não adquiridas por egressos dos Cursos de
Pedagogia e Letras - representam um chamamento da atenção de todos os que, na
Instituição, acham-se envolvidos e compromissados com a formação de professores
para a educação de qualidade.
Repensar juntos, procurar soluções, investir em solidariedade, ter preocupações
com valores sociais e afetivos, estabelecer novos compromissos e maneiras de proceder,
visando ajustar o olhar para o foco de formação de formadores é o desafio revelado por
esta avaliação. Do mesmo modo, entender a importante contribuição que professores
formadores têm neste processo é posicionar-se no caminho que se precisa fazer neste
novo mundo, que se descortina mutante no tempo e no espaço. Um novo mundo que,
embora se mostrando contraditório, emergente e consolidado, plenificado em certezas e
incertezas para o apreender a aprender, traz a certeza da importância do papel do
formador de formadores no cenário da preparação do homem para os novos desafios da
humanidade.
148
Referências
ASSOCIAÇÃO EDUCACIONAL DOM BOSCO. Faculdade de Filosofia Ciências e
Letras Dom Bosco. Resende, 2012. Disponível em: <http://www.aedb.br/faculdades>.
Acesso em: 13maio 2012.
DELORS, J. Educação: um tesouro a descobrir. Relatório para a UNESCO da Comissão
Internacional sobre Educação para o século XXI. São Paulo, Brasília: MEC, Cortez,
UNESCO, 2001. 288 p.
FLEURY, M. T. L. Construindo o conceito de competência. RAC, [S.l.], Edição
Especial, p. 83-196, 2001.
GIL, A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 1994. 207 p.
MACARIO, N. et al. Estudo de Egresso: Impacto no Sistema Educacional do Município
de Resende. Resende: AEDB, 2007/2008. 120 p.
MORIN, E. O método 1: a natureza da natureza. Portugal: Publicações Europa-América,
1977. 363p.
______. Ciência com consciência. Rio de Janeiro: Bertrand Brasil, 1999. 344 p.
______. La tête bien faite: repenser la réforme, réformer la pensée. France: Éditions du
Seuil, 1999. 154p.
______. A religação dos saberes: o desafio do século XXI. Rio de Janeiro: Bertrand
Brasil, 2001. 583p.
______. Educar na era planetária: o pensamento complexo como método de
aprendizagem pelo erro e incerteza humana. São Paulo: Cortez, 2003. 111 p.
______. Introdução ao pensamento complexo. Porto Alegre: Sulina, 2005. 120p.
PERRENOUD, P. 10 novas competências para ensinar. Porto Alegre: Artmed, 2000.
192 p.
______. A prática reflexiva no ofício de professor: profissionalização e razão
pedagógica. Porto Alegre: Artmed, 2002. 232 p.
concepções e práticas. São Paulo. Gente, 2004.
149
AVALIAÇÃO DA EFETIVAÇÃO DO CONTROLE SOCIAL SOBRE OS
MECANISMOS DE PLANEJAMENTO, PREVISÃO ORÇAMENTÁRIA E
PRESTAÇÃO DE CONTAS DA SAÚDE NO ESTADO DO
RIO GRANDE DO NORTE
Valéria Rodrigues Leite,
Maria Dalva Horácio da Costa
Anailson Marcio Gomes
Universidade Federal do Rio Grande do Norte
Resumo
O estudo tem como objetivo colaborar com o fortalecimento da atuação dos Conselhos
Municipais de Saúde - CMS no Estado do Rio Grande do Norte. A metodologia constou
da realização de pesquisa de campo, em 12 municípios do Estado, com representantes
do CMS e aplicação de questionário na perspectiva de identificar o cumprimento da
legislação do Sistema Único de Saúde (SUS) relativa à participação dos conselhos no
processo de formulação do planejamento e gestão. Os resultados mostraram que, com
exceção do CMS/Natal, os demais Conselhos de Saúde apresentam dificuldades de
exercer o seu papel. Verifica-se o uso de informações tecnicistas como forma de
dificultar a compreensão dos conselheiros. Essa investigação, mais que análise de
dados, consistiu em uma aproximação com a realidade identificando que os desrespeitos
às prerrogativas dos Conselhos de Saúde expressão uma grande resistência à gestão
participativa e ao princípio assegurado na constituição de 1988.
Palavras chaves: Planejamento, Gestão e Saúde.
Introdução
O Sistema Único de Saúde (SUS) é constituído pelo conjunto de ações e dos
serviços de saúde sobre gestão pública. Está organizado em redes regionalizadas e
hierarquizada e atua em todo o território nacional, com direção única em cada esfera de
governo (PEREIRA et al, 2004). De acordo com Silva (200?), esta participação adquiriu
a característica de controle social na medida em que foi sendo exercida por setores
progressista da sociedade. Ou seja, a participação em saúde não se deu somente como
ações de colaboração e cooperação, mas pelo exercício do controle por parte dos
seguimentos organizados da sociedade sobre as ações do Estado; no sentido deste, cada
vez mais, atender aos interesses da maioria da população.
Com o intuito de regulamentar o controle social do SUS, foi criado a Lei nº
8.142/90 que define o papel da sociedade na gestão do serviço de saúde onde os sujeitos
ou atores sociais participam ativamente, por meios democráticos, da formulação das
150
políticas públicas de saúde. Neste sentido, o usuário do serviço passa a ter o direito,
bem como o dever de deliberar, sobre o planejamento, formulação, execução e
fiscalização das ações de saúde, assim como da gestão financeira e administrativa do
SUS.
Esta Lei institucionaliza os meios pelos quais à população exerce o controle
social, particularmente as Conferências e os Conselhos de saúde. As Conferências
acontecem nas três esferas de governo periodicamente, a cada quatro anos, onde a
população tem a oportunidade de avaliar, planejar e estabelecer metas a serem
alcançadas no próximo quadriênio. Já os Conselhos de saúde são instâncias colegiadas
permanentes e paritárias dos usuários em relação aos demais componentes. As reuniões
dos Conselhos de saúde funcionam como canal aberto visto que qualquer pessoa pode
participar das discussões acerca da gestão dos serviços de saúde. Esta relação serviçocomunidade possibilita que a população encaminhe suas demandas e proposições
condizentes com a realidade local.
Nessa perspectiva, é possível entender a participação popular como decorrente
da participação efetiva da população organizada. A participação somente é efetiva
quando pretende ou consegue modificar o orçamento e investimentos estatais, de modo
a oferecer os serviços básicos de qualidade para a população (VALLA, 1992).
Determinada pela Constituição e pela Lei complementar nº 8.142/1990 a
participação popular busca instituir na gestão do SUS realismo, transparência,
comprometimento coletivo e efetividade de resultados. Entretanto, esta participação esta
diretamente relacionada ao grau de educação política e de organização da própria
sociedade civil (PEREIRA et al, 2004).
Assim, mesmo que nos textos legais esteja garantida a participação da
população, denominada controle social, através da integração em órgãos colegiados
deliberativos, como os Conselhos de Saúde, ou de outros espaços institucionalizados,
como as Conferencias de Saúde, ainda falta muito para uma prática participativa
eficiente, comprometida e isenta (VÁZQUEZ et al, 2003).
No campo da saúde e na conjuntura da transição à democracia, essa noção
indicava uma nova modalidade de relacionamento da sociedade com o Estado. O
controle social foi concebido como a fiscalização direta da sociedade civil nos processos
de gestão da coisa pública e consistiria na apropriação, pela sociedade organizada, dos
meios e instrumentos de planejamento, fiscalização e análise das ações e serviços de
saúde (BERGMA, 1992 apud CORREIA, 2000).
151
Os mecanismos de controle social seriam, ao mesmo tempo, resultado do
processo de democratização do país e pressupostos para a consolidação dessa
democracia. O fortalecimento do exercício do controle social sobre o Estado
contribuiria, assim, para o alargamento da esfera pública. Neste sentido, a viabilidade do
controle social seria condicionada à existência de uma democracia participativa e à
institucionalização dos canais de participação em Conselhos setoriais.
Dessa forma, esse estudo se propõe a contribuir com essa discussão tendo como
objetivo geral, colaborar com o fortalecimento da atuação dos conselhos municipais, no
processo de gestão da saúde, no Estado do Rio Grande do Norte-RN, e como objetivos
específicos: a) avaliar o nível de controle social exercido pelos conselhos municipais de
saúde no que se refere ao fiel cumprimento da legislação brasileira dos instrumentos de
planejamento, orçamento e gestão da saúde, b) verificar o processo de tramitação e
deliberações acerca dos Planos Anual e Plurinaual de Saúde, Previsão e Programação
Orçamentária, Prestação de Contas e Relatórios de Gestão; c) Oferecer subsídios para
que o poder executivo e os conselhos de saúde conheçam melhor as questões que
envolvem o processo de formulação do plano de saúde, a previsão orçamentária,
prestação de contas e a elaboração e apreciação dos relatórios de gestão, enquanto
instrumentos de aperfeiçoamento da gestão pública da política de saúde no Estado; e
d) identificar o nível de articulação entre os principais atores e instituições na área da
saúde.
Justificativa
Um dos principais problemas vivenciados no processo de implantação e
consolidação do SUS no RN tem sido a capacidade de apreensão e utilização das
ferramentas de gestão e avaliação da política de saúde prevista na legislação vigente
especialmente: Plano Plurianual, Lei de Diretrizes orçamentárias e Lei Orçamentária
Anual, por parte dos gestores e conselheiros de saúde. Nesse sentido esse estudo se
justifica pela necessidade de apresentar subsídios referentes aos instrumentos de
planejamento, gestão e orçamento dos recursos aplicados nos programas de saúde,
verificando a relação das metas, com os resultados, e consequentemente o
fortalecimento dos conselhos municipais de saúde.
152
Metodologia
A amostra foi constituída por municípios das macro-regiões de saúde previstas
no Plano de Desenvolvimento Regional-PDR da Secretaria Estadual de Saúde do RN
(SESAP-RN) dentre os quais foram escolhidos dois, o maior e o menor. Dessa forma os
municípios selecionados foram Caicó, Timbaúba dos Batistas, Viçosa, Pau dos Ferros,
Tibaú, Extremoz, João Câmara, Pedra Preta, Lagoa dos Velhos, Santa Cruz, Mossoró e
Natal.
Realizou-se uma pesquisa de campo, qualitativa exploratória e descritiva, junto
aos representantes dos Conselhos Municipais de Saúde, acerca da efetivação do controle
social sobre os principais mecanismos de gestão, especialmente os instrumentos de
planejamento, orçamento e gestão, do período de 2005 a 2009, conforme o seguinte
roteiro de procedimentos:
a) Verificar na Agenda de Prioridades de Saúde, destacando-se os eixos
prioritários de intervenção, seus objetivos e metas da política de saúde;
b) Analisar os Planos de Saúde, identificando as prioridades e metas da política
de saúde, e sua relação com o diagnóstico, as estratégias, programas de atuação,
objetivos e indicadores de avaliação, considerando que o PPA e Plano Anual (PA) de
saúde deve conter o Quadro de Metas inspirado na Agenda de Saúde. Esse Quadro de
Metas se transforma na principal referência para orientar a elaboração da gestão.
c) Examinar a coerência entre Plano de Saúde, Previsão Orçamentária e
Relatórios de Gestão.
d) Verificar se os Planos de Saúde, anual e plurianual, bem como os Relatórios
de Gestão constituíram a base para a elaboração dos instrumentos do processo
orçamentário — PPA, LDO e LOA.
e) Investigar o PPA como instrumento central na condução da política de saúde
dos municípios.
f) Identificar a compatibilidade entre os três instrumentos do processo
orçamentário (PPA, LDO e LOA), tendo como referência a LRF como precondição para
a disciplina fiscal.
g) Realizar uma análise da gestão dos recursos do Fundo de Saúde, verificando
os demonstrativos orçamentário-financeiros e a sua compatibilidade com a prestação de
contas.
A pesquisa combinou dois recursos metodológicos: A pesquisa de campo
realizada no primeiro semestre de 2012, envolvendo contatos formais com vistas ao
153
agendamento de uma visita com caráter de reunião com representantes de cada conselho
de saúde, agendadas através de contato por telefone e envio de oficio /e-mail. E
aplicação de um questionário, no momento da reunião. Dessa forma, foram realizadas
visitas aos Conselhos Municipais de Saúde, ocasião em que foram realizadas reuniões
contando com a participação dos presidentes e outros conselheiros, além de membros da
secretaria executiva de cada conselho de saúde. Nesses encontros foram apresentados os
objetivos da pesquisa, a metodologia, solicitados os documentos para a pesquisa
documental (Plano Municipal de Saúde, Relatórios de Gestão, LDO e LOA) buscando
avaliar a efetivação do controle social. Na medida em que formulávamos as questões
previstas nos questionários aplicados, fornecíamos subsídios aos conselhos explicando
questões normativas previstas na legislação do SUS e da administração pública, tais
como: prazos de tramitação e prerrogativas dos conselhos em cada etapa do processo de
formulação, acompanhamento e avaliação da política de saúde, bem como acerca da
previsão e execução orçamentária.
O questionário contemplou questões abertas e fechadas na perspectiva de
identificar o cumprimento da legislação do SUS relativa a participação dos conselhos no
processo de formulação do Plano Municipal de Saúde, e o processo de tramitação e
apreciação da previsão orçamentária, prestação de contas e relatórios de gestão. A
análise dos dados envolveu uma combinação de reflexões acerca dos dados coletados no
questionário na observação realizada no momento da reunião com os representantes dos
conselhos durante as visitas aos 12 municípios selecionados, que em geral, ocorreram
nas salas onde funcionam os conselhos de saúde nas respectivas secretarias de saúde.
A partir dos resultados foi realizada uma análise dos dados articulando teoria,
métodos e técnicas na perspectiva de apreensão da totalidade da realidade sócio
institucional em que se circunscreve o exercício do controle social do SUS.
Análise dos dados
Na dinâmica de funcionamento dos conselhos, percebe-se uma frustração dos
resultados obtidos (a resolutividade de suas atividades) diante do descumprimento das
secretárias municipais de enviar os principais instrumentos de planejamento e gestão.
Não se trata apenas de atrasos, mas de sim, do envio para que os conselheiros possam
analisar e se posicionar.
154
Alguns representantes dos usuários acreditam que seu papel e sua atuação
servem para legitimar decisões tomadas a priori pelo governo, como nos depoimentos
que seguem:
o papel do Conselho é importante, mas muitas vezes os representantes
não são convidados a participarem do processo de formulação dos
planos. Várias decisões são tomadas sem o Conselho ter deliberado.
Quando eles querem fazer, eles fazem. Não se reconhece nenhuma
decisão do Conselho quando essa contraria o chefe do executivo [o
prefeito e seu secretariado].
Na verdade o atual cenário apresenta-se um descaso maior uma vez que ocorre o
descumprimento dos órgãos gestores com relação à lei que determina que o gestor
municipal deva prestar contas perante o Conselho Municipal de Saúde e em audiência
pública na Câmara Municipal a cada trimestre, independentemente da prestação de
contas prevista no § 2º do artigo 31 da Constituição Federal. O não cumprimento desta
norma pode desencadear uma ação de improbidade administrativa do prefeito por parte
do legislativo.
O gestor municipal da saúde, além da transparência, deve garantir um
permanente canal de comunicação com o legislativo. Se o gestor é, em última instância,
o ordenador de despesas, a prestação de contas é uma de suas responsabilidades do
cargo. A ausência de envio de uma das peças do planejamento é o bastante para esvaziar
qualquer atividade proposta para o conselho de saúde.
Conforme o depoimento de alguns entrevistados: “no período em estudo não
houve a transição dos documentos e arquivos”. Na maioria das vezes podemos
identificar apenas alguns relatórios de gestão impossibilitando a analise dos documentos
para a possível avaliação da gestão e do controle social e responder aos objetivos do
estudo.
Com relação ao processo de deliberação dos conselhos, cabe mencionar a
inexistência de câmaras ou comissões técnicas e permanentes, que elaboram pareceres
para instruir a tomada de posição pela plenária e que poderão ampliar este processo. É
imprescindível a organização das comissões para o funcionamento dos Conselhos. Essas
comissões não têm poder deliberativo, no entanto, elaboram pareceres que serão
submetidos ao plenário do Conselho, os quais se aprovados poderão ser transformados
em Resoluções. São exemplos dessas comissões as de fiscalização, acompanhamento ao
155
processo
orçamentário,
controle
e
avaliação,
mobilização
e
articulação
e
acompanhamento do plano municipal de saúde.
Nos encaminhamentos das deliberações realizadas nas reuniões do conselho
ficou bastante claro, a partir da análise das atas e das entrevistas realizadas com os
conselheiros, que nem sempre houve encaminhamento das deliberações; e, nos
momentos em que ocorreu não se observou uma avaliação de sua resolutividade e
homologação pelos órgãos competentes. Essa deficiência é percebida pelos conselheiros
através de suas críticas quanto ao caráter puramente formal e instrumental do conselho.
Alguns deles admitem que participam pouco e que não têm preocupação com o retorno
das deliberações. Além disso, como vimos, há conselheiros que desconhecem as bases
das políticas públicas, o regimento interno do Conselho Municipal de Saúde e mesmo o
papel de representante no conselho. Praticamente inexiste uma discussão mais profunda
sobre o que é o Conselho, sobre suas atribuições e limites, temas estes que
possibilitariam aos conselheiros uma atuação mais consciente e eficaz. Na maioria das
vezes o presidente é que tem maior domínio sobre o assunto e situação.
Resultados
Ressalta-se que a atuação dos Conselhos de Saúde como órgãos deliberativos,
tanto no que diz respeito ao planejamento quanto à execução das ações do SUS, mostrase de fundamental importância no dimensionamento das dificuldades e possibilidades
de efetivação das políticas de saúde voltadas para a cidadania, sobretudo nos momentos
em que se discute a ampliação da participação social nas instâncias de governo.
No entanto os Conselhos não estão contribuindo para um processo de
reestruturação do sistema de saúde e promovendo um sistema de saúde mais eficiente.
As bases do controle social e da gestão participativa ainda são frágeis, mas não meras
ilusões, já que sempre há possibilidade de renovação, pois, a qualquer momento,
poderão surgir novos padrões de interação e comunicação.
Nesse sentido o resultado possibilitou constatar que:
1) todos os municípios enviaram o Plano Municipal de Saúde, ao receptivo
conselho de saúde, elaborado para deliberação, não incorporando os conselheiros no
processo de sua formulação;
2) dos 12 municípios, 11 não realizam prestação de contas trimestral ou
quadrimestral;
156
3) todos os municípios encaminharam relatórios de gestão trimestral e anual
para a Câmara de Vereadores sem ter enviado para o conselho de saúde;
4) todos os conselhos de saúde não tiveram acesso aos extratos do Fundo
Municipal de Saúde e efetivamente não exercem o controle sobre a aplicação dos
recursos. Dentre os 12 municípios, apenas o Conselho Municipal de Saúde de Natal
informa ter solicitado o extrato e a gestão ignorou a solicitação.
5) Onze municípios enviaram um resumo da prestação de contas dentro do
relatório de gestão, no entanto não realizam prestação de contas trimestral ou anual ao
conselho de saúde. Apenas a Secretaria Municipal de Saúde/Natal, em função de
exigências formais do CMS/Natal, realizou prestação de contas anual nos exercícios
2005 a 2009. Havendo registros no referido conselho de que por várias vezes acionou o
Ministério Público requisitando auditorias externas para averiguar irregularidades na
aplicação dos recursos no período de 2005 a 2009;
6) Dos
12
municípios
pesquisados,
apenas
o
CMS/Natal
deliberou
exclusivamente sobre prestação de contas, solicitou e examinou contratos, privilegiando
a investigação nos contratos com maior volume de recursos envolvidos e maior número
de denúncias. Inclusive não tendo aprovado a prestação de contas dos exercícios 2005,
2006, 2007, 2008 e 2009. Solicitando as providências cabíveis junto ao Ministério
Público Federal e Estadual, DENASUS e Tribunais de Contas.
A pesquisa documental privilegiou a análise comparativa entre as metas
previstas nos Planos Municipais de Saúde e as metas alcançadas ou não nos Relatórios
de Gestão Anual. Constatou-se o seguinte:
1) Em geral, os Relatórios de Gestão apresentam uma descrição quantitativa do
número de procedimentos realizados.
2) Três municípios mencionam alguma meta prevista no plano.
3) Três só menciona alguma meta prevista no plano de saúde quando
apresentam um bom desempenho, ou seja, quando alcançam aproximadamente 100%.
Assim, não mencionam a maioria das metas previstas nos planos e sequer explicam as
dificuldades encontradas que concorreram para que não tenham conseguido alcançá-las.
Nesse sentido não apontam caminhos para superar os problemas.
4) Um município (Paus dos Ferros) buscou assessoria no processo de
elaboração dos relatórios de gestão e consegue tornar transparente a realidade do
município, de modo que o referido documento realmente constitui-se em um
157
instrumento de gestão capaz de subsidiar o planejamento em saúde do exercício
seguinte.
5) Apenas um conselho de saúde (CMS/Natal) relata em suas atas, que solicita
documentos e informações complementares com vistas a averiguar a veracidade das
informações contidas nos Relatórios de Gestão e realiza visitas de fiscalização e produz
relatórios acerca da realidade como mecanismos para coletar subsídios sua análise e
parecer sobre os relatórios de gestão e prestação de contas;
6) No período examinado, apenas o CMS/Natal, buscou articulação
intersetorial e com movimentos sociais e populares no processo de discussão do PMS
(2005-2009) e na análise dos relatórios de gestão, havendo registro de resoluções com
vistas a articular saúde e assistência social, reuniões com promotoria da saúde,
promotoria do idoso, movimentos de mulheres, ONGs AIDS e movimentos
comunitário.
No geral, a análise dos dados da pesquisa de campo, e pesquisa documental,
revela que com exceção do CMS/Natal, os demais Conselhos de Saúde, tanto os
maiores, quanto os menores municípios de cada região, encontram-se em situação
semelhante, apresentando enormes dificuldades de exercer o seu papel, têm sido
desrespeitados em várias de suas prerrogativas, tais como participar do processo de
formulação do plano de saúde, controle do fundo municipal de saúde inclusive tendo
ficado evidente que a maioria ainda desconhecia os prazos de tramitação da LDO e
LOA, bem como dos relatórios de gestão e prestação de contas. Revelando a urgente
necessidade de assessoria e capacitação relativa a questões mais específicas
relacionadas ao financiamento, orçamento e prestação de contas.
Observou-se que a maioria dos conselheiros havia participado de capacitações,
mas destacaram tratar-se de noções mais gerais sobre os conselhos, os princípios do
SUS apontando a necessidade de capacitação relativa a questões relacionadas os
instrumentos de gestão, sobretudo previsão, programação e acompanhamento da
execução orçamentária e avaliação da política de saúde através dos relatórios de gestão.
No caso da prestação de contas e dos relatórios de gestão observou-se uma
inversão, primeiro se envia ao poder legislativo, embutido da ideia de que uma vez
tendo sido aprovado na Câmara, não importa qual seja a deliberação dos conselhos.
Essa investigação, mais que análise de dados, consistiu em uma aproximação com a
realidade e as dificuldades vivenciadas pelos conselhos de saúde no cotidiano de
exercício do controle social do SUS identificando que os desrespeitos às prerrogativas
158
dos conselhos de saúde expressão uma grande resistência à gestão participativa e ao
princípio da participação assegurado na constituição de 1988 e reiterado na EC 29 e sua
regulamentação, revelando a necessidade de grandes investimentos na perspectiva de
construção de uma cultura institucional embasada na gestão participativa. Isto requer
educação permanente de gestores e conselheiros, sobretudo, requer apoio financeiro aos
conselhos de saúde para a contratação de assessorias e consultorias como condição
essencial para subsidiar a ação dos conselhos e conselheiros que cumprem um papel
político e definição de prioridades, na fiscalização, acompanhamento, avaliação e
controle da execução da política de saúde, mas não encontram suporte técnico para as
sua decisões nos próprios quadro das secretarias de saúde. Ao contrário, verifica-se o
uso de informações tecnicistas como forma de dificultar a compreensão dos
conselheiros e produzir decisões com vistas a homologação das decisões técnicas, em
geral enviadas aos conselhos sem tempo para discussões aprofundadas em função dos
prazos a serem cumpridos.
A análise aqui empreendida sugere que os Conselhos encontram dificuldades
para exercerem suas atribuições, definidas e garantidas pela legislação. A restrição à
participação tem afastado os conselhos do seu projeto inicial, qual seja o de se tornar um
espaço de negociação e discussão entre grupos de interesse, com a promessa de tornar
as políticas de saúde mais responsivas aos interesses dos usuários.
No entanto, ao mesmo tempo, os conselhos continuam sendo um espaço onde se
encontram atores que, antes, estavam totalmente excluídos do processo de tomada de
decisão. E mesmo se burocratizando, os conselhos não têm esgotado seu potencial de
promover controle social sobre a gestão do SUS e de tomar decisões legitimadas pela
consonância com o discurso do SUS. Entretanto o conselho não efetiva- se quando se
encontra desarticulado com gestores.
As dificuldades para que os Conselhos de Saúde exerçam suas atribuições,
definidas e garantidas pela legislação, têm sido ressaltadas e debatidas por organizações
governamentais, não-governamentais e pelos próprios Conselhos de Saúde. Essas
iniciativas resultam no desenvolvimento de experiências que contribuem para a atuação
na formulação de estratégias, de diretrizes, no controle da execução das políticas e nas
deliberações acatadas pelo gestor.
159
Nesse sentido, é oportuno desencadear processos de educação permanente para o
controle social no SUS envolvendo conselheiros, gestores, parlamentares, movimentos
social, sindical e popular que possibilite à sociedade, além da compreensão da estrutura
e funcionamento do SUS e do processo de construção do modelo assistencial voltado
aos seus princípios e diretrizes. Sendo, desse modo, possível uma maior articulação
intersetorial para que as ações dos Conselhos de Saúde possam ser caracterizadas como
de formulação e deliberação de políticas públicas comprometidas com a qualidade de
vida da população brasileira. Além disso, requer uma maior atuação do Ministério
Público nos municípios do interior na defesa das prerrogativas dos conselhos, apoiando
os conselhos a exigir estrutura de funcionamento, donde se inclui assessoria,
participação em capacitações e garantia de envio das propostas de previsão
orçamentária, prestação de contas e relatório de gestão nos prazos legais aos conselhos
de saúde, com tempo hábil para serem examinados antes do prazo a ser enviado para o
poder legislativo.
Sendo assim atualmente estamos realizando um projeto de Acompanhamento, e
Apoio Técnico aos Conselhos de Saúde nos processos de planejamento, financiamento e
orçamento da política de saúde no estado do Rio Grande do Norte. Dessa forma
pretende-se contribuir com essa discussão, colaborando com o fortalecimento da
atuação dos conselhos municipais, no processo de gestão da saúde, através do
monitoramento e acompanhamento dos instrumentos de planejamento e gestão
fornecendo informações e orientações aos Conselhos de Saúde e promovendo uma
articulação entre os principais atores e instituições na área da saúde.
160
Referências
CORREIA, M. V. C. Que controle social? Os conselhos de saúde como instrumento.
Rio de Janeiro: Fiocruz, 2000.
PEREIRA, A. L. et al. O SUS no seu município: garantindo saúde para todos. Brasília,
DF: Ministério da Saúde, 2004. Disponível em:
<http://dtr2001.saude.gov.br/dad/cartilha/cartilha.pdf >. Acesso: 06 maio 2007.
SILVA, A. O. Organizações participativas e a deliberação da política pública de saúde:
um estudo comparativo de conselhos de saúde em Porto Alegre (Brasil) e Montevidéu
(Uruguai). Rio Grande do Sul: UFRGS, [200?]. Disponível em:
<http://nutep.ea.ufrgs.br/pesquisas/ORGANIZACAO_PARTICIPATIVAS_SEMEAD.d
oc>. Acesso: 28 abr. 2007.
VALLA, V. V. Educação, saúde e cidadania: investigação cientifica e assessoria
popular. Caderno de Saúde Pública, [S.l.], v. 8, n. 1, p. 30-40, 1992.
VÁZQUEZ, M. L. et al. Participação social nos serviços de saúde: concepções dos
usuários e líderes comunitários em dois municípios do Nordeste do Brasil. Caderno de
Saúde Pública, Rio de Janeiro, v. 19, n. 2, p. 579-591, 2003.
WENDHAUSEN, Á.; CAPONI, S. O diálogo e a participação em um conselho
de saúde em Santa Catarina, Brasil. Cadernos de Saúde Pública, Rio de Janeiro,
v. 18, n. 6, p. 1621-1628, 2002.
161
AVALIANDO QUALIDADE DE VIDA DEPOIS DA CIRURGIA BARIÁTRICA
Bernadete Valente Faria
Ligia Silva Leite
Resumo
O objetivo do estudo foi avaliar os resultados do Programa de Obesidade Mórbida e
Cirurgia Bariátrica, com base em aspectos da qualidade de vida dos operados em
relação aos que aguardavam a cirurgia. A natureza do objeto da avaliação conduziu à
triangulação de métodos e técnicas de coleta de dados, através das abordagens
quantitativas e qualitativas. Os dados foram coletados através (a) da aplicação do
questionário; (b) grupo focal; (c) levantamento de dados dos prontuários. Os dados
revelaram que a maioria dos pacientes que se submeteram à cirurgia bariátrica é do sexo
feminino, casado, com escolaridade de nível superior, a média de idade é de 46 anos e
as doenças de comorbidade após cirurgia diminuíram. Os resultados demonstram um
impacto positivo no cotidiano dos pacientes após a perda de peso, aumentando
significativamente a QV nos domínios de função física, autoestima, vida sexual,
constrangimento público e trabalho, maior capacidade funcional, e integração social dos
pacientes operados.
Palavras-chave: Obesidade mórbida. Cirurgia bariátrica. Perda de peso. Qualidade de
vida. Avaliação.
1 Introdução
A obesidade é reconhecida pela Organização Mundial de Saúde (OMS) como
doença multifatorial e de caráter epidêmico. É considerada como a doença do século
XX e já é classificada por especialistas como uma pandemia, devido à gravidade e
rapidez com que o número de obesos cresce na sociedade contemporânea.
Segundo Marques (2004, apud NUNES et al., 2008, p. 299). “A obesidade é
definida como acumulação excessiva de gordura corporal, deriva de um desequilíbrio
crônico entre a energia ingerida e a energia gasta”. Esta afirmativa gera problemas de
saúde, que traz prejuízos ao indivíduo.
Há uma relevante diminuição da prevalência da desnutrição nos últimos 20 anos
em comparação ao notável aumento dos casos de obesidade.
A tendência à obesidade tem aumentado nas diferentes regiões do Brasil,
acompanhando a tendência mundial. Segundo o Instituto Brasileiro de Geografia e
Estatística (IBGE, 2004), o excesso de peso atinge 38,8 milhões de brasileiros, o que
corresponde a 40,6% da população adulta. Destes, 10,5 milhões possuem Índice de
162
Massa Corporal (IMC) acima de 25 Kg/m², condição que os classifica como obesos
(ORGANIZAÇÃO MUNDIAL DA SAÚDE, 2004). As doenças associadas, agravadas
ou causadas pela obesidade, levam a uma acentuada diminuição da qualidade de vida e
o aumento da taxa de morbidade de tais pacientes, principalmente nos casos
denominados de obesos mórbidos, quando apresentam uma grave desproporção entre o
peso e a altura, iguais ou superiores a 40 kg/m².
Por outro lado a sociedade contemporânea cultua o corpo perfeito, com a
interferência da mídia, que reforça e propicia a falta de espaço social ao obeso, gerando
preconceito, marginalização, isolamento e exclusão social. O aumento rápido da
obesidade no país contribui para o aumento de hipertensos, diabéticos e cardíacos.
O Hospital de Força Aérea do Galeão (HFAG), localizado no Rio de Janeiro,
dentro do Sistema de Saúde do Comando da Aeronáutica (COMAER), se destina a
atender militares e seus dependentes em diferentes especialidades. Em 2001 foi
implantado no HFAG o Programa de Obesidade Mórbida e Cirurgia Bariátrica, com
característica multidisciplinar e com âmbito nacional, cujo protocolo foi aprovado pelo
Comando Geral do Pessoal através da Ordem Técnica da Diretoria de Saúde da
Aeronáutica nº 016/DIRSA-2005, de 11 de outubro de 2005 (BRASIL, 2005). Este
Programa entende a obesidade como problema de saúde pública articulado às políticas
sociais setoriais, necessitando de atenção dos diferentes níveis do Sistema de Saúde do
COMAER. Dessa forma, a cirurgia bariátrica é vista como um meio eficaz de inclusão
social mediante a qual o indivíduo ganha um novo corpo social e redefine a sua
sociabilidade. Através da cirurgia bariátrica, o obeso pode alcançar a perda de peso com
qualidade de vida e desenvolver mecanismos voltados para a sua nova etapa da vida. De
acordo com o protocolo do Programa, o procedimento é destinado aos pacientes do
Sistema de Saúde da Aeronáutica em todo o território nacional e que apresentem dentre
outras as seguintes características: IMC a partir de 40 kg/m² e faixa etária entre 18 e 65
anos. No período de março 2001 a maio de 2010, 216 obesos realizaram o procedimento
cirúrgico no HFAG.
O Programa de Obesidade Mórbida do HFAG, de cunho multidisciplinar, é
chamado a intervir e a responder à expectativa de contribuir para uma abordagem
humanizada ao paciente com excesso de peso, com enfoque na promoção da saúde e na
prevenção de outras doenças crônicas. O objetivo do Programa é o de proporcionar aos
pacientes apoio para a redução de peso, visando um acompanhamento físico, emocional,
social, nutricional, entre outros fatores importantes nesse processo.
163
Constatou-se ao longo do desenvolvimento do Programa de Obesidade Mórbida
um aumento expressivo de portadores de obesidade que tem procurado o Programa.
Diante desta realidade, buscou-se avaliar os resultados do Programa de Obesidade
Mórbida do HFAG em relação à qualidade de vida dos operados para confirmar ou
redefinir a necessidade do desenvolvimento do Programa na Organização. Entende-se
por Qualidade de Vida (QV) neste estudo, a Política Nacional de Promoção à Saúde
(PNPS) (BRASIL, 2006) que tem como objetivo promover a qualidade de vida e reduzir
a vulnerabilidade e riscos à saúde relacionada a seus determinantes e condicionantes
modos de viver, condições de trabalho, habitação, ambiente, educação, lazer, cultura,
acesso a bens e serviços essenciais. Promoção da saúde significa, além de evitar
doenças e prolongar a vida, assegurar meios e situações que ampliem a QV “vivida”, ou
seja, que ampliem a capacidade de autonomia e o padrão de bem-estar.
Os resultados desta avaliação estruturada foram utilizados como norte para as
novas intervenções técnicas junto aos seus pacientes operados, não operados, familiares
e a Instituição.
2 Material e métodos
Os desafios conceituais e metodológicos para realização de uma avaliação na
área de saúde estão distantes de serem esgotados, porém cada vez mais se torna
fundamental a necessidade da avaliação dos programas, mesmo sabendo das limitações
e dificuldades relacionadas à sua complexidade.
Para Scriven (1967 apud WORTHEN; SANDERS; FITZPATRICK, 2004) a
avaliação possui uma única meta, a atribuição de valor ou mérito a qualquer objeto que
esteja sendo avaliado. Já seus objetivos ou papéis estão diretamente ligados às maneiras
como os resultados da avaliação são utilizados.
Avaliação, como técnica e estratégia investigativa, consiste em um processo
sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto,
proposta ou programa. Um processo de avaliação de programas e projetos sociais
geralmente tem como sentido mais nobre fortalecer o movimento de transformação da
sociedade em prol da cidadania e dos direitos humanos.
Este estudo adotou a abordagem orientada por objetivo por se tratar de uma
avaliação guiada por questionamentos que visa determinar se o objetivo do programa foi
atingido. Possui também estrutura formativa, uma vez que ocorreu durante o processo
do desenvolvimento do Programa, e utilizou as perspectivas quantitativas e qualitativas.
164
Para tanto, consideramos a avaliação como julgamento de valor para tomada de
decisão, tendo como elemento norteador as questões avaliativas que neste estudo foram:
1) Como a perda de peso está contribuindo para mudança na qualidade de vida
do operado?
2) O trabalho de grupo multidisciplinar do Programa de Obesidade Mórbida do
HFAG contribui como suporte no tratamento da perda de peso com qualidade de vida?
A natureza do objeto da avaliação conduziu à triangulação de métodos e técnicas
de coleta de dados, através das abordagens quantitativa e qualitativa, capaz de promover
o diálogo entre questões objetivas e subjetivas. Assim, na visão qualitativa, buscou-se
aprofundar no fenômeno da obesidade, sua subjetividade, nas vivências dos pacientes
que se submeteram à cirurgia bariátrica através do grupo focal. Já os dados quantitativos
que servem para medir resultados que podem ser expressos em números estatísticos,
neste estudo buscou através da frequência e média a mensuração dos resultados do
questionário e da consulta aos prontuários.
O instrumento utilizado para avaliação de qualidade de vida foi o Impacto do
Peso sobre a Qualidade de Vida, inclui as seguintes categorias: função física, com 11
itens; autoestima, com sete itens; vida sexual, com quatro itens; constrangimento em
público, com cinco itens, e, finalmente, trabalho, com quatro itens; totalizando 31 itens.
Cada item deve ser avaliado pelo participante de acordo com as seguintes opções:
sempre verdade, que equivale a cinco pontos; geralmente verdade, quatro pontos;
algumas vezes verdade, três pontos; raramente verdade, dois pontos; e nunca verdade,
um ponto. Maiores pontuações indicam piores níveis de qualidade de vida e pontuações
mais baixas indicam melhores níveis de qualidade de vida.
Ele foi aplicado integral e individualmente à amostra estratificada proporcional
ao final de cada reunião de grupo multidisciplinar do Programa de Obesidade Mórbida
respeitando os diferentes anos de cirurgia realizada.
Outro procedimento utilizado foi o grupo focal, que contou com 12 participantes
das diferentes fases (pré e pós-operatório). O grupo contribuiu retratando sua percepção
em relação à perda de peso e ao aumento ou não da qualidade de vida.
Foi realizado também o levantamento de dados feito nos registros dos
prontuários dos pacientes operados em cirurgia bariátrica no HFAG, que possibilitou
verificar a frequência do comparecimento a consultas após a cirurgia, avaliando o
comprometimento do paciente com o tratamento. Foi utilizada uma amostra
estratificada proporcional. Os prontuários dos pacientes selecionados foram retirados
165
aleatoriamente e utilizadas às informações constantes das entrevistas iniciais de
admissão no programa. Esta etapa foi realizada concomitante com a aplicação dos
questionários.
O Programa de Obesidade Mórbida tem abrangência nacional, recebendo
pacientes de todos os Estados para o tratamento pré e pós-cirúrgico. Tendo igualmente
148 pacientes inscritos no Programa de Cirurgia Bariátrica no Estado do Rio de Janeiro
e nos demais Estados, totalizando 296 pacientes no Programa em todo território
nacional. Em função das limitações de tempo, pessoal e financeira associadas à
distância geográficas dos pacientes residentes fora do Estado, optou-se por aplicar os
instrumentos somente àqueles que se encontravam na área do estado do Rio de Janeiro.
Os pacientes do estado do Rio de Janeiro, foco do estudo, são 23 aguardando
cirurgia no grupo pré-operatório e 125 já operados, totalizando 148 pacientes. Para
melhor identificação da situação em que se encontravam esses pacientes foi utilizada a
classificação apresentada a seguir: grupo A, pacientes do pré-operatório; grupo B,
pacientes com até 12 meses de pós-operatório; grupo C, pacientes de 13 a 36 meses de
pós-operatório; e, grupo D, pacientes com mais de 37 meses de pós-operatório.
Foi utilizada uma amostra estratificada que corresponde a 30% de cada
categoria, assim distribuídos: Grupo A, 7 pacientes; Grupo B totalizou 4 pacientes;
Grupo C, 07 pacientes; e, Grupo D, 28 respondentes.
O instrumento foi entregue aos pacientes de cada extrato após cada reunião do
grupo multidisciplinar para ser respondido e devolvido no mesmo dia e local. Os
questionários eram autoadministrados.
A análise de dados consistiu em examinar, categorizar, classificar em tabelas e
gráficos, recombinar as evidências quantitativas e qualitativas e confrontar com as
informações da revisão de literatura para responder as perguntas avaliativas.
A análise dos dados demográficos coletados pelo questionário é descrita na
sequência. Dos 46 pacientes avaliados, 41 eram do sexo feminino, a média de idade dos
participantes foi de 46 anos, variando de 23 a 65 anos.
Observa-se que a procura pela cirurgia bariátrica no Programa é maior pelo sexo
feminino, representado aqui por 41 pacientes, em relação ao sexo masculino, com cinco
pacientes que apesar de menor vem crescendo significativamente. Segundo o IBGE
(2004), o índice de adultos obesos do sexo feminino é maior do que o do sexo
masculino, o que pode refletir nos dados aqui apresentados.
166
Segundo Felippe (2003), a questão de gênero na obesidade revela maior
tolerância e aceitação da sociedade aos homens e já as mulheres por sua vez enfrentam
mais pressão, preconceitos envolvendo críticas depreciativas quando obesas. Este fator
também contribui para que as mulheres se expressem de forma mais acentuada na busca
do emagrecimento, conforme demonstrado neste estudo.
Na distribuição do estado civil, os casados são predominantes com 25 pacientes
e os 21 pacientes restantes distribuídos entre solteiros e outros.
Quanto a escolaridade 19 pacientes, dos 46 respondentes, possuem nível médio
completo, seguido de 16 pacientes com superior completo e 3 pacientes com superior
incompleto, o que soma 19 participantes com acesso ao nível superior. Apenas 8
pacientes possuem ensino fundamental completo. Este dado revela um bom nível de
escolaridade dos participantes, o que facilita o processo de entendimento da
complexidade do tratamento.
Gráfico 1- Incidência de Doenças de Comorbidade no Pré e Pós-Operatório em pacientes.
35
30
25
20
15
10
5
0
hipertensão
diabetes
apnéia do
sono
Pré-operatório
problemas
ortopédicos
outras
Pós-operatório
Fonte: Faria (2010).
Conforme Nunes e outros (2008), após a cirurgia bariátrica, melhoram as
comorbidades pré-operatórias, que apresentam excelentes resultados com regressão para
níveis normais do diabetes melito tipo II, da hipertensão arterial, e da apneia do sono.
Os dados gerados do Gráfico 1 revelam grande redução das comorbidades após a
cirurgia bariátrica, confirmando a ideia de Nunes e outros (2008). Os pacientes operados
em cirurgia bariátrica e aqui avaliados conseguiram eliminar a diabetes melito tipo II, a
hipertensão foi reduzida de 30 pacientes para quatro pacientes, a apneia do sono foi
quase eliminada, e os problemas ortopédicos diminuíram bastante, dos 26 pacientes que
167
apresentavam problemas apenas nove permaneceram com a queixa, após a cirurgia
bariátrica.
A perda de peso contribuiu consideravelmente para melhora das comorbidades,
presentes no pré-operatório.
Gráfico 2 - Tendência na variação do peso ao longo dos anos após a cirurgia – percentual do
peso inicial.
100%
100%
80%
65%
60%
56%
54%
40%
20%
0%
Inicial
1 ano
2 anos
3 anos
O Gráfico 2 demonstra a perda de peso geral no decorrer dos anos. É no
primeiro ano após a cirurgia que se tem a maior perda de peso, dado esperado segundo o
protocolo de cirurgia bariátrica, com contínua, porém pequena perda no segundo ano. )
e Já no terceiro ano há, em média, um aumento de até 10% do peso, o que confirma as
informações obtidas no grupo focal onde nesta etapa o paciente relaxa nas orientações
quanto à quantidade de alimento ingerido, no número de refeições e escolhas de
alimentos. Esta ideia foi confirmada no grupo focal, ao ser expressa a necessidade do
comparecimento do paciente operado no grupo multidisciplinar para ser lembrado com
a ajuda dos profissionais e participantes, da necessidade da continuidade do tratamento
para não se ganhar peso e manter a qualidade da saúde física, mental, social.
A análise dos dados coletados a partir do Questionário de Impacto do Peso na
QV dos pacientes pré e pós-operatório nas categorias física, autoestima, vida sexual,
constrangimento e trabalho são descrita em seguida.
Os dados obtidos em relação à função física dos pacientes operados mostram
ganhos significativos na QV em relação aos pacientes que aguardam o processo
cirúrgico. Em consequência da perda de peso o paciente conquista maior autonomia e
independência nas atividades da Vida Diária.
168
No domínio da autoestima no primeiro ano de operado, observa-se com a perda
de peso ganhos significativa em relação à QV do grupo A (Pré-Operatório). Neste
período ocorre a euforia com a grande perda de peso do paciente e as mudanças
advindas na sua autoestima. Já no grupo C (13 a 36 meses de operados), há pequena
queda nos ganhos de QV. Nesta fase, a paciente relaxa mais no tratamento e começa a
ter autonomia nas decisões do seu cotidiano, o que pode ser ilustrado com as falas do
grupo focal “come-se sem culpa”, “ocorrem alterações no cumprimento das orientações
técnicas”, a perda de peso nesta fase é pequena, exige do paciente mais disciplina e
prática de exercício físico para manter o peso, o que pode refletir na sua autoestima. Já o
grupo D (pacientes com mais de 37 meses de pós-operatório), mantém praticamente a
mesma pontuação do primeiro ano de operado, mas em nenhuma das situações chega
perto do resultado obtido em relação à QV do pré-operatório.
A categoria da Vida Sexual teve o maior ganho na QV do grupo B em relação ao
grupo A. A maioria dos homens ou mulheres quando insatisfeitos com o próprio corpo,
autoestima baixa, com dificuldades na função física por vezes não se sentem atraentes,
logo evitam contato reduzindo a Vida Sexual. As falas do Grupo focal em relação à
Vida Sexual no pré-operatório relatam que “ela é difícil, com limitações”, “alguns não a
têm” e outros “que ela é boa”. Já depois de operado foi relatado que melhora a
movimentação, autonomia, participação e a descoberta para um prazer com mais
qualidade. Porém também foi o único a diminuir os ganhos na Qualidade da Vida
Sexual do Grupo C e D.
Questões respondidas sobre a categoria Vida Sexual podem ter sofrido
influência cultural, de constrangimentos, idade e sua prática ativa também pode variar
ao logo do tempo, interferindo no resultado de modo geral.
Em relação ao Constrangimento Público observou-se aumento significativo na
QV de forma contínua, pode-se ilustrar através da fala do grupo focal, quando relatam
se sentirem discriminados e constrangidos pela falta de estrutura em espaços públicos
para o obeso. Nos transporte ficam presos na roleta do ônibus tendo que ser retirado
pelo bombeiro, cadeiras que não suportam seu peso, não poderem realizar exames por
falta de aparelhos que os comporte, necessidade de usar extensor para ajustar o cinto no
avião, nas lojas comerciais serem barrados de entrar por não ter roupa do seu número. A
exclusão social do obeso muitas vezes pressupõe a ausência do poder de exercer sua
cidadania. Depois de operado através de relato do grupo focal a perda de peso facilita a
integração social melhorando a QV.
169
Em relação ao trabalho também é apresentado aumento contínuo na QV, a perda
de peso aumenta a capacidade de trabalho em função da maior mobilidade, resistência,
autoestima e inserção social.
Gráfico 3- Dados gerais do questionário impacto do peso na QV Pré e Pós-Operatório.
5
4
3,9
3,3
3
3,7
3,3
3,0
2,0
1,8
1,6
2
1,4
1,7
1,5 1,41,6
1,5
1,0
1
Grupo A
Grupo B
Grupo C
1,7
1,4
1,3
1,2
1,1
Grupo D
Função física
Autoestima
Vida sexual
Constrangimento público
Trabalho
Dando sequência, o Gráfico 1 apresenta a média dos domínios dos
39 operados, e revela um ganho significativo na QV nos domínios: condição física,
autoestima, vida sexual, constrangimento em público e trabalho. Vale lembrar que
maiores pontuações indicam piores níveis de qualidade de vida e pontuações mais
baixas indica melhores níveis de QV, obedecendo à escala numérica do questionário
aplicado. Observa-se também um aumento mais significativo na QV no grupo B
comparado com o grupo A e elevação progressiva e significativa dos escores no grupo
C e D, ainda com aumento de QV.
O grupo focal forneceu grande quantidade de informações que estão
apresentadas de maneira resumida e são analisadas a seguir, destacando os aspectos
mais relevantes: tanto os pacientes que aguardam quanto os que já operaram definem o
significado de saúde para o obeso como não ter saúde e sim administrar doenças; todos
os participantes do grupo focal antes de operar possuíam mais de três doenças de
comorbidade e após a cirurgia eliminaram 50% das doenças no primeiro ano,
continuando a eliminá-las em menor quantidade no decorrer dos anos de operado. Este
dado confirma os dados levantados no questionário sobre o perfil do grupo com a
diminuição das doenças de comorbidade; quanto ao entendimento da cirurgia bariátrica
170
antes da operação a percebem como a última opção, saída para mudança, esperança,
sofrimento/prazer, a única solução para a perda de peso e melhoria da qualidade de vida.
Depois de operado todos os participantes se percebem com vida nova, maior autonomia,
melhoria na qualidade de vida, novo corpo, superação das dificuldades, restrição e
manutenção continuada.
No que se refere à alimentação antes de operar: havia um consumo exagerado de
massas; faziam substituição das refeições por lanches e tinham prazer de comer sem
limitações; ao participar do grupo multidisciplinar o paciente pré-operado já começa a
fazer pequenas mudanças e inicia o processo de conscientização das mudanças de
hábitos alimentares, mesmo assim ela se constitui na maior dificuldade encontrada nos
candidatos à cirurgia; no primeiro ano de operado o paciente apresenta dificuldade na
adaptação à quantidade e às restrições alimentares, após um ano de operado melhora a
qualidade da alimentação, mas também relaxa na quantidade e número de refeições, e
após três anos permanece a melhoria da qualidade de escolha dos alimentos, a mudança
no processo de mastigação, a diminuição da fome. Nesta fase apresentam dificuldade
em comer certos alimentos e uma independência maior na condução do seu tratamento.
Se não continuam a fazer as cinco refeições e seguir as orientações da equipe técnica
correm o risco de ganhar peso e para que isto não aconteça à participação no grupo
multidisciplinar é de fundamental importância.
Na categoria peso e atividade física no pré-operatório a grande dificuldade
encontra-se na mudança de atitude nos hábitos alimentares e na prática de exercício
físico para perder peso antes de operar; porém as doenças que acompanham o obeso
dificultam a prática do exercício físico associada à cultura do sedentarismo já instalada.
Em relação ao exercício físico fica evidente o preconceito do obeso nos espaços
públicos e privados. As academias muitas vezes desmotivam sua participação quando
torna o obeso o centro das atenções, como também pela falta de preparo em não
reconhecer a obesidade como uma doença multifatorial que necessita de tratamento
contínuo e multidisciplinar.
A categoria da autoestima confirma os dados levantados no questionário de QV
antes da operação, quando a maioria diz não ter, ou se tem é baixa, sofrendo tanto a auto
rejeição quanto a rejeição da sociedade, e cria personagem para ser aceito. Após a
cirurgia, todos compartilham o aumento da autoestima e o prazer da perda de peso
compensando as privações e dificuldades.
171
Na categoria inserção social, antes de operar, o sentimento em sua maioria é o de
preconceito, levando à exclusão social. Após a cirurgia ocorre maior integração e
consequentemente melhoria da qualidade de vida.
Na categoria vida sexual, antes de operar, a maioria relata ser difícil, com
limitações, alguns não tem vida sexual ativa, muitos sentem vergonha do seu corpo não
ser o que a mídia descreve como sedutor. Após a cirurgia melhora a sua mobilidade,
participação, resistência física e, consequentemente, a qualidade da relação sexual, o
que confirma os dados levantados no questionário indicando o aumento da qualidade da
vida sexual.
Na categoria independência da vida diária, antes de operar, ocorriam grandes
restrições, limitações e dificuldades, após a cirurgia aumentou a independência de
terceiros, melhorando a qualidade da vida diária devido ao reconhecimento do próprio
corpo e da autonomia no seu trato nas situações da vida diária.
Na categoria grupo multidisciplinar, tanto antes como depois da cirurgia, os
pacientes relatam a importância do grupo devido às discussões ricas entre os pacientes,
familiares e equipe técnica, no envolvimento e comprometimento com o tratamento
(orientação, apoio junto às dificuldades e superações), na ajuda e adaptação de mudança
de estilo de vida necessária após a cirurgia, e ajuda na conquista da qualidade de vida.
Antes da cirurgia o paciente procura com mais frequência comparecer às
consultas multidisciplinares. Os profissionais da endocrinologia são os mais procurados
no pré-operatório, em seguida os da cardiologia, e com pouca frequência os da nutrição,
dado que chamou atenção devido à necessidade de acompanhamento nutricional para
perda de peso. Já depois da cirurgia, até 12 meses, em geral diminui o número de
procura por consultas, a clínica mais procurada é a da cirurgia geral; em consequência
do acompanhamento cirúrgico. Não constam do levantamento realizado registros de
consultas à nutrição. De 13 a 36 meses o máximo de consultas por ano realizadas foi de
seis e o mínimo de uma consulta, a cirurgia geral foi a mais procurada, seguida da
cirurgia plástica que surge para atender uma demanda do momento, onde o paciente
quer retirar o excesso de pele causado pela perda de peso. Por fim, com mais de 36
meses de operado são mantidas a procura, em ordem decrescente, pela endocrinologia,
cardiologia, cirurgia geral e plástica e por último a nutrição.
Segundo Nunes e outros (2008) o número ideal de consultas realizadas depois do
primeiro ano de operado é em média de cinco, o levantamento realizado neste estudo no
172
Programa de Obesidade Mórbida revelou a média de três consultas, ficando abaixo do
que recomenda a literatura.
Esse dado deve ser motivo de novos estudos para verificar se os pacientes estão
de fato fazendo o acompanhamento necessário e contínuo para manter sua perda de peso
com saúde.
3 Conclusões
A seguir são apresentadas as conclusões deste estudo, com base nas questões
avaliativas:
a) Como a perda de peso está contribuindo para a mudança na qualidade de vida
do operado?
Podemos dizer que a QV revela ser globalmente superior nas pessoas que
participaram do Programa de Obesidade Mórbida e foram submetidas à cirurgia, do que
os que aguardavam o tratamento cirúrgico. Os resultados dos instrumentos quantitativos
e qualitativos demonstram um impacto positivo no cotidiano dos pacientes após a perda
de peso, aumentando a QV nos domínios de função física, autoestima, vida sexual,
constrangimento público e trabalho. Este fato possibilitou ao paciente: diminuição das
doenças de comorbidades, mais mobilidade, maior independência nas atividades de vida
diária, maior capacidade funcional, e integração social.
b) O trabalho de grupo multidisciplinar do Programa de Obesidade Mórbida do
HFAG contribuiu como suporte no tratamento da perda de peso com qualidade de vida?
O trabalho multidisciplinar contribuiu de forma positiva, na perda de peso do
paciente sendo confirmado através das falas do grupo focal quando enfatiza sua
importância na adesão, no envolvimento, comprometimento com o tratamento
(orientação, apoio junto às dificuldades e superações), na ajuda à adaptação à mudança
de estilo de vida necessária antes e depois da cirurgia, na conquista da QV.
Diante das conclusões apresentadas pode-se afirmar que o objetivo deste
trabalho “Avaliar os resultados do Programa de Obesidade Mórbida do HFAG em
relação à qualidade de vida dos operados para confirmar ou redefinir a necessidade de
continuidade do Programa” foi atingido, uma vez que os pacientes após a participação
do Programa de Obesidade Mórbida conquistaram um novo espaço e integração social.
173
Referências
BRASIL. Ministério da Defesa. Comando da Aeronáutica, Comando Geral de Pessoal.
Diretoria de Saúde. Normas Seguras para tratamento cirúrgico da obesidade mórbida:
Ordem Técnica nº016/DIRSA/2005, de 11 de outubro de 2005. Brasília, DF, 2005.
______. Ministério da Saúde. Secretaria de Vigilância em Saúde. Secretaria de
Atenção à Saúde. Política Nacional de Promoção da Saúde. Brasília, DF: 2006.
(Série B. Textos Básicos de Saúde).
FARIA, B. V. Impactos do programa de obesidade mórbida e cirurgia bariátrica do
Hospital de Força Aérea do Galeão na qualidade de vida dos operados. 2010. 90f.
Dissertação (Mestrado Profissional em Avaliação) – Programa de Pós-Graduação em
Avaliação, Fundação Cesgranrio, Rio de Janeiro, 2010.
FELIPPE, F. Obesidade zero: a cultura do comer na sociedade de consumo. Porto
Alegre: Sulina, 2003.
IBGE. Excesso de peso atinge 38,8 milhões de brasileiros adultos. Comunicação Social,
Rio de Janeiro, 16 dez. 2004. Disponível em:
<http://www.ibge.gov.br/home/presidencia/noticias/noticia_visualiza.php?id_noticia=2
78>. Acesso em: 23 nov. 2010.
NUNES, M. A. et al. Transtornos alimentares e obesidade. 2. ed. Petrópolis: Vozes,
2008.
ORGANIZAÇÃO MUNDIAL DA SAÚDE. Obesidade: prevenindo e controlando a
epidemia global. São Paulo: Roca, 2004. (Relatos técnicos da OMS; 894).
concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Ed. Gente, 2004.
174
UM ESTUDO AVALIATIVO SOBRE INCLUSÃO ESCOLAR:
o caso de escolas de petrópolis
Maria da Graça Tavares Monteiro
Resumo
A inclusão escolar de crianças com deficiência é uma realidade no campo educacional
do país. Como toda mudança de paradigma, há dificuldades em ser implementada
(MANTOAN, 2006). Diniz (2007) esclarece que uma compreensão simplificada da
deficiência, como expressão de uma lesão, limita a participação social do indivíduo.
Como esse processo vem se desenvolvendo nas escolas? Este trabalho tem como
objetivo descrever, conhecer e avaliar modos de agir de professores cujas salas de aula
têm alunos considerados “incluídos”, em duas escolas, uma pública e outra privada; a
pesquisa realizada é de cunho etnográfico, em que foram privilegiadas observações em
salas de aula e entrevistas;. Como resultado da investigação, observamos que práticas
integracionistas e segregacionistas e inclusivistas convivem e se misturam no cotidiano
das escolas. Buscamos nesse estudo ampliar as formas de pensar sobre as práticas
pedagógicas a partir de uma mudança de concepção sobre a deficiência e no
reconhecimento da diferença como um elemento favorecedor da aprendizagem.
Palavras-chave: práticas pedagógicas, etnografia, inclusão escolar, sala de aula.
Introdução
A inclusão escolar de pessoas deficientes é fruto de um movimento maior, o de
inclusão social. Estas práticas estão se tornando uma realidade em nosso país e, como
muitos anunciam: “um caminho sem volta” (MANTOAN, 2006, p. 61). Como em toda
mudança de paradigma, este movimento vem cercado de inseguranças, incertezas e de
dificuldades para ser implementado. Como as escolas estão vivendo o processo de
inclusão escolar de crianças com deficiência? Essa foi a pergunta que orientou o estudo
e que procuramos responder nesse texto.
Este texto está organizado de modo a contemplar, num primeiro momento, um
panorama sobre a deficiência e os paradigmas que a influenciaram. Num segundo
momento apresentamos a metodologia utilizada, que privilegiou a abordagem
qualitativa de pesquisa.
Em seguida discutiremos a inclusão escolar por meio de
categorias de análise, elaboradas no sentido de dar conta do objetivo da pesquisa:
descrever para conhecer o processo de inclusão escolar.
175
Paradigmas
As primeiras práticas de escolarização de pessoas com deficiência começou no
século XVI, em que médicos e pedagogos, por acreditarem nas possibilidades daqueles
considerados até então como “ineducáveis”, iniciaram um cuidado custodial desses
indivíduos. No século XIX surgem as classes especiais nas escolas regulares, para onde
eram encaminhados os indivíduos que as escolas não conseguiam alfabetizar. Segundo
Mendes (2006, p. 387) acreditava-se que estas crianças e jovens com deficiência se
ensinados separadamente, seriam mais bem atendidos em suas necessidades.
Com o avanço da ciência, alguns tabus foram derrubados, pois foram conhecidas
várias causas para doenças que levavam às limitações e a deficiência era compreendida
como própria do indivíduo. Caracterizada e categorizada a partir de um modelo médico
de deficiência, ou seja, pela patologia, ela era considerada como uma consequência
inevitável da lesão em um corpo.
Para o modelo biomédico da deficiência, um corpo com impedimentos
deve ser objeto de intervenção dos saberes biomédicos. Os
impedimentos são classificados pela ordem médica, que descreve as
lesões e as doenças como desvantagens naturais e indesejadas.
(DINIZ; BARBOSA; SANTOS, 2009, p. 68)
Crianças e jovens com deficiências que, até a década de 50, ainda eram mantidos
segregados foram beneficiados com a indústria da reabilitação desenvolvida após a 2ª
guerra, que buscava atender aos mutilados pós-guerra. Alguns homens jovens e
saudáveis do pós-guerra, com lesões físicas, foram os precursores do movimento social
da deficiência, porque iniciaram o questionamento sobre a sociedade que impõe
barreiras e provoca experiências de desigualdade (DINIZ, 2007).
Diniz (2007) explica que as críticas às práticas segregacionistas, favoreceram a
mudança para um paradigma integracionista e a ênfase se deslocou dos fatores
orgânicos ou individuais para os fatores sociais e ambientais, ocorrendo um processo de
transição do modelo médico para o modelo social da deficiência.
As práticas de integração que se desenvolveram inicialmente nas escolas,
procuravam aproximar cada vez mais as pessoas com deficiência dos padrões da escola
comum, e as crianças então, agrupadas em classes especiais, frequentavam as escolas
regulares. Anjos, Andrade e Pereira (2009, p. 117) esclarece que, “numa visão
176
integracionista, a presença destes alunos não modifica a lógica de funcionamento da
escola”.
Os movimentos sociais dos anos 60 fizeram emergir então, as primeiras
associações formadas e gerenciadas por deficientes, diferentemente das sociedades
antigas que eram para deficientes. Para o modelo social, diferentemente das abordagens
biomédicas, a deficiência passou a representar um conceito político: a expressão da
desvantagem social sofrida pelas pessoas com diferentes lesões (DINIZ, 2007).
Este movimento fez surgir o paradigma inclusivista dos anos 90, que segundo
Anjos (2009), ao invés de se tentar fornecer ao aluno condições de adaptar-se à escola,
procura construir uma escola que atenda às pessoas concretas que fazem parte dela.
Porém, Albrecht (apud DINIZ 2007, p. 71) argumenta que “há quem diga que a
deficiência é um enigma que se experimenta, mas pouco se compreende” e a discussão
sobre a deficiência possui grande variabilidade de olhares. De acordo com Diniz (2007),
isto ocorre principalmente como resultado do processo histórico de afastamento social
que os deficientes vivem, levando a um não conhecimento sobre a diversidade de estilos
de vida dos deficientes.
Sendo assim, a inclusão escolar de crianças deficientes tem encontrado barreiras,
e a compreensão reduzida, simplificada, de que a deficiência é uma expressão de uma
lesão, limita a participação social de um individuo, explica Diniz (2007).
De acordo com o exposto até então, levantamos alguns questionamentos que
orientaram a pesquisa: Como a inclusão tem ocorrido em nossas escolas? Como os
professores participam deste processo e como percebem o que ocorre na dinâmica da
inclusão? Que concepções norteiam a prática docente com alunos deficientes?
Procedimentos metodológicos
Com uma abordagem metodológica de cunho etnográfico, procuramos conhecer
o processo de inclusão por meio de observação em escolas, em salas de aula e recreios,
entre outros espaços escolares. Esta investigação se deu de acordo com uma abordagem
qualitativa e Ludke e André (1986, p. 11) afirma que é cada vez maior o interesse no
uso de metodologias qualitativas por pesquisadores da área de educação.
Mais interessadas no processo do que no produto escolar, na procura de
descrever densamente a realidade observada e analisando de forma indutiva os dados
obtidos (ANDRÉ, 1995), mergulhamos em salas de aula de duas escolas na cidade de
Petrópolis- RJ, escolhidas por serem conhecidas como “escolas inclusivas”.
177
Durante quatro meses estivemos nas escolas duas vezes por semana, e
permanecíamos nos locais observados cerca de cinco horas em cada uma, com o
propósito de olhar, ouvir e escrever (OLIVEIRA, 1988). Munidas de cadernos de
campo, registrávamos atitudes, gestos, movimentos, diálogos, brincadeiras, palavras e
frases, tanto dos alunos quanto das professoras, e principalmente observávamos cenas
em que havia interação entre os professores e os alunos e entre os alunos.
Compondo a pesquisa qualitativa, foram entrevistadas sete professoras das
escolas observadas, bem como duas diretoras e uma coordenadora. A partir de um
roteiro semiestruturado que privilegiava dados pessoais, informações sobre a prática
docente e questões sobre a inclusão escolar, buscamos concepções, crenças e
percepções dos docentes e gestores no trabalho pedagógico com estudantes com
deficiência. Foram entrevistadas também três professoras da rede pública, que
lecionavam em escolas que não são consideradas inclusivas. O objetivo dessa fase do
trabalho de campo foi ouvir informações a partir de diferentes lugares sobre o tema da
inclusão nas escolas.
Cabe registrar que para fins dessa pesquisa, os nomes das professoras, diretoras
e das crianças foram modificados, para preservar seu anonimato. As falas dos
participantes estarão sempre apresentadas em itálico, entre aspas quando fizerem parte
do texto e destacadas quando ultrapassarem quatro linhas.
A primeira escola (que vamos designar por PB) é pública, está localizada em um
bairro afastado do centro da cidade e possui 700 alunos divididos em dois turnos, sendo
36 alunos deficientes. Em cada um dos turnos também há uma sala de Classe Especial,
com seis alunos no turno da tarde e seis no turno da manhã. As outras 24 crianças estão
distribuídas pelas turmas regulares. A diretora explicou: “Nossa escola é uma escola
que todos já conhecem como uma escola inclusiva. A Secretaria de Educação é que
manda as crianças pra cá. As outras escolas rejeitam as crianças, nós não”.
Quando estivemos pela primeira vez na escola, a diretora apresentou uma tabela,
com a relação de crianças com deficiência que estão matriculadas. Na tabela, estavam
distribuídos em colunas: o nome dos “alunos”; o tipo de “deficiência”; se possuem
“laudo” de algum profissional que diagnostique a deficiência; a “classificação”, ou seja,
se são encaminhados pelo MEC ou pelo próprio município; o “ano escolar”, ou seja, a
classe que frequentam inclusive a classe especial e o “turno”.
Fomos conhecer a escola, acompanhadas por uma das coordenadoras, que
entrava em cada sala sempre perguntando em voz alta para a professora: “Aqui tem
178
aluno incluído?”34 Passamos a descrever as primeiras observações nas escolas
pesquisadas.
Ao entrar na sala do 2º ano da professora Sílvia, observamos que havia dois
alunos e 14 alunas, incluindo Luiza, uma criança com deficiência. Segundo a
classificação utilizada pela escola, ela é uma criança com “deficiência visual e
hidrocefalia”.
Luiza estava sentava em uma cadeira de rodas e à frente havia uma mesa
adaptada com um laptop também adaptado para deficientes visuais. O computador
possuía um programa DOSVOX, teclado em Braille e fones de ouvido: cada letra ou
palavra após ser teclada, é seguida pelo som correspondente. Notamos que algumas
crianças faziam o dever no livro didático de português, outras não tinham o livro e
desenhavam em folhas soltas. Luiza escrevia no computador os nomes dos colegas.
A outra sala observada foi a de 1º ano, com a professora Silma e 15 alunos: oito
meninos e sete meninas. Entre eles estavam os “alunos incluídos”: Pedro, classificado
TGD (autismo), que dormia com a cabeça apoiada na carteira e Kleber que, segundo
ela, “não tem diagnóstico ainda, porque a família não se interessa em buscar”. A
professora informou: “Eu trouxe o colchão para o Pedro deitar, mas a mãe dele falou
que durante as férias ele dormia após o almoço, e se ele deitar no colchão vai se
acostumar e não vai querer ficar acordado”. Ela tentou acordar Pedro, mas ele nem se
mexia. Ficamos mais algum tempo na sala de aula e a professora avisou que as crianças
iriam sair para brincar.
Conhecemos também a Classe Especial, com seis alunos: Luis, 6 anos, Alberto,
12 anos, Renato com 13 anos, Natalia com 13 anos, classificados como Deficiência
Mental, Marina, 16 anos com Síndrome de Down e Leandro, que entrou na escola
naquele mesmo dia, encaminhado pela Secretaria de Educação Especial, com um
diagnóstico de Síndrome de Dravet35 e Deficiência Mental. A professora informou que
é pós-graduada em Educação Especial. Segundo ela: “as crianças estão ‘quase’ indo
para as salas regulares, pois a educação especial é somente uma ‘ponte’ para eles irem
para as salas com todos”.
34 Cabe comentar que a categoria “aluno incluído” apareceu durante toda a pesquisa de campo, nos
levando a indagar se a questão da inclusão escolar de alunos com deficiência não estaria criando um
novo tipo de aluno.
35 Síndrome de Dravet corresponde a uma encefalopatia epiléptica e cursa com deterioração progressiva
cognitiva/motora/sensorial.(BIBLIOTECA DIGITAL UNICAMP)
179
A coordenadora explicou: “As classes especiais são duas turmas com seis
alunos em cada uma e o tempo de permanência nas turmas é em média de oito a doze
ano. Por exemplo, o Leandro, o aluno novo, não poderia entrar na sala regular, mas
também os outros não podem. Têm alguns parâmetros que não estão bem definidos pra
gente”.
A diretora completou: “É o departamento de educação que diz para onde vai
cada criança enviada por eles, mas as diretoras também podem interferir”.
Percebemos que os critérios que permitem ao aluno com deficiência ingressar e
permanecer no ensino regular ou na Classe Especial não estão completamente claros.
A Escola PR, como iremos chamá-la, é particular e localiza-se no centro
histórico da cidade. Possui 300 alunos - seis alunos com deficiência. Estas seis crianças
estão distribuídas pelas classes, conforme suas idades.
Observamos uma sala de 1º ano com dezesseis crianças: nove meninos e sete
meninas, sendo três deficientes: uma menina com Síndrome de Down, Giovana, um
menino com Transtorno Desafiador de Oposição36, Bruno e Juliano, um menino em
avaliação médica; segundo a professora, “ele tem uma incoordenação motora: ele anda,
não fala, mas compreende tudo o que falamos com ele”. Ela informou que “Juliano
começou a andar com três anos e então parou de falar”.
A turma tinha uma professora e uma estagiária. A observação estendeu-se
durante a tarde, e pudemos perceber que apesar dos alunos interagirem constantemente,
Juliano procurava afastar-se o tempo todo. Percebemos que o menino se deslocava
lentamente para longe do grupo, tanto enquanto estavam sentados no chão, arrastandose sentado, quanto quando estavam nas carteiras: ele levantava-se e ia em direção à
porta. A professora o chamava e direcionava-o; a estagiária diferentemente, o pegava
pelo braço e colocava-o em seu lugar. Quando percebia que ninguém olhava, Juliano
começava novamente a se afastar.
As crianças estavam escolhendo e cortando figuras, para colá-las nos cadernos e
escrever seus nomes. Bruno não aceitava entrar na sala e a diretora da escola procurava
envolvê-lo, convidando-o a participar sem confrontá-lo para que não se rebelasse, como
costuma fazer, andando pela escola. Cabe mencionar que é a diretora que faz a
adaptação de todos os alunos, com ou sem deficiência.
36 O transtorno desafiador de oposição, segundo Serra-Pinheiro (2008), corresponde a um transtorno
comportamental infantil caracterizado por um padrão de desobediência, desafio e comportamento
hostil.
180
Passado algum tempo, a diretora e Bruno entraram na sala, sentaram no chão, e
começaram a folhear revistas. A diretora procurava repetir a atividade realizada na sala,
estimulando Bruno para que escolhesse figuras. Observamos então que Juliano desceu
de sua carteira e deslocando-se sentado no chão, aproximou-se e ficou perto de Bruno.
Giovana levantou-se também, aproximou-se de Juliano e sentou-se no chão. Após o
término da aula a diretora dirigiu-se a nós e comentou: “As crianças deficientes se
aproximam sempre, é como se existisse uma cola entre eles”. Esse comentário nos fez
pensar em uma questão que nos acompanhou em toda a observação de campo: será que
se aproximam porque querem ficar junto a “seus iguais” (GOFFMAN, 1975) ou se
aproximaram da diretora da escola porque ela trouxe algo interessante para a sala?
Categorias de Análise
Após a leitura detalhada dos cadernos de campo e das entrevistas, sempre com
os olhos voltados para os alunos com deficiências, com os ouvidos dirigidos para os
professores e sem perder de vista os outros alunos tampouco a interação entre todos os
atores, participantes da construção da inclusão escolar, foram elaboradas duas categorias
de análise, divididas em três subcategorias.
Segundo Minayo, Deslandes e Gomes (2007), as categorias são rubricas ou
classes, que reúnem um grupo de elementos gerados a partir da pesquisa de campo, sob
um título genérico. Para a autora, a categorização tanto pode ser construída
previamente, quanto pode surgir a partir da análise do material da pesquisa.
Dessa forma, realizamos categorizações que dessem conta das respostas das
questões orientadoras da pesquisa, no sentido de descrever, conhecer e avaliar modos de
agir de professores cujas salas de aula têm alunos considerados “incluídos”, ou seja,
como a inclusão de alunos deficientes tem ocorrido em nossas escolas? Como os
professores participam deste processo e como percebem o que ocorre na dinâmica da
inclusão?
1ª Categoria: O aluno com deficiência na sala de aula
Subcategorias: “Os alunos deficientes e a professora”; “Os alunos deficientes e a
comunidade escolar” e “A interação entre os alunos”.
2ª Categoria: As professoras e suas percepções
Subcategorias: “Sobre inclusão e integração”; “As dificuldades em ensinar as
crianças deficientes” e “O que é preciso para ensinar as crianças deficientes”.
181
Os alunos com deficiência na sala de aula
A presença de alunos com deficiência nas escolas é crescente e a maioria das
professoras entrevistadas já teve esse tipo de aluno em suas salas de aula. Mais do que
um “modismo”, “politicamente correta” e também “feita com naturalidade”, como
descrito por algumas das professoras entrevistadas, a inclusão de crianças deficientes
está posta na lei e é um direito.
Porém, mesmo nas escolas que já vêm desenvolvendo esta prática há mais
tempo, este processo não está programado ou entendido, pois é complexo e
multifacetário, e envolve muitas dúvidas em sua execução. Mantoan (2006) explica:
Ao contrário do que alguns pensam, não há inclusão se a inserção de
um aluno é condicionada à matrícula em uma escola ou Classe
Especial. A inclusão deriva de sistemas educativos que não são
recortados nas modalidades regular e especial, pois ambas se destinam
a receber alunos aos quais impomos uma identidade, uma capacidade
de aprender, de acordo com suas características pessoais (p. 39).
Isso significa que a presença de alunos com deficiência na sala de aula não quer
dizer que estejam incluídos, tanto no processo de aprendizagem como também no de
socialização. Concordamos com Mantoan (2006, p. 9) quando diz que “para terem
direito à escola, não são os alunos que devem mudar, mas a própria escola!”
Portanto, com um olhar basicamente inclusivista, ou seja, numa perspectiva em
que as diferenças precisam ser valorizadas e não apagadas, ou niveladas e esquecidas, e
diante da complexidade de fatores que compõem a escola, pontuamos alguns aspectos
que poderão ajudar a entender a presença de alunos com deficiências nas salas de aula
de escolas comuns.
Os alunos deficientes e a professora
Para orientar o trabalho de pesquisa em sala de aula, na observação da relação
entre os alunos deficientes e a professora, escolhemos como modelo de observação,
“uma espécie de topologia social de sala de aula: o modelo centro-periferia”. Segundo
Sá Earp (2006).
Como poderia ser descrita a estrutura “centro e periferia”? Tudo se
passa como se o professor dirigisse o ensino a alguns alunos e não a
todos os alunos da classe. Tais alunos seriam o “centro”. Os outros
seriam a “periferia”. (p. 255).
182
Para a autora, o modelo “centro-periferia” é descrito pelos modos de agir dos
professores na interação com os alunos na classe. As maneiras como o professor faz
perguntas aos alunos, os modos de responder às questões dos alunos, as formas de
“corrigir” respostas, os modos de chamar os estudantes, isso tudo varia segundo a
“posição” que o professor coloca os alunos: no “centro” ou na “periferia”. Mais ou
menos conscientemente, os professores têm padrões de interação diversos com os
estudantes na mesma aula.
Foi interessante constatar que os alunos com deficiência eram o “centro” nas
salas de aulas das escolas públicas, uma vez que as professoras permaneciam ao seu
lado, segurando em sua mão, auxiliando-as a escrever, ditando individualmente, e por
vezes fazendo a atividade por eles quando faziam perguntas eram rapidamente
respondidos ou corrigidos; o ritmo da aula obedecia à velocidade do aluno com
deficiência. Usando a terminologia proposta por Sá Earp, os outros alunos são a
“periferia” da aula.
Durante a entrevista, uma professora da escola PB descreve um momento vivido
em sala de aula com um aluno deficiente, que retrata este modelo.
Fizemos um trabalho na sala com a cor vermelha. Depois de um
tempão, Cláudio demorou um tempão pra colorir o quadrado, porque
ele não presta a atenção, ele não entende nada. Eu perguntei a ele:
“Que cor é essa?” Ele respondeu: “Azul.” Perguntei de novo e ele
respondeu: “Azul”. Fiquei 40 minutos com ele. Só pra ele. As
crianças chegavam na mesa pra perguntar e eu não dava atenção.
Ficava só com ele.” (Rafaela, professora da Escola PB)
Nas salas de aula em que havia a presença de estagiárias também foi encontrado
o princípio “centro-periferia”, porém com uma variação: a estagiária permanecia todo o
tempo com a criança com deficiência, e os outros alunos acompanhados pela professora,
eram separados em “centro” e “periferia”, como na descrição a seguir:
Observamos que os cadernos foram distribuídos para que as crianças
copiassem o que está sendo escrito no quadro: “Nome da escola.
Petrópolis, 15 de março de 2011. Ditado”. Paula, a professora
explicava: “Copiem do quadro e após terminarem podem sair para o
lanche.” As crianças começaram a escrever. Notamos que Tomás, um
aluno sem deficiência, parecia desatento: olhava para todos os lados,
para cima e para a janela. Abria e fechava o estojo, pegava o lápis,
183
devolvia-o, pegava outro, pegava a borracha e finalmente começou a
escrever. A ponta do lápis quebrou e ele levantou-se para apontá-lo na
lata de lixo. Voltou para a carteira e recomeçou a mexer no estojo,
guardando esse lápis e pegando outro. As crianças foram terminando e
saindo da sala para o lanche. Lilian, a estagiária, sentada entre Juliano
e Giovana auxiliava-os na realização da tarefa. A professora passava
pelas carteiras olhando a atividade feita pelos alunos, passava por
Tomás e não falava nada. Tomás arrumou suas coisas e foi lanchar
com as outras crianças que já haviam terminado a cópia (Escola PR).
Os alunos com deficiência e a comunidade escolar
Apesar de encontrarmos um número maior de alunos com deficiências nas
escolas atualmente, essa presença é carregada de desconhecimento e dúvidas acerca das
características que as crianças apresentam. Trazendo a marca do “estigma”
(GOFFMAN, 1975), esses alunos podem ser vistos como diferentes dos chamados
normais, como pode ser observado na seguinte descrição:
Começou o intervalo. As crianças começaram a pegar seus lanches e
Silma, a professora, segurando Pedro pela mão foi em direção à
Secretaria. Chegando lá, ela disse para a secretária entregar o
microfone para ele. Cristina pegou o microfone, colocou-o na mão de
Pedro e falou: “Ele adora!”. Bianca, que também trabalha na
Secretaria, estimulava-o: “Canta Pedro! Canta!” Pedro permanecia
em pé, segurando o microfone com as duas mãos, a cabeça inclinada e
um ar de sorriso nos lábios, acompanhando com os olhos todos os que
passavam. A professora de matemática passou por ele, olhou e disse:
“Eles são uma gracinha mesmo!” Pedro permaneceu assim até chegar
Márcia, que retirou o microfone de suas mãos e dizendo “Vamos fazer
xixi” saíram da sala. Cristina dirigiu-se a nós e falou novamente: “Ele
adora, não é?” (Escola PB).
Cabe informar, que a prática de cantar ao microfone na secretaria da escola
somente é permitida e estimulada para os alunos com deficiência, tanto os da Classe
Especial como os das classes regulares.
Com um sentido duvidoso, este tipo de
“inclusão” está preso aos costumes do século XV, quando a pessoa deficiente, vista
como um ser bizarro era exposto e aplaudido como os bobos da corte.
A interação entre os alunos
A terceira subcategoria corresponde ao relacionamento entre as crianças dentro
da escola e da sala de aula, peça fundamental para a aprendizagem. Para Pacheco (2007)
“as escolas inclusivas devem considerar a aprendizagem como um processo social em
que a interação social tem um papel central para facilitar a aprendizagem” (p. 148).
184
Nas observações realizadas, percebeu-se que a maioria das interações sociais
ocorreu dentro das salas de aula, em decorrência de que os ambientes são pouco
sensíveis às características diferenciadas de deslocamento dessas crianças.
Foi observado que as atitudes espontâneas das crianças em se ajudarem
favoreceram o desencadeamento de comportamentos solidários mútuos. Descrevemos
uma situação observada que aponta para essa questão:
A aula de inglês irá começar. Juliano continuava inquieto e ia sempre
em direção à porta. A professora procurava dar limites, orientações
para que ele retornasse, sentasse melhor, sem pegar em sua mão, sem
pegar em seu corpo e sim o estimulando para que fizesse sozinho. Ele
levantava e queria sair da sala. Ficava de frente para a porta tentando
abri-la. Quando conseguia abrir a porta, saía e ficava de frente para a
parede, do lado de fora da sala. Novamente a professora ia atrás dele e
colocava-o novamente sentado em sua cadeira, mas bastava que
virasse de costas para que ele começasse a empurrar a cadeira,
olhando para fora, demonstrando vontade de sair da sala. Com a
repetição, ao perceber que a professora estava olhando para ele,
Juliano parava de se movimentar até que ela olhasse para outro lado e
então, ele tentava mais uma vez. Ela retornou, pegou-o novamente,
olhou e disse em voz alta: “Além de tudo falta limite!” Um aluno
sentado na carteira à frente de Juliano começou a ajudar, e
posicionando-o, colocando suas pernas para baixo, falava para que ele
ficasse quieto. Juliano foi acalmando até que o colega sentou-se ao
lado dele. Juliano ficou quieto. Paula olhou e não falou nada. (Escola
PR).
As professoras e suas percepções:
Esta categoria emergiu da participação das professoras, de como percebem e
realizam sua prática com a presença de crianças com deficiências nas salas de aula. Foi
identificada uma incompatibilidade entre a fala dos diretores, coordenadores e dos
professores das escolas observadas, conhecidas e declaradas como escolas que incluem
crianças com deficiência, indicando que a inclusão não é um projeto construído na
comunidade escolar. As falas de algumas professoras nos revelam essa questão:
Em todas as reuniões a gente fala, a gente fala o seguinte: que a
nossa escola é referência de inclusão. Já me intitulei e já me dei o
título, quer dizer, dei à escola. Agora eu gostaria de destacar muito a
equipe, porque se eu não tivesse uma equipe também que abraçasse
essa causa, a gente não toparia nada, eu sozinha, lógico, não teria
como resolver nada (Diretora, escola PB).
Eu acho inclusão uma farsa. Eu acho que na verdade eles não estão
incluídos. Outro dia teve uma reunião pedagógica e a gente tava
falando sobre isso, e até mudamos o termo, eles estão inseridos. Vê,
na minha turma eu tenho três, que na verdade fazem as mesmas
185
coisas que os outros. Você não tem como dar atenção individual a
cada um, dependendo do número de alunos, porque cada deficiente
tem uma deficiência diferente. Até eu atender, compreender o que
cada deficiente precisa, acabou a aula e não fico pronta nunca,
porque cada caso é um caso. Na verdade nós não estamos preparados
pra trabalhar com essas deficiências (Professora da escola PB).
Mantoan (2006, p. 44) traz importante colaboração ao informar que “Não se
pode encaixar um projeto novo, como é o caso da inclusão, em uma velha matriz de
concepção escolar”.
Sobre Inclusão e Integração
Nas observações feitas nas salas de aula, foi percebido que em alguns momentos
vigorava o modelo de integração, em que não são feitas adaptações para os alunos
deficientes nas atividades propostas pelos professores. Já em outros, foram visualizadas
dinâmicas em que são consideradas as diferenças entre as crianças com a aplicação de
práticas diferenciadas, tendo um objetivo comum a todos. Exemplificamos nas
descrições a seguir:
Entramos na sala e as crianças estavam copiando do quadro algumas
palavras, escritas pela professora, em ordem alfabética, com o título:
“Coisas que a mamãe usa”. Pedro estava deitado no colchão,
dormindo. A professora estava em sua mesa fazendo contas em sua
calculadora. Eram as despesas com o presente do dia das mães. As
crianças já estavam acabando o dever e começaram a colocar o
caderno em cima da mesa de Silma, que continuava a fazer contas.
Pedro acordou, e então Silma levantou-se, foi buscá-lo e sentou-o na
carteira. Pedro permaneceu sentado em sua carteira, balançando a
cabeça para os lados, até o final da atividade realizada pelas crianças.
O sinal tocou e todos foram para o recreio (Escola PB).
Na escola PR, as carteiras estavam posicionadas em U, o que
facilitava a Paula, a professora, olhar o que as crianças faziam. A
atividade desenvolvida era uma escrita espontânea. As crianças
inicialmente escreveram o cabeçalho, em seguida escolheram em
revistas algumas figuras para escreverem o nome de cada uma no
caderno. Juliano e Giovana eram ajudados por Lilian, a estagiária, que
estava sentada entre eles e estimulando-os a escolher as figuras. Lilian
também dispôs as letras para que ele as escolhesse e formasse as
palavras. As letras seriam coladas ao lado das figuras escolhidas.
Giovana era estimulada a cortar as figuras e a escrever seus nomes
usando um lápis com um engrossador, para facilitar seu uso. Paula
informou para aqueles que já terminaram a atividade, sentarem-se
numa rodinha. Lilian foi ajudar Tomás e Andrezza que estavam
atrasados (Escola PR).
186
As dificuldades em ensinar a crianças com deficiência
Foi percebido nas entrevistas realizadas que as dificuldades descritas pelas
professoras eram transferidas e confundidas com as “deficiências” que os alunos
apresentavam: “A minha dificuldade depende da especialidade, da deficiência que o
aluno tem”. (Professora escola PR); “Eles não dão retorno. É o principal. É saber se
eles estão me compreendendo ou não”. (Professora escola PB)
Para Diniz (2009) há duas maneiras de entendermos a deficiência: a primeira
como uma manifestação da diversidade humana; um corpo com limitações, tanto de
caráter físico, intelectual ou sensorial em um ambiente com barreiras sociais que
ignoram os impedimentos corporais, levará à experiência de desigualdade. A outra
maneira de ver a deficiência é como uma desvantagem, e deve ser feito de tudo para
garantir a todas as essas pessoas “um padrão de funcionamento típico à espécie”. Desta
maneira recusam-se as deficiências, consideradas como “indesejáveis” e não como mais
uma das representações da diversidade humana.
Nesse sentido, a concepção de que um corpo com estas características deve-se
submeter à metamorfose da normalidade, naturalidade ou igualdade, por meio das ações
curativas da medicina, da reabilitação, da psicologia ou da educação e o deslocar da
dificuldade da professora para a criança é uma das formas de opressão e de fomentar a
desigualdade. A busca da normalização, da igualdade faz com que as diferenças sejam
recusadas, e como afirma Monteiro (1998, p. 57) “não há necessidade de nivelar aquilo
que nos contrasta, o que precisamos mesmo é educar o olhar para que possamos
aprender com o diferente”.
Entretanto, respostas de algumas outras professoras levam a pensar que existem
outras possibilidades:
Acho que a principio, a dificuldade é saber como você vai trabalhar.
Depois tem muita tentativa. Igual a uma criança qualquer, você vai
ensinar um número, ela não aprende e você tem que inventar outro
jeito de trabalhar o número com ela. É a mesma coisa que trabalhar
criança deficiente: você vai ter dificuldade, mas você vai ter que
descobrir um jeito pra chegar naquela criança. Tem criança que se
esquiva, e você tem que saber um jeito e cada criança é uma. A gente
aqui também tem a psicóloga e a fonoaudióloga que ensina e ajuda a
gente, dando sugestões (Professora Gilda escola PR).
187
O que é preciso para ensinar as crianças deficientes
Por fim, um dos argumentos mais frequentes dos professores, frente à inclusão, é
o de não estarem preparados ou até de não terem sido habilitados para esse tipo
diferenciado de trabalho educacional. Destarte, ao procurar conhecer sobre as
necessidades das professoras, constatamos que em sua maioria apontaram como mais
importantes atributos afetivos como “carinho”, “amor” e “afeição” e alguns atributos
pessoais como “dedicação”, “paciência” e “dom”.
O dom é o principal, querer estar com a criança. Eu não tenho o dom
pra trabalhar com criança especial e sou obrigada a trabalhar
porque ela tem que estar incluída. (Professora, escola PB)
Posso falar de coração? É de coração mesmo... É boa vontade, é você
se afeiçoar, porque você acaba gostando muito porque você quer
bem. Não adianta colocar as crianças em qualquer turma, se a
professora não aceita... Uma boa aceitação... (Professora, escola PB).
Interessante notar que a maior parte das professoras não considera a capacitação
profissional como estratégia que vai permitir ou facilitar o ensino a alunos com
deficiências. Por outro lado, também sabemos que não há capacitação única que
responda às necessidades das professoras.
Com a perspectiva de que a inclusão de crianças com deficiência em escolas
equivale a ampliar habilidades a partir das diferenças, e experimentar o que qualquer
criança tem direito, a vida em sociedade, pode-se perceber que muito há que se fazer.
A observação feita em escolas consideradas inclusivas permitiu que
verificássemos que os três paradigmas: o segregacionista, o integracionista e o
inclusivista, convivem no cotidiano escolar, assim como Anjos (2009) também
descreveu. Realizando práticas de integração, com dinâmicas de inclusão e com a
permanência de crianças em classes especiais por dez a doze anos, práticas de
segregação convivem no dia a dia de escolas ditas inclusivas. Cumpre notar que escolas
da rede privada não possuem classes especiais.
Com uma estrutura organizada na lógica “centro-periferia”, de forma semelhante
e ao mesmo tempo diferente, observamos que as professoras separam os alunos nas
salas de aula e colocam os alunos deficientes no “centro” e os outros alunos na
“periferia”. Semelhante porque com dificuldade em ensiná-los, permanecem ao lado
destas crianças, fazendo as atividades por elas, segurando em sua mão, sem criar
188
alternativas para que pudessem aprender. Como a percepção das professoras é de que a
dificuldade em aprender dos alunos está localizada em suas deficiências, elas justificam
o não aprender ao falarem “é pela deficiência dela”, e “é por causa da dificuldade que
ela tem”. Diferente porque nas salas de aula em que os alunos com deficiência são
acompanhados por estagiárias, os outros alunos sob a responsabilidade da professora
são separados em “centro” e “periferia”, e a professora ensina mais àqueles que vê
como “centro”.
Interessante notar que as escolas são consideradas inclusivas e mesmo na escola
privada, em que os alunos com deficiência ficavam sob a orientação da estagiária, não
há modificação das práticas para atender à turma e aos alunos com deficiência.
Constatamos que a maioria das professoras não distingue os dois paradigmas
educacionais e parecem desconhecer que não sabem. Percebemos que mesmo em
situações em que as crianças estão realizando as atividades, atuando com suas
potencialidades individuais, as professoras acreditavam que todos deveriam realizar a
mesma atividade, numa clara percepção de que a crença na homogeneização ainda
prevalece nas salas de aula. Por não conhecerem, apontam atributos afetivos como mais
importantes que capacitação profissional, para ensinar crianças com deficiência. Ao
mesmo tempo em que percebem que não estão “preparadas” para ensinar a alunos
com deficiências, não se sentem entusiasmadas a se instrumentalizar do
conhecimento para reverter essa posição. Acresce-se a percepção de que a dificuldade
em ensiná-los está localizada na “deficiência” que possuem, o que os impossibilita de
aprender. Sendo assim pouco se faz para modificar, e pouco se aprende nas escolas.
Porém, somente pelo conhecimento, pelas múltiplas abordagens e
perspectivas é que se pode chegar à criatividade, a imaginar-se e até
colocar-se no lugar do outro, de alguém com características diferentes
(RAGHAVA KK, 2011).
Buscamos com esta pesquisa descrever como a inclusão vem sendo vivida e
percebida em escolas a fim de ampliar as formas de pensar sobre as práticas
pedagógicas a partir da mudança de concepção sobre a deficiência, e no reconhecimento
da diferença como um elemento favorecedor da aprendizagem.
189
Referências
ANJOS, H. P. dos; ANDRADE, E. P. de; PEREIRA, M. R. A inclusão escolar do ponto
de vista dos professores: o processo de constituição de um discurso. Revista Brasileira
de Educação [S. l.], v. 14, n. 40, jan./abr. 2009.
ANDRÉ, M. E. D. Etnografia da prática escolar. Campinas: Papirus, 1995.
Disponível em: <www.bibliotecadigital.unicamp.br.>. Acesso em: 15 out. 2010.
DINIZ, D. O que é deficiência. São Paulo: Brasiliense, 2007.
DINIZ, D.; BARBOSA, L.; SANTOS, W. R. dos. Deficiência, direitos humanos e
justiça. Revista Internacional de Direitos Humanos, [S.l.], v. 6, n. 11, p. 65-78, dez.
2009.
GOFFMAN, E. Estigma: Notas sobre a manipulação da identidade deteriorada. Rio de
Janeiro: Zahar, 1975.
LUDKE, M.; ANDRÉ, M. E. D. Pesquisa em educação: abordagens qualitativas. São
Paulo: EPU, 1986.
MANTOAN, M. T. E. Inclusão escolar: O que é? Por quê? Como fazer? São Paulo:
Moderna, 2006.
MENDES, E. G. A radicalização do debate sobre inclusão escolar no Brasil. Revista
Brasileira de Educação, [S.l.], v. 11, n. 33, p. 387-559, set./dez. 2006.
MINAYO, M. C. (Org.); DESLANDES, S.; GOMES, R. Pesquisa Social: teoria,
método e criatividade. Petrópolis, Vozes, 2007.
MONTEIRO, P. P. Envelhecimento: rumo ao novo paradigma. Revista Kairós:
gerontologia. São Paulo, ano 1, n. 1, 1998.
OLIVEIRA, R. C. O trabalho do antropólogo: olhar, ouvir, escrever. In: O trabalho do
antropólogo, São Paulo: UNESP: Paralelo 15, 1988. p. 17-35.
PACHECO, J. et al. Caminhos para a inclusão: um guia para o aprimoramento da
equipe escolar. Porto Alegre: Artmed, 2007.
RAGHAVA KK: Shake up your story. 2011. Disponível em:
<http://www.ted.com/talks/raghava_kk_shake_up_your_story.html>. Acesso em: 03
out. 2011.
SÁ EARP, M. de L. A cultura da repetência em escolas cariocas. 2006. 245f. Tese
(Doutorado em Sociologia e Antropologia)-Instituto de Filosofia e Ciências Sociais,
Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006.
190
SERRA-PINHEIRO, M. A. et al. Transtorno desafiador de oposição: uma revisão de
correlatos neurobiológicos e ambientais, comorbidades, tratamento e prognóstico. Rev.
Bras. Psiquiatr. São Paulo, v. 26, n. 4, dez. 2004. Disponível em:
<http://www.psiquiatriainfantil.com.br/artigo.asp?codigo=161>. Acesso em 03 out.
2011.
TECKLIN, J. S. Fisioterapia Pediátrica. 3. ed. Porto Alegre: Artmed, 2002.
191
AVALIAÇÃO DE ALUNOS DE OITO ANOS DE UM COLÉGIO
PARTICULAR DO RIO DE JANEIRO: habilidades e competências
em Leitura, Escrita e Matemática
Maria Christina Velloso de Mello
Ligia Gomes Elliot
Nilma Santos Fontanive
Resumo
Este artigo apresenta um estudo que avaliou a aquisição de competências e habilidades
em leitura, Matemática e escrita, por alunos que estavam completando o 2º ano do
Ensino Fundamental em 2011, de um colégio particular do Rio de Janeiro. A Prova
ABC, aplicada a todos os alunos matriculados naquele ano de ensino, continha 20
questões objetivas de leitura, 20 questões de Matemática e uma redação. Os resultados
dos desempenhos dos alunos foram colocados nas escalas do SAEB/Prova Brasil e
interpretados em termos das habilidades que os alunos demonstraram dominar ao final
do processo de alfabetização. Os alunos do colégio que participaram da Prova ABC
2011 obtiveram média de 226,9 em leitura e 89,2% deles alcançaram o desempenho
esperado. Na parte escrita, de um total de 209 alunos, 90,4% atingiram a média 75,
considerada adequada para o ano/série, enquanto 65% dos alunos chegaram à média
100, apesar de nunca terem feito uma carta. Em Matemática, mais da metade dos alunos
do 2º ano do Ensino Fundamental (57,7%) ficaram acima do nível de desempenho
esperado (nível 175), considerado adequado pelo Movimento Todos pela Educação para
a Meta 2. Esses resultados permitem concluir que os alunos avaliados atingiram a meta
de alfabetização.
Palavras-chave: Avaliação e Prova ABC. Alfabetização de alunos de oito anos. Escalas
de desempenho em leitura, Matemática e escrita do SAEB/Prova Brasil. Movimento
Todos pela Educação.
Introdução
O ano de 2005 foi marcado como o início da Década das Nações Unidas para a
Educação e o Desenvolvimento Sustentável 2005-2014, sendo 8 de setembro de 2005
considerado o Dia Internacional da Alfabetização.
O índice de cidadãos alfabetizados de um país indica o nível de desenvolvimento
do mesmo. A alfabetização é o processo que desenvolve as habilidades de leitura e de
escrita de um sujeito, tornando-o capaz de identificar e decifrar os códigos escritos. Um
meio familiar alfabetizado favorece muito o desenvolvimento da criança, tendo um
impacto positivo na duração da escolarização das pessoas, bem como no modo como
adquirem os conhecimentos.
192
“Calcula-se ainda que mais de 100 milhões de crianças não frequentem a escola.
É evidente que o apoio dado à alfabetização ainda está longe de responder às
necessidades existentes”, afirma o secretário geral da Organização das Nações Unidas
(ASSEMBLEIA, 2012).
O Dia Internacional da Alfabetização serve para lembrar que a alfabetização
para todos é uma parte integrante da educação. A alfabetização não é um pré-requisito
para um mundo saudável, justo e próspero. É um instrumento do trabalho que visa
tornar realidade os Objetivos de Desenvolvimento do Milênio, aprovados por todos os
governos do mundo como um plano geral para a construção de um mundo melhor no
século XXI.
Além disso, a alfabetização é um direito humano, como afirma a Declaração
Universal dos Direitos Humanos que consagra o direito de todos à educação. É um
processo emancipador, que permite que milhões de seres humanos tenham acesso ao
conhecimento e à informação, que alarga horizontes, aumenta as oportunidades e cria
alternativas para a construção de uma vida melhor.
O Brasil, embora tenha desenvolvido desde 1995 instrumentos de avaliação da
aprendizagem escolar, como o Sistema de Avaliação da Educação Básica (SAEB) e a
Prova Brasil, não possuía provas que avaliassem as habilidades adquiridas por crianças
ao final do ciclo de alfabetização, ou seja, ao final do 2º ano de escolaridade do Ensino
Fundamental de 9 anos (FONTANIVE; KLEIN, 2012). Em 2010, originada de uma
parceria entre o Movimento Todos pela Educação, o Instituto Nacional de Estudos e
Pesquisas Educacionais Anísio Teixeira (INEP) do Ministério da Educação, a Fundação
Cesgranrio e o Instituto Paulo Montenegro foi desenvolvida a Prova ABC. Essa prova
permitiu situar, nas escalas de desempenho do SAEB, os desempenhos dos alunos ao
final do 2º ano (ANUÁRIO, 2012).
Objetivo, relevância e questões avaliativas
O estudo teve por objetivo avaliar a aquisição de competências e habilidades em
leitura, escrita e Matemática, pelos alunos de um colégio particular do Rio de Janeiro,
ao final do segundo ano do Ensino Fundamental de 9 anos em 2011. Por meio da
aplicação da Prova ABC, os resultados encontrados foram comparados com os obtidos
pelas populações e sub-populações de alunos brasileiros e da Região Sudeste, que
fizeram a Prova ABC em 2011.
193
A Prova ABC (2011) é um instrumento nacional criado para avaliar as
habilidades de Leitura, Escrita e de Matemática adquiridas pelos alunos brasileiros
pertencentes a uma amostra de escolas estatisticamente significativa. As escalas do
SAEB/Prova Brasil descrevem, desde 1995, os desempenhos para os alunos do 5o ano
do Ensino Fundamental (ELLIOT; FONTANIVE, 2004). Ao colocar os desempenhos
obtidos na Prova ABC nas escalas do SAEB/Prova Brasil, essas escalas têm seu escopo
ampliado e possibilitam a interpretação dos níveis de desempenho dos alunos do 2o ano
do Ensino Fundamental.
A aplicação da Prova ABC, em um colégio particular do Rio de Janeiro, é o
primeiro estudo realizado no Brasil, fora do âmbito da pesquisa original de 2011, e seus
resultados trazem importante contribuição aos dados anteriormente divulgados
(PROVA ABC, 2011). Tal contribuição justifica a relevância do presente estudo
avaliativo.
A partir do objetivo do estudo, foram formuladas as seguintes questões
avaliativas:
1) Quais as habilidades de leitura, escrita e Matemática os alunos do Colégio
adquirem após os dois anos de escolaridade do Ensino Fundamental?
2) Há diferenças de desempenho dos alunos do Colégio quando comparados
com o dos alunos brasileiros que estudavam nas capitais das Unidades da Federação?
3) Os alunos do Colégio demonstraram atingir nível de habilidade de leitura,
escrita e Matemática mais alto, quando são comparados com a sub-população de alunos
de escolas particulares da Região Sudeste?
Procedimentos Metodológicos
Diversos procedimentos possibilitaram o desenvolvimento deste estudo.
Caracterização do estudo
O estudo avaliativo adotou a abordagem orientada por objetivos, no caso, as
habilidades da Prova ABC. Essa abordagem pode ser considerada como derivada do
modelo tyleriano (WORTHEN; SANDERS; FITZPATRICK, 2004). Assim, no estudo,
verificou-se em que medida as habilidades avaliadas pela Prova ABC foram dominadas
pelos alunos participantes do estudo. Em seu desenvolvimento, o estudo seguiu diversas
etapas, a saber: identificação do instrumento, aplicação da Prova ABC aos alunos do
Colégio, análise dos resultados obtidos pelos alunos, comparação com os resultados
194
obtidos em nível nacional e na Região Sudeste, estabelecimento de considerações e
recomendações.
O instrumento
As provas de leitura, escrita e Matemática foram elaboradas por especialistas da
Fundação Cesgranrio. Todos os itens de teste utilizados foram validados e colocados
nas escalas do SAEB/Prova Brasil.
No estudo relatado, as provas aplicadas eram compostas por 20 itens em leitura,
20 em Matemática e uma proposta de produção escrita. Os itens de leitura e de
Matemática pertencem ao Banco de Itens do Inep e não podem ser divulgados.
É importante destacar que os alunos brasileiros que fizeram a Prova ABC em
2011 cursavam o 3º ano do Ensino Fundamental, enquanto que os alunos do Colégio
que participaram do presente estudo estavam no final do 2º ano desse nível de ensino.
A coleta de dados
A Prova ABC foi aplicada a um grupo de 220 alunos, distribuídos em oito
turmas, do 2º ano do Ensino Fundamental, do Colégio que participou do estudo. No
primeiro dia, os alunos fizeram a prova de Língua Portuguesa (leitura e redação) e no
segundo dia, a prova de Matemática.
A prova foi aplicada aos alunos que estavam concluindo o 2º ano do Ensino
Fundamental, em novembro de 2011.
Cada sala de aula recebeu o envelope da turma lacrado com as provas que
estavam identificadas com o nome de cada aluno. A prova foi aplicada
simultaneamente, nas oito turmas do 2º ano do Ensino Fundamental, por aplicador
diferente, que não era professor da turma.
A prova foi autorizada pela diretora pedagógica da escola e o grupo de
professores das oito turmas teve uma reunião prévia com a autora, para orientação sobre
a aplicação. Ficou combinado que esta ocorreria na última semana de aula de 2011.
Análise dos resultados
Os resultados obtidos nas provas foram apurados com a utilização da Teoria da
Resposta ao Item (KLEIN, 2003). Além de identificarem as habilidades dominadas
pelos alunos, por meio de seu desempenho, os resultados serviram para situar os alunos
do Colégio comparativamente aos resultados da amostra brasileira dos alunos de escolas
195
urbanas e, em particular, aos da Região Sudeste, onde se situa o Colégio. Os resultados
dos alunos são descritos de acordo com os pontos das escalas de desempenho do
SAEB/Prova Brasil.
Resultados
Os resultados obtidos com a aplicação da Prova ABC, em alunos ao final do 2º
ano do Ensino Fundamental de nove anos em 2011, em leitura, Matemática e escrita,
são apresentados e comparados com os resultados obtidos pela população e
subpopulações de alunos brasileiros e da região Sudeste, que fizeram a Prova ABC em
2011.
Desempenho do Colégio em leitura
Os alunos do Colégio que participaram da Prova ABC obtiveram média de 226,9
em leitura e 89,2% deles alcançaram desempenho esperado em leitura, igual ou maior
do que 175.
Gráfico 1- Percentual de alunos acima dos níveis de desempenho em Língua Portuguesa.
100,0
100,0 100,0 100,0
97,2
89,2
90,0
80,0
72,8
Percentual
70,0
60,0
54,9
50,0
40,0
31,0
30,0
16,4
20,0
10,0
0
0,0
≥75 ≥100 ≥125 ≥150 ≥175 ≥200 ≥225 ≥250 ≥275 ≥300
Níveis de Desempenho
Fonte: Mello (2012).
O Gráfico 1 mostra o percentual de alunos do Colégio acima dos diversos níveis
de desempenho da escala de leitura. Nota-se que quase 90% dos alunos estão no nível
de desempenho esperado (175), recomendado pelo Movimento Todos pela Educação,
como meta para o ano de 2022. Chama-se a atenção que os alunos do Colégio (72,8%)
196
têm o desempenho acima do nível 200, nível recomendado para o 5º ano, antiga 4ª série,
de acordo com o Movimento. Esses resultados refletem o ótimo desempenho dos alunos
do Colégio na Prova ABC.
Comparação dos resultados do Colégio em leitura com os do Brasil
Observa-se que a média do Colégio encontra-se acima da média total do Brasil
(185,8) e o percentual dos alunos com desempenho esperado foi superior 33 pontos
percentuais ao do Brasil. Nota-se ainda uma diferença de 10 pontos percentuais
favoráveis ao Colégio em relação à rede de ensino particular, que obteve média 216,7,
com 79% de alunos atingindo o desempenho esperado, enquanto a rede pública
apresentou média 175,8, mais baixa do que a do Colégio, sendo que apenas 48,6% de
seus alunos alcançaram o desempenho esperado (Tabela 1).
Tabela 1 - Média em leitura e percentual de alunos que aprenderam o esperado no colégio,
Brasil e por rede de ensino.
Colégio/Rede de Ensino
Proporção de alunos com desempenho
esperado para 8 anos de idade
89,2%
56,1%
48,6%
79,0%
Média
Colégio
Brasil Total
Brasil Rede de Ensino Pública
Brasil Rede de Ensino Particular
226,9
185,8
175,8
216,7
Comparação dos resultados do Colégio em leitura com os das Regiões
Pelos dados da Tabela 2 verifica-se que há uma variação de desempenho no País
e proximidade entre as médias das Regiões Sul, Sudeste e Centro-Oeste, quanto ao
desempenho em leitura.
Tabela 2 - Médias de desempenho em Leitura e percentual de alunos que aprenderam o
esperado para o 3º ano, no colégio, região e rede de ensino.
Região
Norte
Norte
Norte
Nordeste
Nordeste
Nordeste
Sudeste
Rede de
Ensino
Colégio
Total
Pública
Particular
Total
Pública
Particular
Total
Média
226,9
172,8
166,7
210,6
167,4
159,7
191,1
193,6
Proporção de alunos
com desempenho
esperado para o 3º ano
89,2%
43,6%
39,4%
69,4%
42,5%
36,5%
61,1%
62,8%
197
Sudeste
Sudeste
Sul
Sul
Sul
Centro-Oeste
Centro-Oeste
Centro-Oeste
Pública
Particular
Total
Pública
Particular
Total
Pública
Particular
182,0
224,2
197,9
186,8
228,4
196,5
186,6
226,2
54,4%
85,1%
64,6%
56,5%
86,8%
64,1%
56,8%
85,5%
Fonte: Adaptado de Mello (2012).
Essas regiões tiveram desempenho acima da média nacional (185,8),
apresentando médias de, respectivamente, 197,9; 193,6 e 196,5 pontos. Abaixo da
média brasileira ficaram a Região Norte com média 172,8 e a Região Nordeste com
167,4.
A comparação dos resultados alcançados pelo Colégio revela que a média 226,9
é superior a da Região Sudeste (193,6), assim como o percentual dos alunos com
desempenho esperado (89,2% para 62,8%).
Se a análise for feita separando as Redes, particular e pública, ter-se-ia então
como resultado das escolas particulares da Região Sudeste um valor mais aproximado
do Colégio. Ou seja, a Rede Particular da Região Sudeste obteve média 224.22 e 85%
dos alunos com desempenho esperado, enquanto os alunos do Colégio obtiveram média
226.9 e 89,2% com desempenho esperado.
Desempenho do Colégio em Matemática
Constatou-se que os alunos do Colégio que participaram da Prova ABC 2011
atingiram a média de 183,9, e 57,7% desses alunos alcançaram o nível de aprendizagem
175, esperado em Matemática (Gráfico 2).
198
Gráfico 2- Percentual de alunos acima dos níveis de desempenho em Matemática.
100,0
100,0 100,0 100,0
97,2
89,2
90,0
80,0
72,8
Percentual
70,0
60,0
54,9
50,0
40,0
31,0
30,0
16,4
20,0
10,0
0
0,0
≥75 ≥100 ≥125 ≥150 ≥175 ≥200 ≥225 ≥250 ≥275 ≥300
Níveis de Desempenho
No Gráfico 2 constata-se o percentual de alunos acima dos diversos níveis de
desempenho da escala de Matemática. Pode-se notar que mais da metade dos alunos do
2º ano do Ensino Fundamental (57,7%) estão acima do nível de desempenho esperado
(nível 175), considerado adequado pelo Movimento Todos pela Educação – meta 2 Todos alfabetizados até os 8 anos de idade como meta para o ano 2022. Pode-se
observar também que 28,2% dos alunos estão acima do nível 200, desempenho
considerado adequado para os alunos do 5ª ano, antiga 4ª série do EF.
Comparação dos resultados do Colégio em Matemática com os do Brasil
Tabela 3- Média de desempenho em Matemática e percentual de alunos que aprenderam o
esperado para o 3º ano no colégio, Brasil e rede de ensino.
Rede de Ensino
Colégio
Brasil Total
Brasil Pública
Brasil Particular
Média
183,9
171,1
158,0
211,2
esperado para 8 anos de idade
57,7%
42,8%
32,6%
74,3%
A média do Colégio (183,9) ficou situada acima da média do Brasil. A média de
desempenho em Matemática dos alunos brasileiros na Prova ABC foi mais baixa, de
171,1 pontos na escala, com 42,8% do total das crianças aprendendo o que era esperado
199
para esta etapa do ensino da matéria, enquanto o Colégio apresentou 57,7% de seus
alunos na mesma situação (Tabela 3).
Em relação à média das escolas particulares que participaram da Prova ABC em
2011, há uma diferença de 27 pontos percentuais favoráveis em relação à média obtida
pelo Colégio.
Comparação dos resultados do Colégio em Matemática com os das Regiões
O resultado do Colégio em Matemática é superior ao da Região Sudeste, cuja
média é 179,1 e o percentual de alunos alcançando o nível esperado é de 47,9%, para
57% dos alunos do Colégio (Tabela 4).
Tabela 4 - Média de desempenho em Matemática e percentual de alunos que aprenderam o
esperado para o 3º ano, no colégio, região e rede de ensino.
Regiões
Norte
Norte
Norte
Nordeste
Nordeste
Nordeste
Sudeste
Sudeste
Sudeste
Sul
Sul
Sul
Centro-Oeste
Centro-Oeste
Centro-Oeste
Rede de Ensino
Colégio
Total
Pública
Particular
Total
Pública
Particular
Total
Pública
Particular
Total
Pública
Particular
Total
Pública
Particular
Média
183,9
152,6
145,4
196,7
158,2
148,9
186,9
179,1
161,9
224,2
185,6
171,3
224,9
176,5
167,1
204,2
esperado para o 3º ano
57,7%
28,3%
21,9%
67,7%
32,4%
25,2%
54,7%
47,9%
35,6%
80,6%
55,7%
44,5%
86,3%
50,3%
40,6%
78,9%
Quando a análise é feita separando-se as redes, particular e pública, tem-se então
como resultado das escolas particulares da Região Sudeste uma média maior do que a
obtida pelo Colégio. Ou seja, a rede particular da Região Sudeste teve média 224,2 e
80,6% dos alunos atingiram a aprendizagem esperada, enquanto a média do Colégio foi
183,9 e 57% dos alunos alcançaram o nível esperado de desempenho. Esse resultado
aponta que o Colégio tem que priorizar a aprendizagem de Matemática nos dois
primeiros anos do Ensino Fundamental.
200
Analisando o desempenho de Matemática nas regiões vê-se que acima da média
nacional ficaram os alunos das Regiões Sul (185,6), Sudeste (179,1) e Centro-Oeste
(176,5) e abaixo dos 171,1, que é a média de desempenho dos alunos brasileiros na
prova ABC, os alunos das Regiões Nordeste (158,2) e Norte (152,6). Esses resultados
são similares aos encontrados em leitura.
Em relação às Redes de Ensino, vê-se que a média nacional dos alunos da rede
privada foi de 211,2, enquanto na rede pública foi de 158,0. Em nenhuma das regiões,
os estudantes de escolas públicas tiveram desempenho igual ou superior a 175, média
considerada adequada para esse ano escolar, pelo Movimento Todos pela Educação (DE
OLHO NAS METAS 2011, 2012).
Sobre essa situação, Klein (2003), consultor da Fundação Cesgranrio, afirma:
Estes dados apontam que o baixo desempenho em matemática
apresentado pelos alunos brasileiros ao final do Ensino Fundamental e
posteriormente do Ensino Médio, começa já a ser traçado nos
primeiros anos da vida escolar. Fato que nos coloca diante da
necessidade de promover políticas públicas de incentivo a
aprendizagem de matemática desde a alfabetização.
O desempenho dos alunos colocado nas escalas de leitura e Matemática
Os percentuais de alunos colocados nos pontos das escalas de desempenho são
apresentados comparativamente para o Brasil (SAEB), Prova ABC e o Colégio.
Tabela 5 – Percentuais de alunos situados nos pontos da escala de desempenho de leitura - 3º
ano EF.
4ª Série
Prova
Ponto
SAEB
Colégio
ABC
2005
100
93,8%
–
100,0%
125
85,8%
86,5%
100,0%
150
73,4%
69,7%
97,2%
175
56,1%
49,0%
89,2%
200
38,9%
29,1%
72,8%
225
24,7%
14,2%
54,9%
250
14,6%
5,6%
31,0%
275
8,6%
1,6%
16,4%
Segundo os Parâmetros Curriculares Nacionais, os objetivos da Língua
Portuguesa para o Ensino Fundamental I (1º ao 5º ano) esperam que os alunos sejam
capazes de:
201
1) compreender o sentido das mensagens orais e escritas; 2)
compreender o sentido global de textos lidos; 3) ler e escrever textos
dos gêneros previstos para o ciclo; 4) produzir textos coesos e
coerentes; 5) narrar histórias, mantendo o encadeamento dos fatos e
sua sequência cronológica; 6) ler textos cujo conteúdo e forma são
familiares, de forma independente; 7) escrever utilizando a escrita
alfabética, demonstrando preocupação com a convenção ortográfica
(SALLES, 2005, p. 24).
De um modo geral, os alunos no 2º ano já devem conhecer bem as letras, ler
corretamente e conseguir escrever, ter criatividade, escrever um texto com início, meio
e fim. Os alunos do Colégio reconhecem as palavras, compreendem o texto, uma vez
que nunca haviam feito uma carta. Seguindo a escala de desempenho de leitura, 100%
dos alunos do 2º ano do Colégio conseguem, a partir de uma imagem, identificar a
palavra correspondente à imagem, ponto 100 da escala. Também 100% identificam a
finalidade do texto, apesar de nunca terem feito uma carta; conhecem expressões
próprias da linguagem coloquial, que corresponde ao nível 125 da referida escala.
Já 97,2% dos alunos interpretam texto instrucional; 89,2% identificam o tema
com base na compreensão global do texto; localizam informação explícita, em texto
narrativo, com vários personagens; identificam os diferentes personagens de um conto;
estabelecem relações de causa/consequência entre as informações contidas no enredo de
uma fábula, de um conto, sendo que a consequência é dada e a causa está explícita;
localizam informação explícita em conto a partir da sequência de dados fornecidos pelo
texto; em desenho; estabelecem relação de causa/consequência na reação de
personagens em história em quadrinhos; identificam características de personagens em
conto; inferem informação implícita em lenda; identificam efeito de sentido de
onomatopéias em histórias em quadrinhos.
Tabela 6 – Percentuais de alunos situados nos pontos da escala de desempenho de Matemática –
3º ano EF.
4ª Série
Prova
Ponto
SAEB
Colégio
ABC
2005
100
92,8%
––
100,0%
125
80,5%
98,0%
96,2%
150
63,1%
85,6%
84,5%
175
42,8%
63,2%
57,7%
200
27,0%
39,0%
28,2%
225
14,7
20,3%
11,3%
250
8,9%
8,9%
4,2%
202
De acordo com a escala de desempenho da Matemática, podem ser constatadas
as habilidades aprendidas pelos alunos do 2º ano do Ensino Fundamental do Colégio.
Dos alunos, 100% contam objetos de uma coleção; 96,2% lêem e interpretam
calendário, identificando o dia da semana correspondente a uma determinada data;
identificam o número que falta no meio de uma sequência numérica em que cada termo
é igual ao anterior acrescido de uma ou de 5 unidades, sendo que neste último caso cada
termo é múltiplo de 5.
Efetuam adição de números naturais sem reserva, com parcelas de até 3
algarismos e que têm a mesma quantidade de algarismos; 84,5% efetuam: adição de
números naturais com reserva; subtração de números naturais, sem recurso, onde o
minuendo e o subtraendo têm quantidades diferentes de algarismos; multiplicação de
números naturais sem reserva, tendo o multiplicador apenas um algarismo;
identificam/reconhecem: o número de objetos que compõem uma dúzia; a
decomposição e a composição de um número natural de até três algarismos, segundo
suas ordens e sem zero intermediário; a movimentação de objetos representada em
croquis, envolvendo giros à direita ou à esquerda; um objeto que tem a forma de um
quadrado; lêem números com até três algarismos.
Segundo as regras do sistema de numeração decimal, resolvem situaçãoproblema que envolve: a subtração de números naturais sem recurso; a ideia de
acrescentar da adição; e 57,7 atingiram o nível considerado ideal, onde eles são capazes
de efetuar adição de números naturais, sem reserva, com três parcelas, com zero
intermediário, sendo as parcelas números com diferente quantidade de algarismos;
efetuam subtração de números naturais com recurso; resolvem situação-problema que
envolve: a ideia de completar da subtração; a troca de notas e/ou moedas do sistema
monetário brasileiro; a multiplicação como adição de parcelas iguais; unidades de
medida padronizadas (litro e meio litro); identificam o número de lados de um polígono;
determinam o número que estende uma sequência numérica em que cada termo é igual
ao anterior acrescido de 3 unidades e cada termo é um múltiplo de 3; lêem horas em
relógios digitais relacionando, por exemplo, de 20 horas com 8 horas da noite.
Resultados na prova escrita
Todos os alunos que participaram da Prova ABC fizeram também uma redação.
A prova de escrita foi avaliada em relação a três competências: adequação ao tema e ao
203
gênero; coesão e coerência; e registro (grafia das palavras, adequação às normas
gramaticais, segmentação de palavras e pontuação).
De uma escala que vai de 0 a 100 pontos, o desempenho esperado dos alunos de
3º ano (2ª série) era de 75 pontos. Um aluno que atinge os 75 pontos apresenta as
seguintes habilidades: desenvolve bem o tema e os elementos organizacionais do gênero
(carta); organiza bem as partes do texto, demonstra bom domínio dos recursos
coesivos.; apresentam bom domínio no registro escrito, referente à norma gramatical,
com poucos desvios relativos à segmentação de palavras e/ou pontuação.
Desempenho do Colégio em escrita
Os alunos do Colégio, comparando os resultados, tiveram um excelente
desempenho na parte escrita como demonstra os dados da Tabela 7.
Tabela 7 - Resultados obtidos pelo Colégio na Prova de Escrita.
Resultado
Colégio
Colégio percentual
Total
209
100,0
≥ 50
208
99,5
≥ 75,0
189
90,4
≥ 100,0
136
65,1
Fonte - Mello (2012).
De um total de 209 alunos, 189 alunos, ou seja, 90,4% atingiram a média 75,
considerada adequada para o ano/série, enquanto 136 alunos, ou seja, 65% dos alunos
chegaram à média 100, apesar de nunca terem feito uma carta.
Comparação dos resultados de escrita do Colégio com os do Brasil e redes de
ensino
Tabela 8 - Médias de pontos na escala de escrita (Brasil e Regiões).
Brasil
Pública
Privada
Norte
Nordeste
Sudeste
Sul
Centro-Oeste
Fonte - Mello (2012).
Média
68,1
62,3
86,2
58,9
50,2
77,2
74,5
73,9
Observa-se, na Tabela 8, que a média nacional na prova escrita foi de 68,1, a
média das escolas públicas atingiu 62,3, enquanto a das particulares, 86,2 pontos. Dos
204
alunos do Colégio, 90% obtiveram a média 75, considerada adequada para o ano/série,
sendo maior que a nacional e comparável à média alcançada pelos alunos da região Sul.
O total de 100 pontos, obtido por 65% dos alunos do Colégio, é indicador de alto
desempenho.
Considerações
O Movimento Todos pela Educação tem como meta ter, em 2022, 100% dos
alunos acima do nível 175, em leitura e em Matemática, níveis considerados adequados
quando um aluno está plenamente alfabetizado até os 8 anos.
Seguindo esta referência, os alunos do Colégio particular testados com a mesma
Prova ABC aplicada em uma amostra de alunos brasileiros no Brasil, tiveram um
resultado muito bom no teste de leitura e na redação. Analisando o desempenho em
leitura, constatou-se que 90% dos alunos posicionaram-se acima do nível 175. Esse
resultado reflete o excelente desempenho dos alunos do Colégio, estando, portanto,
perto da meta – 100% dos alunos dominando as habilidades de leitura até o ano de
2022. Na prova de escrita, os alunos do colégio mostraram excelente desempenho, uma
vez que 90,4% dos alunos alcançaram média igual ou superior a 75 pontos e 65% dos
alunos chegaram a obter 100 pontos na avaliação dessa mesma prova.
Entretanto, em Matemática, o desempenho do Colégio não foi tão bom como em
leitura e escrita, pois apenas 57,7% dos alunos alcançaram o nível esperado para 2022,
ou seja, o nível 175 da Escala. Comparando esse resultado com a Rede Particular da
Região Sudeste (média 224,2), vê-se que os alunos do Colégio obtém uma média
menor, 183,9.
Recomendações
As recomendações que foram feitas no estudo orientam-se para o cumprimento
da meta 2 do Movimento Todos pela Educação - Toda criança plenamente alfabetizada
até os 8 anos.
Pelos resultados obtidos vê-se que o Colégio está, no ano de 2011, bem próximo
de alcançar a meta de 2022, já que a maioria dos seus alunos tem seu desempenho no
nível esperado em leitura e escrita.
Quanto ao desempenho dos alunos na Matemática, recomenda-se que o Colégio
reveja o método de ensino empregado, para identificar se este está sendo explorado em
205
todo o seu potencial. Recomenda-se ainda verificar se os professores dominam o
referido método e sentem-se confortáveis em aplicá-lo. Deve-se planejar para poder
aumentar os ganhos na disciplina até 2022.
De qualquer modo, recomenda-se que os resultados da Matemática sejam
discutidos entre os professores e à Coordenação Pedagógica do Colégio, e se os horários
dedicados para as aulas de Matemática são suficientes.
206
Referências
ANUÁRIO Brasileiro da Educação Básica 2012. São Paulo: Moderna, 2012. 160 p.
(Todos pela Educação). Disponível em:
<http://www.todospelaeducacao.org.br//arquivos/biblioteca/anuario_>. Acesso em: 13
jan. 2012.
ASSEMBLEIA geral reafirma ONU como fórum central da diplomacia, diz secretáriogeral adjunto. Brasília, DF: ONUBR [2012?]. Disponível em:
<http://www.onu.org.br/assembleia-geral-reafirma-onu-como-forum-central-dadiplomacia-diz-secretario-geral-adjunto/>. Acesso em: 26 maio 2011.
DE OLHO NAS METAS 2011: Quarto relatório de monitoramento das 5 Metas do
Todos Pela Educação. São Paulo: Moderna, 2012. 145 p. (Todos pela Educação).
Disponível em:
<http://www.todospelaeducacao.org.br//arquivos/biblioteca/de_olho_nas_metas_2011_t
pe.pdf>. Acesso em: 07 fev. 2012.
ELLIOT, L. G.; FONTANIVE, N. S. Relatório de interpretação das escalas de
desempenho do SAEB 2003. Rio de Janeiro: Fundação Cesgranrio, 2004.
FONTANIVE, N. S.; KLEIN, R. Resultados na Prova ABC e as metas 2 e 3. In: De
olho nas metas 2011: quarto relatório de monitoramento das 5 Metas do Todos pela
Educação. São Paulo: Moderna, 2012.
KLEIN, R. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação
da Educação Básica. Ensaio: Aval. Polít. Públ. em Edu., Rio de Janeiro, v. 11, n. 40, p.
283-296, 2003.
MELLO, M. C. V. de. Habilidades e competências em leitura, escrita e matemática
adquiridas por alunos de oito anos de um colégio particular do Rio de Janeiro. 2012.
54f. Dissertação (Mestrado Profissional em Avaliação) – Programa de Pós-Graduação
em Avaliação, Fundação Cesgranrio, Rio de Janeiro, 2012.
PROVA ABC traz dados inéditos sobre a alfabetização das crianças no Brasil. São
Paulo: Instituto Paulo Montenegro, 2011. Disponível em: <
http://www.ipm.org.br/ipmb_pagina.php?mpg=4.10.01.00.00&num=91&tp=especial&v
er=por >. Acesso em: 14 jun. 2011.
SALLES, J. F. de. Habilidades e dificuldades de leitura e escrita de crianças de 2ª
série: abordagem neuropsicológica cognitiva. 2005. 356 f. Tese (Doutorado)-Faculdade
do Instituto de Psicologia, Departamento de Programa de Pós-graduação em Psicologia
do Desenvolvimento, UFRGS, Rio Grande do Sul, 2005. Disponível em:
<http://www.lume.ufrgs.br/bitstream/handle/10183/4197/000453537.pdf?>. Acesso em
04 jan. 2012.
concepções e práticas. Tradução: Dinah de Abreu Azevedo. São Paulo: Edusp: Gente,
2004.
207
PROJETOS DE INVESTIGAÇÃO E A AVALIAÇÃO DA APRENDIZAGEM37
Adélia Maria Nehme Simão e Koff
Resumo
Trata-se da apresentação de um estudo de caso sobre uma experiência de reorganização
do currículo e da prática escolar centrada em projetos de trabalho/investigação,
realizada no sexto ano do Ensino Fundamental de uma escola privada situada na Zona
Sul do município do Rio de Janeiro. São apresentados: os princípios e as características
gerais do trabalho que estava sendo desenvolvido pela escola, alguns referenciais
teórico-metodológicos que orientaram a pesquisa e parte dos seus achados que se
referem à relação entre o trabalho por e/ou com projetos de investigação e os
mecanismos e/ou procedimentos utilizados para a viabilização da avaliação da
aprendizagem. Ressaltam-se as principias mudanças que foram implementadas na
dinâmica da avaliação da aprendizagem para manter a coerência com os princípios
norteadores de um trabalho centrado em projetos e que dá ênfase a avaliação formativa
e a autoavaliação. São registrados ainda alguns aspectos que precisariam avançar.
Palavras-chave: Currículo. Prática Escolar. Projetos de Investigação. Avaliação da
Aprendizagem.
A título de introdução
Este texto foi elaborado com a intenção de contribuir na perspectiva de oferecer
subsídios para o que estou chamando de reinvenção da escola, uma vez que, mesmo
sendo alvo de inúmeras críticas, passar por diversas crises e, com frequência, ser
acusada de anacrônica ou até de inútil e ser questionada sobre se tem algum futuro,
acredito que a escola pode ser ainda um espaço privilegiado para a educação de crianças
e jovens, desde que reinventada, na perspectiva de ser:
Um espaço de busca, construção, diálogo e confronto, prazer, desafio,
conquista de espaços, descoberta de diferentes possibilidades de
expressão e linguagens, aventura, organização cidadã, afirmação da
dimensão ética e política de todo o processo educativo (CANDAU,
2000, p. 15).
Cabe destacar que reconheço que hoje e por muito tempo - mesmo diante de todo
o aparato tecnológico de informação e comunicação - a escola pode ser um lugar
importante para a apropriação crítica dos conhecimentos já sistematizados e relevantes
como instrumento para compreensão e mudança da realidade e, mais ainda, pode ser um
espaço para o diálogo e/ou confronto entre o conhecimento científico, algumas vezes
denominado conhecimento erudito ou cultura crítica (PÉREZ GÓMEZ, 2001) e os
37 Versão atualizada de trabalho apresentado no ENDIPE de 2010.
208
demais conhecimentos e culturas produzidos em outras instâncias sociais e que nela
circulam.
Entendo, nesse sentido, que a escola pode ser, para além de um espaço de
aquisição crítica, um lugar de produção de conhecimentos (conhecimentos escolares),
construídos a partir do diálogo entre diferentes conhecimentos e culturas que para ela
convergem e nela se cruzam e, portanto da incorporação e valorização de diferentes
narrativas e linguagens.
Reconheço ainda que a escola pode ser um lugar para o exercício da observação,
da reflexão, da análise crítica. Um lugar para crianças e jovens aprenderem a ser
autônomos, a se reconhecerem como sujeitos construtores de sua história particular e da
história em geral e terem a possibilidade de viver processos que contribuam para o
autoconhecimento e construção de suas identidades. E mais: um lugar para o debate
e/ou diálogo plural entre diferentes grupos culturais, aonde as suas diferenças são
valorizadas, os preconceitos e discriminações são combatidos, sem deixar de lado a
busca pela igualdade de condições, de direitos e realizações e aonde se possa formar
para a conquista da cidadania nas diversas dimensões da vida cotidiana, contribuindo,
assim, para a construção de uma nova sociedade, mais justa, solidária e, porque não,
mais feliz.
E é nessa direção que reafirmo que a instituição escolar ainda tem um papel
relevante na formação das crianças e dos jovens, mas que é preciso desvendar e/ou
descobrir caminhos alternativos que possam ser mobilizados e apropriados, na
perspectiva da reinvenção dessa escola que desejo, precisa e pode ser mais plural,
democrática, capaz de responder aos desafios de nossa contemporaneidade e de formar
cidadãos e cidadãs, sujeitos da construção de um mundo menos dogmático e mais
solidário.
Cabe observar que reconheço que mesmo mantendo, hegemonicamente, uma
determinada configuração institucional e uma determinada organização pedagógica
muito próxima daquelas idealizadas desde a sua invenção, há cerca de pouco mais de
duzentos anos, a escola tem passado por várias transformações e/ou experimentado
diferentes formatos (CANÁRIO, 2006). Por isso mesmo, quando estou me referindo a
reinventar a escola, não estou sugerindo jogar tudo fora e anular as diversas conquistas
que provavelmente já foram feitas até aqui - mesmo que insuficientes para realizar uma
transformação mais radical -, mas sim ratificando a ideia de que uma reinvenção da
209
escola e, portanto, do ofício de professor implica o questionamento crítico de como a
escola atual concebe os processos de aprender e de ensinar.
Em outras palavras, pressupõe colocar em debate o formato escolar (CANÁRIO,
2006), discutindo o que entendo são os seus modos de organizar tempos e espaços,
relações, conteúdos e conhecimentos, métodos, técnicas e recursos, linguagens,
planejamento e avaliação, ou seja, requer colocar em discussão os modos como o
currículo e a prática didática são organizados e/ou vividos pela escola.
Contudo, é preciso destacar que reconheço que não basta promover
transformações teórico-metodológicas para fazer avançar a escola, o que significa dizer
que entendo que não é suficiente transformar “modos de” para mudar a escola. E,
mesmo considerando que esse é um aspecto significativo na construção de uma outra
escola e, consequentemente de uma outra educação, reitero que tais transformações
precisam ser contextualizadas histórica e culturalmente e estarem orientadas e/ou
fundamentadas em princípios claramente formulados que expressem respostas às
questões: que educação quero construir? Que sujeitos/atores desejo ajudar a formar? E,
mais especificamente que currículo e prática escolar desejo realizar a serviço de quem e
do que?
E foi nesse contexto de reflexões - entre as minhas inquietações em torno da crise
da escola e as possibilidades de sua reinvenção - que realizei uma pesquisa sobre as
características de uma dada experiência escolar de reorganização curricular e da prática
educativa escolar, que se autodefine como uma experiência inovadora. Professoras
integrantes de sua equipe técnico-pedagógica ressaltam:
O que inaugura esta prática pedagógica como inovadora, é o fato de
aceitarmos o desafio da desinstalação, de desfazer certezas, conviver
com o provisório, ressignificar determinadas opções, aceitar riscos
inerentes a toda mudança. [...] É sempre bom lembrar que o que
desejamos é recriar, reinventar o trabalho pedagógico e assim obter
uma melhor sintonia entre esse trabalho, o mundo e nossos alunos. [...]
Estamos lidando com uma proposta nova e, por isso, é importante
estarmos o tempo todo retomando o que a orienta. (DIAS et al., 2004,
p. 230).
Trata-se de uma experiência que procura reinventar os ‘modos de’ conceber e
fazer a escola, bem como viver novas concepções e/ou maneiras de ensinar e aprender,
na medida em que adota o trabalho centrado em projetos - no caso, denominados
projetos de investigação -, o que implica a reorganização do tempo escolar em dois
grandes momentos. Um deles é destinado ao trabalho pessoal, cujo objetivo é estimular
210
o trabalho autônomo – individual e/ou coletivo – centrado em temas geradores de
interesse dos/as alunos/as e que busca articular suas realidades mais próximas ou não e
as demais características do mundo contemporâneo. Outro momento é reservado ao
trabalho no interior das diversas disciplinas, visando ampliar e aprofundar os
conhecimentos e que, sempre que possível, deve fazer links, ou seja, estar integrado ao
momento anterior.
Algumas considerações teórico-metodológicas: situando o estudo
Para realizar o estudo de caso em questão, optei por uma escola particular daqui para frente denominada de Colégio Amanhecer - situada na zona sul do Rio de
Janeiro, considerada de excelência não só pela comunidade acadêmica, como por
aqueles que a integram e que vem adotando a vivência de projetos de investigação desde
2003. Vale sublinhar que optei por um estudo de caráter etnográfico, motivada pela
ideia de que uma pesquisa dessa natureza me permitiria fazer uma descrição densa
(RYLER apud GEERTZ, 1978) acerca da experiência em pauta, na perspectiva de
entendê-la melhor, procurando compreender suas múltiplas e complexas teias,
representações, estruturas, códigos, regularidades, incoerências, etc., a partir inclusive
dos significados e sentidos atribuídos a ela pelos seus próprios protagonistas (membros
da direção, da equipe técnico-pedagógica, professores/as e alunos/as) e, assim, construir
novos conhecimentos, a partir das análises realizadas.
Para realizar tal empreitada, fiz 200 horas de observação participante das
reuniões pedagógicas dos/as professores/as da quinta série (hoje sexto ano) do Colégio
Amanhecer e das múltiplas atividades vividas em diferentes espaços pelos/as alunos/as
desta mesma série, de manter o meu diário de campo com muitas anotações, entabular
várias conversas informais, fiz entrevistas individuais com a diretora geral da escola (1),
as coordenadoras - pedagógica e educacional - (4) e os/as professores/as (11), realizei
ainda entrevistas coletivas com os/as alunos/as (22), bem como analisei a documentação
pedagógica disponível.
E embora eu reconheça que um estudo de caso não deva partir de um esquema
teórico fechado que limite interpretações, impeça a descoberta de novas relações e de
novos aspectos que possam ser acrescentados à problemática, objeto da pesquisa
(ANDRÉ, 2005, p. 35), defini alguns referentes teóricos que me ajudaram a ‘ver’,
‘ouvir’, ‘escrever’ (OLIVEIRA, 1998) e fazer as minhas análises da experiência do
211
Colégio Amanhecer, permitindo-me ir além da mera descrição a-teórica (LIJPHART,
1971), sem, contudo, deixar-me aprisionar pelos eixos de discussão a-priori definidos.
Nessa perspectiva, estabeleci os seguintes eixos: (1) as reflexões em torno da
polissemia dos conceitos de conhecimento(s) e cultura(s) e (2) do papel da escola como
espaço de cruzamentos desses conhecimentos e culturas, (3) a tensão currículo por
disciplina e integração curricular e (4) as possíveis características, os limites e as
possibilidades de uma prática escolar centrada na realização de projetos de trabalho e/ou
de investigação.
Entretanto, levando em conta o espaço e os propósitos deste texto, faço a seguir
alguns apontamentos acerca somente de alguns princípios configuradores dos projetos
de trabalho e/ou investigação, uma vez que entendo que eles são centrais na experiência
do Colégio Amanhecer.
Nesse caso e considerando a afirmação de suas próprias coordenadoras (DIAS et
al., 2004) de que as ideias de Hernández e Ventura (1998) foram fontes de inspiração
para a definição da proposta da escola aqui estudada, tomei como uma das referências
para as minhas interpretações e análises as reflexões desses autores, que ressaltam, entre
outros aspectos, que os projetos de trabalho estão vinculados à perspectiva do
conhecimento globalizado e relacional - uma noção que está associada à ideia de
estrutura de aprendizagem, entendida como uma visão que assume que “as pessoas
estabelecem conexões a partir dos conhecimentos que já possuem e, em suas
aprendizagens, não procedem por acumulação, e sim pelo estabelecimento de relações
entre diferentes fontes e procedimentos para abordar a informação” (HERNÁNDEZ;
VENTURA, 1998, p. 57).
De acordo com estes mesmos autores, embora o enfoque globalizador e
relacional possa ser adotado em diferentes maneiras de organizar os conteúdos
curriculares e a prática escolar, os projetos de trabalho são os que possibilitam maior
flexibilidade e abertura no planejamento para viabilizar tal enfoque. Para eles, os
projetos de trabalho são uma modalidade de articulação dos conhecimentos escolares,
bem como uma forma de organizar as atividades de ensino-aprendizagem “que implica
considerar que tais conhecimentos não se ordenam de uma forma rígida, nem em função
de algumas referências disciplinares pré-estabelecidas ou de uma homogeneização dos
alunos” (HERNÁNDEZ; VENTURA, 1998, p. 61).
Ainda de acordo com Hernández e Ventura (1998), os projetos de trabalho
valorizam um sentido da aprendizagem que quer ser significativo, ou seja, que pretende
212
conectar o que os/as alunos/as já sabem com a temática a ser trabalhada. E, quanto mais
o/a professor/a for capaz de fazer essas conexões, mais favorável será a atitude do/a
aluno/a para o conhecimento e melhores serão as condições para a sua aprendizagem.
“Globalização e significatividade são, pois dois aspectos essenciais que se
plasmam nos projetos” (HERNÁNDEZ; VENTURA, 1998, p. 63). Além disso,
destacam que “as informações necessárias para construir os projetos não estão
determinadas de antemão, nem depende do educador ou do livro-texto, está sim em
função do que cada aluno já sabe e da informação com a qual se possa relacionar dentro
e fora da escola” (HERNÁNDEZ; VENTURA, 1998, p.64).
Cabe registrar que entendo existir uma estreita relação entre a questão da
(re)organização do currículo, do conhecimento escolar e os projetos de trabalho, na
medida em que tal prática pode favorecer espaços de integração curricular, bem como
de circulação e/ou construção de conhecimentos e culturas, respeitados alguns aspectos
que, segundo os próprios Hernández e Ventura (1998), devem ser levados em conta no
desenvolvimento dos projetos, tais como: o protagonismo dos/as alunos/as, seja na
escolha de temas, na formulação de hipóteses ou na elaboração das perguntas a respeito
do que se deseja saber; a parceria dos/as professores/as na definição de um índice para
orientar a pesquisa em múltiplas e variadas fontes de informação; a sistemática
organização e/ou realização de dossiês ou sínteses, além da elaboração de diversos
produtos, criados em diferentes linguagens e/ou utilizando diferentes narrativas, para
expressar as descobertas e/ou as aprendizagens realizadas; o incentivo à autoavaliação e
à avaliação recíproca, contínua e global dos resultados alcançados.
A vivência de inúmeras e múltiplas atividades individuais e/ou coletivas, o uso
de variados espaços de trabalho e a flexibilização dos tempos escolares (HERNÁNDEZ,
1998) são outros aspectos relevantes na configuração dos projetos, enquanto uma
estratégia possível de (re)organização do currículo e da prática educativa na escola.
Cabe ressaltar que, no conjunto das características do trabalho centrado em
projetos apontadas pelos autores de referência, dois aspectos parecem ser bastante
relevantes. Um deles diz respeito às mudanças que devem acontecer no exercício dos
ofícios de professores/as e de alunos/as, Ou seja, no trabalho por e/ou com projetos,
recomenda-se que os/as alunos/as sejam os/as protagonistas das inúmeras situações que
envolvem tal prática, sugerindo que os/as professores/as assumam muito mais o papel
de orientadores/as das pesquisas e das aprendizagens, do que simplesmente de
transmissores/as de conteúdos.
213
Outro aspecto relevante propiciado pela vivência do trabalho centrado em
projetos diz respeito às práticas relacionadas à avaliação da aprendizagem e é
exatamente sobre essa dimensão que creio vale à pena aprofundar o debate em torno do
que pude analisar estava acontecendo na experiência do Colégio Amanhecer.
Os projetos de investigação e a avaliação da aprendizagem em debate
É possível afirmar que trabalhar mediante projetos de investigação, no
Amanhecer, gerou uma série de mudanças e/ou ajustes no trato com os conhecimentos,
valores e atitudes, com os sujeitos e suas relações, na organização do currículo e da
prática escolar, decorrentes, inclusive, das próprias concepções do que seria para o
colégio ensinar e aprender. E, por isso mesmo, a avaliação da aprendizagem não ficou
fora dessas transformações. Nessa perspectiva e antes de apresentar algumas
constatações que pude fazer em torno da avaliação da aprendizagem praticada no
Amanhecer, como por exemplo: os seus limites, possibilidades, sentidos e significados
no contexto dos projetos de investigação, é preciso fazer uma breve descrição acerca do
sistema de avaliação adotado naquela instituição - um sistema sempre tão complexo e
polêmico na maioria das experiências vividas em diferentes escolas, principalmente
quando se trata de propostas de inovação do currículo e da prática escolar
(HERNÁNDEZ, 1998).
De início, acho importante sublinhar que no Colégio Amanhecer eram utilizadas
diferentes estratégias e/ou procedimentos de avaliação da aprendizagem, abrangendo o
momento do trabalho pessoal e o dos estudos específicos das disciplinas. Mecanismos
de avaliação que buscavam ser compatíveis com os princípios norteadores dos projetos
de investigação, na perspectiva inclusive da valorização de uma aprendizagem mais
global e significativa (HERNÁNDEZ, 1998).
Segundo as minhas observações e análise documental constatei que o processo
e/ou sistema de avaliação da aprendizagem era bimestral e incluía: (1) autoavaliação
individual e, às vezes, coletivas, abrangendo a atuação do/a discente nos diferentes
momentos do projeto e registrada em fichas específicas pelo/a próprio/a aluno/a, (2)
avaliação feita pelo/a professor/a do processo vivido pelos/as estudantes, abrangendo o
resultado do desempenho em cerca de quatro ou cinco atividades realizadas no
momento do trabalho pessoal (nessa etapa e ao longo do semestre, eles/as realizavam
entre quatorze e vinte atividades, inclusive com alguns desdobramentos), a qualidade do
relatório-síntese do trabalho-pessoal desenvolvido naquele período e os aspectos
214
relacionados à organização, cooperação e respeito às diferenças expressos nas diversas
fases do projeto e confrontados com as autoavaliações dos/as alunos/as; (3) avaliação
feita pelo/a docente do produto, considerando outros exercícios e provas realizados
pelos/as alunos/as.
Cabe informar que os itens um (1) e dois (2) desse processo e/ou sistema de
avaliação valia três pontos, e eram realizados com base nas observações sistemáticas
feitas pelos/as docentes, na correção das atividades do trabalho pessoal (na maioria das
vezes realizadas em pequenos grupos) e na análise do dossiê/pastas dos/as alunos/as
(uma espécie de portfólio onde todos os trabalhos, relatos e fichas de autoavaliação
das/os crianças/adolescentes eram armazenados). Nesse caso, os resultados (notas) eram
registrados em um mapa global da turma, onde também eram anotadas frases indicativas
da ‘qualificação’ do desempenho de cada discente, extraídas de uma listagem que
apresentava trinta e nove dessas frases, como por exemplo, o/a aluno/a: é organizado/a,
é cooperativo e solidário, tem iniciativa, demonstra interesse...
Semanalmente, professores/as e alunos/as partilhavam a análise do dossiê. Havia
um sistema de tutoria, onde cada professor/a ficava responsável por um pequeno grupo
de alunos/as (cerca de quatro) para não só conversar sobre as possíveis dificuldades que
eles/as estavam tendo na realização das atividades do trabalho pessoal, como também
para realizar uma verificação na organização dos dossiês/pastas. Cabe registrar que,
embora a maioria dos trabalhos fosse feita em pequenos grupos, cada aluno/a tinha que
fazer o seu registro individual referente ao produto dessas atividades, principalmente
daquelas que seriam alvo de correção/avaliação.
E mais: todo final de bimestre, no mínimo uma das reuniões pedagógicas era
dedicada à realização da avaliação da aprendizagem das/dos crianças/adolescentes. O
trabalho era feito por professores/as em pequenos grupos dividindo alunos/as e/ou
turmas. Sempre que havia alguma dúvida, o caso era trazido para uma discussão em
plenária. Essas reuniões eram uma espécie de mini-conselhos de classe, com um foco
maior em aspectos mais qualitativos do desempenho dos/as alunos/as do que em
resultados quantitativos.
Já o item três (3) do processo e/ou sistema de avaliação da aprendizagem
correspondia a sete pontos e era realizado, tendo como referência os resultados (notas)
obtidos nos exercícios de verificação e/ou provas aplicadas no momento dos estudos
específicos das disciplinas. Cumpre dizer que diversos exercícios ‘valendo nota’ eram
aplicados ao longo do bimestre, enquanto as provas eram realizadas no final de cada
215
bimestre e incluíam, obrigatoriamente, pelo menos, uma questão relativa aos temas e/ou
subtemas pesquisados/desenvolvidos no momento do trabalho pessoal. Nos boletins,
além da divulgação das notas, eram registradas também algumas das frases referentes
aos aspectos mais qualitativos, de modo que as/os crianças/adolescentes e suas famílias
pudessem acompanhar o processo e o seu respectivo desempenho nos projetos.
Uma observação complementar: nos documentos que analisei e também nas
minhas observações das reuniões pedagógicas e dos Conselhos de Classe mais gerais,
constatei uma frequente preocupação, no sentido da necessidade de estabelecer e
explicitar os critérios utilizados tanto para a correção das atividades, como também para
descrever o que seriam atitudes como colaboração, respeito, participação, o que parecia
ser um procedimento importante para ajudar o/a professor/a na hora de analisar o/a
aluno/a e seus trabalhos, como também favorecer um melhor entendimento entre
eles/as, principalmente durante a comunicação dos resultados (HARGREAVES et al.,
2002).
Um processo e/ou sistema que parecia, portanto, ser abrangente e diversificado,
buscando superar um conceito mais restrito de avaliação, ou seja, mais centrada em
produto ou apenas em provas (embora elas ‘valessem mais pontos’), para favorecer uma
avaliação da aprendizagem mais compatível com os princípios e práticas que eram
valorizados no desenvolvimento dos projetos de investigação. Portanto, um processo
e/ou sistema de avaliação da aprendizagem que parecia procurar fugir de uma avaliação
meramente classificatória e/ou seletiva, para ser um processo que também valorizava
uma avaliação mais formativa e a serviço das aprendizagens (PERRENOUD, 1999),
mesmo considerando que os resultados das provas tivessem maior peso.
Em outras palavras, embora os aspectos relacionados à aprendizagem de
conteúdos/conhecimentos fossem priorizados, pude constatar que questões como o
desenvolvimento de valores, de atitudes frente aos/às colegas, aos/às professores/as e ao
trabalho, a prática da autoavaliação, os mecanismos adotados para aprender a aprender
também eram objeto de observação e análise para compor o quadro da avaliação dos/as
alunos/as, como propõem, inclusive, autores que valorizam uma prática escolar centrada
em projetos (HERNÁNDEZ; VENTURA, 1998).
Todavia, apesar de reconhecer que a equipe do Colégio Amanhecer tinha
concebido e procurava viver uma prática de avaliação da aprendizagem mais compatível
com os princípios e as características dos projetos de investigação, essa constituía uma
dimensão que tinha problemas, às vezes gerava conflitos entre os/as próprios/as
216
professores/as e entre eles/as e os/as alunos/as e, consequentemente, precisava avançar
mais ainda. E, embora não tenha registrado muitos comentários por parte dos/as
professores/as sobre esse tema – o que talvez possa ser explicado tendo em vista as
dificuldades e/ou as complexidades e/ou as polêmicas que, com frequência, envolvem o
tema da avaliação - há vários exemplos de inovações e/ou práticas que avançam, cujo
salto não atinge da mesma maneira os mecanismos e/ou procedimentos e/ou estratégias
ou, até mesmo, as concepções da avaliação da aprendizagem adotadas, no interior
dessas experiências (HERNÁNDEZ; VENTURA, 1998) – fiz alguns registros que me
parecem bastante emblemáticos, no sentido de apontar que a avaliação do processo de
aprendizagem no Amanhecer ainda precisava ser mais trabalhada e se aperfeiçoar.
Alguns/as professores/as chamaram atenção, por exemplo, para a necessidade de
se intensificar a avaliação dos conhecimentos aprendidos/construídos no momento do
trabalho pessoal. Esses/as docentes consideravam que a avaliação das habilidades e das
atitudes desenvolvidas pelos/as alunos/as nessa fase era priorizada. Consideravam isso
importante, mas sugeriam que a avaliação do que tinha sido aprendido e/ou construído
em termos de conhecimentos com o trabalho pessoal também tinha que ser muito mais
valorizado e, portanto avaliado.
Já outros/as professores/as destacaram a importância deles/as exercerem ações de
orientação e/ou realimentação dos/as alunos/as também nos momentos de prova. O que
significa dizer que, na hora da realização da prova, os/as docentes deveriam manter o
mesmo papel de orientador e/ou de realimentador que marcava a sua atuação no
momento das atividades do trabalho pessoal. A ideia, nesse caso, era avançar na
perspectiva de uma avaliação do processo, quer dizer, de uma avaliação mais formativa.
Para esses/as professores/as a avaliação da aprendizagem no Amanhecer ainda
priorizava mais o produto, era pontual e, nesse caso, deveria se aperfeiçoar, ampliando o
diálogo com os/as alunos/as no sentido de sua realimentação como parte do processo de
aprendizagem.
Vale observar, por sua vez, que a avaliação da aprendizagem dos conhecimentos
adquiridos e/ou construídos pelos/as alunos/as parecia ser objeto de maior preocupação
em relação à avaliação das habilidades e atitudes aprendidas /ou construídas. De um
lado, confirmando que esse aspecto era mesmo mais valorizado (lembro que o peso
maior das notas era atribuído aos resultados dos exercícios de verificação/provas) e, por
outro lado, talvez indicando a dificuldade de se analisar e avaliar o desempenho para
217
além do domínio conceitual, algo que parece tão desejado quando se trabalha mediante
projetos (HARGREAVES et al., 2002).
Além disso, acho relevante dizer que pude perceber que, muitas vezes, as
avaliações da aprendizagem pareciam ser realizadas mais em função de um/uma aluno/a
ideal que eles/as provavelmente tinham em mente, do que levando em conta a trajetória
construída pelo próprio aluno, em função das atividades e experiências vividas e
aprendizagens feitas durante o processo.
Mesmo assim, posso afirmar que constatei um esforço, frequente, no sentido da
equipe do Amanhecer questionar as estratégias e/ou procedimentos que eram adotados
para realizar tanto o acompanhamento sistemático dos/as alunos/as, como a avaliação
final de suas aprendizagens, além de apresentar sugestões que pudessem aperfeiçoá-los.
E isso acontecia nas reuniões gerais - que abriam e fechavam o semestre - ao longo dos
encontros semanais de planejamento pedagógico e, principalmente nos Conselhos de
Classe. Entre outras, registrei sugestões tais como: intensificar o trabalho de tutoria
relacionado à organização das pastas, à realização das diferentes atividades e à
elaboração das sínteses parciais; criar mecanismos para ampliar a percepção quanto à
qualidade da autoria dos textos-sínteses elaborados pelos/as alunos/as; fazer do
momento de socialização dos dados e/ou das informações pesquisadas um momento
efetivo de troca e aprendizagem, aperfeiçoar os critérios de análise das atividades
realizadas pelas/os crianças/adolescentes, aprimorar a avaliação dos conhecimentos
adquiridos também nos momentos de trabalho pessoal, o que implicava rever as
orientações para a formulação das provas; criar outros mecanismos de avaliação, além
da prova e/ou exercícios, incluindo a avaliação não só dos conhecimentos, mas também
das habilidades e das atitudes aprendidos e/ou construídos no momento dos estudos
específicos das disciplinas.
Uma breve conclusão
Um tema para refletir, um problema a debater. A avaliação da aprendizagem no
Amanhecer estava na berlinda, ou melhor, vivia entre a tensão de já ter conseguido
implementar um sistema mais amplo, que tentava olhar o/a aluno/a levando em conta os
conhecimentos adquiridos e/ou construídos, as habilidades e atitudes desenvolvidas e os
limites impostos por uma dificuldade de ampliar ainda mais as lentes sobre esse/essa
aluno/a, pela pressão externa, particularmente vinda de algumas famílias que pareciam
218
‘cobrar’ uma avaliação mais tradicional e por conta, talvez, das próprias concepções que
os/as professores/as tinham sobre a avaliação da aprendizagem.
Além disso, considerando que a maior pontuação era atribuída aos resultados dos
exercícios e provas, abrangendo prioritariamente os conteúdos/conhecimentos relativos
aos estudos específicos, entendo que a avaliação da aprendizagem privilegiava o
trabalho com as disciplinas, embora reconheça o esforço que estava sendo realizado
para incorporar nessa avaliação as diversas dimensões e metas de um trabalho centrado
em projetos e, portanto mais integrado.
Mesmo apresentando limitações, é possível dizer que o processo e/ou sistema de
avaliação da aprendizagem concebido e vivido no Amanhecer parecia estar criando
mais oportunidades, no sentido dos/as estudantes assumirem maior responsabilidade
sobre suas aprendizagens (HARGREAVES et al., 2002) e dos/as professores/as
ampliarem o diálogo com as/os crianças/adolescentes, construindo e reconstruindo com
eles/as esse processo de aprendizagem. O que, entendo, é coerente com a orientação de
que no trabalho centrado em projetos os/as alunos/as devem ser protagonistas na maior
parte do processo, inclusive durante os momentos de avaliação. E talvez por esse
motivo, no Amanhecer a autoavaliação tivesse também um lugar privilegiado.
219
Referências
ANDRÉ, M. E. D. A. de. Estudo de caso em pesquisa e Avaliação Educacional.
Brasília, DF: Liber Livro, 2005.
CANÁRIO, R. A escola tem futuro?: das promessas às incertezas. Porto Alegre:
Artmed, 2006.
CANDAU, V. M. F. (Org.). Construir ecossistemas educativos: reinventar a escola.
In:______. Reinventar a escola. Petrópolis, RJ: Vozes, 2000, p. 11-16.
DIAS, M. C. et al. Ensinar e aprender: uma aventura cotidiana. In: ENCONTRO DE
DIDÁTICA E PRÁTICA DE ENSINO, 12., 2004, Curitiba. Anais... Curitiba, PR: PUC,
2004. p. 227-241. 1 CD-ROM.
GEERTZ, C. Uma descrição densa: por uma teoria interpretativa da cultura. In:_____. A
interpretação das culturas. Rio de Janeiro, RJ: Zahar, 1978. p. 3-21.
HARGREAVES, A. et al. Aprendendo a mudar: o ensino para além dos conteúdos e da
padronização. Porto Alegre, RS: Artmed, 2002.
HERNÁNDEZ, F. Transgressão e mudança na educação: os projetos de trabalho. Porto
Alegre, RS: Artmed, 1998.
HERNÁNDEZ, F.; VENTURA, M. A organização do currículo por projetos de
trabalho: o conhecimento é um caleidoscópio. Porto Alegre, RS: Artes Médicas, 1998.
LIJPHART, A. Comparative politics and comparative method. American Political
Science Review, v. 65, p. 282-294, 1971.
OLIVEIRA, R. C. de. O trabalho do antropólogo: olhar, ouvir e escrever. In:_____. O
trabalho do antropólogo. Brasília: Paralelo 15; São Paulo: UNESP, 1998. p. 17-35.
PÉREZ GÓMEZ, Á. A Cultura escolar na sociedade neoliberal. Porto Alegre, RS:
Artmed, 2001.
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens: entre duas
lógicas. Porto Alegre, RS: Artmed, 1999.
220
CONSELHO DE CLASSE: sistemas de classificação e desigualdade
Maíra Mascarenhas
Resumo
O presente trabalho tem como objetivo abordar o conselho de classe como um espaço
que proporciona uma visão privilegiada dos sistemas e mecanismos de classificação
existentes na escola, e como um momento de produção de desigualdade entre os
estudantes. A pesquisa revelou que os critérios que orientam o processo de julgamento
que caracteriza o conselho de classe não são apenas objetivos, mas também subjetivos e
morais. Desta forma, a avaliação dos estudantes comporta uma dimensão moral que leva
ao tratamento diferenciado destes por parte de seus professores e à produção de
desigualdade.
Palavras-chave: antropologia; escola; conselho de classe; desigualdade; moral.
Introdução
Este trabalho aborda algumas questões referentes à minha pesquisa de mestrado
cujo objetivo é compreender como operam os sistemas de classificação de professores e
alunos de uma escola pública para investigar os valores morais que determinam estas
classificações. Busca-se também compreender como estes sistemas estão relacionados à
interação entre esses atores e à produção de desigualdade entre os estudantes.
O objetivo do trabalho é pensar o conselho de classe como um espaço que
proporciona uma visão privilegiada dos sistemas e mecanismos de classificação
existentes na escola - uma vez que é o lugar em que professores compartilham e
revelam suas avaliações sobre os alunos - e também como um momento de produção de
tratamento diferenciado entre os alunos.
Ao longo de meu trabalho de campo no Colégio Volta Redonda, percebi que os
alunos não são tratados da mesma maneira por seus professores. Esta diferença pode ser
percebida nos julgamentos feitos pelos professores durante os conselhos de classe e
também nos padrões de interação que os professores estabelecem com seus alunos na
sala de aula.
Para realizar a pesquisa venho acompanhando o cotidiano escolar dos atores de
uma escola pública da cidade do Rio de Janeiro desde março de 2010. Este
acompanhamento consiste em vivenciar sistematicamente o dia a dia da escola em todos
os seus ambientes: salas de aula, sala dos professores, recreios, reuniões, conselhos de
221
classe. Cabe ressaltar que, a partir de 2011, passei a lecionar nesta instituição 38, o que
provocou uma mudança na minha posição no campo pois, além de pesquisadora, passei
a ser professora da escola. Desta forma, além de frequentar a escola a fim de cumprir
minha jornada de trabalho, ainda faço observação participante em uma turma de 8º ano
do Ensino Fundamental acompanhando as atividades em sala de aula, no recreio, os
conselhos de classe e as reuniões de professores.
Além da observação participante, realizei seis entrevistas em profundidade com
professores do Colégio Volta Redonda (CVR). Foram entrevistados três professores e
três professoras com tempos de carreira diferentes. Essas entrevistas foram de grande
importância para que fosse possível compreender alguns rituais da escola e também
perceber os discursos destes atores, o lugar de onde falam, como constroem suas
narrativas sobre si mesmos, sobre suas experiências e como expressam suas visões de
mundo.
Como será explorado diante, a observação mostrou que, apesar do CVR ser um
colégio que é pensado como igualitário, os professores não avaliam seus alunos
baseados apenas em critérios referentes aos aspectos cognitivos e de apreensão do
conhecimento.
Ao contrário, pesa sobre essa avaliação uma dimensão subjetiva e moral,
relacionada a comportamentos intra e extraescolares. Características pessoais e
familiares dos alunos se tornam critérios para o julgamento dos professores e são
determinantes para as relações que se estabelecem entre discentes e docentes.
Assim, as pretensões igualitaristas da escola e sua busca em estabelecer a
igualdade de tratamento entre os alunos, coexistem com um sistema de práticas que
diferencia os alunos a partir de concepções morais – isto é, construído com base nos
valores e representações dos professores – e que incide sobre os alunos classificando-os
a partir desde quadro moral.
Essa coexistência pode ser melhor compreendida à luz das proposições de
DaMatta (1979) de que a peculiaridade do Brasil é a existência de um sistema dual que
opera tanto pela igualdade quanto pela hierarquia. Essa dualidade implica a transposição
reflexiva entre o que seria o domínio da igualdade, das relações impessoais e do
indivíduo, e o domínio da pessoalidade, das relações pessoais e da hierarquia. Ou seja, a
38 Sou professora de Sociologia em turmas de 9º ano do Ensino Fundamental e de 1º ano do Ensino
Médio.
222
sociedade brasileira possuiria um sistema híbrido, no qual a relação dialética entre
indivíduo e pessoa nunca se estabiliza, pois a todo instante a transposição é possível.
Também pensando a dualidade entre os ideais de igualdade e hierarquia, Lívia
Barbosa (1996) analisou a meritocracia no Brasil, particularmente no setor público. Ao
contrário das sociedades que possuem a meritocracia como ideologia, ou seja,
sociedades cujo princípio básico é a igualdade entre os indivíduos e que consideram
como a única diferenciação legítima entre eles o desempenho de cada um, a sociedade
brasileira hierarquiza seus membros a partir de características pessoais que não são
apenas os atributos e talentos do individuo. Na verdade, critérios como relações
pessoais, de parentesco e de posição social podem ser usados na colocação dentro da
estrutura social.
A autora distingue a meritocracia como critério de ordenação social - quando o
mérito é invocado como critério apenas em determinadas circunstâncias - e o mérito
como ideologia - como valor englobante e único critério moralmente aceito para
qualquer ordenação. No caso do Brasil, a meritocracia existe, mas falta a ideologia
meritocrática. A consequência é que a meritocracia aqui é circunstancial.
Em outras palavras, o critério de justiça na avaliação de desempenho não é o
mesmo para todos, mas varia dependendo da pessoa. Sendo assim, quais são os critérios
que determinam o tratamento diferenciado no CVR?
Identificar estes critérios é importante na medida em que eles revelaram uma
hierarquia interna à cultura da escola. Essa hierarquia está ligada aos sistemas de
classificação de alunos e professores, com suas diferenças e suas aproximações.
Entendendo que os sistemas de classificação são socialmente construídos
(DURKHEIM; MAUSS, 1999), pode-se pensar que, ainda que professores e alunos
sejam indivíduos inseridos em uma sociedade complexa e que possuem posições e
participações em diferentes mundos sociais, eles têm em comum o pertencimento ao
mundo da escola, e, em alguma medida, compartilham os princípios desta cultura
específica do CVR. Desta forma, mesmo que professores e alunos possam compartilhar
ou não o mesmo quadro de valores e representações no que se refere a sua participação
na sociedade de forma mais ampla, eles partilham um conhecimento que possibilita a
interação na escola.
Essa aproximação fica clara, por exemplo, nas representações sobre o
comportamento dos alunos. Em um questionário aberto respondido por alunos da turma
de 8º ano da escola, as respostas sobre o que é ser “um bom aluno” foram ao encontro
223
das definições de “bons alunos” dadas por professores em entrevistas feitas ao longo do
ano39. Da mesma maneira, em um conselho de classe da mesma turma observado no
início do ano letivo de 2012, os alunos levantaram características que consideravam
negativas da turma (como ser “dispersa”. “conversar muito”, “não fazer os trabalhos”) e
estas foram reafirmadas pelos professores em suas falas no evento.
Mais do que entender os sistemas de classificações que compõem a lógica que
orienta os agentes na escola, acredito que é fundamental atentar para uma dimensão
emocional padronizada, um ethos (VELHO, 1998), pois a relação entre professores e
alunos pressupõe também uma dimensão do afeto e da emoção que produz afinidades,
simpatias e antipatias que são determinantes para a interação entre eles, como será
discutido à frente.
Conselho de classe
A observação de conselhos de classe no CVR revelou que, assim como em
outras escolas abordadas pela literatura (MATTOS, 2005; PRADO, SÁ EARP, 2011),
também neste colégio a avaliação dos alunos nos conselhos de classe é feita não só por
critérios ligados à nota, mas também por critérios morais.
Nesse sentido, a avaliação dos alunos pode ser como composta por dois valores.
Um é o “valor cognitivo” expresso pela nota obtida em provas e trabalhos e que visa
mensurar o grau de apreensão do conhecimento. O outro seria um “valor moral” que é
formado por um conjunto de fatores como o comportamento dos alunos, sua situação
familiar e até mesmo o estado de saúde de cada um.
A relação entre os valores cognitivo e moral não é de concordância necessária.
Um aluno pode apresentar notas altas (valor cognitivo) e, ao mesmo tempo, ter uma
avaliação moral (valor moral) negativa. Da forma que a situação contrária também
ocorre, um estudante pode ter notas baixas e o valor moral muito alto, como é no caso
dos alunos considerados “esforçados”, que podem ser favorecidos pelo conselho de
classe, como veremos à frente.
Outro aspecto importante relativo ao valor moral é que ele é resultante de um
composto de critérios morais e é contextual, pode variar de acordo com o aluno
avaliado, com o professor que avalia, com a composição da turma ou mesmo com a
conjuntura em que estes atores se encontram no momento do conselho de classe. Isso
39 Este questionário aberto foi respondido pelos 30 alunos da turma, mas não possui representação
quantitativa. As entrevistas em profundidade foram feitas com seis professores da escola.
224
significa que um mesmo aluno pode ser avaliado de uma maneira por um professor e de
outra por outro, ou que um aluno pode ser avaliado de uma maneira em um conselho de
classe sem que esta avaliação se repita em outro conselho.
Cabe destacar também que os critérios morais podem coexistir na avaliação de
um mesmo aluno, ou seja, um estudante talvez possa ser ao mesmo tempo “esforçado” e
“chato”. Entretanto, outros critérios podem ser excludentes, de forma que, por exemplo,
um aluno classificado pelo professor como “fofo” talvez não seja “desrespeitoso” para
ele.
Se considerarmos que a avaliação dos alunos é composta pelo valor cognitivo e
o valor moral, sendo que o primeiro é expresso pela nota, como então identificar o valor
moral? Acredito que para isso é necessário observar como as classificações são
construídas no conselho de classe.
Primeiramente, um ponto importante que transparece no conselho de classe e
que é determinante para a avaliação dos alunos é o grau de relação e de conhecimento e
reconhecimento que cada professor tem sobre seus alunos. Durante o conselho de
classe, o diretor responsável pela turma que está sendo discutida lê o nome de cada
aluno e os professores interrompem quando o aluno em pauta é elogiado ou quando é
“problema”, como disse uma das diretoras da escola durante um conselho de classe.
Quando um professor não reconhece o aluno citado pelo nome, é comum
perguntar “quem é ele?”, “onde ele se senta?”, “como ele é?” (fisicamente), ou recorrer
para “as carinhas”, como é chamada a folha com as fotos de todos os estudantes de cada
turma. Estes alunos não são apenas números, eles são tratados e reconhecidos pelo
nome, por uma individualidade que está além do direito a ocupar uma vaga. É uma
individualidade que se diz respeito à sua identidade, à sua pessoa.
O conselho de classe é também o principal momento em que os professores
entram em contato com a história pessoal de cada aluno. Além da participação de um
diretor adjunto de ensino da escola, há também um representante do SOE (Setor de
Orientação Educacional) que participa da reunião e possui um “dossiê” de cada aluno
com informações do histórico escolar e do histórico pessoal e familiar. Essas
informações são divulgadas quando os professores demandam ou quando o SOE ou a
direção julgam necessárias para a avaliação dos alunos, como aparece neste diálogo
registrado em um conselho de classe do último trimestre de uma turma de 1º ano do
225
Ensino Médio40 quando os professores discutiam sobre quais alunos ficariam de
recuperação final41:
Direção: E o Paulo gente, como é que está?42[de recuperação]
Física: Está comigo.
Matemática: Comigo também.
Biologia: Biologia ele está muito mal, 3,9 de média anual.
D: Ele está em 7 matérias.
Português: Esse vai repetir, muito difícil recuperar tanto assim. É
jubilamento43.
D: Não, mas tem uma questão. Pode falar? (perguntando para o SOE)
SOE: Pode, tem que ser discutido.
D: Então, vocês sabem que o Paulo perdeu o pai. O pai ficou muito
doente, com câncer em estado terminal e ficou em casa até morrer. A
mãe ficou por conta do pai e ele assistiu tudo isso, o pai ficar mal e
morrer.
Artes Cênicas: Ele não tem um tumor na cabeça?
D: Tem um cisto na cabeça. Mas a questão é que a mãe veio me
procurar hoje de manhã e me contou que descobriu que está com
câncer também.
F: Que isso! Mas é muito grave?
D: Pois é, parece que é, porque ela descobriu agora e já foi mandada
para a cirurgia. Ela vai operar semana que vem e quer mandar o Paulo
para Minas, na casa de uma tia, para ele não acompanhar nada. A
questão é que ele está em 7 recuperações e as aulas são na semana da
operação da mãe.
F: Ele não vai ter cabeça para fazer essas provas.
B: Mas será que não tem como a gente mandar fazer um trabalho e
entregar depois?
Geografia: Não sei se trabalho é uma boa ideia... A questão é se
aprova ele ou não?
D: A questão é que eu tenho esse aluno nessa situação familiar e com
7 recuperações. Não sei se o melhor é deixar ele de recuperação.
M: Eu acho que essa situação é muito grave a gente deve liberar ele.
G: Mas e o resto dos alunos, vai abrir precedente para todos
reclamarem.
B: Mas é uma situação muito delicada, ele não vai ter condições de
recuperar a nota e no conselho final é capaz de a gente ter que
reprovar ele, porque não vai dar para mudar a nota muito baixa.
40
Este conselho era de uma das minhas turmas de 1º ano do Ensino Médio. Com autorização e ciência de
todos os participantes, pude registrar o conselho para incluí-lo em minha pesquisa.
41 A média trimestral do colégio é 6,0 pontos. Para ser aprovado, o aluno precisa acumular 18,0 pontos.
A recuperação final é feita ao fim do ano para os alunos que não alcançaram 18 pontos ao longo dos
três trimestres.
42 Os professores estão identificados pela disciplina que lecionam e pelo cargo que ocupam, no caso da
diretora e da professora do SOE.
43 O aluno é jubilado quando repete pela segunda vez em um mesmo segmento e é impedido de se
matricular no ano seguinte. Ou seja, cada aluno pode ser reprovado uma vez entre o 2º e o 5º ano do
Ensino Fundamental, entre o 6º e o 9º ano do Ensino Fundamental e entre o 1º e o 3º ano do Ensino
Médio. O 1º ano do Ensino Fundamental é a única série em que não há restrições sobre o número de
reprovações.
226
Sociologia (eu): Mas e o resto do ano, a gente vai considerar duas
semanas ou o ano todo?
G: É, tem que pensar que ele teve o ano todo para estudar e fazer as
provas. E tem muitos outros alunos em situação delicada, porque
deixar ele passar?
D: Bem, eu acho que o que ele está passando é horrível e acho que a
gente não precisa deixar ele de recuperação. Vamos passar ele então?
Vários professores presentes responderam que sim, ninguém
discordou.
Neste “caso” as informações sobre a situação familiar do aluno foram
consideradas indispensáveis pela Direção e pela professora do SOE para a avaliação dos
professores sobre a situação acadêmica do aluno.
Da mesma maneira que as informações sobre a situação familiar do aluno são
trazidas para a discussão no conselho de classe, traços da personalidade e do
comportamento dos alunos também são evocados como critérios de avaliação. Assim, a
nota de um aluno pode ser alterada em função de este ser identificado como portador de
alguma disfunção psiquiátrica (muitos alunos são identificados como portadores de
Transtorno por Déficit de Atenção com Hiperatividade), pelo aluno estar em tratamento
com algum medicamento (em geral psicoestimulantes e ansiolíticos), por estar usando
drogas, por ser “indisciplinado” ou mesmo por sua aparência fora do padrão de beleza
compartilhado pelos professores. A esse respeito, uma professora comentou em um
conselho de classe: “Nossa, a Lúcia é muito feia, eu tenho uma pena dela. Sabe o que
ela me lembra? A Noiva Cadáver do Tim Burton44! Eu tenho uma pena dela, eu até
corrijo o que ela escreve com mais consideração, porque coitada!”.
A observação de conselhos de classe ao longo do trabalho de campo45
possiblitou identificar critérios recorrentes nas falas dos professores. Dentre estes
critérios, destacam-se o “esforço” e o “merecimento”; A ideia do “esforço” estava, em
geral, ligada ao interesse do aluno medido, entre outras coisas, pela assiduidade e
participação nas aulas fazendo perguntas. O aluno “esforçado” estaria, assim, em
contraponto ao comportamento do aluno “que não quer nada”. Ao mesmo tempo, a ideia
de esforço mostrou fazer parte da concepção destes professores do que é o
comportamento ideal para o aluno, uma vez que o esforço do aluno estava ligado ao
merecimento de obter “ajuda” dos professores, ter a nota alterada para cima e ganhar
uma “chance”.
44 Uma referência a uma personagem do filme “A Noiva Cadáver” do diretor Tim Burton.
45 Foram observados até o momento da pesquisa 18 conselhos de classe.
227
Por outro lado, a avaliação pessoalizada do aluno pode ser negativa, como nas
situações em que a pessoa pesa de maneira negativa na avaliação dos professores, como
no caso da “vagabundagem” e da “bagunça/indisciplina” e no aluno “que não quer
nada”.
A reprovação possui sentidos diversos que vão sendo construídos em cada caso
analisado. Desta forma, a reprovação pode ser boa para um aluno aprender o
comportamento adequado ou pode ser ruim para sua autoestima. Alguns alunos
“podem”, “devem” e são reprovados, enquanto outros são “passados pelo conselho”,
“não merecem”. Independente da maneira como é encarada, a reprovação é uma peça
fundamental para o sistema de classificação de alunos e professores, pois ela é o
balizador destas classificações e também um elemento central para a lógica do sistema
educacional brasileiro (RIBEIRO, 1991).
Ainda que o peso dos critérios morais varie em cada caso, é possível pensar que
trazê-los para a avaliação do conselho de classe é uma maneira de produzir
desigualdade entre os estudantes, afinal as oportunidades são dadas ou não para os
alunos em função do quadro de critérios pelos quais são avaliados.
Desta forma, acredito ser possível pensar em uma escala de moralidade na qual
pesa o espaço de agência e arbítrio dos alunos frente às exigências institucionais da
escola. Assim, o valor mais baixo seria destinado às situações em que os alunos se
voltam arbitrariamente contra a escola, como por exemplo, os casos de postura violenta.
Também na base da escala estariam os alunos que apresentam postura de “descaso”,
como os que são identificados como “vagabundos” ou os que “não querem nada”. Sem
seguida, viriam os casos em que o aluno apresenta comportamento comprometido em
consequência de alguma situação familiar, estando, portanto, com um espaço de
arbitragem menor, pois se torna vítima de sua situação familiar.
Entre os de valor mais alto estariam os que teriam avaliações mais
“indulgentes”, seriam aqueles que, apesar do esforço, não conseguem vencer suas
limitações intelectuais identificadas pelos professores. Por fim, os casos extremos de
valorização positiva seriam as situações em que há alguma tragédia na vida do aluno e
este se encontra sem qualquer espaço de ação. Nestas situações, o drama vivido pelo
aluno pode ganhar tamanha proporção que seu comportamento inapropriado –
usualmente condenável pelos professores e favorecedor de uma avaliação negativa –
pode ser posto de lado em favor da situação familiar.
228
Essa escala de moralidade tem por finalidade estabelecer uma relação entre os
valores e as situações que podem surgir em um conselho de classe, ou seja, busca-se
estabelecer uma relação de hierarquia, não dos alunos, mas dos critérios.
Evidentemente, os “casos” dos alunos são diferentes em cada reunião, portanto as
relações que se estabelecem entre eles dentro da escala são específicas em cada
conselho e a ordem hierárquica resultante é produzida por meio de negociações. Os
significados dos critérios só podem ser compreendidos e interpretados quando em
relação.
Tendo em vista as situações observadas nos conselhos de classe, pode-se pensar
que a meritocracia, ganha contornos específicos nesta escola. A ideia de merecimento e
de justiça não é definida apenas pelo “valor cognitivo”, mas também – e talvez,
principalmente - pelo “valor moral”. Sendo assim, o valor que orienta o juízo dos
professores para avaliar os alunos é derivado da perspectiva moral de cada um deles.
Surgem, então, diferentes concepções de justiça, já que o critério utilizado por cada
professor vai ao encontro de suas representações sobre o que é o comportamento
adequado ou não para aluno e, em alguns casos, para sua família.
Neste sentido, sugere-se que essas concepções de justiça e os significados dos
critérios disponíveis no sistema de classificação ganham significado a partir de
concepções morais dos professores que estão associadas às suas percepções e
expectativas subjetivas quanto às relações estabelecidas com seus alunos e à própria
prática docente.
A relação entre professores e alunos possui uma dimensão emocional, dinâmicas
e complexos sentimentais são também componentes determinantes das interações entre
eles. Mais do que isso, o “valor moral” do aluno avaliado no conselho de classe possui
estreita relação com as interações que os professores estabelecem com ele no cotidiano
e, consequentemente, está relacionada à dimensão emocional.
Pressupondo que a interação é uma relação, alunos e professores compartilham
códigos e regras que regem as dinâmicas e os complexos emocionais. Desta forma, os
dois atores têm espaço de agência, negociação e manipulação destes códigos e regras.
Assim, podemos pensar em demandas de professores e alunos por
reconhecimento, tanto pessoal quanto profissional, dinâmicas de vitimização, vingança,
229
compaixão, injustiça, solidariedade e identificação e que são produzidas e vivenciadas
coletivamente no cotidiano da escola.
Portanto, as concepções morais e emocionais dos professores (e alunos) não são
forjadas fora de um contexto. Ao contrário, elas são construídas a partir da dinâmica da
interação, em um processo em que participam tanto o professor quanto o aluno. Os
critérios e os significados que fazem parte deste sistema de classificação não são
produto apenas de uma moralidade trazida a priori - ou seja, proveniente da experiência
fora da escola - mas também de uma moralidade que se constrói na escola - no
cotidiano, na interação.
Desta forma, pensar as categorias usadas no juízo professoral em termos das
grandes categorias sociológicas, como raça, gênero, classe, pode não ser suficiente para
compreender o sistema de classificação na escola. Ao contrário, quando damos destaque
para as categorias construídas no cotidiano da interação temos a chance de compreender
com mais precisão a maneira como este sistema opera.
Assim, acredito que é de grande importância para uma compreensão maior da
problemática deste trabalho acompanhar a sala de aula, pois ela é o lugar de interação
entre alunos e professores, onde estes constroem suas relações e onde os significados
são construídos.
230
Referências
BARBOSA, L. Meritocracia a brasileira: o que é Meritocracia no Brasil. Revista do
serviço Público, Brasília, DF, v. 120, n. 3, p. 58-102, set./dez. 1996.
DURKHEIM, E.; MAUSS, M. Algumas formas primitivas de classificação. In:
MAUSS, M. Ensaios de sociologia. São Paulo: Perspectiva, 1999.
MATTOS, C. L. G. de. O conselho de classe e a construção do fracasso escolar. Revista
Educação e Pesquisa, São Paulo, v. 31, n. 2, p. 215-228, maio/ago. 2005.
PRADO, A. P., SÁ EARP, M. de L. Os conselhos de classe: mecanismos de produção
das desigualdades na escola?. In: REUNIÃO ANUAL DA ASSOCIAÇÃO
NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM EDUCAÇÃO, 34., 2011,
Natal. Trabalhos Apresentados... Natal, RN: ANPED, 2011.
RIBEIRO, S. C. A Pedagogia da repetência. Estudos Avançados, São Paulo, v. 5, n. 12,
p. 7-18, 1991.
VELHO, G. Nobre e anjos: um estudo de tóxicos e hierarquia. Rio de Janeiro: Editora
FGV, 1998.
231
AVALIAÇÃO DE INTERFACE GRÁFICA DE CURSOS A DISTÂNCIA
VIA WEB
Simone de Paula Silva
Fundação Cecierj
Lígia da Silva Leite
Resumo
Este estudo teve como objetivo avaliar a interface gráfica do curso a distância
Voluntariado, Conceitos e Motivação do AFS Intercultura Brasil sob o ponto de vista da
sua ergonomia e usabilidade. A abordagem adotada foi a de avaliação por especialistas e
o método foi de avaliação heurística.
A avaliação heurística foi aplicada por quatro especialistas que realizaram um
julgamento de valor sobre as qualidades ergonômicas de cada item que compõe a
interface. A análise dos dados se deu mediante de análise quantitativa das questões
fechadas do instrumento da escala gravidade dos problemas de usabilidades. Os
resultados encontrados demonstram que a interface do curso atende parcialmente aos
critérios de ergonomia e usabilidade.
Palavras-chave: Avaliação. Educação a Distância. Usabilidade.
Introdução
A humanidade vive a era da informação, da colaboração e da gestão do
conhecimento (POLIZELLI; OZAKI, 2008). Nesse momento, a necessidade de
expandir as maneiras de gerar aprendizagem e o processo de aquisição de novos
conhecimentos se faz crescente, por isso um novo conceito de educação proposto pela
Comissão Internacional sobre Educação para o Século XXI, da Unesco, que apresenta a
importância do aprender a conhecer, fazer, ser e a viver juntos (DELORS, 2010). Neste
contexto, cada vez mais se procura criar condições e mecanismos capazes de construir
conhecimento de forma coerente com o momento em que se vive, onde esta construção
pelo aluno se dá, na maioria das vezes, de forma colaborativa e significativa para que
atinja o objetivo da aprendizagem.
A internet tem sido utilizada por diversos segmentos da sociedade para veicular
informação, realizar comércio eletrônico, estabelecer relacionamentos, desenvolver a
formação profissional, e a aprendizagem de novas culturas, entre outros. A educação
não poderia deixar de utilizar este recurso como elemento que amplia os espaços de
ensinar e aprender, assim como as possibilidades dos ambientes de aprendizagem via
web. Por isso, é crescente a demanda de instituições que vem adotando a educação a
232
distância (EAD) para formação, atualização e capacitação de seus funcionários e ou
colaboradores.
São grandes os desafios ao processo de ensino-aprendizagem frente aos avanços
do conhecimento no domínio da ciência e tecnologia, com a evolução das tecnologias de
informação e comunicação (TIC).
O processo de geração de cursos a distância via web deve ser cuidadosamente
planejado sob o ponto de vista pedagógico e fundamentado nos conhecimentos de
profissionais das áreas de conhecimento específico do curso, design instrucional, design
de interface, ergonomia e usabilidade de interfaces; por isso a elaboração de cursos a
distância necessita de equipes multidisciplinares.
Esta equipe deve estar atenta, pois, ao projetar interfaces para cursos a distância
via web, deve utilizar adequadamente princípios de ergonomia e usabilidade de modo a
proporcionar aos alunos e usuários a sensação de estar em um ambiente construído
especialmente para ele.
De acordo com a Associação Brasileira de Ergonomia (2003, p. 3);
Entende-se por Ergonomia o estudo das interações das pessoas com
tecnologia, a organização e o ambiente, objetivando intervenções e
projetos que visem melhorar, de forma integrada e não dissociada, a
segurança, o conforto, o bem-estar e a eficácia das atividades
humanas.
Ou seja, ao aplicar este conceito para desenvolver um curso a distância é
necessário conhecer as características físicas, socioeconômicas e as tarefas/atividades
que o aluno ou usuário irá realizar no curso. São estas informações que contribuem para
que o mesmo esteja de acordo com o perfil do público-alvo.
A usabilidade é parte dos objetivos e da metodologia ergonômica de adequação
das interfaces tecnológicas às capacidades humanas, físicas, cognitivas e emocionais.
Assim sendo, a usabilidade aplicada ao desenvolvimento de interfaces para cursos a
distância via web deve ter como exigência, de acordo com Moraes (2002), a
identificação do seu aluno ou usuário, no que diz respeito às suas características físicas,
necessidades e tarefas que por ele serão desenvolvidas, visando a experiência de
aprendizagem mais adequada.
Ainda mais, projetar uma interface, para um curso a distância via web, que seja
confortável, contribui para minimizar o sentimento de solidão que muitas vezes os
alunos de curso a distância sentem, e por fim é importante proporcionar um ambiente
233
rico em situações de aprendizagem, e com isto, minimizar
a evasão no curso a
distância.
Interfaces para ambiente de aprendizagem baseado na web
É importante dizer que existem na literatura muitas definições de interface, mas
a adotada para este estudo avaliativo foi: “a interface do usuário é definida oficialmente
como elo de comunicação entre um ambiente, produto ou sistema e o usuário”
(HACKSON; REDISH, 1998; MARCHINI, 1995 apud LOHR, 2000, p. 162),
consistindo de objetos ou elementos projetados para comunicar a função do ambiente.
Quer dizer, uma interface de um curso a distância veiculado em um AVA pode ser então
definida como elemento que medeia o usuário ou aluno na tarefa de aprendizagem, com
o objetivo de promover o acesso, a interação e a instrução.
A experiência da interação dos alunos com a interface de um curso via web não
pode se limitar a um simples clicar de um mouse, pois há que se considerar os fatores
humanos envolvidos, ou seja, se os elementos incluídos no curso fazem sentido para os
usuários ou alunos. Em salas de aula tradicionais, o professor orienta, auxilia e promove
o processo de ensino-aprendizagem, no entanto, na web, como o professor não está
fisicamente presente, a interação do aluno se dá por meio da interface projetada para o
curso com elementos como, por exemplo, botões, ícones, animações entre outros
recursos, que devem levar em consideração as características e interesses do seu
público-alvo. Assim, o fator humano concretizado pelas ferramentas utilizadas nos
cursos a distância online é também considerado usabilidade. Sendo a usabilidade o foco
deste estudo avaliativo, adotou-se o seguinte conceito:
Usabilidade é um atributo de qualidade que avalia como interfaces de
usuário são fáceis de usar. A palavra "usabilidade" também se refere a
métodos para melhorar a facilidade de uso durante o processo de
design (Nielsen, 2000, p. 50).
Segundo Lohr e Eikleberry (2001), o projeto de uma interface educacional é um
esforço desafiador que requer conhecimento de habilidades nas áreas de projeto visual e
educacional, fatores humanos e psicológicos, pesquisa ergonômica, ciências da
computação e projeto editorial. Muitas recomendações estão disponíveis para dar
suporte ao projetista, mas muitas entre elas não se encaixam nas necessidades
específicas da interface para cursos via web. Nielsen (1999) diz que, muitas das
234
interfaces de ambientes existentes apresentam problemas de arquitetura da informação,
de organização de elementos visuais, de interatividade e de funcionamento.
Como prática, a Ergonomia compreende a aplicação de tecnologia da interface
homem-sistema ao projeto ou modificações de sistemas para aumentar a segurança,
conforto e eficiência do sistema e da qualidade de vida. Hall, Watkins e Eller (2003)
destacam que educação baseada na web deve possuir diferentes recursos dependendo do
público-alvo, do contexto e do meio. Embora projetistas sejam forçados a considerar
estas questões, um curso baseado na web deve considerar que os fatores mais
importantes para guiar o processo inteiro de criação do projeto de interface são os
objetivos da aprendizagem.
O contexto do curso a distância via web: o AFS Brasil
O AFS Intercultura Brasil é uma organização não governamental (ONG), sem
fins lucrativos, promotora da paz, fundada em 1956, que visa ajudar a construir um
mundo solidário por meio do intercâmbio cultural entre os povos. Esta ONG é membro
do AFS Intercultural Programs, antigo American Field Service, cujos programas de
intercâmbio ajudam a desenvolver a cidadania e oferecem aos participantes a
oportunidade de imersão em outras culturas, crescimento pessoal, expansão de
possibilidades no campo social e profissional, assim como o aprendizado de outras
línguas e costumes.
Esta ONG está presente em 53 países como, por exemplo: Alemanha, Tailândia
e Estados Unidos; anualmente realiza 10.000 intercâmbios no mundo e possui 30.000
voluntários ativos no mundo.
Em cada cidade em que a AFS está presente, conta com um comitê composto de
Presidente e Conselheiro local. Os Comitês instalados sediados em um determinado
estado congregam um ou mais municípios.
Esta ONG oferece vários cursos para os seus voluntários, dentre eles o curso
Voluntariado, Conceitos e Motivações, que era ministrado presencialmente até 2009,
quando o AFS Brasil decidiu oferecê-lo a distância, uma vez que esta ONG está com
comitês nas cinco regiões brasileiras, oferecendo cursos em 83 cidades. A realização
presencial deste curso demandaria tempo e altos custos para reunir um grupo de
interessados que poderiam vir de diferentes localidades.
A forma de ingresso no curso é feita por meio de convite enviado para os
voluntários e para os treinadores regionais por e-mail. Este curso não é pré-requisito
235
para que as pessoas sejam voluntárias desta ONG, mas é exigido para os que desejam
fazer outros cursos. O aluno do curso é um voluntário cadastrado e com termo de adesão
na organização, que recebe o link para preenchimento da ficha no Google Apps. Este
curso é oferecido com o objetivo de nivelar o conhecimento sobre voluntariado e sobre
o voluntário do AFS.
Ocurso a distância voluntariado conceitos e motivações
O curso a distância Voluntariado Conceitos e Motivações foi elaborado por uma
equipe de profissionais do AFS com o intuito de nivelar os conhecimentos que os
voluntários possuem sobre o voluntário do AFS.
O curso Voluntariado Conceitos e Motivações possui carga horária de seis horas
e é disponibilizado no AVA Moodle.
A seguir são apresentadas as telas do curso.
Figura 1 – Tela de Apresentação do curso Voluntariado Conceitos e Motivações
Fonte: AFS Intercultura Brasil (2012).
As três unidades que compõem o curso são: (1) Trabalho Voluntário na qual é
definido o conceito de voluntariado e apresenta a lei do serviço voluntário; (2) A
Declaração Universal do Trabalho Voluntário na qual o aluno pode conhecer como
236
surgiu esta declaração e os critérios da ação voluntária;
Intercultural, que apresenta
e (3) Aprendizagem
o trabalho voluntário desenvolvido pelo AFS e a
contribuição que aprendizagem intercultural pode trazer para promover a paz entre os
povos, de acordo com a tela apresentada na Figura 1.
Figura 2 – Tela de navegação do curso.
A navegação de cada unidade do curso é realizada por setas localizadas na parte
inferior da tela. E ao finalizar uma unidade, o aluno acessa a seguinte nos botões
localizados na parte superior da tela, com os seus respectivos títulos. A unidade que já
foi estudada recebe um símbolo de ticado. O número de telas de cada unidade que é
pode ser visualizado na parte inferior, por meio de numeração, como, por exemplo, 6 de
8 conforme mostrado na Figura 2. Então, é possível navegar dentro das unidades por
meio das setas e passar de uma unidade a outra por meio dos botões correspondentes.
As informações extra conteúdo são disponibilizadas na parte superior direita da
tela, que são acessadas pelos botões de conteúdo auxiliar, e são: refletindo, linha do
tempo, vídeo e música, como mostra a Figura 3. As informações contidas nestes botões
são diferentes em cada tela, pois estas se relacionam com o conteúdo que está sendo
237
apresentado. Os botões quando não apresentam conteúdo aparecem na tela em tons de
cinza.
Figura 3 - Informações extra conteúdo
Nesta seção foi apresentada a interface gráfica do curso a distância, a sua
navegação e a forma de interação dos alunos com o conteúdo do curso. Assim, interface
gráfica permite aos usuários diferentes oportunidades de explorar e aprender o conteúdo
do curso.
Procedimentos Metodológicos
A avaliação é uma atividade diária. Ao pensar em avaliação esta nos leva a
refletir sobre as escolhas cotidianas, e estas decisões podem ser formais ou informais.
Neste estudo avaliativo foi desenvolvida uma avaliação formal (WORTHEN;
SANDERS; FITZPATRICK, 2004) que obedeceu as etapas apresentadas neste capítulo.
Avaliação de usabilidade aplicada a cursos a distâcia via web é uma área de
conhecimento ainda nova, que trata de interfaces, usabilidade e interação da interação
humano-computador (HCI). A seleção de métodos de avaliação de usabilidade para
238
determinar os problemas de usabilidade é influenciada pelo tempo, custo, eficiência,
eficácia e facilidade de aplicação (SSEMUGABI; DE VILLIERS, 2010).
Os métodos de avaliação de interface possuem diferentes propostas, uma vez
que é necessário compreender as diferentes características de cada método e o mais
apropriado para avaliar e ser utilizado em uma dada interface; a sua definição é
determinada pelo contexto de uso e pela fase de desenvolvimento em que se encontra a
interface. As principais diferenças entre os métodos são a etapa do ciclo de design do
curso em que devem ou podem ser aplicados (durante o ciclo de desenvolvimento ou
após o produto estar pronto), a técnica utilizada para coletar os dados (desde entrevistas
até experimentos em laboratórios), os tipos de dados coletados (quantitativos ou
qualitativos), e ainda o tipo de análise feita (o avaliador pode prever potenciais
problemas ou interpretar os dados obtidos) (PREECE et al, 1994).
Para este estudo avaliativo, foi selecionada a abordagem centrada em
especialistas, que segundo Worthen, Sanders e Fitzpatrick (2004, p. 195) é adequada a
este estudo uma vez que:
Coletivamente, as abordagens da avaliação centrada em especialistas
enfatizam o papel crucial do parecer do especialista e da sabedoria
humana no processo avaliatório e concentram a atenção em questões
importantes como os padrões (e o grau de publicidade) que devem ser
usados na apresentação de juízos sobre programas.
Esta abordagem foi integrada à avaliação da interface utilizando as heurísticas
(HE) de Nielsen que envolvem a avaliação por especialistas com experiência na área de
domínio e / ou Interação Humano-Computador (IHC). Elas foram adaptadas do
instrumento de Ssemugabi e De Villiers (2010).
O termo ‘avaliação heurística’ em IHC foi introduzido por Jakob Nielsen e Rolf
Molich no início da década de 1990, quando propuseram um método pelo qual o
projetista aplica um número de princípios ou heurísticas ao projeto. O termo cunhado
por Nielsen e Molich descreve um método no qual um pequeno grupo de avaliadores
examina uma dada interface e procura por problemas que violem alguns princípios
gerais do bom projeto de interface (SANTOS, 2000).
239
A avaliação da interface gráfica
A interface foi avaliada por um grupo de quatro avaliadores, que acessaram o
curso tendo em mãos o instrumento, conforme pode ser visualizado nas Tabelas 1, 2 e 3
no qual identificaram as heurísticas violadas e marcaram o seu grau de gravidade.
As avaliações foram realizadas isoladamente, evitando que um especialista
influenciasse o outro na sua avaliação. Este procedimento é importante a fim assegurar
avaliações independentes e imparciais de cada avaliador.
A avaliação da interface consistiu da análise do grau de gravidade atribuído
pelos avaliadores em cada heurística, em uma escala de 1 à 5 e N, onde 1 se refere a
problema estético, 2 a pequeno problema, 3 a problema médio, 4 a grande problema, 5
a problema catastrófico e N não é considerado um problema.
As Tabelas 1, 2 e 3 apresentam a distribuição da frequência de gravidade com
que os avaliadores classificaram cada heurística em cada categoria: critérios gerais de
usabilidade de interface, usabilidade da interface de cursos a distância via web e
critérios educacionais: design instrucional centrado no aluno, a partir do instrumento.
Tabela 1- Incidência de atribuição do grau de gravidade referente às heurísticas de usabilidade,
pelos avaliadores.
Nº
1
2
3
4
5
6
7
8
9
10
Heurística
Categoria 1: os critérios gerais de usabilidade da
interface
Visibilidade do status do sistema.
Equivalência entre o sistema e o mundo real, isto
é, entre o modelo de design e modelo de usuário.
Controle do aluno e liberdade.
Consistência e padrões.
Prevenção de erros, em particular prevenção a
erros de usabilidade.
Reconhecer ao invés de relembrar.
Flexibilidade e eficiência de uso.
Estética e minimalismo no design.
Auxiliar usuários a reconhecer, diagnosticar e
recuperar ações erradas;
Ajuda e documentação.
Grau de gravidade
1
2
3
1
2
4
5
1
1
1
N
3
1
1
2
1
2
1
1
2
2
2
3
2
1
1
1
1
1
1
2
1
1
1
Fonte: Silva (2012).
Na Tabela 2 é possível observar a frequência com que os avaliadores
classificaram o grau de gravidade para cada heurística referente à categoria 1 (os
critérios gerais de usabilidade da interface), que é composta de 10 heurísticas.
240
Analisando a categoria 1 (critérios gerais de usabilidade da interface), heurística
1: ‘Visibilidade do status do sistema’ , percebe-se que o grau de gravidade 3, foi
considerado por dois avaliadores, sendo este um problema médio, e sua prioridade para
correção também é média, uma vez que os usuários conseguirão se adaptar facilmente
ao problema.
As heurísticas 4 (consistência e padrões), 6 (reconhecer ao invés de relembrar) e
10 (ajuda e documentação) foram avaliadas por dois especialistas como um grande
problema: os usuários encontrarão dificuldades, uma vez que este problema é difícil,
mas podem trabalhar em torno dele. A sua correção deve ser considerada como de alta
prioridade. O que chama a atenção na avaliação das heurísticas 4 e 6 é o fato de elas
terem recebido grau de gravidade 4 por dois avaliadores e os outros dois especialistas a
teram avaliado
como não tendo prioridade para correção. Quanto a avaliação da
heurística 10,
pode-se destacar que um especialista
a avaliou com prioridade
catastrófica, ou seja gravidade 5, a sua correção é obrigatória. Apenas um avaliador
considerou que deva ser corrigida, se possível, pois isto não afetará o uso do sistema.
Para a heurística 5 (prevenção de erros, em particular a erros de usabilidade) um
especialista a classificou como de baixa prioridade para correção, um outro que sua
correção é de alta prioridade e dois como não havendo necesidade de correção, ou seja,
não há problema de usabilidade, o que demostra que os especialistas não chegaram a um
consenso a respeito desta classificação.
Observa-se que na heurística 7 (flexibilidade e eficiência de uso), dos quatro
avaliadores, três consideraram que ela apresenta grau de gravidade 1, portanto não há
prioridade para correção. A heurística 2 (equivalência entre o sistema e o mundo real,
isto é, entre o modelo de design e modelo de usuário), é possivel notar que três
avaliadores não a consideram como um problema a ser corrigido.
E por fim, não houve consenso na avaliação da heurística 3 (Controle do aluno e
liberdade), uma vez que cada avaliador indicou um grau de gravidade diferente para a
mesma.
241
Tabela 2 -
Nº
11
12
Incidência de atribuição do grau de gravidade referente aos critérios
específicos de cursos a distância via web
Heurística
Grau de gravidade
Categoria 2 : Critérios específicos para cursos a distância Via
1 2 3 4 5 N
Web.
A simplicidade de organização do curso navegação e estrutura.
1 1 1
1
Relevância do conteúdo do curso para o aluno e o processo de
2 1
1
aprendizagem.
Na categoria 2 (Critérios específicos para cursos a distância via web), a
heurística 12, como pode ser observado na Tabela 3, dois avaliadores consideram que
os usuários podem facilmente trabalhar em torno dele, pois a correção é de baixa
prioridade. Um considera que o grau de gravidade é 3, o que no caso implicaria em uma
prioridade média para a sua correção; um avaliador não a vê como problema a ser
corrigido. Observa-se que as visões desta heurística estão muito diferentes umas das
outras, não havendo consenso na percepção dos avaliadores em relação à mesma em
suas avaliações individuais.
Tabela 3 - Incidência do grau de gravidade referente aos critérios educacionais
Nº
13
14
15
16
17
18
19
20
Heurística
Categoria 3: Critérios educacionais: design
instrucional centrado no aluno, fundamentado na
teoria da aprendizagem (adaptada de Ssemugabi,
2010)
Clareza de objetivos, metas e resultados.
Eficácia da aprendizagem colaborativa (onde
estiver disponível).
Nível de controle do aprendiz
Suporte
para
abordagens
pessoalmente
significativas para a aprendizagem.
Reconhecimento, diagnóstico e recuperação de
erro cognitivo.
Orientação, feedback e avaliação.
Contexto significativo para o domínio e aluno.
Motivação do aluno, a criatividade e a
aprendizagem ativa.
Grau de gravidade
1
2
3
4
5
1
N
3
2
1
1
2
1
3
1
2
1
2
1
2
1
2
2
1
1
2
A Tabela 3 apresenta a avaliação dos especialistas para a categoria 3 (critérios
educacionais: design instrucional centrado no aluno, fundamentado na teoria da
aprendizagem). Para as heurísticas 13 (clareza de objetivos, metas e resultados) e 15
242
(nível de controle do aprendiz) três avaliadores não consideram que tenha problemas a
serem corrigidos, o que demostra que esta heurística está de acordo com um bom
projeto. Quanto a eficácia da aprendizagem colaborativa, heurística 14, dois avaliadores
consideraram que há problema catastrófico e dois não consideram haver problema
algum.
A heurística 20, ‘motivação do aluno, a criatividade e a aprendizagem ativa’
chama a atenção devido a diferentes níveis de gravidade apontados pelos avaliadores,
uma vez que um avaliador considerou a sua correção obrigatória, outro considerou grau
de gravidade 1- que deve ser corrigido se possível, pois, não afetará o uso do sistema; e
dois avaliadores não a consideraram como problema.
Conclusões
A análise dos dados deste estudo avaliativo levam a concluir que:
 o feedback imediato ao se executar uma ação deve ser mais legível e com
uma tela que confirme a ação do aluno/usuário.
O atendimento à heurística 1 (visibilidade e satatus do sistema) permite maior
segurança por parte dos usuários/aluno ao salvar atividades, ao fazer e desfazer ações
(heurística 3 controle e liberdade); estes recursos podem conferir ao curso uma alto
grau de usabilidade.
 a padronização permite maior usabilidade no curso.
A padronização de todas as telas que compõem o curso, sejam elas telas
principais, ou telas com conteúdo extra, deve atender à heurística 4 (consistência e
padrões). Observou-se a necessidade das telas de exibição dos vídeos possuirem os
mesmos recursos de exibição, e nas Unidades a indicação de encerramento.
 um sistema de ajuda deve estar acessível a qualquer momento.
O atendimento à heurística 10 (ajuda e documentação) pode transmitir maior
segurança e confiabilidade ao curso, portanto mais usabilidade ao mesmo. O sistema de
ajuda deve ser fácil de acessar, como por exemplo, um botão com uma interrogação
onde o conteúdo é aberto é uma solução para a correção desta heurística.
 o incentivo a atividades colaborativas é uma forma de aprender a trabalhar
em equipe.
A motivação do aluno, a criatividade e a aprendizagem ativa, a participação nos
fóruns e chat pode ser incentivada com textos relacionados ao conteúdo do curso,
243
atendendo à heurística 20, proporcionando que o curso atenda aos critérios educacionais
contidos na categoria 3 do instrumento.
As metáforas utilizadas, o uso de linguagem e termos semelhantes aos usuários,
a informação organizada (heurística 2) proporcinaram ao curso maior usabilidade.
As heurísticas 15 (nível de controle do aprendiz) e 17 (recuperação do erro
cognitivo), embora não consideradas um problema a ser corrigido, devem receber
especial atenção, uma vez que estas heurísticas estão presentes nos jogos e atividades e
devem conter informações claras nas instruções e a possibilidade de serem reiniciados.
O teste de usabilidade mostrou-se eficiente, pois permitiu que a análise dos
dados colhidos com o questionário fornecesse recomendações para buscar soluções para
problemas relacionados às heurísticas violadas na interface gráfica e, também, para a
aprendizagem significativa.
Portanto, ao projetar interfaces para cursos a distância via web obedecendo a
critérios de ergonomia e usabilidade é preciso considerar: os critérios gerais de
usabilidade, os critérios específicos para cursos a distância e os critérios educacionais
com foco no público alvo.
No sentido, de que a equipe multidisciplinar de
desenvolvimento do curso proponha uma interface com alta usabilidade, para que o
ambiente seja rico em situações de aprendizagem, e assim, atingir as metas
educacionais.
Recomendações
Foram feitas as seguintes recomendações:
• avaliação heurística como uma escolha adequada para a avaliação de
usabilidade de cursos a distância via web;
•
selecionar avaliadores com experiência em projetos de ambientes de ensino
para educação a distância via web;
• avaliação da usabilidade no AVA customizado para veicular o curso pois,
esta avaliação permitirá contribuir com o desenvolvimento e hospedagem de novos
cursos que o AFS pretenda desenvolver;
• o instrumento proposto pode ser utilizado em avaliações de usabilidade de
outros cursos a distância via web;
• o instrumento pode nortear as equipes desenvolvedoras a observar se os
critérios de ergonomia e usabilidade estão presentes e atendidos em suas interfaces
gráficas.
244
Referências
ASSOCIAÇÃO BRASILEIRA DE ERGONOMIA. Norma ERG BR 1000:
Estabelecimento do Organismo Certificador do Ergonomista Brasileiro (OCEB):
aprovada na Assembléia Geral Ordinária da ABERGO, 4 de setembro de 2002. Recife,
2003. Disponível em:
<http://www.abergo.org.br/arquivos/normas_ergbr/norma_erg_br_1000_organismo_cer
tificador.pdf>. Acesso em: 21 maio 2012.
DELORS, J. (Org.). Educação: um tesouro a descobrir: relatório para Unesco da
Comissão Internacional sobre Educação para o século XXI. Brasília, DF: MEC:
Unesco, 2010.
HALL, R. H.; WATKINS, S.E.; ELLER, V. E. A model of Web Based Design for
Learning. In: MOORE, M.; ANDERSON, B. (Ed.). The Handbook of Distance
Education. Mahwah, NJ: Erlbaum, 2003. p. 367-376. Disponível em:
<http://ctel.mst.edu/media/research/ctel/documents/handbook_2003_hall.pdf>. Acesso
em: 26 fev. 2012.
LOHR, L. Designig the instructional interface. Computers in Human Behaivoir, Greeley
Colorado, n. 16, p. 161-182, 2000.
LOHR, L.; EIKLEBERRY, C. Learner-centered usability: tools for creating a learnerfriendly instructional environment. Performance Improvement. Malden, v. 40, n. 4, p.
24-27, Apr. 2001. Disponível em:
<http://onlinelibrary.wiley.com/doi/10.1002/pfi.4140400406/abstractBR&lr=&sa=N>.
Acesso em: 5 dez. 2011.
MORAES, A. de. Ergonomia e interação homem-computador, usabilidade de interfaces:
a construção de uma linha de pesquisa. In: MORAES, A. de. Design e avaliação de
interface. Rio de Janeiro: iUsEr, 2002.
MORAES, A. de; MONT´ALVÃO, C. Ergonomia: Conceitos e Aplicações. iUsEr.
2003.
NIELSEN, J. How to Conduct a Heuristic Evaluation. In: NIELSEN, J.; MACK, R.
(Ed.). Usability Inspection Methods. New York: John Winley & Sons, 1999. Disponível
em: <http://www.useit.com/papers/heuristic/heuristic_evaluation.html>.
Acesso em: 22 mar. 2012.
______. Design web usability: the practice of simplicity. Indianápolis: News Riders,
2000.
POLIZELLI, D. L.; OZAKI, A. M. (Org.). Sociedade da Informação: os desafios da era
da colaboração e da gestão do conhecimento. São Paulo: Saraiva, 2008.
PREECE, J. et al. Human-computer interaction. Wokingham, England, AddisonWesley, 1994.
245
SANTOS, R. L. G. dos. Ergonomização da interação homem-computador: abordagem
heurística para avaliação de interfaces. Dissertação (Mestrado)-Programa de PósGraduação em Design, Pontifícia Universidade Católica do Rio de Janeiro, Rio de
Janeiro, 2000.
SILVA, S. P. Avaliação do programa de preparação para a reserva e aposentadoria do
Comando da Aeronáutica. 2012. 100 f. Dissertação (Mestrado Profissional em
Avaliação) – Programa de Pós-Graduação em Avaliação. Fundação Cesgranrio, Rio de
Janeiro, 2012.
SSEMUGABI, S.; DE VILLIERS, M. R. Effectiveness of heuristic evaluation in
usability evaluation of e-learning applications. South African Computer Journal, v. 45,
p. 26-39, July, 2010.
WORTHEN, B. R.; SANDERS, J. L.; FITZPATRICK, J. R. Avaliação de programas:
concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Gente, 2004.
246
AVALIAÇÃO DO GRAU DE SATISFAÇÃO DOS PROFESSORES DE LÍNGUA
PORTUGUESA DO ESTADO DO RIO DE JANEIRO COM O CURSO DE
FORMAÇÃO CONTINUADA OFERECIDO PELA FUNDAÇÃO CECIERJ:
um estudo piloto
Carmen Granja da Silva Rodrigues
Regina Carrancho da Silva
Ana M. Feydit Brito
Resumo
O presente estudo apresenta os resultados de um estudo avaliativo centrado no usuário
sobre o grau de satisfação dos professores cursistas realizada em um curso de formação
continuada oferecido pela Fundação CECIERJ em parceria com a SEEDUC/RJ para
professores de Língua Portuguesa da rede estadual de educação do Estado do Rio de
Janeiro. A avaliação faz parte de um projeto de avaliação emancipatória desenvolvido
pela diretoria de extensão da Fundação CECIERJ e abordou as seguintes categorias
avaliativas: organização didático-pedagógica; mediação pedagógica (tutoria); material
didático; o ambiente virtual (AVA); interatividade e avaliação. Para este estudo são
apresentados apenas os resultados referentes aos professores de Língua Portuguesa,
embora o programa tenha como foco, também, os professores de Matemática da rede.
Palavras – chave: Formação continuada. Educação em rede. Avaliação. Avaliação
emancipatória.
1.
Formação continuada de professores da rede estadual de ensino
A formação continuada se constitui numa estratégia, cujo objetivo é manter o
professor atualizado frente às urgências do mundo contemporâneo, em busca da
qualidade do ensino que garanta a inserção do aluno como cidadão na sociedade da
informação e do conhecimento. Existem aspectos convergentes entre a literatura
nacional e a internacional sobre o conceito de formação continuada do profissional da
educação que deve ser articulada à formação inicial como direito e não como suplência
e garantida como política educacional. Autores como Nóvoa (1992) e Arroyo (1989),
referenciados pela Associação Nacional pela Formação dos Profissionais da Educação
(ANFOP), defendem essa concepção de educação continuada. A natureza complexa da
educação formal tem no processo ensino-aprendizagem um grande desafio. Portanto, a
formação continuada, como projeto de políticas públicas em educação, abre espaço para
o professor enriquecer suas práticas pedagógicas, a partir da atualização de seus
conhecimentos e compartilhamento com seus pares, e desenvolver uma mentalidade
crítica sobre sua profissão. Neste sentido, a equipe da Diretoria de Extensão da
247
Fundação CECIERJ – SECT - atua na formação continuada em rede para profissionais
da educação do Estado do RJ, com atenção especial ao processo de atualização de
professores do ensino básico, oferecendo, desde 2000, cursos de atualização e
aperfeiçoamento e ampliando a oferta de vagas em cursos de graduação e pós-graduação
no Estado do Rio de Janeiro.
A SEEDUC e a Fundação CECIERJ, a partir da implementação do Currículo
Mínimo pela SEEDUC, elaboraram, em parceria, um programa de formação continuada
para os professores que contempla as demandas do Currículo Mínimo no cotidiano da
sala de aula, através de diferentes ações, entre elas a elaboração de Planos de Trabalho
com a finalidade de exercitar e incentivar a autonomia e a crítica da prática pedagógica
do professor. Durante o processo foi definida uma carga horária de 160 horas,
correspondendo a um Certificado de Aperfeiçoamento.
Aliando a credibilidade, a
experiência e a perícia das Universidades do Consórcio CEDERJ foi proposto mais 200
horas de qualificação profissional com a finalidade de valorizar o professor cursista com
um Certificado de Pós-graduação Lato Sensu emitido por instituições federais e
estaduais de educação. O curso privilegiou os recursos da Tecnologia da Informação e
Comunicação (TIC), utilizando a plataforma MOODLE, redes sociais e tutoria virtual.
Além dos recursos da TIC, a formação também contou com encontros presenciais em
módulos de acolhimento. O curso de formação continuada tem por objetivo ampliar os
conhecimentos teóricos, a partir do currículo mínimo de cada disciplina, e contribuir
efetivamente para mudanças na prática pedagógica dos professores/cursistas que
resultem na qualidade do processo ensino-aprendizagem e das relações sociais no
espaço escolar.
2.
Público Alvo, Grau de Cobertura e Metodologia
Os professores cursistas de Língua Portuguesa foram recebidos no módulo de
acolhimento, em seguida cursaram as disciplinas correspondentes ao curso de
Aperfeiçoamento. O professor cursista que completou 180 horas, tendo cumprido 160
horas em disciplinas de acompanhamento do Currículo Mínimo, em sendo aprovado em
sua avaliação, tem direito ao Certificado de Aperfeiçoamento emitido pela Fundação
CECIERJ e uma das Universidades Consorciadas. Caso cumpra 360 horas e elabore sua
monografia, em sendo aprovado, tem direito ao Certificado de Especialista emitido por
uma das Universidades Consorciadas.
O projeto foi dividido nas seguintes etapas: (a) Módulo de Acolhimento
248
ministrado pela Fundação CECIERJ; (b) Curso de Aperfeiçoamento em Ensino de
Língua PortuguesaLiteratura ministrado em conjunto pela Fundação CECIERJ e pelas
Universidades do Consórcio CEDERJ; e (c) Curso de Especialização para as duas
disciplinas.
3.
O Módulo de Acolhimento
Neste módulo o professor/cursista teve a oportunidade de conhecer o ambiente
virtual de aprendizagem – MOODLE - e aprender a utilizar as ferramentas necessárias
para o curso: estabelecer seu perfil, constituir grupos de estudo, trabalhar com
downloads e uploads de arquivos, participar de fóruns e utilizar ferramentas síncronas
de mediação online. O professor conectou-se ao Portal Conexão Professor da SEEDUC,
onde encontrou a sua Sala de Aula Virtual e os seus colegas de formação continuada.
3.1. As disciplinas de 40 horas ministradas pela Fundação CECIERJ
Foram oferecidas 4 disciplinas de 40 horas em Língua PortuguesaLiteratura na
modalidade semipresencial, nos primeiros quatro bimestres, simultaneamente com as
quatro disciplinas de 30 horas de cada área oferecidas pelas Universidades. Os
Currículos do 9º ano do Ensino Fundamental e 1ª série do Ensino Médio serviram de
base para a formatação destas disciplinas de 40 horas, que foram precedidas pelo
módulo de acolhimento. Durante a primeira etapa do curso, o cursista fez parte de uma
rede de discussão, onde foi convidado a refletir sobre os desafios do processo ensinoaprendizagem do módulo estudado bem como o plano de trabalho sugerido. Nesta etapa
o cursista teve a sua disposição estudos de caso em gestão de sala de aula, para que ele
pudesse ampliar sua capacidade de aplicar conhecimentos e dominá-los na execução de
atividades em sala de aula. Em seguida, o cursista foi convidado a ministrar, em sala de
aula, o conteúdo modular, sempre integrado a uma rede de discussão para o
compartilhamento da prática pedagógica. Ao final do curso o professor realizou uma
avaliação da aplicação desta metodologia em sala de aula, propondo as modificações e
inclusões necessárias para que futuramente seja disponibilizado em um banco de objetos
educacionais.
Os dois ciclos que estruturam cada bimestre tiveram um período de
sobreposição, no qual a etapa de avaliação do primeiro ciclo ocorreu em paralelo com a
etapa de planejamento do segundo ciclo, de modo que garantisse a perfeita sequência
dos trabalhos diante dos alunos da rede estadual. Ao fim de cada bimestre, foram
249
realizados encontros presenciais para consolidação do trabalho e desenvolvimento de
atividades mais específicas detectadas ao longo do curso. A metodologia de trabalho foi
desenvolvida de maneira a respeitar a ordem cronológica do Currículo Mínimo e o
calendário letivo de 2011/2012, estabelecendo um paralelo entre o curso de formação
continuada do professor e sua atividade em sala de aula.
3.2. Mediação: Tutoria em rede ministrada pela Fundação CECIERJ
A modalidade de tutoria foi online e, no processo de seleção para tutores, foi
dada prioridade aos professores Mestres da rede estadual de ensino e dos Colégios de
Aplicação. A carga horária semanal foi de 20 horas e a relação tutor/aluno foi de 1/30.
Para atender adequadamente à demanda do projeto, foi necessária uma sólida
capacitação do tutor na prática quotidiana de sala aula do professor/cursista e no
Currículo Mínimo proposto pela SEEDUC. A capacitação foi efetuada em dois
momentos: uma capacitação inicial com duração prevista de 3 semanas e uma
capacitação permanente ao longo da execução do projeto. A capacitação continuada dos
tutores foi realizada através de um Fórum Permanente de Tutores, com lançamento de
tópicos sobre as dificuldades e soluções encontradas durante a prática da
mediação/tutoria, discussão sobre os conteúdos do Currículo Mínimo que foram
ministrados ao longo do projeto e textos selecionados sobre pedagogia, ensino a
distância e tutoria. Foram também realizados encontros presenciais, com datas definidas
pelas coordenações de área e de tutoria para o encaminhamento dos trabalhos.
3.3. Plano de Avaliação do Nível de Satisfação dos Professores/Cursistas
A prática sistemática da Avaliação Emancipatória contribui para o
desenvolvimento da capacidade do sujeito de participar, com autonomia, em sua
sociedade. O princípio orientador deste Plano de Avaliação tem por base o caráter
participativo e inclusivo do processo avaliativo que compreende a Avaliação como uma
ferramenta auxiliar da aprendizagem para todos os integrantes do processo. É
importante destacar que os processos avaliativos devem apresentar uma abordagem
pluralista que envolva aspectos qualitativos e quantitativos centrados nas relações entre
a ação e a lógica dos atores. O Plano de Avaliação propos um diálogo aberto com os
Coordenadores de cada Disciplina, assim como a escuta dos cursistas, com a finalidade
de acompanhar a satisfação do professor durante todo o processo de implementação dos
cursos e, a partir do retorno das avaliações, propor ações que garantam a adequação do
250
trabalho de formação continuada oferecido pela Fundação CECIERJ à realidade dos
professores/cursistas da SEEDUC/RJ. O processo avaliativo desenvolveu-se a partir das
seguintes etapas: planejamento, execução, análise e divulgação dos resultados.
3.4. Avaliação – rumo à emancipação
Pensar em avaliação sempre remete a fazer escolhas que envolvam de maneira
formal ou informal: critérios, metodologias e planejamentos. A escolha deste ou
daquele caminho é sempre inspirada tanto pelo objeto a ser avaliado quanto pelas
concepções do avaliador e de suas equipes em consonância com as audiências. No
campo da educação, Saul (1988), ancorada em autores como Freire (1967, 1997),
Adorno (1971), Piaget (1973), Foucault (1977) e Habermas (1990), define a avaliação
emancipatória como:
um processo de descrição, análise e crítica de uma dada realidade,
visando transformá-la. Destina-se à avaliação de programas
educacionais ou sociais. Ela está situada numa vertente políticopedagógica cujo interesse primordial é emancipador, ou seja,
libertador, visando provocar a crítica, de modo a libertar o sujeito de
condicionamentos deterministas. O compromisso social desta
avaliação é o de fazer com que as pessoas direta ou indiretamente
envolvidas em uma ação educacional escrevam a sua própria história e
gerem as suas próprias alternativas de ação (SAUL, 1995, p. 61).
Saul (1995) fundamenta a avaliação emancipatória em três correntes teóricometodológicas; a primeira se caracteriza como "Avaliação democrática"; a segunda é a
"Critica institucional e criação coletiva" e a terceira é a "Pesquisa participante". De
acordo com a autora, a avaliação emancipatória possui dois objetivos básicos: iluminar
o caminho da transformação e contribuir para a autodeterminação do público
interessado em seus resultados. O primeiro objetivo indica o comprometimento dessa
avaliação com o futuro à medida que busca a transformação a partir do
autoconhecimento e da crítica da realidade. O segundo objetivo esclarece que, através
da consciência crítica, o homem imprime uma direção às suas ações nos contextos em
que se situa de acordo com valores que elege e com os quais se compromete. O sujeito
submetido à avaliação emancipatória é capaz de participação e de construção em sua
sociedade num processo com mais autonomia. Baseada nas características apresentadas
por Saul (1995), cujos conceitos básicos são emancipação, decisão democrática,
transformação e crítica educativa, esta Coordenação de Avaliação optou por elaborar
251
uma metodologia avaliativa que contemplasse os pressupostos de uma Avaliação
Emancipatória.
A avaliação do nível de satisfação dos professores/cursistas de Língua
Portuguesa/Literatura e Matemática com os cursos de Formação Continuada da
Fundação CECIERJ se constitui num estudo piloto que fez parte da primeira etapa do
processo avaliativo. É importante destacar que neste estudo o conceito de satisfação
refere-se a expectativa e a percepção que os professores/cursistas tiveram sobre os
cursos oferecidos. A opção por esta abordagem avaliativa justifica-se na medida em que
a opinião do cursista, ou seja, do professor capacitado, concursado e autorizado para o
cargo que ocupa, é de absoluta importância para legitimação da qualidade da formação
continuada oferecida pela Fundação CECIERJ.
3.4.1. O passo a passo – Do estudo piloto as questões avaliativas
Os procedimentos metodológicos adotados neste estudo foram organizados nas
seguintes etapas: análise documental; levantamento e definição das instâncias de
avaliação das propostas de cursos, projetos e atividades de extensão; levantamento e
definição preliminar de categorias e critérios para indicadores de avaliação de cursos e
projetos de extensão, como marco referencial para a construção de instrumentos de auto
avaliação institucional da Extensão; definição das categorias a serem avaliadas;
elaboração dos indicadores para cada categoria; estabelecimento dos critérios para
avaliação; elaboração do instrumento para avaliação; aplicação do instrumento; coleta
dos dados; organização e análise dos dados levantados; e elaboração do relatório final.
A primeira etapa para definição das categorias para avaliação do nível de
satisfação do cursista teve origem nos Referenciais de Qualidade para Educação
Superior a Distância: documento disponibilizado pelo MEC em 2007 (Decreto 5.622, de
20 de dezembro de 2005), no Decreto 5.773, de junho de 2006, e nas Portarias
Normativas 1 e 2, de 11 de janeiro de 2007). Os referidos documentos apontam para a
necessidade de elaborar um projeto de curso que tenha “forte compromisso institucional
em termos de garantir o processo de formação que contemple a dimensão técnicocientífica para o mundo do trabalho e a dimensão política para a formação do cidadão”
(p. 7). Neste sentido, um curso na modalidade em rede deve contemplar os seguintes
tópicos: i) concepção de educação e currículo no processo de ensino e aprendizagem;
(ii) sistemas de comunicação; (iii) material didático; (iv) avaliação; (v) equipe
multidisciplinar; (vi) infraestrutura de apoio; (vii) gestão acadêmico-administrativa.
252
O estudo piloto foi definido com o objetivo de refinar a metodologia e fornecer
subsídios para o aperfeiçoamento dos instrumentos para os procedimentos de coleta de
dados do projeto de avaliação dos cursos oferecidos. O estudo avaliativo foi norteado
pelas seguintes questões:
1) De acordo com a opinião dos cursistas, os objetivos propostos pelo curso
foram alcançados?
2) De que forma foi percebido pelos cursistas o acompanhamento pedagógico
desenvolvido pelos professores/mediadores (tutores) durante o curso?
3) Qual a análise dos cursistas sobre o material didático oferecido pelo curso?
4) De que forma os cursistas classificam a interatividade no ambiente virtual
proporcionado pela plataforma do curso?
5) Qual a análise dos cursistas sobre a avaliação do curso?
3.4.2. Categorias e indicadores
As categorias e os indicadores contemplados no instrumento surgiram após
minuciosa análise documental, levantamento e definição das instâncias de avaliação das
propostas dos cursos, projetos e atividades de extensão, assim como levantamento e
definição preliminar de categorias e critérios para indicadores de avaliação de cursos e
projetos de extensão como marco referencial para a construção de instrumentos para
avaliação.
Foram definidas as seguintes categorias para o estudo piloto: organização
didático-pedagógica do curso; mediação pedagógica (tutoria); material didático;
ambiente virtual; interatividade e avaliação da aprendizagem. Depois de definidas e
organizadas as categorias e os indicadores, a equipe de Avaliação trabalhou para validálos.
3.4.3. Os resultados da avaliação do curso da fase em rede
A seguir são apresentados os dados obtidos através do instrumento de avaliação
aplicado aos professores/cursistas. Os questionários foram organizados de acordo com
as categorias levantadas durante o estudo, com o objetivo de obter informações para as
seguintes categorias: (a) organização didático-pedagógica do curso; (b) mediação
pedagógica (tutoria); (c) material didático; (d) ambiente virtual; (e) interatividade e (f)
avaliação.
253
A. Os respondentes
Do universo de 1.907 professores/cursistas, matriculados no primeiro período
letivo que foi iniciado no 3º Bimestre de 2011, 766 professores/cursistas participaram
da avaliação do curso que ocorreu no último período letivo no 2º Bimestre de 2012.
B. Organização didático-pedagógica do curso
Quanto à organização didático-pedagógica do curso, dentre os 766
professores/cursistas respondentes que participaram da avaliação, a maioria, 722 (94%),
considerou que as atividades desenvolvidas no curso agregaram valor a sua atuação
profissional. A maioria dos professores/cursistas, 680 (89%), declarou ter desenvolvido
novos conceitos a partir das atividades propostas pelo material didático e pelo contato
com seus pares na rede, 74 (10%) tiveram aproveitamento parcial. 708 (93%) cursistas
declararam ter aprendido algo novo no curso. A maioria dos professores/cursistas, 620
(81%), afirmou ter consolidado seus conhecimentos prévios sobre a utilização do
computador na prática pedagógica. A maioria dos cursistas, 680 (89%), considerou que
os Guias / Manuais utilizados pelo Curso contribuíram de forma prática para o
desenvolvimento das atividades, 732 (96%), julgou que o conteúdo dos Guias/Manuais
atende às diretrizes propostas pela ementa. A partir das informações apresentadas no
gráfico abaixo, é possível concluir que o material didático, organizado pela equipe da
Fundação CECIERJ, possui os aspectos necessários para o desenvolvimento de curso
em rede com qualidade adequada aos anseios dos cursistas.
Gráfico 1 - Organização didático-pedagógica do curso (766 respondentes).
254
C. A mediação pedagógica
Dos 766 professores/cursistas que participaram da avaliação, a maioria, 602
(79%), classificou a orientação que recebeu do Professor/Tutor como ótima em relação
a capacidade de comunicação, 159 (20%) consideraram a comunicação com a tutoria
como boa e apenas 5 (1%) julgaram inadequada; a maioria dos professores/cursistas,
596 (78%), declarou que a disponibilidade para orientação foi ótima, 162 (21%)
consideraram boa e apenas 8 (1%) julgaram inadequada; a maioria dos
professores/cursistas, 570 (74%), considerou ótimo o relacionamento interpessoal com
os Tutores, 191 (25%) consideraram o relacionamento bom e apenas 5 (1%) julgaram
como inadequado; a maioria dos professores/cursistas, 584 (76%), considerou ótima a
objetividade nas orientações, 172 (23%) consideram boa e apenas 10 (1%) julgaram
inadequada; a maioria dos professores/cursistas, 584 (76%), considerou ótimo o retorno
das avaliações, 172 ( 23%) avaliaram como bom e apenas 8 (1%) julgaram inadequado;
a maioria dos professores/cursistas, 579 (76%), considerou ótima a valorização das
atividades realizadas pelos professores 172 (22%) consideraram boa e 15 (2%) julgaram
como inadequada; a maioria 549 (72%), considerou ótima a orientação para lidar com
questões ligadas ao uso da plataforma, 205 (22%) avaliaram como boa e 12 (2%)
julgaram inadequada; a maioria dos professores/cursistas, 557 (73%), considerou ótima
a promoção da produção intelectual coletiva, 202 (26%) consideraram boa e apenas 7
(1%) cursistas julgaram inadequada; a maioria dos professores/cursistas, 543 (71%),
considerou ótimo o estimulo para desenvolver estudos complementares com autonomia,
207 (27%) consideraram bom e 16 (2%) julgaram inadequado.
É possível afirmar que a mediação pedagógica foi considerada entre ótima e boa
pela maioria dos professores nos nove indicadores selecionados para a avaliação da
referida categoria, conforme ilustrado no Gráfico 2.
255
Gráfico 2 - Mediação Pedagógica (766 respondentes)
D. O material didático
Dos 766 cursistas que participaram da avaliação, a maioria, 496 (65%),
classificou o material didático utilizado durante o curso como ótimo em relação à
clareza de objetivos, 263 (34%) avaliaram como bom; a maioria 592 (77%), considerou
ótima a abordagem sobre as questões éticas no material didático; a maioria dos
professores/cursistas, 573 (75%), considerou ótima a abordagem sobre as diferenças
religiosas; a maioria dos professores/cursistas, 592 (77%),
considerou ótima a
abordagem sobre as questões de gênero; a maioria dos professores/cursistas, 529 (69%),
considerou ótima a integração das diversas mídias no material didático; a maioria dos
professores/cursistas, 460 (60%), considerou ótimas as
estratégias pedagógicas
criativas; 474 (62%), considerou ótima a clareza da linguagem; a maioria dos
professores/cursistas, 457 (60%), considerou ótima a formatação do material didático.
Com relação à utilização dos ícones, o gráfico revela que maioria 98% dos
professores/cursistas a considerou entre ótima e boa. A identidade visual também foi
considerada entre boa e ótima por 99% dos professores. A qualidade das imagens teve
um nível entre ótimo e bom de aceitação também por 99% dos professores
entrevistados. O mesmo percentual foi atingido pela qualidade dos textos que foi
256
avaliada entre boa é ótima por 99% dos cursistas. A maioria dos cursistas 99% analisou
entre ótima e boa a indicação de "sites" complementares contida no material didático; a
maioria dos professores/cursistas (99%) considerou entre ótimo e bom o guia de
utilização. A análise dos 15 indicadores da categoria Material Didático revela que, de
forma geral, os professores consideraram o material entre ótimo e bom e a única
observação, apontada por 3% dos professores, está relacionada à formatação do mesmo.
Desta forma, embora não possa ser considerada como uma fragilidade, é um aspecto
que pode ser revisto para as próximas edições do curso, caso não se traduza em ônus
para o programa.
Gráfico 3 - Material Didático (766 respondentes).
257
E. O ambiente virtual de aprendizagem
Dos 766 cursistas que participaram da avaliação, a maioria, 694 (91%),
classificou o ambiente AVA como ótimo em relação à garantia de uma navegação com
autonomia, 65 (8%) consideraram que a autonomia ocorre parcialmente; a maioria 621
(81%), considerou ótima a disponibilidade do AVA para o cursista durante 24 horas,
121 (16%) afirmaram que a disponibilidade é parcial e 24 (3%) declararam que o AVA
não fica disponível as 24 horas; a maioria dos professores/cursistas, 667 (87%),
considerou como ótima a disponibilização da agenda com a programação das atividades
propostas para no AVA, 79 (10%) declararam a disponibilidade como parcial e 20 (3%)
cursistas afirmaram não encontrar uma agenda com a programação; a maioria dos
professores/cursistas, 659 (86%), considerou como ótima a objetividade das
informações disponibilizadas no AVA, 101 (13%) afirmaram ser parcial e apenas 6
(1%) não consideraram as informações objetivas; a maioria dos professores/cursistas,
719 (94%), considerou ótima a disponibilização do guia das atividades propostas no
AVA; 346 (45%) dos professores/cursistas detectaram algum problema técnico na
utilização do AVA, 198 (26%) apenas parcialmente e 222 (29%) cursistas não
detectaram qualquer problema técnico. Com relação ao ambiente virtual de
aprendizagem, é possível verificar que a grande fragilidade apontada por 346 dos 766
professores respondentes está diretamente ligada a problemas técnicos durante a
navegação. Assim sendo, é fundamental que os aspectos de ordem técnica sejam
revistos para a próxima edição do curso. Nos outros indicadores avaliados, os
professores afirmaram estar plenamente satisfeitos com a navegação.
Gráfico 4 - Ambiente Virtual de Aprendizagem (766 respondentes)
258
F. Interatividade
38%, dos cursistas respondentes consideram-se plenamente satisfeitos com a
orientação sobre a navegação no inicio do curso, 55% consideram-se satisfeitos; 40%
dos cursistas consideram-se plenamente satisfeitos em relação à orientação para
utilização das ferramentas da internet; 40% dos professores consideram-se plenamente
satisfeitos em relação à prontidão das respostas às mensagens referentes à solução de
problemas técnicos; 57% dos professores consideram-se plenamente satisfeitos em
relação à prontidão de respostas dos tutores/mediadores às solicitações dos cursistas;
52% dos professores/cursistas consideram-se plenamente satisfeitos quanto à
informação
sobre
como
ocorreu
a
interação
entre
professores/cursistas
e
tutores/mediadores ao longo do curso; 38% dos professores/cursistas consideram-se
plenamente satisfeitos, desde o início do curso, quanto à informação sobre nomes,
horários, formas e números de telefone para contato com professores/mediadores e
pessoal de apoio, 50% consideram-se satisfeitos; 54% dos cursistas consideram-se
plenamente satisfeitos em relação à interação entre os professores na realização de
atividades, 45% consideram-se satisfeitos; 51% dos professores/cursistas consideramse plenamente satisfeitos em relação à solução de situações problemas através de
interação entre os cursistas; 37% dos professores consideram-se plenamente satisfeitos
quanto a flexibilidade no atendimento ao cursista, oferecendo horários ampliados e/ou
plantões de atendimento; 40% dos professores cursistas consideram-se plenamente
satisfeitos em relação a disponibilização de meios síncronos de comunicação entre
professores/cursistas;
48% dos
professores/cursistas consideram-se
plenamente
satisfeitos quanto a facilitação da interação entre professores/cursistas, sugerindo
procedimentos e atividades, abrindo sites e espaços que incentivem a comunicação entre
colegas de curso; 97% dos cursistas consideram-se entre plenamente satisfeitos e
satisfeitos quanto a disponibilização de meios assíncronos de comunicação entre
professores/cursistas.
A Interatividade é um dos grandes desafios para educação e para os cursos em
rede. A complexidade desta ação pedagógica, ao ser transportada para info-via,
demanda reformulações conceituais sobre a interação no campo da educação. A
construção coletiva, própria do processo ensino aprendizagem em rede, exige um
deslocamento continuo do “lugar do professor”. A partir dessa perspectiva, a
interatividade na docência em rede representa a possibilidade de rompimento com uma
concepção linear de aprendizagem, colocando-a diante de uma aprendizagem
259
colaborativa, atualizada numa prática de construção de um percurso hipertextual. Neste
sentido, é possível afirmar que a maioria dos cursistas ouvidos nesta avaliação se
considera plenamente satisfeita com os aspectos relativos à interatividade, o que pode
ser entendido como um ponto forte do programa de capacitação oferecido pela
Fundação.
Gráfico5 - Interatividade.
G. Avaliação
Com relação à avaliação da aprendizagem, durante o curso, a maioria dos
cursistas, 725 (95%), afirmaram que houve retorno do professor/mediador de modo a
contribuir para o processo ensino-aprendizagem; 709 (92%) declararam que a avaliação
das atividades mostrou a evolução do seu desempenho; 711 (93%) afirmaram que a
avaliação da aprendizagem foi coerente com os objetivos apresentados no curso; 727
(95%) afirmaram que a avaliação da aprendizagem foi coerente com os conteúdos
apresentados no curso; 660 (86%) declararam que houve atividade de reposição, 34
(4%) apenas parcialmente e 72 (10%) afirmam que não. É possível concluir que a
260
maioria dos cursistas ficou plenamente satisfeita com o processo de avaliação realizado
pelo professor/mediador durante o curso. Na percepção dos cursistas a avaliação
contribuiu para o processo ensino-aprendizagem, para a compreensão da evolução do
próprio desempenho e foi coerente com os objetivos e conteúdos apresentados no curso.
A maioria dos cursistas afirmou que houve atividade de reposição.
Gráfico 6 – Avaliação.
4. Considerações finais e recomendações
Os resultados analisados e interpretados na seção anterior mostram que os
instrumentos utilizados permitiram a elaboração de articulações entre os dados das
avaliações e as diretrizes legais para avaliação de cursos em rede vigentes no país,
mesmo não havendo ainda legislação específica para os programas de formação
continuada. O primeiro questionamento buscou a opinião dos professores/cursistas
sobre os objetivos propostos pelo curso. Os resultados apontaram que, de forma geral,
os objetivos foram alcançados. O mesmo foi verificado com relação ao
acompanhamento pedagógico desenvolvido pelos professores/mediadores durante o
curso. Foi verificado, através da análise dos dados, que o material didático foi
considerado entre bom e ótimo pela maioria dos cursistas.
Ao responderem sobre a categoria interatividade, os professores afirmaram que
as trocas ocorridas com os professores/mediadores (tutores) no ambiente virtual de
aprendizagem foram plenamente satisfatórias. As fragilidades apontadas na categoria
interatividade ficaram restritas a menos de 12% e apenas no que diz respeito a
informações sobre telefones e horários e a questões relativas ao FAQ. A interatividade é
261
um indicador de qualidade para cursos realizados em rede. Desta forma é possível
afirmar que o curso oferecido pela Fundação CECIERJ atendeu às expectativas dos
cursistas em duas das mais importantes categorias de aferição de qualidade para esta
modalidade de curso. Tanto a mediação pedagógica, quanto a interatividade oferecidas
pelos cursos garantiram altos níveis de satisfação aos cursistas. Com relação à categoria
avaliação da aprendizagem, os cursistas afirmaram que ficaram satisfeitos com
praticamente todos os indicadores organizados para a categoria. Finalmente, podemos
concluir que o curso teve seu nível de qualidade afirmado pela maioria dos
professores/cursistas. Contudo, existem pontos a serem aprimorados ainda que tenham
sido sinalizados por uma minoria. A avaliação apontou que existem algumas
fragilidades nos campos metodológico e técnico a serem superadas, com a finalidade de
garantir a atual qualidade, já reconhecida, e o sucesso dos cursos de formação
continuada oferecidos pela Fundação CECIERJ.
O modelo de avaliação proposto teve por objetivo ouvir a opinião dos
professores/cursistas, sobre os cursos oferecidos pela Diretoria de extensão da Fundação
CECIERJ, com a finalidade de diagnosticar os possíveis problemas, interferir e corrigilos a fim de garantir a qualidade dos cursos. A equipe de avaliação pretende dar
continuidade ao processo avaliativo, pois entende que o aperfeiçoamento do programa
de formação continuada depende de um diálogo contínuo e abrangente que atenda às
demandas docentes e discentes. Neste sentido, com o objetivo de aprimorar os cursos e
o próprio processo de avaliação, foi recomendado que:
 os instrumentos sejam readequados a partir dos estudos realizados;
 seja criada a categoria perfil do professor/cursista;
 sejam levadas em consideração as reivindicações dos professores/cursistas
com relação aos locais, onde foram realizados os encontros presenciais, no momento da
indicação de novos polos para o módulo de acolhimento dos próximos cursos;
 sejam
corrigidos
professores/cursistas.
os
problemas
da
plataforma
apontados
pelos
262
Referências
ARROYO, M. G. A formação: direito dos profissionais da educação escolar. In:
Instituto de Recursos Humanos João Pinheiro (Org.). Política de capacitação dos
profissionais da educação. Belo Horizonte: FAE: IRHJP, 1989.
BRATIFISCHE, S. A. Avaliação em educação física: um desafio. Revista de Educação
Física. UEM, Maringá, v. 14, n. 2, p. 21-31, jul. / dez. 2003.
NÓVOA, A. Formação de professores e profissão docente. In:_____. Os professores e a
sua formação. Lisboa: D. Quixote, 1992.
SAUL, A. M. Avaliação emancipatória: desafio à teoria e à prática da avaliação e
reformulação de currículo. São Paulo: Cortez, 1995.
263
AVALIAÇÃO DO CURSO WEBQUEST DE FORMAÇÃO CONTINUADA DA
FUNDAÇÃO CECIERJ: o olhar de especialistas
Carmen Granja da Silva Rodrigues
Resumo
Este estudo apresenta resultados parciais de uma avaliação cujo objetivo foi avaliar, a
partir da visão de especialistas, de participantes (mediadores) e de usuários, o curso de
formação continuada, WEBQUEST, oferecido pela área de Informática Educativa do
Programa de Extensão da Fundação CECIERJ. Foi elaborado um modelo de avaliação
fundamentado em especialistas, participantes e usuários, tendo como especialistas seis
professores com mestrado e larga experiência em educação em rede e informática
aplicada à educação. Este artigo apresenta apenas a visão de especialistas sobre o objeto
avaliado. Os especialistas, assim como os participantes responderam ao mesmo
instrumento que continha cinco categorias e 32 indicadores. Os resultados apontaram
que, de forma geral, o curso atendeu de modo mais do que satisfatório a praticamente
todas as categorias e seus referidos indicadores, tendo restado alguns dos indicadores
referentes à categoria Interatividade a serem ainda aprimorados em versões futuras do
curso. Foi observado que, apesar do alto nível de qualidade destacado por todos os
segmentos, a avaliação revelou que ainda existem detalhes a serem aperfeiçoados nos
campos pedagógico, metodológico e técnico, em busca de maior qualidade para os
cursos de formação continuada oferecidos a professores da rede pública do estado.
Palavras-chave: Educação a distância. Webquest. Ambientes virtuais de aprendizagem.
1 Introdução
O Consórcio Centro Educação a Distância do Estado do Rio de Janeiro
(Consórcio Cederj) reúne, com a Fundação Centro de Ciências e Educação Superior a
Distância do Estado do Rio de Janeiro (Fundação Cecierj), as seis universidades
públicas sediadas no estado: Universidade do Estado do Rio de Janeiro (Uerj);
Universidade Estadual do Norte Fluminense Darcy Ribeiro (Uenf); Universidade
Federal do Estado do Rio de Janeiro (Unirio); Universidade Federal do Rio de Janeiro
(UFRJ); Universidade Federal Fluminense (UFF) e Universidade Federal Rural do Rio
de Janeiro (UFRRJ). A Fundação Cecierj, vinculada à Secretaria de Estado de Ciência e
Tecnologia, foi criada em março de 2002, tornando-se a instituição, no Estado do Rio de
Janeiro, responsável pelo Consórcio. A Fundação Cecierj foi desenhada para atender à
demanda operacional dos cursos do Consórcio Cederj, mantendo e ampliando as
atividades de divulgação científica da antiga autarquia Cecierj. No Consórcio Cederj, a
competência acadêmica dos cursos está a cargo dos docentes das universidades. São
eles que preparam o projeto político-pedagógico dos cursos, os conteúdos do material
264
didático, cuidam da tutoria e da avaliação, cabendo à Fundação Cecierj a
responsabilidade pela produção do material didático, pela gestão operacional da
metodologia da Educação a Distância (EAD), ou seja, pelo ambiente virtual de
aprendizagem e pela montagem e operacionalização dos polos regionais. Também
participam desse esforço as prefeituras municipais que sediam os polos regionais (com
espaço físico, suprimento de material de consumo, bem como o pagamento de pessoal
administrativo). Hoje, o Consórcio Cederj tem 34 polos espalhados em todo o estado
(FUNDAÇÃO CECIERJ; CONSÓRCIO CEDERJ, 2010).
Como atividade de extensão, a Fundação Cecierj oferece cursos gratuitos de
atualização e de aperfeiçoamento a distância nas áreas de: Antropologia; Arte e
Comunicação; Biologia; Educação em Ciências; Educação Especial e Inclusiva; Física;
Geociências; Governança: Gestão, Auditoria e Tecnologia da Informação; Informática
Educativa; História; Letras; Matemática e Química, voltados para profissionais das
áreas específicas e afins, assim como para graduados e graduandos de último ano. Para
o ano letivo de 2011, a equipe da área de Informática Educativa já havia elaborado 18
cursos para serem oferecidos nos polos. É importante destacar que, desse total, apenas
um (Alfabetização Digital) é semipresencial; os demais são oferecidos via rede,
incluindo as atividades avaliativas, uma vez que, de acordo com a legislação brasileira,
para os cursos de extensão não há necessidade de avaliação presencial.
1.1 Objetivo, Justificativa e Questões do Estudo
A autora do presente estudo é docente da área de Informática Educativa da
Extensão e tem observado que os cursos desse segmento não possuem nenhum tipo de
avaliação. Pela não existência de uma política pública sistematizada para a avaliação
voltada para os programas de Extensão e Formação Continuada, a equipe da área de
Informática Educativa decidiu elaborar um modelo avaliativo de cunho emancipador,
voltado exclusivamente para seus cursos. Assim, o objetivo do presente estudo foi
avaliar, a partir da visão de especialistas, de professores mediadores e de usuários, o
curso de formação continuada Webquest, oferecido pela área de Informática Educativa
do Programa de Extensão da Fundação Cecierj. Neste artigo são apresentados apenas
resultados parciais referentes à visão dos especialistas sobre o objeto avaliado.
A educação a distância tem sido apresentada como solução para os problemas
educacionais com os quais o país convive há décadas. Entretanto, as iniciativas nesse
campo, no Brasil, têm ainda poucos relatos de histórico e avaliação. Em se tratando de
265
área recente, a avaliação é necessária tanto para o aprimoramento das técnicas e
metodologias utilizadas como para a consolidação e credibilidade dessa modalidade de
Educação no país. É fundamental que sejam elaboradas metodologias avaliativas para
acompanhar projetos de ensino em rede, inseridos em políticas educacionais,
promovidos por agências financeiras multilaterais, por organismos públicos ou mesmo
por empresas privadas, já que muito tem sido investido nessa modalidade nas últimas
décadas, principalmente na esfera pública, em função da legislação em vigor.
Os resultados aqui apresentados foram norteados pela seguinte questão:
1) Até que ponto o curso de Webquest, na visão de especialistas da área de
informática educativa e de educação em rede, apresenta perfil de qualidade de acordo
com as diretrizes legais para cursos em rede?
2 O que é uma Webquest
A webquest46 é uma metodologia estudada, desenvolvida e disponibilizada por
Bernie Dodge (1995), Educational Technology da San Diego State University, modelo
extremamente simples e rico para dimensionar usos educacionais da rede, com
fundamento em aprendizagem cooperativa e processos investigativos na construção do
saber. Para Dodge (1995, não paginado) “é uma investigação orientada na qual algumas
ou todas as informações com as quais os aprendizes interagem são originadas de
recursos da Internet”. Webquest é uma metodologia que conta hoje com milhares de
propostas de educadores das mais diversas partes do mundo. A metodologia de trabalho
com projetos é incorporada à metodologia das webquests por meio de situaçõesproblema, que é uma das mais importantes características desse processo, que considera
estudantes e professores como atores e aprendizes, desenvolvendo sua autonomia com a
prática interdisciplinar construída pelos desafios do trabalho com webquests. Ao utilizar
a webquest, estudantes e professores levantam hipóteses, analisam, organizam,
selecionam informações; enfim, mostram o que querem, o que sabem e o que podem
fazer – são autores e atores que criam e inovam nos procedimentos e metodologias
utilizadas, descobertas e recriadas. O professor deve ter competência técnica
(conhecimento de sua área e disciplina) para poder dar suporte como especialista e
articulador das discussões de questões levantadas pelos estudantes, apurando claramente
46
Não há consenso na grafia do termo webquest. Há autores que preferem Webquest, outros Webquest;
sendo assim, a autora optou pela forma em minúsculas, exceto no nome do curso analisado neste
trabalho. Da mesma forma, a autora do presente estudo decidiu utilizar o itálico em sua grafia em
função do grande número de vezes que esse termo será repetido aqui.
266
o nível de conceituação acerca do conteúdo em estudo, a linha de raciocínio e/ou
compreensão do aprendiz, a fim de poder criar mais e mais desafios nas relações criadas
para sistematização e formalização dos conteúdos que surgem a cada desafio proposto.
De acordo com Dodge (2006, não paginado, grifo do autor), os elementos estruturantes
de uma webquest são:
Introdução: apresenta as informações básicas aos alunos, orientandoos sobre o que vão encontrar na atividade proposta. Além disso, tem
como objetivo despertar o interesse deles para realizar o trabalho, isto
é, motivá-los para começar.
Tarefa: descreve o que os alunos deverão elaborar ao finalizar o
trabalho. Os projetos podem ser uma página para a web, uma
apresentação em PowerPoint ou uma exposição oral do tema
trabalhado (de acordo com o que o professor planejou).
Processo: especifica os passos que os alunos devem dar para a
concretização da tarefa, incluindo orientações sobre como subdividir
as tarefas, detalhamento dos papéis que cada um dos alunos pode
assumir e estratégias de trabalho.
Recursos: disponibiliza para os alunos uma lista de sites da web a
serem consultados para a realização do trabalho. O professor tem que
previamente verificar se esses sites são confiáveis e estão atualizados
em relação ao tema em questão. Essa seleção de sites facilita a
navegação pela rede e evita desvios do tema central. Podem ser
incluídos outros recursos que não sejam da internet.
Avaliação: nessa parte são explicados os critérios utilizados na
avaliação do trabalho.
Conclusão: corresponde à finalização da atividade. Apresenta um
resumo que leva à reflexão da atividade para reconhecer o que foi
aprendido.
Desse modo, as webquests utilizam problemas ou situações do mundo real e
tarefas autênticas para despertar o interesse dos estudantes. Sua base teórica é
construtivista, o que permite aos aprendizes transformar a informação e compreendê-la.
Suas estratégias de aprendizagem colaborativa ajudam os estudantes a desenvolver
habilidades e a contribuir com o produto final do grupo – que pode ser uma produção
escrita, oral ou eletrônica, uma obra teatral, um jornal escolar e/ou um material de
divulgação, entre outros. Para Dodge (1995 não paginado), “o objetivo dos professores
não é a transmissão, é a transformação, e o papel deles é reunir fontes de conhecimento
para os alunos e ajudá-los a usá-las”. Em uma sociedade que muda e fica mais complexa
a todo tempo, não podemos depender de memorizar as coisas. É preciso aprender
sozinho e olhar para tudo com ceticismo (GUERREIRO, 2005). Para Guerreiro (2005),
outra função da webquest seria aproximar o conteúdo a ser ensinado à realidade. Nesse
267
sentido, ela estabeleceu o conceito de “verbos da vida” e “verbos da sala de aula”; a
possibilidade de interseção entre os dois seria o que chama de “verbos da webquest”,
que traria para o estudante o ponto de equilíbrio entre o mundo da escola e o mundo real
da forma como ele é apresentado, sem didática, sem unidades curriculares, mas com
altos níveis de complexidade e problemas reais a serem resolvidos por uma humanidade
que precisa aprender a trabalhar de forma cooperativa. A Figura 2 ilustra a versão de
uma webquest sobre outras webquests proposta por Dodge (2008), adaptada por
Varanda.
2.1 O Curso Webquest
O curso Webquest elaborado pela equipe de Informática Educativa do Programa
de Formação Continuada da Fundação Cecierj foi concebido a partir das diretrizes
defendidas por Dodge (1995), seguindo todas as etapas preconizadas pelo autor,
adaptado às necessidades estruturais do programa, tais como prazos e clientela
específica. Dessa forma, o curso foi planejado para o período de 15 semanas, sendo
iniciado pela parte teórica, com a apresentação ao cursista de algumas webquests
disponíveis na internet, tendo como atividade a elaboração de uma webquest e, como
proposta de atividade final, a avaliação de uma webquest.
Quanto à organização
didático-pedagógica, o curso dispõe de fóruns, materiais em formato Portable
Document Format (pdf), apresentações e vídeos. Com relação à avaliação, o cursista só
será considerado aprovado se obtiver nota final maior ou igual a 60. Além disso, será
atribuída nota zero a qualquer avaliação não realizada. As atividades são desenvolvidas
pela rede, seguindo os seguintes critérios: 1ª avaliação a distância (AD1): 20 pontos; 2ª
avaliação à distância (AD2): 20 pontos; avaliação final (AF): 60 pontos; avaliação de
reposição (AR): 10 pontos; esta avaliação substitui apenas uma AD não entregue. Não
são aceitas atividades e avaliações fora do prazo de entrega.
A grande meta do curso foi e continua sendo oferecer ao professor uma nova
visão que contribua com o desenvolvimento de projetos empregando as tecnologias,
incentivando o espírito crítico e reforçando nos alunos o prazer em aprender, e nos
docentes o resgate do prazer de ensinar, o prazer pela descoberta.
É certo que não se consegue mudar a prática docente sem qualificação; torna-se
necessário elaborar programas destinados a realizar a inclusão digital do professor e
capacitá-lo a utilizar os meios tecnológicos já disponíveis na grande maioria das salas
de sala de aula, no Estado do Rio de Janeiro. Espera-se que o curso Webquest, ao
268
mostrar o uso de metodologias com auxílio da internet, venha a facilitar a sua prática
pedagógica, tornando sua rotina mais criativa e menos entediante – inclusive para os
alunos.
Portanto, para que o professor se sentisse seguro o suficiente para incorporar à
sua prática o webquest, o planejamento do curso foi ancorado em um modelo de
capacitação e adaptação de estratégias tradicionais ao ambiente de aprendizagem com
tecnologias.
A equipe, com prática de mais de uma década de trabalho em formação
continuada, percebeu que é melhor assegurar a realização de uma capacitação que
permita ao professor permanecer constantemente no processo de formação, podendo
inscrever-se no curso que achar mais conveniente e que atenda às necessidades
metodológicas para a sua prática docente. Em função dessa constatação, o planejamento
de implementação do curso emergiu da observação da área, da facilidade de
implementação e da não exigência de produtos de software específicos para seu
desenvolvimento na rotina escolar. Para trabalhar com o webquest, o professor precisa
apenas conhecer a metodologia, ter um laboratório de informática ligado à rede e dar
asas à imaginação, numa proposta de trabalho cooperativo não hierarquizado.
3.1 Abordagem por especialistas
A avaliação centrada em especialistas depende exclusivamente dos especialistas
e da qualificação profissional dos avaliadores para julgar a qualidade de qualquer
atividade que esteja sendo avaliada (WORTHEN; SANDERS; FITZPATRICK, 2004).
Em suma, esse modelo busca oferecer julgamentos profissionais adequados e tem como
característica principal sua fundamentação em juízos emanados dos conhecimentos e
experiências profissionais buscando padrões consensuais. Eisner (1991 apud
WORTHEN; SANDERS; FITZPATRICK, 2004) afirma que os principais modelos que
compõem esta abordagem são os sistemas formais e informais de pareceres
profissionais e os pareceres ad hoc de grupos altamente especializados, bem como o
sistema de connaisseur crítico. Para este estudo foi utilizado o modelo de pareceres ad
hoc de grupos altamente especializados e individuais. Esse modelo, diferentemente dos
pareceres formais e informais, acontece de forma irregular e quando as circunstâncias
assim o exigem. São, na maioria das vezes, realizados apenas uma vez, por necessidades
particulares e momentâneas.
269
O Quadro 1 apresenta as principais características do modelo de avaliação por
especialistas proposto por Eisner (1991 apud WORTHEN; SANDERS; FITZPATRICK,
2004).
Quadro 1 - Principais características das avaliações centradas em especialistas.
Conceito
Usos
Principais autores
Pontos fortes
Limitações
Especialistas na área fornecem informações para julgamento
do objeto avaliado.
Julgamentos profissionais de qualidade em variados
projetos.
Eisner e grupos de acreditação.
Cobertura extensa, eficiência e incorporação do fator
humano.
Uso exagerado da intuição.
Confiança na qualificação dos especialistas.
Fonte: Adaptado de Worthen, Sanders, Fitzpatrick (2004).
Quanto ao número e à qualificação dos juízes especialistas que avaliaram o
curso, a literatura apresenta controvérsias sobre esse ponto. Lynn (1986 apud
WORTHEN; SANDERS; FITZPATRICK, 2004) sugere um mínimo de cinco e um
máximo de 10 pessoas para o processo. Outros autores recomendam entre seis e 20
especialistas. A decisão deve considerar as características do instrumento, a formação, a
qualificação e a disponibilidade dos profissionais necessários para atuar como juízes
especialistas.
Berk (1990 apud WORTHEN; SANDERS; FITZPATRICK, 2004) enfatiza que
é fundamental, para o sucesso de avaliações desse tipo, que os especialistas recebam
instruções específicas sobre como avaliar cada item, o instrumento como um todo e
como preencher o questionário que orienta a avaliação. Com o objetivo de atender às
indicações da literatura, a avaliadora convidou seis juízes especialistas em Informática
Aplicada à Educação e em Educação em Rede para avaliar a qualidade do curso
oferecido, tendo como referenciais as diretrizes do Instituto Nacional de Estudos e
Pesquisas Educacionais Anísio Teixeira (Inep) para avaliação de cursos a distância.
3.2 Instrumentação
Para a obtenção dos dados do estudo foi uma ficha de avaliação para os
especialistas. A ficha de avaliação aplicada aos especialistas foi adaptada pela autora a
partir do instrumento para avaliação de cursos a distância, elaborado e publicado pelo
Inep (2011).
270
A ficha contem, em sua versão final, 5 categorias e 32 questões fechadas, além
de espaço destinado a indicadores não antecipados. Por ter sido adaptada de um
instrumento legal, a autora dispensou sua validação. Foram feitos cortes, e a única
inserção está relacionada à questão aberta que contempla os indicadores não
antecipados.
3.3 Análise dos Dados
A autora utilizou a Estatística Descritiva para a análise dos dados oriundos das
questões fechadas, tanto do questionário aplicado aos cursistas quanto da ficha de
avaliação aplicada aos especialistas e participantes do estudo.
Tanto os especialistas quanto os participantes deveriam assinalar, em cada uma
das cinco categorias e de seus respectivos indicadores, a nota que melhor refletisse a
qualidade do indicador, numa escala de 1 a 5, sendo 1 a representação mais negativa e
5, a mais positiva. A partir das notas atribuídas aos indicadores de cada categoria foram
elaboradas tabelas, contendo a nota de cada especialista (E1 a E6) e de cada participante
(P1 e P2). A mensuração foi desenvolvida em escala ordinal; por essa razão, foi
utilizada a mediana em vez da média, devidamente apresentada em cada uma das
tabelas que mostram os resultados alcançados.
Para cada categoria, em função do diferente número de indicadores, foi
estabelecido um limite entre a pontuação máxima e a mínima aferidas a cada uma delas.
Os critérios adotados foram excelente, muito bom, regular e fraco (Tabela 1).
Tabela 1 - Critérios de classificação das categorias.
Categorias
Critérios
Excelente
Muito bom
Regular
Fraco
Insuficiente
Organização
DidáticoPedagógica
35 a 32
31 a 23
22 a 15
14 a 11
10 a 7
Material
didático
Metodologia
Interatividade
Avaliação da
Aprendizagem
40 a 36
35 a 29
21 a 28
12 a 20
11 a 8
30 a 27
26 a 22
22 a 18
17 a 10
9a6
20 a 19
18 a 16
15 a 13
12 a 7
6a4
30 a 27
26 a 22
22 a 18
17 a 10
9a6
271
Foram elaboradas tabelas e feito o cálculo de medidas, além de gráficos
devidamente analisados para as questões fechadas. As questões abertas foram
categorizadas e analisadas qualitativamente.
4 Resultados Parciais
Neste capítulo são apresentados os resultados obtidos pela aplicação de cada um
dos instrumentos às diferentes clientelas do estudo. O capítulo foi dividido em três
seções. Na primeira são descritos os resultados obtidos com a aplicação da ficha de
avaliação ao painel de especialistas e participantes do estudo que responderam ao
mesmo instrumento. Foram considerados participantes, neste estudo, os dois professores
mediadores (tutores a distância) que atuaram diretamente com a implementação do
curso, via rede, estando em contato direto com os professores cursistas. Os professores
mediadores são responsáveis por toda a ação pedagógica planejada pela Coordenação,
pelos níveis de interatividade, pelo desenvolvimento de atividades e pela avaliação da
aprendizagem almejados no planejamento do curso.
Na segunda seção são apresentados e analisados os resultados referentes ao grau
de satisfação do professor cursista com o curso Webquest. A última seção apresenta os
pontos de convergência e divergência entre os resultados obtidos.
4.1 A visão dos Especialistas
Como já foi dito, para avaliar o curso Webquest foram selecionadas cinco
categorias, fundamentadas nos novos instrumentos de avaliação de cursos a distância
elaborados pelo Inep. Os seis especialistas convidados são profissionais com
experiência em Educação em Rede, Formação Continuada e Educação semipresencial
desenvolvida em ambientes virtuais de aprendizagem. Os especialistas deveriam
assinalar, em cada uma das cinco categorias e de seus respectivos indicadores, a nota
que melhor refletisse a qualidade do indicador, numa escala de 1 a 5, sendo 1 a
representação mais negativa e 5, a mais positiva. A pontuação máxima e a mínima
atribuída a cada uma das categorias, dependendo do respectivo número de indicadores
variou e essa distribuição foi fixada em excelente, muito bom, regular e fraco, conforme
ilustrado na Tabela 1, na seção 3.5 Análise de Dados.
272
Tabela 2 - Notas atribuídas pelos especialistas e participantes quanto à organização didáticopedagógica.
Organização didático-pedagógica
1.
2.
3.
4.
5.
6.
7.
Objetivo
Estrutura
Conteúdos curriculares
Número de vagas
Atividades propostas
Carga horária
Relação teoria e prática
Total
E1 E2 E3
5
5
5
5
5
5
5
3
5
5
4
5
5
4
5
5
4
5
5
5
5
35 30 35
Especialistas
E4 E5 E6
4
5
5
3
4
4
5
5
5
4
3
4
3
4
5
3
4
5
5
4
5
27 29 33
Mediana
5
4,5
5
4
4,5
4,5
5
-
Legenda: Excelente - 35 a 32; Muito bom - 31 a 23; Regular - 22 a 15; Fraco - 14 a 11; Insuficiente - 10 a
7.
A análise da Tabela 2 revela que, com relação à Organização didáticopedagógica, três especialistas a consideraram excelente; os outros três, muito boa. Dessa
forma, é possível afirmar que, nesta categoria, o curso Webquest foi muito bem
avaliado, tendo inclusive recebido a nota máxima de dois, dos seis especialistas. Fica
evidente também que os especialistas tiveram opiniões muito próximas com relação à
qualidade dos indicadores selecionados para a categoria em foco. Vale frisar que não
foram observadas medianas abaixo de 4, o que revela que nessa categoria o curso foi
considerado entre excelente e muito bom pelos especialistas. A excelência da
Organização didático-pedagógica do curso foi ratificada também pela inexistência das
notas 1, 2 e 3.
Tabela 3- Notas atribuídas pelos especialistas e participantes ao material didático.
Material didático
1.
2.
3.
4.
5.
6.
7.
8.
Existência de edital
Existência de guia do curso
Clareza na linguagem utilizada
Objetividade na linguagem utilizada
Correção da linguagem
Adequação aos objetivos propostos
Design gráfico do material
Pertinência das referências
Total
E1
5
4
5
4
3
5
3
5
34
E2
5
5
5
5
5
5
5
5
40
Especialistas
E3 E4 E5 E6
5
5
5
5
5
4
5
5
4
4
5
5
5
5
5
5
5
4
5
4
5
4
4
5
3
4
3
4
5
4
4
5
37 34 36 38
Mediana
5
5
5
5
4,5
5
3,5
5
-
Legenda: Excelente - 40 a 36; Muito bom - 35 a 29; Regular - 21 a 28; Fraco - 12 a 20; Insuficiente - 11
a 8.
273
Na Tabela 3 é possível verificar que cinco, dos seis especialistas, consideraram o
Material Didático excelente e dois deles, como muito bom. É importante destacar que,
por ser um curso oferecido integralmente em rede, a qualidade do material didático,
mesmo que não impresso, é fator de fundamental importância para a garantia da
qualidade do curso. Assim sendo, cabe à Coordenação rever tanto a objetividade da
linguagem do material quanto o seu design gráfico, fragilidades apontadas pelos
especialistas.
Tabela 4 - Notas atribuídas pelos especialistas e participantes para a metodologia.
Especialistas
Metodologia
1.
2.
3.
4.
5.
6.
Proposta de atividades em rede
Clareza das etapas a serem seguidas
Existência de roteiros de atividades
Atividades que viabilizam a construção
Atividades que viabilizam a mediação
Atividades que reflitam o trabalho
(colaborativo/cooperativo)
Total
E1
5
5
5
5
5
E2
4
4
4
4
4
E3
5
5
5
5
5
E4
3
3
4
4
3
E5
3
5
4
5
5
E6
4
5
5
5
3
Mediana
4
5
4,5
5
4,5
5
4
5
4
5
3
4,5
30
24
30
21
27
25
-
Legenda: Excelente - 30 a 27; Muito bom - 26 a 23; Regular - 22 a 18; Fraco - 17 a 10; Insuficiente - 9 a
6.
De acordo com a Tabela 4, pode-se observar que a metodologia foi considerada
muito boa e dois a consideraram excelente.
Tabela 5 - Notas atribuídas pelos especialistas e participantes a interatividade.
Especialistas
Interatividade
1. Mecanismos de interação entre docentes/
tutores e cursistas
2. Níveis de interatividade
3. Existência de atividade que possibilita a
comunicação assíncrona
4. Retorno do professor/mediador ao cursista de
modo a contribuir para o processo de ensinoaprendizagem
Total
E1
E2
E3
E4
E5
E6
Mediana
3
5
5
4
4
3
4
3
5
4
3
4
4
4
5
5
5
4
5
4
5
5
5
5
4
5
5
5
16
20
19
15
18
16
-
Legenda: Excelente - 20 a 19; Muito bom -18 a 16; Regular - 15 a 13; Fraco - 12 a 7; Insuficiente - 6 a 4.
274
Dos quatro indicadores que compõem a categoria interatividade, dois foram
considerados excelentes por dois especialistas, tendo atingido a pontuação 19 e 20,
conforme a Tabela 5. Outros três receberam entre 16 e 18, pontuação considerada muito
boa; para apenas um especialista a categoria foi classificada como regular, obtendo 15
pontos de um total máximo possível de 20. É importante destacar, mais uma vez, que a
interatividade é uma das características essenciais para a garantia da qualidade de cursos
oferecidos em ambientes virtuais de aprendizagem. Pelo alcance dos mais variados
níveis de interatividade é determinada a grande diferença metodológica entre cursos
presenciais, semipresenciais e completamente implementados através da rede.
Tabela 6 - Notas atribuídas pelos especialistas e participantes a Avaliação da aprendizagem.
Especialistas
Avaliação da aprendizagem
E1 E2 E3 E4 E5 E6 Mediana
1. Mecanismos de aferição do processo de
ensino-aprendizagem
2. Avaliação processual das atividades do
cursista
3. Coerência dos procedimentos de avaliação
com os objetivos e conteúdos apresentados
no curso
4. Aspectos quantitativos
5. Aspectos qualitativos
6. Trabalho de conclusão do curso
Total
5
4
4
4
5
5
4,5
5
5
3
4
5
5
5
5
4
5
3
5
5
5
5
5
5
30
5
4
5
27
4
4
4
24
3
4
4
22
5
5
4
29
5
5
3
28
5
4,5
4
-
Legenda: Excelente - 30 a 27; Muito bom - 26 a 23; Regular - 22 a 18; Fraco - 17 a 10; Insuficiente - 9
a 6.
A Tabela 6 revela que quatro especialistas consideraram os processos avaliativos
propostos pelo curso como excelentes, ou seja, com pontuação entre 27 e 30 pontos. Um
dos especialistas pontuou a categoria como muito boa.
Ao se observar a frequência das medianas, é possível perceber a inexistência das
medianas 1 e 2, consideradas o não atingimento de um padrão mínimo de qualidade.
Também na Tabela 6 é possível verificar que os participantes consideraram a
avaliação da aprendizagem uma categoria excelente, atribuindo valores entre 29 e 30. O
único indicador que não recebeu a nota máxima de um dos participantes da avaliação foi
o indicador referente aos mecanismos de aferição do processo de ensino-aprendizagem,
que, embora tenha sido considerado muito bom, ainda não atingiu o grau de excelência,
275
na visão desse participante. Portanto, a partir desta constatação, o elaborador do curso,
em parceria com os participantes, ainda pode, de acordo com esta avaliação, sofisticar
e/ou criar novos mecanismos de avaliação. A Tabela 6 não apresenta registro de notas
entre 1 e 4, ficando assim a frequência das medianas das notas dadas pelos especialistas
entre 4,5 e 5, o que ratifica a excelência da categoria Avaliação da aprendizagem sob a
visão dos participantes. O instrumento elaborado continha também espaço para inserção
de indicadores não antecipados, para que os especialistas destacassem pontos e/ou
fragilidades que pudessem comprometer ou contribuir pra a qualidade do curso
avaliado.
Alguns comentários foram considerados de fundamental importância e explicam
certos resultados atingidos. Por exemplo: um dos especialistas (E1) afirmou que “O
número de alunos por tutor poderia ser menor para maior interação no grupo”. O
depoimento desse especialista pode ter contribuído para a avaliação da categoria
Interatividade não ter alcançado a nota máxima e ainda apresentar, de acordo com os
juízes, algumas fragilidades já descritas.
Com relação à categoria Avaliação da aprendizagem, alguns aspectos a
aprimorar revelados pelo instrumento fechado são ratificados pelos seguintes
comentários feitos por alguns dos especialistas:
E6 – “Em relação ao pdf que ensina como construir uma WQ, vale a
pena ser mais detalhista; por exemplo, na pág. 3 há um print de uma
tela que solicita que se escolham cores por seus códigos html;
dificilmente o cursista conhece esses códigos ou mesmo reconhece
aquilo como código html para poder pesquisar no Google.”
“No ppt sobre taxonomia de Bloom, há termos e frases em inglês, nem
todas explicadas posteriormente, não sei se atinge todo o público.”
“Em ‘Informações fundamentais’, na seção ‘Avaliação’ há um OU
sobrando: ‘Será atribuída nota zero a qualquer avaliação (AD ou AF)
OU não realizada (não enviada no prazo determinado)’”.
Uma das categorias mais bem avaliada, Organização didático-pedagógica,
obteve os seguintes depoimentos dos especialistas:
E5 – “O trabalho com as disciplinas por mim oferecidas nessa
modalidade tem sido acrescido em sua potencialidade de aprendizado
através de applets, videos e softwares, o que seria impensável em um
espaço presencial, pela exigência presencial.”
E6 – “Destaco a qualidade do ppt sobre webquests que está na pasta
da terceira semana. Talvez fosse mais interessante colocar esse ppt na
primeira semana, para que fique claro desde o princípio o que é e para
que serve uma WQ... Outro destaque positivo é deixar claro o que se
276
espera em cada semana; muitos cursos em EAD não explicitam a meta
da semana.”
Com relação à navegação, os especialistas fizeram alguns comentários
desfavoráveis, como:
E3 – “A estrutura de abertura das orientações em popup e em outras
abas dificulta a navegação natural do curso.”
E6 – “Sobre os fóruns, achei de navegação confusa por conta do
número de tópicos abertos; essa é uma prática padrão nos fóruns dos
cursos de extensão da Fundação...”
“Não entendi bem o objetivo do fórum "Partilhando", a ideia é que
fosse um fórum do tipo café/conversa fiada? Ou é partilhando dúvidas
gerais mesmo?”
Um dos especialistas (E6) detectou alguns erros de digitação e outro (E4)
sugeriu a inserção da ferramenta de chat ao curso.
Os participantes (professores mediadores do curso) também tiveram em seus
instrumentos espaços abertos para indicadores não antecipados, críticas e sugestões.
O Participante 1 destacou apenas que “O curso é ótimo, sinto falta apenas de
mais referências bibliográficas e da revisão de algumas atividades”. O Participante 2
afirmou que “uma vez que o mecanismo sugerido para a construção de uma webquest é
o PHPWebquest, que ultimamente vem apresentando problemas técnicos, sugiro
acrescentar um guia alternativo para um mecanismo alternativo, como um blog, ou
slideshare, por exemplo”. A partir da fala dos especialistas e dos participantes, foi
possível, reunir os aspectos as melhor e os pontos fortes, as críticas e sugestões
apresentadas pelos dois grupos (Quadro 3).
Quadro 2 - Indicadores não antecipados.
Pontos fortes
Organização do curso
Qualidade dos ppt
Clareza e
objetividade das
atividades propostas
Curso apresenta
ótima qualidade
Aspectos a aprimorar
Exigência de prérequisitos
Conhecimento de
pesquisa na Rede
Terminologia em
língua inglesa
Prazos apertados entre
as avaliações
Críticas
Navegação
dificultada por
popups e abas na
página
Navegação confusa
nem alguns fóruns
Sugestões
Diminuir o número de
alunos por professor
mediador para
otimizar a
interatividade
Maior detalhamento
nos pdfs
Revisão de língua
portuguesa; e/ou
digitação
Inserção de um chat
Criação de um guia
para minimizar
problemas técnicos
277
Os aspectos destacados pelos especialistas do estudo serão levados em
consideração tanto para a revisão do curso, quanto para as avaliações a serem
desenvolvidas em outros cursos do Programa de Formação Continuada da área.
5 Considerações Finais e Recomendações
Os resultados apurados, analisados e interpretados no capítulo anterior mostram
que as abordagens avaliativas apresentadas no Capítulo 3 sobre os procedimentos
metodológicos deste estudo se mostraram adequadas para a avaliação pretendida neste
estudo, já que seu objetivo era avaliar, a partir de diferentes clientelas – especialistas,
participantes e usuários – o nível de qualidade do curso. Os vários instrumentos
utilizados e os dados coletados por meio de questões abertas e fechadas permitiram a
elaboração de articulações entre os dados das avaliações e as diretrizes legais para
avaliação de cursos em rede vigentes no país, mesmo não havendo ainda legislação
específica para os programas de formação continuada. Essas articulações levaram ao
desvelamento de significados explícitos e implícitos nos documentos oficiais e técnicos
analisados e permitiram responder às questões avaliativas que nortearam todo o
processo deste estudo. O primeiro questionamento buscou a visão de especialistas da
área tanto de Informática Educativa quanto de Educação em Rede quanto ao perfil de
qualidade, de acordo com as diretrizes legais para cursos nessa modalidade. Os
resultados apontaram que, de forma geral, o curso atende de modo mais do que
satisfatório a praticamente todas as categorias e seus referidos indicadores, tendo
restado apenas como aspecto a ser atingido, em sua plenitude, alguns dos indicadores
referentes à categoria Interatividade, já bastante discutida no capítulo anterior.
Finalmente, ficou claro que, apesar de o curso ter seu nível de qualidade
destacado por todos os segmentos, a avaliação apontou que ainda existem fragilidades
nos campos pedagógico, metodológico e técnico a serem superadas, tanto para garantir a
atual qualidade, já reconhecida, quanto para a superação dos pontos fracos, em busca de
maior sucesso dos cursos de formação continuada oferecidos a professores da rede
pública do estado. Sabe-se que um dos grandes desafios da educação passa tanto pela
graduação quanto pela formação continuada do professor, indicando que a educação de
qualidade deve ser garantida por docentes competentes, preparados e comprometidos
com o processo ensino-aprendizagem. Constata-se a necessidade de programas de
formação continuada na área tecnológica, pelos quais os profissionais possam refletir
278
criticamente e adquirir habilidades instrumentais e metodológicas com qualidade para a
mediação do conhecimento, a criatividade, a não hierarquização em todos os níveis, o
desenvolvimento de processos autônomos e principalmente de uma prática tanto mais
efetiva quanto prazerosa para seus atores principais – professores e alunos.
A partir dos resultados alcançados neste estudo avaliativo, pode-se recomendar:
1) a divulgação dos resultados para todos os interessados na avaliação.
2) o replanejamento do curso Webquest a partir dos resultados desta avaliação.
3) a avaliação do curso Webquest reelaborado a partir dos resultados alcançados.
4) a reelaboração dos instrumentos, inserindo novas categorias e indicadores
para avaliação dos outros cursos da área.
279
Referências
DODGE, B. O que é webquest. Educarede, São Paulo, 9 maio 2006. Disponível
em:<http://www.educared.org/educa/index.cfm?pg=internet_e_cia.informatica_principa
l&id_inf_escola=233>. Acesso em: 1 outubro. 2011.
______. Some thoughts about webquests. San Diego, 1995. Disponível em: <
http://webquest.sdsu.edu/about_webquests.html>. Acesso em: 27 set. 2010.
______. Uma webquest sobre outras webquests: versão para o Ensino Médio e para a
formação de professores. Santos, SP, 2008. Disponível em:
<http://www.portal.santos.sp.gov.br/seduc/e107_files/
downloads/webquests/Webquest.html>. Acesso em: 1 out. 2011.
FUNDAÇÃO CECIERJ. CONSORCIO CEDERJ. Rio de Janeiro, 2010. Disponível em:
<http://www.cederj.edu.br/extensao>. Acesso em: 27 set. 2010.
GUERREIRO, C. Metodologia propõe o uso de internet nas tarefas escolares.
Educação, Belo Horizonte, n. 101, 2005. Disponível em:
<http://www.ich.pucminas.br/pged/db/wq/wq1_LE/local/vidadigital.html>. Acesso em:
1 out. 2011.
INEP. Instrumento de avaliação de cursos de graduação. Brasília, DF, 2011.
Disponível em: <http://www.inep.gov.br/>. Acesso em: 16 out. 2011.
RODRIGUES, C. G. S. Avaliação do curso webquest de formação continuada da
Fundação CECIERJ: o olhar de especialistas, mediadores e cursistas. 2011. 72f.
Dissertação (Mestrado Profissional em Avaliação) – Programa de Pós-Graduação em
Avaliação, Fundação Cesgranrio, Rio de Janeiro, 2011.
concepções e práticas. São Paulo: Ed. Gente, 2004.
280
A ATENÇÃO INTEGRAL PARA O TRATAMENTO DA DOENÇA DE
CHAGAS NO IPEC/FIOCRUZ: uma contribuição sobre a avaliação
de organizações multipropósito de saúde
Marcelino José Jorge
Alejandro Marcel Hasslocher Moreno
Paulo Roberto de Sales
Cristina Monken Avellar
Resumo
Um desafio para a avaliação das organizações multipropósito de saúde é ponderar a
importância relativa dos seus recursos e resultados. Nesse sentido, a Ação Integrada de
Pesquisa Clínica Sobre Doença de Chagas do IPEC/FIOCRUZ exemplifica o Modelo de
Atenção Integral. O objetivo do artigo é usar a análise da Ação Integrada de Chagas
como um exemplo de solução desse problema de avaliação. Caracterizada a abrangência
da atenção envolvida, o artigo recorre a um modelo de Análise Envoltória de Dados
(DEA) para testar a hipótese de eficiência dessa Ação Integrada no uso de recursos. Os
resultados confirmam a trajetória de ganhos de eficiência no período 2002-2011. A
contribuição gerencial do artigo é evidenciar a eficiência do modelo de atenção integral
no tratamento da doença de Chagas. Como aporte ao conhecimento, revela o poder
explicativo da Análise de Eficiência sobre as escolhas da organização complexa.
Palavras-chave: Avaliação. Organização Multipropósito. Modelo de Atenção Integral.
Doença de Chagas. Análise Envoltória de Dados.
1. Introdução
O Instituto de Pesquisa Clínica Evandro Chagas (IPEC/FIOCRUZ) adotou a
estrutura organizacional de Ação Integrada (PAI) em 1999, com vistas a: integrar as
suas atividades de diagnóstico laboratorial, atendimento clínico, ensino e pesquisa de
doenças infecciosas; acumular reputação; e mobilizar recursos para a pesquisa clínica de
doenças infecciosas selecionadas, em função da sua importância no quadro nosológico
brasileiro. Como resultado dessa estratégia, o IPEC experimentou significativo aumento
de orçamento, diversificou-se e expandiu suas atividades.
Como destaca a Organização Mundial de Saúde (OMS) a propósito, a doença de
Chagas é uma das principais doenças tropicais negligenciadas responsáveis por óbitos e
perda da capacidade de trabalho nos países da América Latina, cujo tratamento exige
atenção prolongada e dispendiosa e, portanto, requer uma estratégia abrangente de
erradicação e controle, calcada em um modelo humanizado de atendimento, muitas
vezes alvo de preocupação quanto ao volume de recursos que torna necessário e para
cuja eficácia, a expansão dos esforços de pesquisa operacional é considerada crucial.
Nesse sentido, entre as PAIs estruturadas do IPEC, a Ação Integrada de Pesquisa
281
Clínica Sobre Doença de Chagas (LAPCLIN-CHAGAS) é uma experiência consolidada
de integração de atividades de diagnóstico, assistência clínica, ensino e pesquisa.
Partindo da crônica dos fatos relevantes sobre os esforços de modernização da
gestão pública no Brasil e sobre a reestruturação do IPEC no período 1999-2011, o
objetivo deste artigo é utilizar um estudo de caso sobre o modelo de atenção do IPEC
para caracterizar a diversidade das atividades que são requeridas da atenção integral
sobre a doença de Chagas, bem como calcular e analisar indicadores de eficiência
gerencial do LAPCLIN-CHAGAS, com vistas a avaliar: (a) o poder explicativo da ótica
de análise quantitativa proposta pela Análise Envoltória de Dados (Modelo DEA) para a
avaliação da eficácia de estruturas organizacionais de organizações complexas; e (b) o
desempenho do modelo de atenção integral do LAPCLIN-CHAGAS, sob o critério da
eficiência no uso dos recursos.
As limitações da avaliação de eficácia de estruturas organizacionais através de
Indicadores de Desempenho (IDs) em custos de atividades isoladas, aqui calculados por
um modelo de contabilidade gerencial para o ano de 2009, já são conhecidas
(SCHUBACH et al., 2011). No entanto, o método de levantamento de despesas em
nível de microcustos e o método de Custeio Baseado em Atividades (ABC) de
apropriação das despesas foram utilizados para calcular as despesas anuais e os custos
unitários dos procedimentos de atenção apresentados a preços de 2012, com vistas a
evidenciar a diversidade dos recursos especializados requeridos pelo modelo de atenção
integral sobre a doença de Chagas do IPEC
Em seguida, o modelo de Análise Envoltória de Dados (DEA) foi usado para
calcular uma fronteira de eficiência das Ações Integradas de Pesquisa Clínica Sobre
Doenças Infecciosas do IPEC e, em particular, testar a hipótese de eficiência da Ação
Integrada de Pesquisa Clínica Sobre Doença de Chagas no uso de recursos.
O cálculo e a análise dos escores-síntese de eficiência técnica relativa da Ação
Integrada de Pesquisa Clínica Sobre Doença de Chagas vis-à-vis o desempenho das
demais ações integradas do IPEC permitiram confirmar a trajetória de ganhos de
eficiência técnica relativa desta Ação Integrada no período 2002-2010. Em termos da
geração de conhecimento, a conclusão do artigo é de que os métodos de pesquisa
operacional utilizados pela Análise de Eficiência revelam um bom poder explicativo
sobre os efeitos cruzados da incorporação do aprendizado na gestão das atividades em
organizações públicas multipropósito. Em termos de contribuição gerencial, oferece
evidências sobre a eficiência do modelo de atenção integral no tratamento da doença de
282
Chagas e confirma que a sua adoção pode servir de referência para o desenvolvimento
de ações públicas de assistência mais efetivas.
O texto está organizado em seis seções, acompanhadas da bibliografia. A
próxima seção discute a avaliação organizacional no contexto da reforma gerencial da
gestão pública no Brasil, de modo a contextualizar este estudo de avaliação do
LAPCLIN-CHAGAS. A seção seguinte reúne fundamentos do modelo de busca de
eficiência com informação incompleta sobre a determinação do equilíbrio da firma e do
uso de um Indicador Gerencial (IG) do tipo escore-síntese na avaliação de unidades
produtivas multipropósito. A quarta seção trata dos predicados da metodologia DEA
para a Análise de Eficiência e dos motivos da escolha, para o estudo empírico: do
modelo DEA-BCC-O; das unidades de observação; e das variáveis do modelo de
cálculo da fronteira de eficiência das PAIs do IPEC. A quinta seção analisa os escoressíntese calculados e a sua utilização na avaliação do LAPCLIN-CHAGAS. A seção
final usa esses resultados para expor as conclusões e comentar o poder explicativo desse
modelo de Análise de Eficiência.
2. Problema de Pesquisa e Objetivo
Nos últimos vinte anos, a partir de experiências de alguns países desenvolvidos,
difundiram-se estratégias para a substituição do modelo de administração pública
baseado no controle hierárquico sobre o cumprimento de procedimentos, pelo
paradigma da “nova gestão pública”. Entre os princípios desse modelo, vale mencionar
a valorização da eficiência, a orientação para resultados, a descentralização dos
controles gerenciais, a ênfase na responsabilização e a flexibilização de procedimentos
(REZENDE, 2002, p. 167).
Em particular, um ponto importante para discussão neste artigo, sobre o qual
Echebarría (2005) chama a atenção, é a dificuldade em estabelecer padrões de
resultados em serviços onde a atividade pública persegue múltiplos objetivos através de
organizações de grande complexidade, onde há interdependência entre unidades
produtivas, tal como o IPEC, que produz, simultaneamente, assistência, conhecimento
científico e recursos humanos para a pesquisa clínica em doenças infecciosas.
Para abordar a pesquisa e o ensino em doenças infecciosas a partir da
sistematização de protocolos de atendimento, a busca de sinergia entre as atividades
clínicas das áreas médica e complementar e a laboratorial implica na necessidade de
constituir os elos entre as atividades-fim de pesquisa, de ensino e de assistência no
283
interior das PAIs do IPEC, o que lhes confere uma configuração particularmente
complexa do ponto de vista da coordenação de interesses.
Com vistas a cumprir objetivos e metas dessas atividades-fim, cada PAI enfoca
uma nosologia específica e engloba atividades especializadas: de diagnóstico de
laboratório; de atendimento de ambulatório, de hospital-dia e de internação; e de apoio
administrativo interno ao conjunto das atividades especializadas. Aborda, além disso, os
diferentes aspectos relativos às múltiplas especialidades profissionais a que se expõe o
paciente na assistência sobre saúde.
Como pode ser observado na Tabela 1, não só cada PAI inclui todas as
atividades de pesquisa, de ensino, de laboratório e de atendimento do IPEC, como
também, vistas em conjunto, estas ações respondem quase que integralmente por cada
das atividades de per si e a participação do LAPCLIN-CHAGAS entre elas é expressiva.
Essa organização convive, portanto, com problemas de coordenação e de
compromisso presentes nas diversas facetas do processo de tomada de decisão, em
particular quanto à distribuição interna dos recursos do seu orçamento entre os objetivos
concorrentes e potencialmente conflitantes das diferentes PAIs.
Ao mesmo tempo em que o fator crítico de sucesso do IPEC, que serve ao seu
propósito estratégico de ocupar um nicho institucional diferenciado, ou seja, que
proporciona recursos governamentais para a sua expansão, é o desenvolvimento das
suas PAIs como unidades produtivas e não o desempenho unilateral das suas atividades.
Como consequência, a questão crítica de interesse da análise de performance diz
respeito aos possíveis efeitos adversos da diversificação e do ritmo acelerado de
crescimento sobre a eficiência do IPEC e, em particular, das PAIs. De forma que, sob a
ótica da Economia da Organização Interna do LAPCLIN-CHAGAS, o objetivo geral
deste artigo é dispor de indicadores para avaliar a evolução do desempenho relativo das
PAIs como unidades produtivas e entender a lógica subjacente de utilização dos
recursos do Instituto ao longo dos anos.
O problema da pesquisa, em suma, é testar a hipótese de aumento da eficiência
técnica relativa (o resultado por unidade de recurso gasto pelo LAPCLIN-CHAGAS é
crescente entre 2002 e 2011).
284
Tabela – IPEC - Participação das PAIs e do LAPCLIN-CHAGAS na Atividade: 2009 (em%)
QTD. PRODUÇÃO CIENTÍFICA
5,5
PAI - HIV, DFA,
HTLV, LTA,
Micoses, Toxo,
TB
77,2
QTD. PACIENTE COORTE
25,3
74,7
0,0
QTD. EGRESSO DE CURSO
3,8
88,6
7,6
QTD. CONSULTA PAT
14,9
82,6
2,6
QTD. CONSULTA AGENDADA
11,1
85,9
3,0
QTD. ATDTO. HOSPITAL-DIA
3,3
94,4
2,4
QTD. DIA/ANO INTERNAÇÃO
6,8
83,3
10,0
QTD. EXAME
Anatomia Patológica
9,5
11,3
86,5
85,4
4,1
3,2
Bacteriologia
8,1
88,2
3,7
Hemoterapia
0,0
100,0
0,0
Imagem
10,7
85,4
3,9
Imunologia
10,3
89,4
0,3
Micologia
0,0
100,0
0,0
Parasitologia
10,4
85,2
4,4
Patologia Clínica
5,4
74,7
19,8
Virologia
0,0
100,0
0,0
Zoonoses
0,0
100,0
0,0
DESPESA MEDICAMENTO
11,8
82,8
5,4
DESPESA ALIMENTAÇÃO
7,2
83,8
9,1
DESPESA APOIO ADM. INT.
Fonte: LAPECOS/IPEC (2009).
5,9
87,6
6,5
ATIVIDADE (2009)
PAI – Chagas
(%)
Não PAI
17,3
3. Revisão Bibliográfica
Em presença da informação completa - pleno domínio do processo produtivo, a
função objetivo neoclássica do equilíbrio da firma no curto prazo representa a busca de
eficiência absoluta no uso dos recursos da organização. No entanto, a hipótese de
informação completa do gerente não é de interesse unânime para a Análise Econômica.
Como alternativa, a Economia da Organização Interna da firma incorpora a
assimetria da informação à descrição da interação entre o agente e o gerente da
produção no interior da organização, do que resulta o interesse pela formulação dos
modelos explicativos da organização através da eficiência do desempenho, que adotam
a hipótese informacional de existência de ineficiências fora do controle do gerente.
Nessa nova abordagem de estudo da organização, a hipótese comportamental
correspondente é a de busca de eficiência relativa por parte do gerente, acompanhada do
285
interesse pelo uso de modelos analíticos não-estocásticos, como o Modelo Data
Envelopment Analysis (DEA), para testar a hipótese de que a organização é explicada
pela busca de eficiência orientada pela observação do desempenho dos pares (MANTRI,
2008), ao invés de pela minimização de custos. O tratamento estocástico convencional
para a descrição da organização a partir da estimativa da função de produção
neoclássica cedeu lugar, por exemplo, ao uso dos métodos de cálculo da fronteira nãoparamétrica de possibilidades de produção empiricamente observadas entre os pares
conhecidos da organização estudada.
As organizações de tipo multipropósito, por seu turno, envolvem múltiplas
atividades internas na disputa pelos recursos disponíveis - “ajuste mútuo”
(MINTZBERG et al., 2002) - e constituem uma significativa e diversificada família de
unidades econômicas com tipos de propriedade e de atividade diferentes.
Do ponto de vista do estudo da organização pelo critério do seu desempenho na
busca de eficiência, vale acrescentar que a estrutura gerencial interna é importante para
concretizar os objetivos qualitativos de conotação estratégica do seu desenvolvimento e
que a quantificação das metas a eles relacionadas ilustra a definição da Unidade
Tomadora de Decisão (DMU) relevante para a avaliação (OZCAN, 2008) e a escolha
dos inputs e outputs para a especificação do Modelo DEA (SHERMAN; ZHU, 2006).
No que diz respeito às organizações públicas de “pesquisa estratégica” sobre
saúde (ROVERE, 1997), então, a hipótese de obtenção do crescimento através da
promoção da pesquisa mission oriented para a solução dos problemas de compromisso
resultou na formulação do problema de avaliação do desempenho do IPEC como um
problema de avaliação da eficácia das suas PAIs na obtenção de eficiência no uso de
recursos ao longo do tempo para realizar atividades de pesquisa, ensino e assistência.
Como destacam os autores da chamada Teoria do Crescimento Endógeno
(ROMER, 1994), no entanto, o reconhecimento de situações de desequilíbrio com
ineficiência resulta: (a) na adoção das hipóteses de aprendizado, de retorno de escala
variável e de conhecimento acumulado; e (b) no uso do modelo DEA-BCC para o
cálculo da fronteira de eficiência.
Segundo o marco conceitual do estudo da organização aqui adotado, em suma, a
DMU objeto da análise é a PAI, que guarda diferenças com respeito às organizações de
tipos General Hospital e Academic Medical Center (OZCAN, 2008), uma vez que
realiza atividade de pesquisa.
286
4. Metodologia
Com vistas a caracterizar a diversificação do LAPCLIN-CHAGAS, o custo
unitário das suas atividades foi apurado como custo médio, uma vez que as atividades,
com frequência, compartilham custos comuns (HARING, 1984), ao mesmo tempo que
são sujeitas a contingências do quadro nosológico e não obedecem rotinas-padrão. Os
dados de produção, de despesa e de material permanente utilizados são relativos ao
período de um ano, longo o suficiente para corrigir a sazonalidade dos gastos.
A composição do orçamento do IPEC por elemento de despesa serviu de
referência para o cálculo do custo unitário efetivo pelo método do Custeio Baseado em
Atividades (ABC): força de trabalho terceirizada; medicamento; alimentação; reagente;
filme e papel para exame de imagem; almoxarifado; outros materiais de consumo nãoalmoxarifado; depreciação de equipamento e mobiliário; e tarifa de telecomunicação.
Se por um lado, portanto, o cálculo de medidas estáticas de aferição de despesas
fornece uma informação detalhada e útil sobre a diversificação das atividades
constituintes da PAI, vale observar que, devido à constelação diversificada de produtos
e serviços dos quais se utiliza, a obtenção de medidas de eficiência organizacional,
sobre o alcance de níveis máximos de resultados - outputs, dados os recursos
disponíveis, ou de minimização de recursos – inputs - para dados níveis de resultados
pretendidos, constituem indicadores gerenciais (IGs) relevantes.
Em consequência, o objetivo, com o cálculo de escores-síntese de eficiência, é
uma medida que permita relacionar média ponderada de outputs com média ponderada
de inputs, como, por exemplo, um E = (A1.O1+ . . . + AM.OM ) / (B1.I1 + . . .+ BN.IN), na
qual os Os representam outputs, os Is representam inputs e os As e os Bs representam
pesos, conhecidos ou a serem explicitados, ou seja, a importância relativa - a ser
investigada - de cada output e input, para a análise de eficácia da estrutura PAI.
Visou-se avaliar o desempenho do IPEC como um todo – como é requerido para
a avaliação da eficácia da estrutura PAI, através de um modelo de representação
adequada das especificidades do seu funcionamento como unidade produtiva e do
processo interno de tomada de decisão sobre a alocação de recursos no IPEC. Há duas
vertentes de análise quantitativa para a avaliação de eficiência de unidades produtivas.
A primeira está associada ao uso dos métodos paramétricos de estimação da
fronteira eficiente. Esse tratamento implica, no entanto, supor que a técnica de produção
utilizada pela unidade econômica é passível de especificação a priori e que a função
custo pode ser conhecida por parte do administrador. Nesse sentido, essa vertente não
287
apresenta tratamento adequado para a distinção entre a ineficiência – na gestão de
fenômenos e variáveis que estão sob o controle do gerente – e os efeitos de outros
fatores que não estão sob o seu controle e, portanto, não oferece um embasamento
teórico consistente sobre os objetivos do gerente, o qual sirva de referência para a
utilização dos IGs de eficiência resultantes na avaliação de desempenho.
A segunda vertente, por sua vez, é a da utilização de instrumental de ajuste nãoparamétrico da fronteira de eficiência, a qual, em termos econômicos, representa a
fronteira de produção às melhores práticas reveladas, ou seja, à produção máxima
empiricamente observada de qualquer unidade econômica da população estudada,
obtida a partir de sua dotação efetiva de insumos. Do contexto dessa segunda vertente,
foi escolhido o modelo de ajuste não paramétrico conhecido como Análise de
Envoltória de Dados (DEA) para a análise de eficácia organizacional do IPEC.
A DEA é um modelo não-paramétrico de avaliação de Unidades Tomadoras de
Decisão (DMUs) comparáveis, que utilizam quantidades de recursos diferentes para
produzirem bens em quantidades distintas. A comparação da eficiência de uma dada
DMU se dá pela revelação do desempenho das outras DMUs sob análise. As DMUs
devem atuar sob as mesmas condições e os insumos e produtos devem ser os mesmos,
diferindo apenas em intensidade e magnitude. O objetivo é a obtenção de uma superfície
envoltória - fronteira de eficiência - formada pelas DMUs com melhor desempenho.
Ou, o que é equivalente do ponto de vista matemático, esse modelo visa
identificar os pesos que maximizam o escore atribuível à avaliação da unidade
econômica pela análise de eficiência, quando obedecidas a restrição de que nenhuma
DMU pode estar além da fronteira e a restrição de que cada uma produz e utiliza
quantidades positivas de todos os produtos e insumos considerados na análise.
Conceitualmente, o modelo DEA é um modelo de programação matemática.
Aplicado a um conjunto de K organizações que utilizam N inputs para produzir M
outputs, permite calcular os escores-síntese Ei = Yi/Xi = (A1i.O1i + . . . + AMi.O1i IMi ) /
(B1i.I1i + . . .+ BNi.INi) de cada organização - em que os Os representam outputs, os Is
representam inputs e os AIs e os BIs representam pesos, ou seja, a importância relativa
de cada output e input – e permitem hierarquizá-las segundo o seu desempenho em
termos de eficiência técnica relativa, com a especificação de um padrão de comparação.
No modelo gráfico da Figura 1, por exemplo, face à situação relativa de Ui,
quando comparado o seu desempenho com a performance de U1 e U2 conclui-se que,
entre essas três DMUs, Ui é que pertence à fronteira eficiente, já que U1 utiliza o mesmo
288
montante de recursos Xi para produzir Y1, ou seja, menos do que Yi, enquanto U2
produz o mesmo que Ui, mas utiliza um volume de recursos X2 maior do que Xi.
Figura 1 – Representação Gráfica do Escore-Síntese de Eficiência Técnica
Y
CCR
UI
U2
YI
U3
U1
Y1
EI
X3
XI
X2
X
Fonte: (JORGE et al. , 2006, p. 5)
Nesse sentido, a ineficiência técnica de U2 é expressa pelo escore-síntese menor
do que o de Ui, bem como a ineficiência de U1 resulta em escore menor do que o de U3.
Convenciona-se, a propósito, que, para todas as p DMUs situadas na fronteira,
EL 
YL
 1 , ou seja, que todas elas caracterizam-se por uma situação de eficiência
XL
plena – Unidade 100% eficiente. Assim sendo, a eficiência relativa Ei de uma DMU Ui,
cujo ponto representativo não faz parte da fronteira eficiente, pode ser medida como
YI
XI
< 1 e este é um escore-síntese para o seu desempenho.
O modelo DEA foi então escolhido para a análise de eficiência das PAIs, por
força, em primeiro lugar, das soluções dos problemas de representação da atividade pela
primeira vertente citada: (a) distingue a ineficiência na gestão dos fenômenos sob o
controle do gerente vis-à-vis os efeitos dos outros fatores fora do controle do
administrador; (b) goza das chamadas propriedades de incentivo como método de
revelação da informação, no sentido de que a sua utilização incentiva o agente da
produção, a informar da “melhor maneira”, tornando a avaliação imune ao blefe; (c) não
requer prévio conhecimento da tecnologia para representar a organização avaliada; (d)
focaliza observações individuais, ao invés de médias da população; (e) produz uma
medida agregada individual da DMU, quanto à utilização de insumos para produzir os
289
produtos almejados; (f) usa múltiplos produtos e insumos em simultâneo, que podem ser
considerados em diferentes unidades de medida; (g) não faz restrições à forma funcional
da função de produção; (h) não requer o conhecimento de pesos e preços de insumos e
produtos a priori; (i) incorpora variáveis categóricas (dummy); (j) permite usar variáveis
exógenas para representar a organização avaliada; (l) incorpora julgamentos, se
desejado; e (m) satisfaz o critério de equidade na avaliação relativa de cada DMU.
A DEA, além disso, é uma metodologia a que está incorporada uma coleção de
modelos, dentre os quais os modelos de especificação DEA–BCC, que possibilitam
analisar processos produtivos de DMUs com portes distintos, tais como as PAIs.
Em terceiro lugar, os modelos DEA-BCC de programação incluem uma variante
que pressupõe constante a produção e busca minimizar o consumo agregado de
recursos; assim como o modelo DEA-BCC-O, orientado para o aumento do produto,
utilizado para calcular a produção máxima da organização em análise, quando mantido
constante o consumo agregado de recursos, o qual foi considerado mais pertinente ao
objetivo deste estudo, uma vez que, sendo o orçamento do IPEC e das suas PAIs
estabelecido a priori, o alvo do gerente local é antes o de maximizar os resultados
obtidos, do que o de minimizar os recursos utilizados.
Sendo, por outro lado, um modelo determinístico, muito sensível a erros de
medida que podem comprometer a análise, para que o modelo DEA apresente
resultados consistentes é requerido, ainda, que o número K de DMUs consideradas na
análise seja, no mínimo, duas vezes maior do que o número de produtos (M) e insumos
(N) utilizados, ou seja, K  2(M  N) , tal como através da representação das atividades
anuais de oito PAIs para a análise de eficiência do IPEC no período 2002-2011 por oito
variáveis de medida de recursos e resultados.
As variáveis de insumo foram selecionadas por sua importância na despesa: (a)
horas-médico – tempo dedicado por profissionais médicos a cada PAI; e (b) custeio
exceto pessoal – despesa anual com medicamentos, reagentes para exames e material
hospitalar por PAI. Os produtos foram eleitos por sua importância para o resultado das
PAIs: (a) exames – quantidade de exames realizados distribuída por PAI; (b) consultas –
quantidade de consultas prestadas por PAI; (c) internações – quantidade de dias de
internação por PAI; (d) produção científica – quantidade de artigos publicados por PAI;
(e) coorte – quantidade de novos pacientes de pesquisa da PAI; e (f) ensino –
quantidade de dissertações e teses defendidas por PAI.
290
5. Análise dos Resultados
Acompanhando do crescimento das atividades das PAIs do IPEC em 2002-2009
(JORGE et al., 2010), o LAPCLIN-CHAGAS também protagonizou uma expressiva
diversificação da produção física do Modelo de Atenção Integral no Tratamento da
doença de Chagas do IPEC ao longo destes anos, como mostram as tabelas de 2 a 9.
Tabela 2 – LAPCLIN-CHAGAS – Ambulatório – 2009.
AMBULATÓRIO
Consultas de Infectologista
Consultas de Médico Não-Infectologista
Consultas de Outras Especialidades
Procedimentos de Ambulatório
Procedimentos de Enfermagem
(*) Em R$ a preços de 2012.
QTD.
(2009)
2.678
2.539
539
14
3.142
TIPOS
DESPESA-ANO (*) CUSTO UNITÁRIO (*)
2
2
2
16
56
402.467,22
383.184,50
408.252,69
999,37
82.626,26
150,29
150,93
756,97
69,33
26,30
Tabela 3 – LAPCLIN-CHAGAS - Internação – 2009.
INTERNAÇÃO
(Leito + Refeição+
Medicamento)-Dia
Leito-Dia
Paciente (Leito-Dia)
QTD. (2009) DESPESA-ANO (*)
468
468
36
CUSTO UNITÁRIO (*)
720.828,41
652.159,48
652.159,48
1.540,23
1.393,50
18.115,54
Tabela 4 – LAPCLIN-CHAGAS - CTI – 2009.
CTI
(CTI + Refeição+
Medicamento)-Dia
131
203.684,81
CTI-Dia
131
173.353,16
Paciente (CTI-Dia)
12
173.353,16
CUSTO UNITÁRIO (*)
1.554,85
1.323,31
14.446,10
Tabela 5 – LAPCLIN-CHAGAS - Hospital-Dia – 2009.
HOSPITAL-DIA
Atendimento (**)
75
28.094,40
(**) Inclui refeição e medicamento.
CUSTO UNITÁRIO (*)
374,59
291
Tabela 6 – LAPCLIN-CHAGAS – Diagnóstico – 2009.
LABORATÓRIO
Anatomia Patológica
Bacteriologia e Bioensaios
Imagem
Imunodiagnóstico
Micologia
Patogenia Viral
Patologia Clínica
CUSTO (*)
QTD.
(2009)
TIPOS DE
EXAME
DESPESA (*)
802
2.030
1.345
3.691
3
546
23.645
10
18
90
29
3
17
46
137.735,05
185.174,83
377.647,41
218.308,85
623,47
94.376,90
400.543,34
EXAME
CONSULTA (**)
19,08
7,76
30,82
6,34
0,06
9,92
1,88
4,77
1,94
7,71
1,59
0,01
2,48
0,47
(**) Ao resultado do exame feito no IPEC para levantar elemento clínico de interesse do projeto de pesquisa.
Tabela 7 – LAPCLIN-CHAGAS – Atividade de Suporte: Farmácia – 2009.
MEDICAMENTO
QTD.
(2009)
DESPESA-ANO (*) PREÇO MÉDIO (*)
Ampola
12.500
Cápsula
1.080
Comprimido
597.460
6.179,58
444,93
147.682,11
0,49
0,41
0,25
Tabela 8 – LAPCLIN-CHAGAS – Atividade de Suporte: Nutrição – 2009.
NÍVEL DE ATENDIMENTO
QTD.
(2009)
DESPESA-ANO (*)
75
N.D.
468
131
387,55
14.449,20
57.347,65
16.052,44
Hospital-Dia
Ambulatório
Internação
CTI
Tabela 9 – LAPCLIN-CHAGAS – Atividade de Suporte: Apoio Administrativo – 2009.
APOIO ADMINISTRATIVO
Apoio Administrativo Interno
Administração do Campus
DESPESA-ANO (*)
385.034,76
367.922,43
Utilizando, finalmente, os dados relativos às 8 variáveis de insumos e de
produtos das PAIs do IPEC quantificadas, bem como o modelo DEA com Retornos
Variáveis de Escala Orientado para o Produto (DEA-BCC-O), foi resolvido o Problema
de Programação Linear subjacente com a utilização do software Frontier Analyst®,
292
obtendo-se, então, os escores de eficiência técnica relativa de cada PAI anual, que dão
origem à Tabela 10 e à Figura 2 abaixo.
Os resultados do modelo DEA-BCC-O na Figura 2 destacam que, ao serem
considerados todos as atividades de assistência, pesquisa e ensino das PAIs, os ganhos
de eficiência do LAPCLIN-CHAGAS são convergentes para o ganho médio de
eficiência obtido no conjunto das PAIs do IPEC em 2002-2011, confirmando, desta
forma, a hipótese de que, em condições de informação incompleta, o gerente busca
ganhos de eficiência relativa que tomam o aprendizado com os pares como referência.
Tabela 10 – IPEC – Escore-síntese de Eficiência Técnica Relativa – Evolução: 2002-2011 (em
%).
ANO
PAII
2002
CHAGAS
DFA/DENGUE
HTLV
LEISHMANIOSE
MICOSES
TOXOPLASMOSE
TUBERCULOSE
HIV
MÉDIA
0,799
0,877
1,000
1,000
1,000
1,000
1,000
1,000
0,960
2003
0,815
1,000
0,845
1,000
1,000
1,000
1,000
1,000
0,958
2004
2005
0,793
0,960
0,991
1,000
1,000
1,000
1,000
0,885
0,954
2006
0,857
0,986
0,789
0,952
1,000
1,000
1,000
1,000
0,948
0,770
0,988
0,761
0,979
0,883
0,899
0,925
0,925
0,891
2007
0,823
1,000
0,974
0,964
1,000
0,950
1,000
1,000
0,964
2008
0,852
1,000
0,967
0,758
0,865
0,923
0,968
0,959
0,912
2009
0,795
1,000
0,870
0,831
1,000
0,940
0,858
1,000
0,912
2010
2011
0,573
0,787
0,552
0,968
1,000
0,603
0,637
1,000
0,765
Variáveis de Input : Hora-Médico, Outros Custeios.
Variáveis de Output : Exame, Consulta, Internação, Produção Científica, Coorte, Dissertações e Teses.
Figura 1 – IPEC e LAPCLIN-CHAGAS - Eficiência Técnica Relativa – Evolução: 2002-2011
(em %)
1,200
1,000
0,800
0,600
CHAGAS
Média PAIs
0,400
0,200
0,000
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
0,947
1,000
0,960
1,000
1,000
0,950
0,955
1,000
0,977
293
6. Conclusões
Este artigo partiu da hipótese, adotada no Modelo DEA, de que a combinação de
inputs e outputs da organização multipropósito em condições de informação incompleta
é orientada pela busca de eficiência técnica relativa: visa replicar a estratégia próeficiência dos pares.
Nesse sentido, a ótica de avaliação adotada nesta análise é uma contraposição à
hipótese postulada pela teoria neoclássica do equilíbrio da firma no curto prazo de que,
em presença de informação completa, de pleno domínio do processo produtivo por parte
do gerente, a função objetivo de maximização do lucro – e de minimização de custos explica a busca de eficiência absoluta no uso dos recursos da organização,
A partir do resultado da Análise de Eficiência adotada, foi possível concluir que,
uma vez verificada a representatividade da estratégia de escolha das PAIs do IPEC
pelos escores-síntese de eficiência técnica relativa, as PAIs experimentaram ganhos
incrementais sucessivos de eficiência ao longo do tempo - veja a Figura 2. Em outros
termos, a associação existente entre a despesa anual do Instituto nas suas PAIs e a
efetividade em custo da gestão de recursos específica do conjunto de atividades de cada
PAI é positiva. Do ponto de vista da avaliação organizacional do IPEC em perspectiva,
portanto, foram obtidas evidências do ganho de eficiência das PAIs em 2006-2011.
Nesse sentido, a avaliação desenvolvida com o objetivo de contribuir para a
elucidação dos motivos subjacentes à reestruturação recente do IPEC logrou caracterizar
com sucesso a dinâmica do estabelecimento da estrutura organizacional do Instituto ao
longo do tempo. Essa reestruturação, portanto, revelou-se uma estratégia pró-eficiência
de produção simultânea de assistência, conhecimento e recursos humanos para a
pesquisa clínica em doenças infecciosas.
Foi confirmada, ainda, a motivação pró-eficiência relativa no uso dos recursos
no LAPCLIN-CHAGAS, quando comparado com o uso no conjunto das PAIs do IPEC.
Ou seja, a análise de desempenho relativo dessas estruturas revela escolha de estratégias
de organização e operação orientadas pela busca de eficiência no uso de recursos.
Em suma, foi demonstrado o poder explicativo do modelo DEA, que se revelou
útil para conhecer a organização interna das PAIs do IPEC. Todos esses resultados
apontam para a utilidade da Análise de Eficiência como abordagem de diversos aspectos
da avaliação organizacional, seja no curto prazo, seja em âmbito estratégico.
294
Referências
ECHEBARRÍA, K. Responsabilización y responsabilidad gerencial: instituciones antes
que instrumentos. In: ______. Responsabilización y evaluación de la gestión pública.
Caracas: CLAD/AECI, 2005.
HARING, J. Implications of asymmetric regulation for competition policy analysis.
Washington, D. C.: OPP/FCC, 1984. [OPP Working Paper Series, n. 14]. Disponível
em: <http://www.fcc.gov/osp/workingp.html>. Acesso em: 7 jul. 2003.
JORGE, M. J.; CARVALHO, F. A. A.; FILGUEIRAS JORGE, M. Análise Envoltória
de Dados na avaliação da pesquisa estratégica: o caso de um instituto de pesquisa
clínica. In: SIMPÓSIO DE APLICAÇÕES OPERACIONAIS EM ÁREAS DE
DEFESA, 8., 2010, São José dos Campos. Anais... São José dos Campos: Instituto
Tecnológico de Aeronáutica, 2010. p. 1-6.
JORGE, M. J. et al. Efetividade em custo e análise de eficiência de programas em
organizações complexas a experiência do IPEC/FIOCRUZ. Ciudad de México:
FUNSALUD, 2006.
MANTRI, J. K. (Ed.). Research metodology on Data Envelopment Analysis (DEA).
Boca Raton, FL: Universal Publishers, 2008.
MINTZBERG, H. et al. The strategy process: concepts, context, cases. 4. ed.
Englewood Cliffs, N.J: Prentice-Hall, 2002.
OZCAN, Y. A. Health care benchmarking and performance evaluation: an assessment
using Data Envelopment Analysis (DEA). Virginia: Springer, 2008.
REZENDE, F. C. As reformas e as transformações no papel do Estado: o Brasil em
perspectiva comparada. In: MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E
GESTÃO. Secretaria de Gestão. O Estado numa era de reformas: os anos FHC. Parte 1.
Brasília: MP, SEGES, 2002.
ROMER, P. M. The origins of endogenous growth. Journal of Economic Perspectives,
v. 8, n. 1, p. 3-22, 1994.
ROVERE, M. Políticas y gestión en las organizaciones de ciencia y tecnología en
salud. Washington, D.C.: OPAS, 1997.
SCHUBACH, A. O. et al. Avaliação econômica dos esquemas alternativos de
tratamento com antimoniato de meglumina no Laboratório de Vigilância em
Leishmanioses do IPEC/FIOCRUZ: uma experiência com a análise de eficiência. In:
CONGRESSO DA SOCIEDADE BRASILEIRA DE MEDICINA TROPICAL, 48.,
2011, Natal. Anais... Natal, 2011.
SHERMAN, H. D.; ZHU, J. Service productivity management: improving service
performance using Data Envelopment Analysis (DEA). Boston, MA: Springer, 2006.
295
PROGRAMA DE PREPARAÇÃO PARA A RESERVA E APOSENTADORIA:
resultados de uma intervenção
Valeria de Figueiredo Studart Maia de Almeida,
Divisão de Serviço Social, Comando da Aeronáutica
Ligia Silva Leite,
Resumo
O presente trabalho tem por objetivo apresentar os resultados obtidos na avaliação do
Programa de Preparação para a Reserva e Aposentadoria do Comando da Aeronáutica,
coordenado pela Divisão de Serviço Social da Subdiretoria de Encargos Especiais da
Diretoria de Intendência. A avaliação adotou uma abordagem centrada em objetivos e
teve um propósito somativo. Incorporou métodos quantitativos e qualitativos para a
coleta e análise dos dados, visando fornecer elementos para determinar se os objetivos
do Programa foram alcançados. A avaliação foi desenvolvida a partir das respostas a um
questionário autoaplicável junto a 39 participantes de cinco turmas do Programa,
realizadas no período de 2008 a 2010, correspondendo a uma amostra estratificada de
30%. Os dados obtidos apontam para a contribuição do Programa acerca da
minimização dos impactos que a reserva/aposentadoria provocam na vida do indivíduo
a partir de informações e experiências compartilhadas entre os participantes do PPRA.
Possibilitou, ainda, que os participantes melhor entendessem o fenômeno do
envelhecimento, bem como o despertar para o desenvolvimento de planos/ideias que já
possuíam, suscitando para a importância do estabelecimento de novos projetos para a
vida pós-carreira.
Palavras-chave: Reserva/Aposentadoria. Envelhecimento. Trabalho. Avaliação de
programas sociais.
Introdução
Na sociedade contemporânea alimenta-se o sonho de que, após um determinado
tempo de trabalho, conquista-se a aposentadoria esperando que esta seja uma etapa da
vida cheia de realizações de projetos encantadores, na qual o indivíduo dispõe do tempo
livre para usufruir os bens e serviços que a natureza e a sociedade oferecem
(MAGALHÃES, 1987). Todavia a inatividade, ou mundo do “não trabalho” pode ter
resultados imprevisíveis na vida de uma pessoa.
Os resultados variam de pessoa para pessoa. Se para alguns esse rompimento
pode ser bem assimilado, para outros pode se constituir em um momento de
desequilíbrio. A forma como o indivíduo vivenciará essa etapa da vida vai depender da
sua trajetória de vida, ou seja, como vivenciou os anos de trabalho, o modo de enfrentar
as mudanças ocasionadas pelo afastamento do trabalho, sua remuneração, o nível de
296
estresse suportado, suas relações sócio-familiares construídas no decorrer dos anos e a
sua qualidade de vida (PACHECO; CARLOS, 2006).
Tais aspectos podem ser explicados pelo fato de que na sociedade industrial o
trabalho foi elevado ao topo da hierarquia das atividades humanas, tornando-se uma das
principais funções do homem. Para Antunes (2010) apesar das metamorfoses
vivenciadas no mundo do trabalho, em uma sociedade produtora de mercadorias, o
trabalho exerce uma função central para a classe-que-vive-do trabalho, e que são
despossuídos dos meios de produção. É por meio do trabalho que o indivíduo se projeta
na sociedade, estabelecendo a sua rede de relações e a sua posição social. Segundo Silva
(2006, p. 20) “na idade madura, o trabalho toma conta de todos os espaços da vida a
ponto de o homem ser identificado com o trabalho, com a profissão e com a organização
a qual pertence”.
No caso dos militares, onde a obediência aos princípios hierárquicos e
disciplinares condiciona toda a sua vida pessoal e profissional, bem como outras
características específicas que sua atividade exige, como: dedicação exclusiva,
disponibilidade permanente e mobilidade geográfica, entre outros, a ruptura com o
mundo do trabalho pode ser agravada, uma vez que tais características dificultam o
desenvolvimento de projetos, seja de ordem profissional ou de ordem pessoal. Alia-se a
esses fatores o fato de que grande parte dos militares mora em próprios nacionais (vilas
residenciais militares), fazendo com que sejam mais sentidas as perdas das estruturas de
sociabilidade provocadas pela ruptura do convívio grupal construído no ambiente de
trabalho, bem como o construído no ambiente das vilas residenciais.
Falar em aposentadoria é também falar sobre envelhecimento. A aposentadoria
tem sido vista como um marco no processo de envelhecimento social do indivíduo
(AGUIAR; NASCIMENTO, 2005). Isto porque ela coincide, para alguns, com a
denominada terceira idade, ou seja, a velhice. Não é o caso dos militares, por exemplo,
cuja média de idade para a passagem para a inatividade ocorre por volta dos 50 anos de
idade. A precocidade da inatividade dos militares faz-se necessária devido às
características para o desempenho da carreira, que necessita de um fluxo permanente,
que visa à necessária renovação dos efetivos baseado no princípio de higidez e nos
limites de idade. Já os servidores civis se aposentam mais próximo da chamada terceira
idade. Essa diferença na idade para a aposentadoria entre militares e civis ocorre
basicamente devido às legislações específicas que regem ambas as categorias.
297
Independentemente da idade que se tenha, a aposentadoria confere ao indivíduo
a identificação com a velhice, devido ao afastamento de papéis julgados importantes
para a sociedade, como o de produtor e consumidor.
No dizer de Zanelli, Silva e Soares (2010, p. 31):
Não é sem razão que a categoria dos aposentados é denominada nos
registros formais de “inativas”. O que significa não estar em atividade,
não manifestar qualquer tipo de ação, inoperante ou não funcionando.
Sentido oposto a mobilidade ou movimento, o que constitui a essência
da própria vida. O recado transmitido equivale a: se você não trabalha,
deixa de ser e de ter importância. Ou seja, se sou o que faço, se não
faço mais, quem eu sou? Em decorrência, a barreira que se ergue
objetiva-se na dificuldade em participar das atividades consideradas
“úteis”. A introjeção consequente é o servir para atividades “fúteis”,
destituídas de valor social e a conformidade na busca de auxílios.
Goldman (2002) destaca que não existe uma definição exata de velhice, uma vez
que ela ocorre de forma diferenciada para cada pessoa. Para melhor entendê-la faz-se
necessário que ela seja estudada sob divers os ângulos e diversas disciplinas, não se
restringindo apenas à dimensão cronológica do indivíduo. Em 1982 a Organização
Mundial de Saúde (OMS) estabeleceu parâmetros diferenciados para definir o início do
processo de envelhecimento. Em países em desenvolvimento o envelhecimento se inicia
a partir dos 60 anos, já em países em desenvolvidos o patamar que caracteriza o grupo
de idoso é de 65 anos (WORLD HEALTH ORGANIZATION, 2005). Segundo
Goldman (2002, p. 1):
A velhice é um fenômeno histórico, social, cultural, enfim,
multifacetado e multidisciplinar. Perpassa as trajetórias de vida
pessoal e social e só pode ser compreendida em determinados tempo,
espaço, classe social, relações de gênero e de etnia, dentre outras
variáveis.
Estudos apontam para uma mudança na estrutura populacional brasileira. A
perspectiva é de que, no ano 2025, o Brasil será o 6º país do mundo a ter maior número
de pessoas com mais de 60 anos (IBGE, 2010). Significa dizer que mais pessoas se
aposentarão e vão permanecer aposentadas por mais tempo. O que fazer com esse tempo
livre?
As pessoas não costumam pensar que um dia vão parar de trabalhar, ou se
pensam, o fazem como algo distante, que só trará benefícios, tais como a libertação dos
298
horários e da rotina. Porém, com o tempo, depois de conquistada a tão sonhada
liberdade, não se sabe o que fazer com ela.
Visando potencializar os recursos individuais na busca de prevenção dos agravos
relacionados a esse processo de mudança, o Comando da Aeronáutica (COMAER), por
intermédio da Diretoria de Intendência (DIRINT) e da Subdiretoria de Encargos
Especiais (SDEE), órgão central do Sistema de Assistência Social (SAS), desenvolve
desde 2003, o Programa de Preparação para a Reserva e Aposentadoria (PPRA)
voltados aos militares e servidores civis que estejam a pelo menos dois anos da
reserva/aposentadoria.
O Programa de Preparação para a Reserva e Aposentadoria do COMAER
recebeu essa denominação por inserir em seu público-alvo militares, que possui a
particularidade de ir para a reserva e não se aposentar. Tem como objetivo criar um
espaço para reflexão sobre os aspectos que envolvem a reserva/aposentadoria,
minimizando os impactos provocados pela ruptura com o mundo do trabalho a partir de
informações básicas acerca dessa etapa da vida. Visa, ainda, possibilitar a substituição
da imagem estereotipada da velhice por uma representação mais positiva, bem como
contribuir para que os participantes desenvolvam novos projetos pessoais.
Com o objetivo de conhecer os resultados produzidos pelo Programa, foi
sistematizada uma avaliação que permitisse a aquisição de informações acerca das ações
desenvolvidas visando à qualificação do trabalho junto aos usuários.
Metodologia
Abordagem, instrumento e seleção da amostra
A avaliação adotou a abordagem centrada em objetivos, que consiste em
determinar se os objetivos propostos pelo Programa de Preparação para a Reserva e
Aposentadoria (PPRA) estão sendo alcançados. Segundo Worthen, Sanders e
Fitzpatrick (2004) a abordagem centrada em objetivos vem permeando o
desenvolvimento e a teoria da avaliação desde década de 1930. Seu precursor foi Ralph
W. Tyler que conceituou e popularizou essa abordagem na educação. Apesar de a
avaliação proposta por Tyler estar voltada para a melhoria da educação, sua abordagem
pode ser aplicada também a serviços de outros setores como programas sociais de áreas
diferentes à da educação.
A avaliação teve um propósito somativo, pois foi conduzida após a participação
dos indivíduos no Programa; procurou fornecer elementos para julgar até que ponto o
299
Programa cumpriu com seus objetivos, bem como saber o quanto e com que qualidade
foi cumprida. Dessa forma, incorporou métodos quantitativos e qualitativos para coleta
e análise dos dados.
O instrumento utilizado para a coleta de dados foi um questionário
autoaplicável. A escolha do instrumento baseou-se na possibilidade de utilização
perguntas fechadas (cujas respostas relacionam-se a indicadores previamente definidas)
e abertas (nas quais o entrevistado pode se expressar livremente), permitindo uma
análise quantitativa e qualitativa; sua facilidade da aplicação em nível nacional,
considerando a abrangência do Programa; no fato de não interferir no desenvolvimento
do Programa; por garantir o anonimato; e pelo custo da aplicação.
Optou-se pelo método de amostragem não probabilística e não intencional
regido por critérios de disponibilidade dos inquiridos. A amostra proporcional utilizada
correspondeu a 30% dos 241 militares e servidores civis participantes das turmas
realizadas em Guaratinguetá (SP), Florianópolis (SC) e Rio de Janeiro (RJ), nos anos de
2008, 2009 e 2010, o que correspondeu a 39 indivíduos.
Análise dos dados
A aplicação do questionário ocorreu nos meses de dezembro de 2010 e janeiro,
fevereiro e março de 2011. Os dados foram organizados mediante a elaboração de
gráficos, e a interpretação do conteúdo a partir do agrupamento das respostas em
categorias.
Os resultados mostraram que o grupo foi composto basicamente por pessoas do
sexo masculino, militares graduados, cuja média de idade era de 49 anos. Os dados
obtidos apontaram para a contribuição do Programa no que tange a uma mudança
positiva em relação à ideia que os participantes faziam sobre a reserva/aposentadoria, a
partir da ruptura da visão estigmatizada associada ao sentimento de inutilidade.
300
Gráfico 1- Dados gerais no campo social.
Fonte: Almeida (2011).
O Gráfico 1 apresenta os resultados das respostas relativas aos indicadores
estabelecidos para avaliação do aspecto social. São eles: o desempenho de novos papéis,
a participação comunitária, manutenção/ampliação da rede social, o reforço dos papéis
parentais, e a importância do planejamento do orçamento familiar.
O desempenho de novos papéis sociais foi o indicador que obteve resultado mais
expressivo. Dentre eles, os papéis que se voltam para o ambiente familiar (pai, mãe,
filho, entre outros) são os que apresentam maior relevância.
No indicador participação comunitária foi evidenciada a contribuição do
programa no despertar dos participantes acerca da importância da participação
comunitária em espaço de participação da sociedade civil.
O despertar para as diversas possibilidades para a ampliação/manutenção da rede
social por meio de atividades ligadas ao trabalho voluntário, à reinserção no mercado de
trabalho, ao desenvolvimento de atividades culturais e de lazer e a maior participação no
ambiente familiar. Um dos fatores que pode dificultar a aposentadoria/reserva refere-se
ao rompimento abrupto dos vínculos sociais com colegas, amigos e clientes
estabelecidos no ambiente de trabalho (PACHECO; CARLOS, 2006).
A
aposentadoria/reserva é marcada por uma diminuição dos contatos sociais, fazendo-se
necessária a ampliação e/ou manutenção da rede social como forma de se evitar o
isolamento social.
301
O estudo também aponta para a contribuição do Programa no que se refere a
necessidade de reforço dos papéis parentais. Ser mais presente no seio familiar, ter mais
tempo para a família, envolver a família no planejamento da aposentadoria/reserva,
realizar atividades de lazer, estar mais aberto a negociações foram respostas recorrentes.
Em geral o indivíduo sacrifica relações relevantes em suas vidas, como as
familiares e de amizades, em detrimento das atividades laborais e a aposentadoria acaba
sendo vista como uma forma de resgatar o tempo perdido com esses relacionamentos.
No entanto, o retorno para o ambiente doméstico nem sempre representa o resgate dos
vínculos não construídos durante a sua trajetória de vida. Segundo Zanelli, Silva e
Soares (2010, p. 38):
O êxito desta relação dependerá sobremaneira do quanto todos os
envolvidos no contexto familiar (filhos e cônjuge) estiverem
devidamente orientados e, em decorrência, terem elaborado esta nova
circunstância e momento de vida na família.
No tocante ao indicador planejamento do orçamento doméstico, os resultados foram
associados ao fato do programa ter possibilitado a tomada de consciência acerca da
importância do planejamento do orçamento, principalmente em um momento em que a renda
diminui decorrente das perdas salariais ou do fim dos privilégios que o trabalho oferece como
as viagens. Foi, ainda, associado a esse aspecto a aquisição de conhecimentos como a
incorporação da ferramenta (planilha) no planejamento do orçamento, a inserção da família
no planejamento e na priorização de gastos, bem como a necessidade de buscar novas formas
de complementação do orçamento por meio do desenvolvimento de outras fontes de renda.
Outro aspecto que o estudo avaliou foi a contribuição do Programa para a
melhoria da saúde dos participantes. Segundo a OMS “a adoção de estilos de vida
saudáveis e a participação ativa no cuidado da própria saúde são importantes em todos
os estágios da vida (WORLD HEALTH ORGANIZATION, 2005, p. 22). Dentre as
ações elencadas pela OMS que podem prevenir doenças e o declínio funcional,
contribuindo para aumentar a longevidade e a qualidade de vida do indivíduo estão:
desenvolvimento de atividades físicas adequadas, adoção de alimentação saudável, a
abstinência ao uso do álcool e fumo, e uso de medicamentos.
Para
efeito
do
estudo
foram
utilizados
os
seguintes
indicadores:
desenvolvimento de atividades físicas regulares, adoção de práticas alimentares
302
saudáveis, cuidados preventivos e controle de doenças. As respostas obtidas apontam
para uma contribuição expressiva do Programa, conforme apresentado no Gráfico 2.
Gráfico 2 - Dados gerais no campo biológico.
Cabe salientar, no entanto, que devido à necessidade de assegurar um elevado
padrão de higidez física e mental para o desempenho das atribuições militares, são
realizadas periodicamente inspeções de saúde através de exames médicos e testes de
avaliação física, para que permaneçam no serviço ativo. O estilo de vida adotado
durante o transcurso da sua vida laboral pode se constituir como um dos fatores que
contribuem para que na reserva os mesmos continuem a adotar um estilo de vida mais
saudável.
No que se refere ao desenvolvimento de atividades físicas, foram apontadas
pelos participantes a caminhada; práticas esportivas como vôlei, natação e ciclismo;
exercícios físicos realizados através de ioga, pilates, musculação. É identificada, ainda,
a preocupação de que as atividades realizadas respeitem os limites do corpo.
Os participantes apontaram a melhoria da alimentação por meio da adoção de
uma dieta rica em verduras, legumes, fibras, aumento na ingestão de água, diminuição
do consumo da carne vermelha, sal, açúcar, produtos industrializados, ingestão de
gordura, frituras como sendo atitudes necessárias para como a reeducação alimentar.
Também se referiram sobre a importância de realizar uma alimentação sem correria o
que diminui o estresse. Não foi evidenciada nas respostas a mudança de hábitos no que
tange a ingestão de álcool.
303
Segundo as respostas relativas aos cuidados preventivos, o programa alertou
sobre a importância de continuar a realizar a prevenção, principalmente com o avanço
da idade, contudo, a temática poderia ser mais explorada. Foram associadas à
importância da prevenção por meio da continuidade de realização de inspeção de saúde,
visita ao médico, realização de exames periódicos, controle da obesidade e estress.
Surge, ainda, a importância da saúde oral.
Vale destacar relatos sobre a importância das informações acerca da realização
do exame de próstata. Apesar das campanhas existentes o exame de próstata ainda é um
tabu entre os homens, devido à cultura machista enraizada em nossa sociedade. No
entanto é fundamental para diagnóstico e tratamento precoce do câncer de próstata. As
respostas evidenciam tal preocupação:
Em relação ao controle de doenças, foi verificada a contribuição do programa
quanto à necessidade de continuidade na realização de exames periódicos, realização de
vacinação, estar atento aos sinais do corpo, manter-se informado, regularização no uso
dos medicamentos. Ou seja, o controle de doenças está muito associado ao cuidado
preventivo.
Enquanto categoria central na vida do indivíduo, o trabalho estrutura não
somente a organização da vida social voltada à satisfação das necessidades de
sobrevivência, mas também a dimensão psicológica, pois é fundamental para os
processos de autodescrição e autoavaliação (COSTA; SOARES, 2009).
O Gráfico 3 apresenta a contribuição do programa para a dimensão psicológica,
a partir utilização dos indicadores melhoria da autoestima e maior tranquilidade ao
encarar essa etapa da vida.
Gráfico 3 - Dados gerais no campo psicológico
304
Assim, a avaliação identificou a contribuição do Programa no campo psicológico
notando-se a prevalência de associações ligadas ao rompimento com o estereótipo de
inutilidade que muitas vezes acompanha o indivíduo quando na condição de
reserva/aposentadoria. A descoberta de novos projetos que tragam satisfação social e a
melhoria da autoimagem mudando inclusive a postura diante da vida, além da
desmistificação do fim de vida ligado ao fim de carreira, foram outras contribuições
apontadas pelos participantes relacionados à melhoria da autoestima e ao fato de
estarem mais tranquilos para enfrentar esta etapa da vida.
Apesar dos participantes declararem não possuir uma imagem negativa do
envelhecimento foi possível evidenciar um melhor entendimento sobre o fenômeno
enquanto processo natural da vida, que ocorre diferentemente para cada indivíduo, mas
que pode ser acompanhado de qualidade vida, bem como se constituir como uma etapa
de oportunidades e realizações.
Gráfico 4 - Mudança na imagem do envelhecimento.
A imagem da velhice construída socialmente é um fenômeno complexo que tem
relação com o contexto histórico, cultural, econômico, entre outros, de uma dada
sociedade. Segundo Goldfarb e Lopes (2006) em nossa sociedade a imagem dominante
do envelhecimento é permeada por preconceitos que associam o idoso à condição de
inutilidade e dependência. Diante da realidade vivenciada no Brasil que aponta para um
crescimento exponencial da expectativa de vida verifica-se um processo acelerado do
envelhecimento da população, fazendo com que haja uma importante transformação
demográfica em andamento. Dessa forma, faz-se necessário que a sociedade
compreenda esse fenômeno, seus desafios e que possa distinguir a imagem distorcida
ligada à doença, inutilidade, que não pode ser definida apenas pela dimensão
305
cronológica, mas influenciado por diversos fatores e, sobretudo que entenda esse
fenômeno como uma grande conquista da humanidade, contudo, nem sempre vem
acompanhada de conquistas sociais.
Gráfico 5 - Contribuição do Programa no desenvolvimento de nova alternativa para vida
pós-carreira.
Foi possível identificar que o programa suscitou junto aos participantes o
desenvolvimento de novos projetos de vida, inclusive junto àqueles que já possuíam
algum tipo de ideia/plano antes mesmo de sua participação no PPRA, conforme
apresentado no Gráfico 5. Em geral, os planos voltados à reinserção no mercado de
trabalho foram os que mais se destacaram. O retorno aos estudos, atividades voltadas
para o lazer e cultura, denotaram outra tendência resultante da contribuição do
programa, além de dedicação à família e trabalhos filantrópicos.
Embora não fosse objeto do estudo realizar uma avaliação de processo, foram
identificadas, nas respostas de alguns participantes, sugestões que apontam para a
importância acerca de certos aspectos que envolvem o Programa, tais como: a
necessidade de intensificar o nível de divulgação do programa, visando possibilitar a
participação de outros colegas; o desenvolvimento de estratégias que garantam a
participação dos interessados, uma vez que muitos ficam impossibilitados de participar
devido a falta de liberação por parte das chefias; a importância de aprofundamento de
alguns assuntos relacionados a questões de saúde, participação, legislação,
empreendedorismo, entre outros. Foi, ainda, destacada que a metodologia utilizada no
programa foi bastante significativa, uma vez que possibilitou aos participantes a troca
de experiência e expectativas, contribuindo para que pudessem compartilhar soluções
até então não vislumbradas.
306
Conclusões
Os resultados obtidos possibilitaram concluir que o programa se constitui como
um espaço privilegiado para a reflexão em torno dos diversos aspectos relacionados à
reserva/aposentadoria que podem trazer instabilidades e assim interferir na qualidade de
vida. A tomada de consciência constituiu-se como aspecto preponderante para o
planejamento de projetos mais realistas, bem como as competências necessárias a sua
implementação. A metodologia utilizada, apesar de não se constituir objeto do estudo,
foi apontada como um ponto positivo para possibilitar a tomada de consciência sobre as
questões que envolvem este momento permeado por sentimentos contraditórios,
próprios de momentos de transição.
Apesar dos sujeitos do estudo não possuírem um conceito estereotipado do
envelhecimento, foi recorrente entre as respostas apresentadas a contribuição do
Programa para melhor entender este fenômeno e desconstruir a imagem do velho ligado
à inutilidade, incapacidade e doença. Entender o envelhecimento enquanto fenômeno
socialmente construído a partir das múltiplas dimensões contribui para a incorporação
de atitudes e comportamentos que favoreçam a longevidade com qualidade vida, que
entendam seu papel nesse processo, e se reconheçam como indivíduos capazes de fazer
novas escolhas que tenham sentido nesta nova etapa da vida.
307
Referências
AGUIAR, M. G. G.; NASCIMENTO, M. A. Alves do. Saúde, doença e
envelhecimento: representações sociais de um grupo de idosos da Universidade Aberta à
Terceira Idade (UATI) – Feira de Santana-BA. Textos Envelhecimento, Rio de
Janeiro, v. 8, n .3, 2005. Disponível em: <www.unati.uerj.br/tse/scielo.php?...sci...>.
Acesso em: 30 jun. 2010.
ALMEIDA, V. F. S. M. Avaliação do programa de preparação para a reserva e
aposentadoria do Comando da Aeronáutica. 2011. 100 f. Dissertação (Mestrado
Profissional em Avaliação) – Programa de Pós-Graduação em Avaliação. Fundação
Cesgranrio, Rio de Janeiro, 2011.
ANTUNES, R. Adeus o trabalho?: ensaio sobre as metamorfoses e a centralidade do
mundo do trabalho. 2. ed. São Paulo: Cortez, 2010.
COSTA, A. B.; SOARES, D. H. P. Orientação psicológica para a aposentadoria. Rev.
Psicol., Organ. Trab., Florianópolis, v. 9, n. 2, p. 97-108. dez. 2009. Disponível em:
<http://pepsic.bvsalud.org/scielo.php?pid=S1984-66572009000200009&script=sci
_arttext>. Acesso em: 12 ago. 2010.
GOLDFARB, D. C.; LOPES, R. G. da C. Avosidade: a família e a transmissão psíquica
entre gerações. In: FREITAS, E. V. de et al. Tratado de geriatria e gerontologia. 2. ed.
Rio de Janeiro: Guanabra Koogan, 2006.
GOLDMAN, S. N. Ações do assistente social na política do idoso: desafios colocados
ao profissional. Rio de Janeiro, 2002. Mimeografado.
IBGE. Síntese de indicadores sociais: uma análise das condições de vida da população
brasileira. Rio de Janeiro: IBGE, 2010. Disponível em:
<http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/indicadoresminim
os/sinteseindicsociais2010/SIS_2010.pdf>. Acesso em: 10 maio 2010.
MAGALHÃES, D. N. A invenção social da velhice. Rio de Janeiro: Ed. do Autor, 1987.
PACHECO, J. L.; CARLOS, S. A. Relações do homem com o trabalho e processo de
aposentadoria. In: FREITAS, E. V. de et al. Tratado de geriatria e gerontologia. 2. ed.
Rio de Janeiro: Guanabra Koogan, 2006.
SILVA, H. B. da. Preparação para a aposentadoria: lições de ensinar e aprender
fazendo. Serra, ES: Cia Siderúrgica de Tubarão, 2006.
WORLD HEALTH ORGANIZATION. Envelhecimento ativo: uma política de saúde.
Tradução de Suzana Gontijo. Brasília, DF: Organização Pan-Americana de Saúde,
2005.
concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Gente, 2004.
308
ZANELLI, J. C.; SILVA, N.; SOARES, D. H. P. Orientação para aposentadoria nas
organizações de trabalho: construção de projetos para o pós-carreira. Porto Alegre:
Artmed, 2010.
309
AVALIAÇÃO E MONITORAMENTO DE INDICADORES DE DIREITOS
HUMANOS: aspectos teóricos e metodológicos
Marcelo Simas
IUPERJ
Ronald Vizzoni Garcia
IUPERJ
Resumo
O artigo constata a proeminência que as políticas públicas relacionadas com direitos
humanos vêm adquirindo nas últimas décadas. O debate teórico e metodológico sobre a
avaliação e monitoramento de dados ganha crescente destaque. A literatura sobre a
construção de indicadores é rica e diversa. Opta-se por metodologias que privilegiem
não só resultados atingidos, mas discutem processos e o empoderamento de atores
sociais. A questão da assimetria de poder deve ser parte das discussões sobre política
pública.
Palavras-chave: Direitos Humanos, Indicadores, políticas públicas, monitoramento.
Introdução
As polêmicas acadêmicas em torno dos direitos humanos, a partir do fim da
segunda guerra mundial, foram muito marcadas pelas controvérsias sobre sua
universalidade ou não destes. O contexto da Guerra Fria e a bipolarização favoreceram
posturas de recusa ou aceitação formal destes, conforme as conveniências das disputas
ideológicas entre bloco capitalista e socialista. Nessas décadas, pouco se caminhou em
direção a mecanismos institucionais e políticos de avaliação e monitoramento das
práticas sociais destinadas a sua efetividade.
As experiências como: o Holocausto, o Apartheid, o Gulac, as atrocidades
cometidas por regimes ditatoriais da América Latina, os massacres na África, na Bósnia,
dentre tantos outros massacres de populações e grupos étnicos em conflitos civis e
militares pelo globo terrestre, põem em evidência as limitações dos estados-nacionais e
mesmo dos organismos internacionais em evitar tragédias humanitárias. Com o avanço
dos processos de instituição de sistemas internacionais e regionais de proteção aos
direitos humanos, os debates em torno das práticas de direitos humanos confluem no
sentido de se perguntar: que políticas públicas, em cada contexto, são realmente
efetivas? Como transformar princípios contidos em tratados e normas em ações de
governos e das sociedades?
Com a Conferência Mundial de Direitos Humanos - Viena, 1993, coloca-se
como meta a elaboração de planos de direitos humanos pelos países participantes. O
310
Brasil tem proeminente papel nessa conferência e seus desdobramentos. Desde então,
mesmo com a troca de governos, adotou-se uma trajetória ascendente de
institucionalização da Secretaria de Direitos Humanos47; depois de onze conferências
nacionais (amparadas pela capilaridade de: inúmeros eventos, campanhas e instituições
governamentais ou não – relacionados com os direitos humanos) chegou-se ao nosso
Terceiro Programa Nacional de Direitos Humanos. O mesmo documento em seu “Eixo
Orientador I” (“Interação democrática entre Estado e sociedade civil”), por meio de sua
terceira diretriz, dividida em dois objetivos estratégicos, traduz bem a preocupação com
o monitoramento e avaliação de políticas públicas de direitos humanos:
Diretriz 3: Integração e ampliação dos sistemas de informação em
Direitos Humanos e construção de mecanismos de avaliação e
monitoramento de sua efetivação.
Objetivo estratégico I: Desenvolvimento de mecanismos de controle
social das políticas públicas de Direitos Humanos, garantindo o
monitoramento e a transparência das ações governamentais.
Objetivo estratégico II: Monitoramento dos compromissos
internacionais assumidos pelo Estado brasileiro em matéria de
Direitos Humanos. (BRASIL, 2010).
Busca-se nesse artigo, oferecer algumas considerações sobre o ponto de vista
teórico e metodológico, que contribuam para o debate em torno da construção de um
sistema de informação em direitos humanos. Um sistema de informações em direitos
humanos é importante para um monitoramento metódico de políticas públicas. É
importante, que essa informação seja sistematizada para o usuário (comunidade
internacional, governos e sociedade), por meio da agregação dos dados disponíveis, de
forma constante e sistemática, na produção de indicadores sociais. Grande parte desse
trabalho é articular as bases de dados existentes, mas que não são organizadas e
apresentadas aos usuários relacionadas com a perspectiva dos objetivos e metas
referentes aos direitos humanos48.
47 Atualmente, vinculada a Presidência da República, com status de ministério.
48 É comum que se aponte três problemas nos dados disponíveis. Primeiro, estas informações não foram
concebidas com o enfoque em direitos humanos, por isso, ressalta-se a existência de lacunas
importantes a serem preenchidas, mas, elas apresentam consequências em direitos humanos, que
podem ser claramente reconhecidas. Segundo, se critica o baixo grau de integração e sistematização
das bases de dados disponíveis, em termos de oportunidades de informação perdidas. Terceiro,
ressalte-se que esta falta de sistematização dos registros administrativos apresenta um padrão, de fato,
comum em outros países. Os registros administrativos ligados aos direitos econômicos, sociais e
culturais são melhor armazenados e disponibilizados do que os de direitos civis e políticos
(PONTUAL, 2009).
311
Na literatura especializada sobre a construção de indicadores é um consenso a
adoção das normas legais, expressas nas principais normativas internacionais e
nacionais, como norte intelectual para as definições de objetivos e metas, que devem ser
traduzidos em conceitos a serem empregados do sistema de indicadores (FELNER,
2009; GREEN, 2001; JANNUZZI, 2011;
MALHOTRA, NATALINO, 2009;
PATARRA, 2009; United Nations, 2007; OEA, 2008). No caso brasileiro, essa junção
entre princípios dos direitos humanos e normas internacionais (ratificadas pelo Brasil)
com o ordenamento jurídico nacional é indefectível, a partir da constituição de 1988:
A Constituição de 1988 acolhe a ideia da universalidade dos Direitos
Humanos, na medida em que consagra o valor da dignidade humana,
como princípio fundamental do constitucionalismo inaugurado em
1988. O texto constitucional ainda realça que os Direitos Humanos
são tema de legítimo interesse da comunidade internacional, ao
ineditamente prever, dentre os princípios a reger o Brasil nas relações
internacionais, o princípio da prevalência dos Direitos Humanos.
Trata-se, ademais, da primeira Constituição brasileira a incluir os
direitos internacionais no elenco dos direitos constitucionalmente
garantidos, conferindo aos tratados de proteção de Direitos Humanos
o privilegiado status de norma constitucional, nos termos do artigo 5º,
parágrafos 2º e 3º do texto. Quanto à indivisibilidade dos Direitos
Humanos, há de se enfatizar que a Carta de 1988 é a primeira
Constituição que integra ao elenco dos direitos fundamentais os
direitos sociais e econômicos, que nas Cartas anteriores restavam
pulverizados no capítulo pertinente à ordem econômica e social
(PIOVESAN, 2010, p. 14).
Do ponto de vista da tecnologia tradicional de construção de indicadores, os
tratados são a “teoria” que se persegue. Teoria, neste caso, se refere ao elemento
conceitual que pretendemos medir com uma pesquisa empírica. Neste sentido,
separamos a ordem de preocupações teóricas, ou conceituais, da ordem de preocupações
empíricas49. Ela, neste sentido, implica em uma primeira dimensão de estruturação do
sistema, que poderíamos chamar de temática. Como a normativa de direitos humanos é
ela própria temática, abrangendo direitos variados, o sistema deve ser estruturado por
temas, ou direitos.
49 “parece-nos que qualquer relatório, indicador ou sistema de indicadores que não pretenda entrar
no extenso rol de virtuosismos matemáticos com pouca aplicação prática que preenchem artigos,
notas técnicas e teses acadêmicas mundo afora – ou seja, qualquer sistema de indicadores que vise à
perenidade e à utilidade – deve partir de uma estreita relação entre sólida base teórica, competente
operacionalização por meio de dados passíveis de serem obtidos com regularidade e uma
estratégia de produção de relatórios analíticos que aprofundem os dados obtidos” (NATALINO,
2009, p. 35).
312
Deve-se ressaltar, no entanto, que esta teoria tem uma característica muito
especial, advinda do seu processo de formação, que é legislativo. De um modo geral, a
deliberação legislativa se caracteriza pela acomodação de interesses e perspectivas
conflitantes. Esta origem legislativa apresenta um desafio comum às propostas de
sistemas de direitos humanos das organizações em epígrafe. Enquanto uma teoria
científica que fundamente um sistema de indicadores pretenda ser elegante, no sentido
de econômica, e lógica, a base legal dos sistemas de indicadores de direitos humanos
tende a ser abrangente, detalhada e, potencialmente, conflitante. A consequência
importante é que os sistemas de indicadores de direitos humanos se tornam maiores e
mais detalhados, o que se evitaria na tecnologia tradicional de sistemas de indicadores.
A literatura sugere que dentro do escopo de cada direito se identifiquem
atributos mais detalhados. A identificação de atributos, no entanto, não encerra a
definição dos indicadores, uma vez que categorias amplas como “saúde e nutrição” ou
“privação arbitrária da vida” precisam ser especificadas ainda mais para a definição de
um indicador estatístico operacional. Recomenda-se, de um modo mais geral, a se ater
atenção à discriminação de atributos claramente separados dentro de cada direito, com
seus indicadores específicos. Isto permitirá tanto a melhor operação gerencial do
sistema para finalidades de políticas públicas, quanto sua melhor qualidade estatística.
Além disso, atributos que sejam separados neste momento podem ser agregados a
qualquer momento no futuro.
Processos e Resultados
No senso comum o sucesso de uma política pública se mensura por um foco
exclusivo em resultados obtidos. A efetivação de políticas públicas de direitos humanos,
contudo, não se preocupam apenas com os objetivos alcançados, mas, apresentam um
interesse crucial no processo de atendimento aos direitos dos cidadãos. Acrescenta-se
uma ênfase na correção de assimetrias. Resumindo, o processo é tão importante, quanto
os objetivos mais gerais da agenda de direitos humanos.
A ONU e a OEA consideram que a tipologia “estrutura-processo-resultado”
permite compreender de forma mais acurada a natureza da ação estatal. Estrutura se
refere ao aparato legal e institucional de um país para dar seguimento aos princípios
assinados em tratado. Processo está ligado à implementação específica das atividades do
Estado. E resultado, é quase auto-explicativo, desvelando os impactos sociais em última
instância da ação Estatal. Sugere-se que os indicadores estruturais denotam o
313
compromisso do Estado com a agenda de direitos humanos ao incluir os parâmetros
consagrados nos tratados internacionais em sua estrutura de funcionamento. Enquanto
os indicadores de processo indicam o esforço do Estado para cumprir estes mesmos
compromissos.
É possível fazer uma cadeia causal entre as decisões estruturais refletidas no
aparato legal e institucional, o esforço consolidado nos processos de provisão de
serviços e os resultados finais obtidos pela política pública. No entanto, este relato
causal é em grande medida teórico, pois, na realidade concreta este percurso é mediado
pelas diversas dimensões dos processos político, administrativo e social, além do
contexto internacional, tornando esta relação menos direta do que se espera. Neste
sentido, é difícil, do ponto de vista empírico, atribuir causalidade a um resultado
específico aos processos e leis que procuram alcançá-lo.
A responsabilização positiva ou negativa de um governo específico em um
determinado ano de relatório pelos resultados obtidos em uma determinada dimensão de
direito pode ser injusta e conflituosa. Os resultados finais dependem de muitos
elementos fora do controle de um governo em processos sociais de largo escopo e longa
duração.
el retroceso de los indicadores de resultados puede deberse a
circunstancias no atribuibles a la acción del Estado, mientras que su
mejora puede deberse a razones fortuitas. Esto requiere, entonces,
poner énfasis en los indicadores de proceso (OEA 2008, p. 18).
Sugere-se que a avaliação de resultados seja feito em prazos mais longos e
através de diálogos mais ponderados e inclusivos dos diversos segmentos sociais. A
implementação de políticas públicas é compreendida como um processo de
aprendizado, para superar situações sociais normalmente pouco conhecidas e que muitas
vezes se deparam com circunstâncias não previstas ou resultados não antecipados. A
avaliação e construção de metas de resultados devem levar em conta a natureza
incrementalista da evolução dos resultados das políticas públicas (MAJONE;
WIDALVSKY, 1978).
Política Pública e Evidência
A abordagem baseada em direitos humanos modifica fundamentalmente o papel
das relações de poder na intervenção social. Os beneficiários são empoderados como
receptores de direitos, que tem a capacidade legitima de demandar daqueles atores que
314
são considerados devedores de obrigações, principalmente o Estado, mas também,
atores não estatais. A importância da participação como dimensão transversal de um
sistema de indicadores em direitos humanos está no estabelecimento de condições para
que este sistema, de fato, para além das intenções e princípios expressos nos tratados de
direitos humanos, possa ter impacto nas políticas públicas e, mais amplamente, no
comportamento da sociedade.
É necessário expandir a capacidade de demanda dos cidadãos, construindo
mecanismos de oferecimento de sugestões, reclamações e contribuições, além do
estabelecimento de canais de diálogo e demanda através de entidades representativas da
sociedade civil. A participação é complementar a igualdade, na medida em que apenas
através da participação de todos é possível garantir que a voz dos excluídos esteja
presente na formulação do sistema de indicadores de direitos humanos e das políticas
públicas que lhe dão seguimento, de forma a reduzir as assimetrias entre os diversos
grupos sociais.
As
dimensões
de
transparência,
inclusividade,
empoderamento,
não-
discriminação são articuladoras de um sistema público de indicadores de direitos
humanos igualitário e participativo. A construção de um sistema de indicadores é, em si
mesma, um ato de transparência e responsividade, em que o Estado dá visibilidade a
situação social nacional, muitas vezes revelando de forma contundente condições
sociais indesejáveis.
Através da formulação de um sistema desta natureza o Estado se expõe à
sociedade, como primeiro passo para a formulação de estratégias e metas de superação
social, em consonância com os objetivos da Conferência de Viena. É claro que o
sistema só será eficaz na promoção da agenda de direitos humanos se for tornado
propriedade dos grupos sociais que reivindicam seus direitos ao próprio Estado.
Podemos dizer que o sistema nacional de indicadores em direitos humanos é
mais um evento de um movimento mais geral do Estado brasileiro de maior
transparência e participação social na condução das políticas públicas. Ele se coaduna
com diversas outras iniciativas em curso no país, como o lançamento do Portal da
Transparência pela Controladoria Geral da União (http://www.transparencia.gov.br/), a
votação de uma nova Lei de Acesso à Informação, a convocação da 1ª Conferência
Nacional sobre Transparência e Controle Social, além da criação e consolidação de
conselhos e esferas participativas em diversos locais do Estado brasileiro. A
participação de todos na formulação, uso e avaliação do sistema aumenta a
315
possibilidade de gerar políticas públicas não-discriminatórias, a partir de uma avaliação
mais equilibrada da situação presente.
Deve-se ressaltar, de forma mais técnica, que qualquer sistema de indicadores
para ser eficaz deve ser produzido tendo em vista o uso específico por uma clientela
definida (SCOTT, 2005; 2007; SACHS, 2005). Apesar do sistema de indicadores de
direitos humanos ser produzido pelo Estado através de agências oficiais e oriente o
Estado na produção de políticas públicas, ele só será bem sucedido se for capaz de
engajar a sociedade civil em um processo de diálogo e compromisso.
A sociedade civil, neste sentido, é o “cliente final” do sistema de indicadores em
direitos humanos. Ela deve ser capaz de se reconhecer no sistema, de forma a utilizá-lo
na articulação de suas demandas e na avaliação do progresso das diversas situações
sociais de seu interesse. A participação da sociedade civil no sistema traz credibilidade
ao retrato social elaborado pelo sistema de indicadores e, ao mesmo tempo, reduz a
polarização política, uma vez que se abre uma arena em que a avaliação da situação
social presente é feita de forma aberta. Este retrato social compartilhado é base para o
planejamento e negociação nas diferentes instâncias de participação direta e eleitoral.
Destaque-se que um sistema de indicadores amplo e participativo enfatiza a
perspectiva de Estado na superação de carestias sociais, em oposição à perspectiva de
Governo. Os indicadores estatísticos ressaltam a longevidade dos desafios sociais que o
Estado enfrenta, que vem de muitos governos no passado e serão superados através do
concurso dos governos presente e futuros.
A inclusão das relações de poder no processo de decisão pode causar estranheza
em um primeiro momento. Na medida em que os agentes públicos e privados costumam
ser ciosos de seus recursos de poder e posições de prestígio. Na verdade, já foi
identificado na literatura de ciência política que na análise e avaliação de políticas
públicas muitas vezes há muito pouca política. Neste sentido, por muito tempo a análise
de políticas públicas se baseou em um modelo racional em fases, decisão,
implementação e avaliação, que era poluído ou confundido pela realidade prática da
política, em que as fases se sobrepunham ou invertiam e que o processo da interação
política conduzia à decisões subótimas do ponto de vista racional. Impôs-se a questão:
ótima para quem sob que concepção de racionalidade? Neste sentido, uma literatura
significativa vem procurando compreender como as dinâmicas políticas interferem e
modificam as políticas públicas de forma produtiva. É a política que constrói a
316
perspectiva do que deve ser alcançado, qual o interesse comum, e os meios adequados e
legítimos para fazê-lo.
Unfortunately, much of the literature about public policy proceeds
from the idea that policy making in practice deviates from some
hypothetical standards of good policy making, and that there is thus
something fundamentally wrong with politics. In creating an
alternative model of political analysis, I start from the belief that
politics is a creative and valuable feature of social existence. (STONE
1997, p. 8).
A questão de fundo neste debate, que a abordagem de direitos humanos traz a
nu, é que as relações de poder e as divergências de concepção com relação ao bem
coletivo vão sempre estar presentes na realização de políticas públicas. Seja este fato
reconhecido ou não. A abordagem tradicional de políticas públicas define pacotes de
intervenção, elaborados de maneira mais ou menos fixas, que eram simplesmente
aplicados, a partir de uma decisão central, com algum grau de consulta à comunidade
local. Não é surpresa que muitas vezes estes pacotes sejam vistos com ceticismo pela
comunidade de participantes ou que sejam criticados ao seu final. A política não é
desenhada para atender as reais necessidades e interesses da comunidade ou a estratégia
de implementação pode não ser considerada legítima pela comunidade. Não permitir a
explicitação das divergências desde o início do projeto, simplesmente adia as críticas
para o seu final. O que gera o clima de tensão e distanciamento típico das políticas
públicas tradicionais.
A aposta na explicitação das divergências é trazer a crítica para o início do
projeto, de forma a que ao final todos os participantes do Estado ou da comunidade se
sintam “proprietários” e “responsivos” pelo resultado alcançado. De outro lado, os
membros da comunidade são tomados como participantes, que tem direitos e
responsabilidades pelo sucesso da intervenção, e não seus beneficiários passivos, que
apresentam necessidades e esperam a concessão de serviços.
Sempre haverá divergências, não se espera encontrar o consenso com qualquer
forma de gestão de intervenções sociais, mas, as divergências podem ser tratadas em um
clima de maior proximidade e confiança mútua. Esta forma de condução política do
projeto abre um diálogo mais direto com os agentes Estatais, que muitas vezes é
referido na abordagem de direitos humanos como um “canal de voz e resposta”.
É claro que a mudança de relações de poder nunca é incontroversa. A promessa
da abordagem de direitos humanos é compreender a mudança de poder também como
317
uma mudança de responsabilidades. Neste sentido, ceder poder se apresenta como uma
estratégia para cada ator incrementar a capacidade de realizar as suas obrigações. Para
administradores públicos e políticos eleitos, responsivos pelos seus resultados, partilhar
poder reduz também sua exposição no caso de falhas de implementação ou no alcance
de resultados. Os cidadãos participantes do projeto, não sendo seus beneficiários
passivos, partilham a responsividade pelos resultados.
Neste espaço é mais fácil a negociação de expectativas e de obrigações formais
de todas as partes. Os participantes ganham poder de intervenção no projeto ao mesmo
tempo em que se comprometem com determinadas responsabilidades. Os agentes
públicos partilham poder de decisão, mas também, responsabilidades sobre a execução
do projeto e os resultados alcançados. Este canal de diálogo funciona em grande medida
como um sistema de mediação e prevenção de conflito, ao invés de negá-lo, o que só o
torna imprevisível.
A participação em projetos tradicionais normalmente toma a forma de
“consulta” das “necessidades” e participação em atividades do projeto, além do
recebimento de serviços, mas, não costuma incluir os participantes do projeto na sua
formatação e no monitoramento e avaliação dos resultados. A abordagem de direitos
humanos, por se basear na realização de direitos, abre a discussão das relações de poder
e responsividade. A despeito das divergências comuns na definição do interesse
coletivo, o espaço aberto enfatiza um procedimento legítimo de decisão, que permite
alcançar uma visão mais partilhada entre participantes e agentes públicos sobre o
resultado a ser alcançado, a estratégia para alcançá-lo e a avaliação de seu alcance.
318
Referências
BRASIL. Programa Nacional em Direitos Humanos III: Secretaria Especial de Direitos
Humanos da Presidência da República. ed rev. Brasília: SEDH/PR, 2010.
FELNER, E. Closing the ‘escape hatch’: a toolkit to monitor the progressive realization
of economic, social and cultural rights. Journal of Human Rights Practice, [S.l.], v. I, n.
3, 2009.
GREEN, M. What we talk about when we talk about indicators: current approaches to
human rights measurement. Human Rights Quarterly, [S. l.] v. 23, 2001.
JANNUZZI, P. de M. Monitoramento Analítico como Ferramenta para Aprimoramento
da Gestão de Programas Sociais. Revista Brasileira de Monitoramento e Avaliação,
[S.l.], v. 1, p. 38-67, 2011.
MAJONE, G.; WIDALVSKY, A. Implementation as Evolution. In:
THEODOLOULOUS, S. Z.; CAHN, M. A. Public Policy: the essencial readings. New
Jesersey: Pretice Hall, 1978.
MALHOTRA, R.; FASEL, N. Quantitative Human Rights Indicators: a Survey of major
initiatives. Human Rights: impact resource centre, Suécia, p. 1-36, 2005. Disponível
em: <http://www.humanrightsimpact.org/resourcedatabase/publications/resources/view/100/user_hria_publications/>. Acessado em: 10
jul. 2012.
NATALINO, M. A. C. Apontamentos sobre a criação de um Sistema Nacional De
Indicadores em Direitos Humanos. In: RODRIGUEZ, M. E.; PRADAL, F. F. (Orgs.).
Olhares sobre indicadores de Direitos Humanos. Rio de Janeiro: FASE, 2009. p. 27-39.
OEA. Lineamientos para la elaboracion de indicadores de progreso en materia de
derechos económicos, [S.l.]: Sociales y Culturales, 2008.
SCOTT, Christopher. Measuring up to the Measurement Problem: the role of statistics
in evidence based policy-making. Lodon: London School of Economics; Paris 21, 2005.
SCOTT, Christopher. National Strategies for the Development of Statistics: Some
Issues in Design and Implementation Planning. Lodon: London School of Economics;
Paris 21, 2007.
PATARRA, N. L. Contribuição a Um Debate: Diagnóstico e Monitoramento De
Direitos Humanos. In: RODRIGUEZ, M. E.; PRADAL, F. F. (Orgs.). Olhares sobre
indicadores de Direitos Humanos. Rio de Janeiro: FASE, 2009. p. 40-53.
PIOVESAN, F. A constitucionalidade do PNDH-3: Secretaria de Direitos Humanos da
Presidência da República. Direitos Humanos, Brasília, abr. 2010, p. 12-16.
PONTUAL, P. Informação Como Mecanismo de Garantia de Direitos: Planejando um
Sistema Nacional de Indicadores em Direitos Humanos. In: RODRIGUEZ, M. E.;
PRADAL, F. F. (Orgs.). Olhares Sobre Indicadores de Direitos Humanos. Rio de
janeiro: FASE, 2009. p. 54-61.
319
SACHS, J. D. Investing in development: a pratical plan to achieve the Millenium
Deveopment Goals. Lodon: EARTHSCAN; Millennium Project, 2005.
SACHS, J. D. Guidelines for UN Country Teams on Preparing a CCA and UNDAF.
Lodon: EARTHSCAN; Millennium Project, 2007.
SEGONE, M. Evidence-based Policy Making and the role of monitoring and evaluation
within the new aid environment. In: ______. Bridging the Gap: the role of monitoring
and evaluation in evidence-based policy making. New York: Unicef, 2008.
STONE, D. Policy Paradox: The art of political decision making. New York, W. W.
Norton Press, 1997.
320
AVALIAÇÃO DA PERCEPÇÃO DE PROFESSORES EM UM PROGRAMA
CORPORATIVO DE EDUCAÇÃO AMBIENTAL
José Lindomar Alves Lima
Resumo
Realizado na fase de concepção do Programa de Educação Ambiental da ThyssenKrupp
CSA Siderúrgica do Atlântico, este trabalho buscou avaliar a percepção de professores
sobre temas relacionados às questões socioambientais, antes de participarem da
capacitação sobre o tema a ser oferecido pelo referido programa. Neste sentido, é uma
Avaliação de Contexto como primeira etapa do modelo CIPP (STUFFLEBEAM, 1971
apud STUFFLEBEAM; SHINKFIELD, 1985) que precede etapas posteriores da
avaliação de insumo, processo e produto. A questão avaliativa norteadora do presente
estudo se refere à percepção do educador sobre a temática, em especial a Educação
Ambiental e como é utilizada no cotidiano escolar. A avaliação aponta que a grande
maioria dos participantes já ouviu falar da empresa, mas de forma indireta,
desconhecendo, assim, suas ações socioambientais. Os resultados revelaram ainda que
professores, de uma maneira geral, percebem a importância da Educação Ambiental e
demonstraram interesse em participar de atividades relacionadas à temática
socioambiental. Os educadores, em sua maioria, manifestaram desejo de formar parceria
entre escola e empresa, visando, principalmente, suporte técnico e pedagógico.
Palavras-chave: Avaliação de contexto. Modelo CIPP. Educação ambiental. Percepção
ambiental de professores/gestores.
1 Introdução
A Educação Ambiental desempenha um importante papel na mobilização e
estímulo para a tomada de consciência e atitude das pessoas em relação aos problemas
socioambientais locais e globais. Inserida como política publica por meio da Lei no
9.795 (BRASIL, 1999), a Educação Ambiental (EA) está presente em diversos setores
da sociedade e sua aplicação como instrumento de gestão se dá em caráter formal e não
formal.
Neste sentido, este trabalho é uma avaliação sobre como o educador percebe a
EA, assim como, de que maneira ela pode colaborar e orientar ações voltadas para a
resolução de problemas socioambientais no contexto escolar. O trabalho foi realizado
em 14 escolas públicas dos municípios do Rio de Janeiro e de Itaguaí e envolveu
educadores, potenciais públicos a serem beneficiados com a implantação do Programa
ThyssenKrupp CSA de Comunicação e Educação Ambiental (PROCEA).
321
2.1 Questão Avaliativa
Qual a percepção sobre educação ambiental segundo os participantes do
PROCEA?
De forma mais assertiva, a avaliação busca conhecer a percepção de professores
sobre Educação Ambiental e sua aplicabilidade no âmbito da escola.
2.2. Participantes
Participaram da avaliação 189 professores de escolas públicas municipais,
localizadas na área de influência da ThyssenKrupp CSA Siderúrgica do Atlântico, sendo
13 escolas localizadas no bairro de Santa Cruz, no Rio de Janeiro e 1 escola localizada
no bairro de Monte Serrat, no município de Itaguaí.
2.3. Abordagem da Avaliação
Como o propósito do estudo é dirigido a fase inicial do programa e tendo em
vista que se trata de uma trajetória com continuidade até seus resultados finais, optou-se
por uma abordagem avaliativa que pudesse contemplar os vários momentos do
programa.
Neste sentido, o modelo CIPP (Contexto, Insumo, Processo e Produto) foi
adotado no que tange à avaliação voltada para o Contexto. Este modelo ou abordagem
criado por Stufflebeam (1971 apud WORTHEN; SANDERS; FITZPATRICK, 2004) e
ampliado por Stufflebeam & Shinkfield (1985 apud WORTHEN; SANDERS;
FITZPATRICK, 2004), tem como característica principal orientar administradores ou
gestores na tomada de decisões. Cada componente deste modelo de abordagem tem a
sua finalidade específica com relação a tais decisões.
A presente avaliação é, portanto, uma avaliação de contexto e, à luz do modelo
CIPP, busca entender e julgar a percepção dos educadores sobre EA para relacioná-la
com as decisões gerenciais, estimulando a construção de novos conhecimentos sobre o
tema e sua aplicabilidade no cotidiano da escola.
Em sintonia com a questão avaliativa, duas dimensões emergiram da
experiência junto a interessados na implantação do PROCEA, incluindo gestores,
técnicos das secretarias e professores. Tais dimensões nortearam o que se buscou
examinar para responder a questão avaliativa e são as seguintes:
 Meio Ambiente e Proteção Ambiental
322
 A Educação Ambiental no contexto escolar
2.3. Procedimentos e Instrumentos de Coleta
A aplicação foi previamente agendada com os diretores das 14 escolas e ocorreu
em um período de dez dias. O tempo médio de preenchimento dos questionários pelos
participantes foi de aproximadamente 30 minutos. Os questionários foram aplicados
para grupos de no máximo 20 pessoas e respondidos individualmente na presença da
equipe técnica sob a responsabilidade deste autor. Para responder a questão avaliativa
norteadora deste estudo considerando as dimensões antes mencionadas, foram adotados
procedimentos de coleta de informações no contato direto com 189 professores de 14
escolas participantes do PROCEA. Os professores representam 60% do efetivo de 316
professores. Esta coleta foi realizada em um período de 10 dias por meio da amostragem
aleatória simples e foram previamente agendadas com os diretores e coordenadores das
14 escolas. Foi incluída no questionário uma parte inicial com itens de identificação
para se obter um perfil dos respondentes.
3. Resultados
3.1 Perfil dos Participantes
O grupo denominado Professores é formado por 189 professores que trabalham
nas 14 escolas referidas. Com relação ao tempo de serviço, 25% dos professores
possuem mais de 15 anos de serviço, cerca de 50% possuem entre 6 e 15 anos de tempo
de serviço e 24% dos possuem menos de 5 anos de serviço. (Gráfico 1)
Gráfico 1 – Distribuição percentual do tempo de serviço dos professores.
Fonte: O autor (2010).
Com relação à formação escolar dos participantes, definiu-se como nível médio
todos aqueles que tinham nível médio completo e/ou que estavam no nível superior
323
cursando ou trancado; e como nível superior e pós-graduação foram considerados
apenas os que já haviam concluído.
O grupo de professores possui 49% com curso superior, 25% pós-graduados e
26% possuem apenas o nível médio.
Gráfico 2 – Formação escolar de professores.
Com relação à idade dos participantes, o grupo é experiente com 47% dos
professores com idade acima dos 40 anos e 37% com idade entre 30 e 39 anos, com
apenas 16% com idade entre 20 e 29 anos. (Gráfico 3).
Gráfico 3– Distribuição percentual da faixa etária.
Em relação ao gênero, o grupo de professores é formado predominantemente por
mulheres, conforme gráficos abaixo:
324
Gráfico 4 – Distribuição percentual do sexo.
3.2. A Percepção de Professores
São apresentamos a seguir segundo cada dimensão, os resultados sobre a
percepção dos participantes em relação ao meio ambiente e educação ambiental.
3.2.1. Dimensão 1: Percepção sobre meio ambiente e proteção ambiental
Nos itens desta dimensão buscou-se conhecer como os professores
compreendem o meio ambiente, bem como identificar o grau de importância que dão a
este tema e a quem atribuem a responsabilidade pela proteção ambiental. No primeiro
item foi solicitado que os participantes definissem, a partir de alternativas apresentadas,
o que é meio ambiente. Para 63% dos professores meio ambiente é “o conjunto formado
pelos elementos da natureza e os seres humanos” e para 29% meio ambiente é “o
conjunto formado pelos elementos da natureza: água, ar, solo, animais e plantas”.
Gráfico 5- Em sua opinião meio ambiente é: .
325
No segundo item, foi solicitado aos participantes que fizessem associações do
tema meio ambiente. Para os professores, meio ambiente está associado principalmente
a “qualidade de vida do planeta”, tendo sido esta a opção mencionada em 72% das
respostas, seguida pela “harmonia do ser humano com a natureza” com 61% e fauna e
flora, com 43%. Para 33% dos professores o tema também está relacionado “A higiene,
saneamento e saúde”. Outros 30% apontam “A degradação ambiental, poluição, etc.” e
apenas 23% associa meio ambiente “Às relações humanas”
Gráfico 6 - E está relacionado a: .
O item seguinte buscou conhecer a importância atribuída pelos professores à
proteção do meio ambiente. Para 55% dos professores é importante proteger o meio
ambiente “para garantir a sobrevivência desta e das futuras gerações” e para outros 42%
dos participantes, é importante proteger o meio ambiente “por respeito a todas as formas
de vida do planeta”.
Gráfico 7 - Para você, porque é importante proteger o meio ambiente? .
326
O item seguinte buscou conhecer a quem os participantes atribuem a
responsabilidade pela proteção do meio ambiente. Conforme Gráfico 8, para a quase
totalidade dos professores (92%), a responsabilidade pela proteção do meio ambiente é
“de todos”, incluindo o governo, a iniciativa privada, as organizações não
governamentais e a sociedade como um todo.
Gráfico 8 - De quem é a responsabilidade pela proteção do meio ambiente?.
3.2.1.1. Interpretação da Dimensão 1
Para os professores (mais de 60%), o meio ambiente é o conjunto formado pelos
elementos da natureza e pelos seres humanos, indicando a existência de um alinhamento
conceitual e de uma visão integradora por parte dos participantes. Por outro lado, 29%
dos professores demonstram uma visão naturalista do meio ambiente, visto por eles
como “o conjunto formado pelos elementos da natureza: água, ar, solo, animais e
plantas”. De fato, em 43% das respostas dadas pelos professores citou-se que o meio
ambiente está associado à “fauna e flora do planeta”.
Na visão dos professores meio ambiente está relacionado à qualidade de vida do
planeta (72% das respostas) e 92% dos professores a proteção do meio ambiente é de
responsabilidade de todos e visa, em primeiro lugar, garantir a sobrevivência desta e das
futuras gerações (60%), e em segundo, por respeito a todas as formas de vida do planeta
(40%), indicando uma visão consciente sobre o papel e a responsabilidade de todos os
cidadãos.
3.2.2. Dimensão 2: Percepções sobre educação ambiental no contexto escolar
Questionados se Educação Ambiental no Brasil é lei, 65% dos professores não
souberam responder esta questão, conforme ilustra o Gráfico 9.
327
Gráfico 9 - Educação Ambiental no Brasil é uma Lei?.
Sobre o papel que as escolas devem desempenhar em relação à EA, as
respostas mais recorrentes, de acordo com o Gráfico 26, foram “a formação de cidadãos
conscientes (86%), “a difusão de conceitos e valores que despertem nos alunos,
professores e funcionários a responsabilidade pela qualidade ambiental das cidades onde
vivem” (79%) e “o estímulo ao processo de mobilização da comunidade escolar” (45%).
Gráfico 10 - Qual o papel que as escolas devem desempenhar em relação à educação ambiental?
Percebe-se, pelo Gráfico 11, que a EA é trabalhada de forma diversificada
pelas escolas, estando presente nos projetos interdisciplinares, abrangendo a
comunidade interna e externa (58%) nas disciplinas como conteúdo (43%), envolvendo
a comunidade do entorno (32%) e como eixo central do projeto político pedagógico
(28%).
328
Gráfico 11 - Como a sua escola trabalha a Educação Ambiental?
Quando desenvolvem ações de EA, as escolas buscam, na opinião de 80% dos
professores, “ter um nível de influência/ intervenção na comunidade buscando uma
melhoria na qualidade de vida”, seguido de “criar uma estratégia de envolvimento dos
alunos nos projetos”, na opinião de 55% dos professores, conforme nos revela o Gráfico
12.
Gráfico 12 - O que a sua escola busca com as ações de Educação Ambiental?
Com relação ao modo como são avaliadas as ações e projetos de Educação
Ambiental na escola, o Gráfico 13, mostra as alternativas de respostas que mais se
destacaram afirmam que os projetos são avaliados “por meio da mudança de hábitos e
atitudes dos envolvidos” (68%) e “por meio da avaliação do alcance dos objetivos/
metas definidas durante o planejamento das ações” (52%).
329
Para os professores, a mudança de hábitos e de atitude dos envolvidos nas ações
e projetos de EA é apontada como critério de avaliação (68%), seguido do alcance de
objetivos e metas (52%) e por meio da renovação das práticas pedagógicas (40%).
Gráfico 13 - Como são avaliadas as ações e projetos de Educação Ambiental desenvolvidos na
escola?.
Para desenvolver ou ampliar as ações de EA na escola, 39% dos professores
desejariam participar de atividades de intercâmbio para o compartilhamento de
experiências e aprendizados; 32% gostariam de contar com materiais de apoio e 26%
participariam de cursos e palestras sobre a temática ambiental, é o que revela o Gráfico
14.
Gráfico 14 - Para desenvolver ou ampliar as ações de EA na escola, você desejaria contar com:
330
A grande maioria dos professores (88%) mostrou-se interessada em participar
de atividades de formação e/ou atualização em EA, conforme demonstrado no Gráfico
15.
Gráfico 15 - Caso houvesse oportunidade, você gostaria de participar de alguma atividade de
formação e/ou atualização em EA?
Quando questionados sobre os temas que gostariam que fossem abordados nas
atividades de formação e/ou atualização em educação ambiental, a opção mais
recorrente foi “cidadania e meio ambiente” (54%), seguida de “Gestão e conservação
dos recursos naturais” (40%) e Desenvolvimento Sustentável (33%), conforme ilustra o
Gráfico 16.
Gráfico 16 - Que temas você gostaria que fossem abordados nestas atividades de EA.
3.2.3. Interpretação Dimensão 2
Na visão da maioria dos participantes (90%), o papel da EA é “Difundir
conceitos e valores que despertem nos alunos, professores e funcionários a
responsabilidade pela qualidade ambiental das cidades onde vivem”, reforçando o papel
da escola na formação de uma cidadania preocupada com a qualidade de vida. Com
331
relação à existência de uma legislação específica sobre a EA, a maioria dos professores
(65%) não possui conhecimento sobre o assunto.
Na visão da maioria dos professores, é papel das escolas “a formação de
cidadãos conscientes” ( 86%), bem como “a difusão de conceitos e valores que
despertem nos alunos, professores e funcionários a responsabilidade pela qualidade
ambiental das cidades onde vivem” (79%).
De acordo com a maioria das respostas dos professores (58%), as escolas
desenvolvem a EA por meio de projetos interdisciplinares abrangendo toda a
comunidade escolar, reforçando o caráter interdisciplinar da EA. Verificou-se, em
aproximadamente 80% das respostas, que os temas das ações de EA são escolhidos com
frequência a partir de sugestões dos professores e, principalmente, a partir dos
problemas existentes na escola e na comunidade.
A maioria dos professores (80%) busca “ter um nível de influência/ intervenção
na comunidade visando melhorar a qualidade de vida na região, por meio das ações de
educação ambiental”. As ações e os projetos de educação ambiental são avaliados por
meio da mudança de hábitos e atitudes (68%), bem como por meio do alcance dos
objetivos e metas previamente planejadas (52%).
A maioria dos professores mencionou a importância da “gestão participativa”
(80%), dos recursos (50%), da continuidade dos projetos (46%) e das práticas
inovadoras e transformadoras (42%) para o sucesso das ações e projetos de EA. Para
desenvolver ou ampliar as ações de EA na escola, 39% dos professores desejariam
participar de atividades de intercâmbio para o compartilhamento de experiências e
aprendizados; 32% gostariam de contar com materiais de apoio e 26% participariam de
cursos e palestras sobre a temática ambiental.
A maioria dos participantes (90%) mostrou-se bastante receptiva para participar
de atividades de formação e atualização em educação ambiental. Na opinião da maioria
dos participantes, as atividades de formação e atualização deveriam estar voltadas para
os temas “Cidadania e meio ambientes” (54%), Gestão e conservação dos recursos
naturais (40%) e “Desenvolvimento Sustentável” (33%).
3 Conclusões e Recomendações
Os resultados apresentados na Avaliação de Percepção Ambiental representam
um conjunto de informações que podem auxiliar a definição dos objetivos, a estrutura
do programa e o desenvolvimento das ações propostas pertinentes.
332
Os professores, de um modo geral, manifestam a importância da educação no
processo de formação de valores referentes à cidadania comprometida com a
sustentabilidade do planeta. Eles percebem, também, o desenvolvimento como
oportunidade de ampliar as conquistas sociais da comunidade local e o estabelecimento,
pelas escolas, de parcerias com as empresas e o intercambio técnico. Os professores,
especificamente, demonstram forte interesse em desenvolver atividades de EA por meio
de intercâmbio, cursos e palestras sobre o tema meio ambiente.
Vale destacar, ainda, que o público envolvido na avaliação considera o tema
ambiental importante e demonstra preocupação com a preservação do planeta; acredita,
ainda, que os problemas ambientais são de responsabilidade de todos. A
sustentabilidade do planeta também depende da ação conjunta de todos os segmentos da
sociedade – cidadãos, poder público e iniciativa privada.
333
Referências
BRASIL. Lei nº 9795, de 27 de abril de 1999. Dispõe sobre a educação ambiental,
institui a Política Nacional de Educação Ambiental e dá outras providências. Diário
Oficial da União, Brasília, DF, 28 abr. 1999.
concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Ed. Gente, 2004.
334
O PLANO ESTRÁTEGICO DA EDUCAÇÃO DO ESTADO DO RIO DE
JANEIRO: uma melhora focada no resultado
Paulo Mauricio Pimenta Pereira Leite
Colégio Estadual Infante Dom Henrique
Resumo
A educação estadual do Rio de Janeiro ocupa o penúltimo lugar no Índice de
Desempenho da Educação Básica (IDEB), no ensino médio. A Secretaria de Estado de
Educação lança um audacioso plano estratégico que tem como meta principal que sua
rede ocupe até 2014 as cinco primeiras posições no IDEB. Para isso é contratado o
Instituto de Desenvolvimento Gerencial (INDG), consultoria mineira que implantou
uma metodologia educacional de sucesso em alguns estados brasileiros. A Gestão
Integrada da Escola (GIDE) é a ferramenta apresentada como solução ao problema da
educação fluminense dar um salto de qualidade focada nos resultados. Mas será possível
apenas com esse recurso modificar qualitativamente a educação?
Palavras-chave: Educação – Avaliação – Gestão Escolar – Resultado
Introdução
Em 7 de janeiro de 2011, o secretário de estado de educação do Rio de Janeiro, o
economista Wilson Risolia anuncia o Plano Estratégico da Secretaria de Estado de
Educação (SEEDUC). O plano traz diversas mudanças na estrutura da rede de ensino
contemplando: a atualização e valorização dos professores; a construção de novas
escolas e a melhoria na infraestrutura das unidades escolares já existentes; um currículo
mínimo para cada disciplina; um o processo seletivo para funções estratégicas da área
pedagógica e a criação do cargo de Gestor e Técnico da Educação.
Todas essas propostas têm como principal razão a péssima colocação do ensino
médio no Índice de Desenvolvimento da Educação Básica (IDEB). O índice das escolas
estaduais fluminense é de 2,8, nota inferior a meta definida para o estado (2,9). O Rio
ficou ranqueado na penúltima posição entre os estados brasileiros à frente apenas do
Piauí e empatado com Alagoas, Amapá e Rio Grande do Norte.
A SEEDUC elaborou como meta principal até o ano de 2014, estar entre as
cinco primeiras posições no ranking da educação nacional no, Rio de Janeiro, 2011.
335
Para obter sucesso nessa empreitada foi contratada pelo SEEDUC a consultoria
mineira,- Instituto de Desenvolvimento Gerencial (INDG)- (inverter a sigla)50 que
implantou uma metodologia própria chamada Gestão Integrada da Escola (GIDE), que
integra os aspectos estratégicos, políticos e gerenciais inerentes à área educacional
(GODOY; MURICI, 2009, p. 15). A empresa tem experiências de sucesso em alguns
estados brasileiros como Ceará, Sergipe e Pernambuco, cuja a GIDE objetivou
resultados da atividade-fim, apoiando as escolas no cumprimento da sua missão de
formar cidadãos previstas na lei de diretrizes e bases da educação (GODOY; MURICY,
2009, p. 17).
Dessa forma as escolas da rede estadual receberam metas específicas, as quais
serão definidos objetivos a serem alcançados com a realidade de cada escola. E ainda,
um diagnóstico da infraestrutura das unidades para levantamento das necessidades
estruturais e possíveis reformas e construção de prédios.
O estado do Rio de Janeiro desenvolveu o próprio índice de Educação Básica
(IDERJ), com o objetivo de acompanhar e aferir o progresso dos estudantes em relação
à meta estipulada no final do ano letivo. Os professores e demais funcionários da rede
terão como beneficio no final do processo a Bonificação por Resultados, que atingirem
ou superarem as metas estabelecidas.
O presente artigo tem como proposta explicar o plano de metas implantado pela
SEEDUC, cuja ferramenta é a GIDE. Também será explicada a metodologia e ação da
Gide nas escolas e o seu foco exclusivo nos resultados. Por fim, citaremos o exemplo de
uma escola da rede e seus resultados no ano de 2011com o uso da metodologia GIDE.
O Plano de Estratégico da Secretária de Estado de Educação
O Plano estratégico da SEEDUC propõe várias ações novas na rede de ensino
para atingir a sua meta que é estar entre os cinco melhores IDEB do país em 2014. As
principais ações são: currículo mínimo; avaliações bimestrais externas; programa de
formação dos professores; remuneração variável; processo seletivo para cargos
pedagógicos; e infraestrutura. Serão explicadas sucintamente cada uma dessas ações.
O currículo mínimo (CM) é um documento criado pela SEEDUC como
referencia a todas as escolas, apresentando competências, habilidades e conteúdos
50 O INDG foi fundado pelos professores Vicente Falconi e José Martins de Godoy, parceiros desde
1973. Destina-se ao desenvolvimento e difusão de métodos e técnicas de gerenciamento voltados à
obtenção de resultados nas organizações privadas (indústria e serviços) e públicas (INDG, 2011).
336
básicos que devem estar nos plano de curso e nas aulas (RIO DE JANEIRO, 2011a, p.
3). Ou seja, é uma ação norteadora da base dos todos os conteúdos aplicados em sala de
aula, elaborado por professores da própria rede estadual de ensino, pautado na melhoria
da qualidade de ensino.
Inicialmente apenas seis disciplinas foram contempladas pelo CM: Matemática;
Língua Portuguesa e Literatura; História, Geografia, Sociologia e Filosofia.
Outra ação foi à criação das avaliações bimestrais (Saerjinho) externas utilizara
o Sistema de Avaliação da Educação Básica (SAERJ), cujo objetivo é acompanhar mais
de perto a evolução do processo de ensino e aprendizagem, a prática pedagógica dos
professores (RIO DE JANEIRO, 2011e, p. 7) e treinar os alunos para as avalições
externas oficiais (Prova Brasil, Saeb e Enem). A prova é desenvolvida pelo Centro de
Políticas Públicas e Avaliação da Educação (CAED), da Universidade Federal de Juiz
de Fora (UFJF),utilizando a teoria de resposta ao item (TRI)
É uma avaliação diagnostica desenvolvida nos conteúdos, habilidades e
competências do currículo mínimo e da matriz da prova do SAERJ. As disciplinas
avaliadas são Língua Portuguesa e Matemática, no 5º ano e 9º ano do Ensino
Fundamental (EF) e nas três séries do Ensino Médio (EM).
A matriz de referencia dessa avaliação foi desenvolvida por uma comissão,
composta por especialistas do CAED, de professores da rede estadual das duas
disciplinas envolvidas, das equipes que elaboraram o CM e por uma equipe da
SEEDUC. Tomada como base a matriz do SAERJ, onde a referencia é o SAEB e a
Prova Brasil. Foram separadas as habilidades essenciais a serem desenvolvidas em um
dado bimestre do ano letivo (RIO DE JANEIRO, 2011e, p. 9).
Trabalhando na qualificação e melhor formação dos professores de Português e
Matemática, a SEEDUC implantou o programa de formação de professores. Os
educadores participantes recebem um auxilio de R$ 300, durante o curso que oferecido
pelo consorcio CECIERJ que chancela cursos das seis universidades públicas do estado
do Rio de Janeiro (UFRJ, UERJ, UFF, UNIRIO, UENF E UFRRJ).
Os professores são treinados na utilização do CM em sala de aula e melhores
ações quem incidam no processo de ensino e aprendizagem e nos resultados.
Sobre a remuneração variável que significa a bonificação por resultados, tem por
objetivo recompensar os servidores pelos resultados e trabalho em equipe. É a
valorização do profissional ligada diretamente ao resultado (RIO DE JANEIRO, 2011d,
p. 2).
337
O processo seletivo para funções pedagógicas tem o objetivo de promover a
ascensão profissional dentro da própria rede. Com isso todos os cargos pedagógicos
serão preenchidos através de seleção interna em quatro etapas: análise de currículo;
prova; entrevista/dinâmica e treinamento.
Por fim, a infraestrutura das 1457 escolas serão avaliadas. São 25 itens
sinalizados como péssimo, ruim, regular, bons e excelentes. Dessa forma a SEEDUC
espera oferecer melhores condições físicas para o desenvolvimento do ensino e
aprendizagem dos seus alunos.
Gestão integrada da Escola – a metodologia dos resultados
A GIDE é o caminho utilizado pela escola a alcançar suas metas e resolver os
problemas que restringem os seus resultados. Utilizando o método gerencial de soluções
de problemas: PDCA e o indicador Índice de Formação de Cidadania e
Responsabilidade Social (IFC/RS), desenvolvido para levantar os dados no processo
ensino-aprendizagem e nas condições ambientais, que mais influenciaram o resultado. O
INDG oferece o suporte teórico metodológico a rede estadual através de orientadores de
gestão treinados e acompanhados por consultores da própria empresa.
O método PDCA é composto das seguintes etapas e subtapas conforme afirmam
Godoy e Murici, (2009 p. 16):
P = Plan = Planejar.
1. Estabelecer as metas.
2. Elaborar os planos de ação.
D = Do = Executar o plano.
3. Educar e treinar para executar os planos.
4. Executar o trabalho conforme os planos elaborados.
C = Check = Verificar os resultados.
5. Avaliar a execução das ações.
6. Avaliar os resultados.
A = Act = Agir corretivamente ou padronizar as boas práticas
7. Padronizar as ações bem-sucedidas.
8. Tratar os desvios de resultado.
O método PDCA inicia-se como desenvolvimento do marco referencial, que são
as diretrizes doutrinárias da escola, chegando á analise dos resultados, à correção de
rumos ou a padronização das boas práticas.
338
Mas a analise das variáveis que mensuram o alcance do ensino e aprendizagem
do aluno são verificadas com o uso do IFC/RS. Esta indicador é um diagnostico que
fornece a escola informações necessárias para analisar seus resultados e o que
influenciam. Dessa forma segundo Godoy e Chaves (2009) o IFC/RS mede o
desempenho da escola nos resultados tangíveis no cumprimento da sua missão,
indicando os meios que precisam ser trabalhados para que melhore seu desempenho.
A escola que estabelece uma meta para o IFC/RS e elabora um
plano de ação, com base nas suas variáveis, terá a segurança de
atingir o IDEB, pois as suas variáveis estão no conjunto do
IFC/RS, no contexto da GIDE. (GODOY e CHAVES 2009, p.
23).
O INDG oferece o suporte teórico metodológico à rede estadual através de
orientadores de gestão (OG) treinados e acompanhados por consultores da própria
empresa. Esses OGs são funcionários da SEEDUC e acompanham a escola durante todo
o processo da GIDE, oferecendo ajuda, orientação, correção e esclarecimentos na
execução e aplicação da metodologia dentro das escolas.
Após a conclusão do IFC/RS é elaborada pela própria escola a análise
estratégica. Nessa etapa são identificados os pontos fortes e fracos, ajudando a escola a
agir preventivamente sobre as fraquezas.
Como a GIDE é um ferramenta gerencial para obtenção de metas e resultados,
os planos de ação são elaborados para alcançar as metas estabelecidas. Sendo que a
SEEDUC definiu previamente as metas de IDEB e IDERJ para as escolas, com caráter
desafiador e ousado.
De acordo com a GIDE as escolas elaboram dois planos de ação (pedagógico e
ambiental), priorizando as situações problemáticas apontadas pelo IFC/RS, sem
esquecer a meta estabelecida pela SEEDUC.
Após a fase de planejamento é necessário à implantação dos planos de ação é a
fase de execução. No decorrer do ano letivo a escola verifica o execução das ações e os
impactos que elas trazem no seu resultado.
As escolas utilizam um IDERJ bimestral, composto pela nota do Saerjinho e o
índice de fluxo (IF), taxa de aprovação. Com esse dado é possível saber se ações estão
atingido as metas estabelecidas e impactando o resultado bimestral.
A última etapa da GIDE é a tomada de ações corretivas. Identificando os desvios
de resultado em relação às metas estabelecidas levam a escola a encontrar as causas do
339
mau desempenho e definir contramedidas necessárias para reverte-las (GODOY;
MURICI, 2009, p. 134).
Para aprofundar o estudo do desvio de metas (IDERJ) e ações corretivas, as
escolas elaboram o relatório de desvio de meta (RADM), tendo como referência a meta
estabelecida no bimestre. Como saber se a escola esta fora da meta? Simples, Godoy e
Chaves (2009) afirma que a metodologia GIDE trabalha com desvios de meta da
seguinte maneira, no decorrer do processo. Os desvios aceitáveis são os seguintes: 1º
bimestre é de 30%; 2º bimestre é 20% e 3º bimestre é 10%.
O uso dessa metodologia é a ferramenta que a SEEDUC espera que melhore os
seus resultados para atingir a sua meta em 2014.
O exemplo de uma escola da rede
A escola estadual, que chamaremos de X, que vamos usar como exemplo fica se
localiza na zona sul da cidade do Rio de Janeiro, ofertando o ensino médio na
modalidade regular. A unidade possui 67 turmas, de todas das três séries do ensino
médio, distribuídas pelos 3 turnos (manhã, tarde e noite) totalizando 2367 alunos, no
ano de 2011.
Por ser uma escola de ensino médio, a SEEDUC estabeleceu metas de IDERJ,
índice de desempenho no SAERJ (ID) e IF para os próximos três anos são apresentadas
na tabela abaixo, conforme a Resolução SEEDUC 4669 de 2011:
Tabela 1 – Metas da escola.
2011
1,4
IDERJ
2012
2
2013
2,6
2011
3
ID
2012
3,9
2013
4,7
2011
0,47
IF
2012
0,51
2013
0,55
Observando os resultados dos três bimestres poderemos ter uma melhor noção
do funcionamento da GIDE nesta unidade. Assim serão disponibilizados dois gráficos
com os índices que a escola trabalha em função dos seu desempenho com a implantação
da metodologia no ano 2011:
340
Gráfico 1 – Resultados do IDERJ.
Analisando o gráfico do resultado do IDERJ, a escola conseguiu bater a meta no
1º e 4° bimestre. Nos outros dois bimestres (2° e 3°) a escola ficou por um pouco abaixo
da meta, em 0,1.
Segundo Godoy e Murici (2009), a escola esta fora de meta por que apresentou
21% de desvio da meta final no 2º bimestre e 15% de desvio da meta final no 3º
bimestre.
A explicação para esses desvios sequentes da meta do bimestre vem sendo o
crescente número de alunos desistentes na escola que é de 17%. Ou seja, dos 2367
alunos matriculados e frequentes incialmente a escola apresentava 1988.
Porém, no 4° bimestre a escola conseguiu atingir a meta estipulada e cumpriu
com sua missão. Isso significa que os professores vão receberam o bônus pago pela
SEEDUC, por resultado atingido.
341
Gráfico 2 – Resultados do IF/ID.
O Gráfico 2 mostra o desempenho da escola nas provas do Saerjinho (ID) e o
índice de aprovação por bimestre (IF). A aprovação bimestral são os alunos que
estariam aprovados no bimestre, ou seja, com notas igual ou superior a média 5,0 em
todas as disciplinas. A escola apresenta como IF respectivamente: 0,36; 0,36, 0,32 e
0,36.
Uma possível explicação para esses desvios do IDERJ bimestral vem do
crescente evasão escolar que é de 17% dos matriculados. Ou seja, a escola apresenta
hoje 1988 matriculados e frequentando o que tem incidência no resultado do IF.
Outra observação é a queda no ID das provas do Saerjinho, que no 1º bimestre
foi de 4 e nos dois bimestres subsequentes ficou em 2,7. O foco no resultado dado pela
GIDE coloca como principal justificativa a não assimilação dos alunos das habilidades e
competências aferidas nas avaliações bimestrais externas. Essa situação foi corrigida
pela escola no 4° bimestre, onde o score dos seus alunos foi de 3,2, superando a meta
estabelecida.
Esse gráfico é importante por que pela multiplicação do resultado do ID pelo IF
é obtido o resultado do IDERJ do bimestre da escola.
Até o final do 3º bimestre, a GIDE possibilitou avanços na escola em função do
resultado estipulado, mas a meta bimestral só foi atingida no 1º bimestre. O quadro se
alterou no 4° bimestre, porém a escola aprovou menos que o estipulado pela SEEDUC.
342
Ou seja, é preciso um estudo mais profundo para compreensão dos resultados
dessa unidade, já que extrapolam a barreira da metodologia.
Luckesi (2011) afirma que a educação é uma prática direcionada por uma
concepção teórica. É possível concluir que a SEEDUC através do seu Plano Estratégico
esta focando a prática escolar na obtenção de resultados.
Vianna (2000) explicando o modelo de avaliação de Raph Tyler coloca que a
avaliação passou a ser um meio de verificar em que medida os objetivos e os processos
se concretizam. Ou seja, a metodologia GIDE utiliza diretamente essa teoria para as
escolas atingirem os seus resultados, modificando os padrões anteriores em função da
meta a ser atingida.
É preocupante, essa proposta, pois a educação passa a ter exigências de
padronização de conduta para obtenção exclusivamente de resultados. A avaliação fica
restrita apenas a exames escritos e treinamentos para avaliações oficiais, ignorando
resultados que não são aqueles relacionados aos objetivos.
Não se pode negar que a metodologia da GIDE possibilita a escola se ter uma
nova visão ou reflexões e corrigir falhas que passem despercebidas no cotidiano e
buscar um planejamento melhor focado na aprendizagem. Porém, centrar a ação escolar
apenas em relação a uma meta pode ocasionar um erro. A clientela da escola, segundo
Libâneo (1994) procura uma formação individual, auxiliada no desenvolvimento de
suas capacidades físicas e espirituais, prepará-los para participação ativa e
transformadora nas várias instâncias da vida social.
A educação do estado do Rio de Janeiro precisa realmente de mudança como
está propondo corretamente a SEEDUC. Porém, não podem ficar restritas a resultados e
scores. De fato é desconfortável ocupar a penúltima posição, mas apenas o foco no
resultado não fara a educação modificar de fato sua qualidade.
Os professores precisam estar preparados para as novas exigências educacionais.
Será muito difícil desempenhar o seu papel de docente se não tiver compreensão da
realidade, qual atua a sociedade que esta inserida e o seu papel na formação do aluno. O
educador que não se compromete não terá sucesso na aprendizagem dos seus alunos,
afirma Luckesi (2011).
É notório que várias questões passam por esses temas: como a baixa
remuneração, as turmas superlotadas, a deficiência de conteúdo dos alunos, o baixo
343
tempo para capacitação e formação continuada entre outras. Mas como um ser político,
o professor precisa se comprometer em mudar a situação o status da sociedade em que
está inserido, isto é, buscando ofertar um ensino de boa qualidade.
A questão é polemica, mas a GIDE não tem ação e nem se propõe a debater para
busca de melhorias ou até mesmo a reversão do quadro. A única citação ao quadro é a
bonificação por resultados, muito combatido e não aceito por uma parcela da categoria
docente.
Apesar de uma focar exclusivamente no resultado o plano estratégico é uma
política de governo que pode colocar a educação num caminho certo. Até porque a
população do Rio de Janeiro espera por resultados em longo prazo e concretos no
cotidiano.
Quadro 1 - Modelo da Árvore do IFC/RS.
Fonte: GODOY e CHAVES (2009).
344
Referências
RIO DE JANEIRO (Estado). Secretária de Educação. Resolução SEEDUC nº. 4669, de
4 de fevereiro de 2011. Regulamenta a bonificação por resultado e dá outras
providências. [Diário Oficial do Estado do Rio de Janeiro]. Rio de Janeiro, 07 fev.
2011a.
______. Secretária de Educação. Plano Estratégico da SEEDUC. Rio de Janeiro,
2011b.
______. Secretária de Educação. Saiba mais sobre a GIDE. Rio de Janeiro, 2011c.
______. Secretária de Educação. Currículo Mínimo. Rio de Janeiro, 2011d.
______.Secretária de Educação. SAERJINHO: avaliação bimestral do Sistema de
Avaliação Básica do Estado do Rio de Janeiro. Rio de Janeiro, 2011e.
GODOY, M. H. P. C. de; MURICI, I. L. Gestão Integrada da Escola. Nova Lima:
INDG Tecnologia e Serviços, 2009.
GODOY, M. H. P. C. de; CHAVES, N. M. D. Índice de formação de cidadania e
responsabilidade social para escola. 2. ed. Nova Lima: INDG Tecnologia e Serviços,
2009.
VIANNA, H. M. Avaliação Educacional. São Paulo: Ibrasa, 2000.
LIBÂNEO, J. C. Didática. São Paulo: Cortez, 1994.
LUCKESI, C. C. Filosofia da Educação. 2 ed. São Paulo: Cortez, 2011.
GESTÃO INTEGRADA DA ESCOLA: GIDE. Nova Lima: INDG Tecnologia e
Serviços, 2011.
345
O ENSINO MÉDIO ENTRE O VESTIBULAR E O ENEM
Pedro Flexa Ribeiro
Colégio Andrews
Resumo
O debate acerca do ENEM e das avaliações que cercam a terminalidade da Educação
Básica remetem inevitavelmente à reflexão acerca do sentido do Ensino Médio no país.
Mais do que diagnósticos, essas avaliações tem importante papel como indutoras de
mudanças no sistema de ensino. Em sua trajetória, o ENEM teve seu uso
progressivamente alterado, vindo agora a desempenhar a função de um vestibular de
Estado. O atual momento sugere que se amplie a discussão acerca dos usos do exame,
mas ao lado disso oferece também uma preciosa oportunidade para que se amadureça a
reflexão acerca do próprio Ensino Médio, suas práticas e currículos.
Palavras-chave: Ensino Médio. Currículo. Vestibular. ENEM.
Introdução
O Exame Nacional do Ensino Médio tem ocupado as pautas da imprensa. Os
recorrentes episódios envolvendo o exame custaram muito dinheiro ao país e
sobressaltos aos alunos. São decorrência direta e sintoma do gigantismo a que o ENEM
foi conduzido. Mas as controvérsias em torno desse exame ultrapassam e antecedem os
aspectos logísticos ou os tropeços operacionais. O desafio de busca por qualidade no
ensino impõe o amadurecimento dos sistemas de avaliação. Por isso deve-se buscar
extrair do episódio reflexões que façam o país avançar no que se refere à importância de
se estabelecer sistemas de avaliação que promovam a emancipação da Educação Básica,
libertando as escolas das exigências dos processos seletivos para o nível superior.
O que se passa hoje nas salas de aula sofre, ainda, grande influência dos
vestibulares. Tornou-se cada vez mais evidente que currículos hipertrofiados e
enciclopédicos não significam qualidade. É crescente o consenso de que urge rever os
programas, identificando currículos de fato pertinentes para a formação geral do jovem.
Por isso, são tão preciosas as medidas que possam desvencilhar o Ensino Médio da
sanha dos vestibulares. De tão antiga, essa convicção de muitos educadores e
professores que atuam em escolas de Ensino médio, está incorporada no texto da
legislação educacional do país. A Lei de Diretrizes e Bases, os pareceres e resoluções
que a regulamentaram, bem como as Diretrizes Curriculares Nacionais para Ensino
346
Médio, lançaram ao país essa convocação. A pertinência e lucidez do legislador foram
grandes ao se referir às relações entre o Nível Superior e a Educação Básica.
Do comportamento das universidades e outras instituições de ensino
superior dependerá também, em larga medida, o êxito da
concretização destas diretrizes curriculares para o ensino médio, com
o qual elas mantêm dois tipos de articulação importantes: como nível
educacional que receberá os alunos egressos e como responsáveis pela
formação dos professores.
No primeiro tipo de articulação está colocada toda a problemática do
exame de ingresso ao ensino superior, que, até o presente, tem sido a
referência da organização curricular do ensino médio. A continuidade
de estudos é e continuará sendo [...] um percurso desejado por muitos
jovens que concluem a educação básica.
O ensino superior está, assim, convocado a examinar sua missão e
seus procedimentos de seleção, na perspectiva de um ensino médio
que deverá ser mais unificado quanto às competências dos alunos e
mais diversificado quanto aos conhecimentos específicos que darão
suporte à constituição dessas competências. E deverão fazê-lo com a
ética de quem reconhece o poder que as exigências para ingresso no
ensino superior exercem, e continuarão exercendo, sobre a prática
curricular e pedagógica das escolas médias (BRASIL, 1996).
Nos anos que se seguiram, atendendo a essas e outras prescrições legais, o país
desenvolveu sistemas de avaliação que além de investigar a qualidade do ensino
oferecido, deveriam também induzir as mudanças preconizadas. Dessa forma surgiram o
SAEB, a PROVA BRASIL e o ENEM, que correspondendo ao espírito da LDB, vieram
contribuir, cada um a seu modo, para o alvorecer de uma nova era em termos de
avaliação educacional no país.
Esse foi o contexto em que surgiu o ENEM, em 1998. Ao propor uma avaliação
orientada por uma matriz de competências, o exame induziu avanços, convocou o
magistério de todo o país e reorientar suas práticas, alinhando-as por princípios mais
contemporâneos e de fato pertinentes para a formação de jovens. Para aqueles que
atuam no Ensino Médio, os últimos dez anos foram de intenso empenho de escolas e
professores para corresponderem ao chamamento do ENEM.
O ENEM trouxe a possibilidade de se alforriar as escolas da subordinação ao
vestibular, conferindo novo sentido Ensino Médio, articulando suas práticas à formação
geral do jovem brasileiro, e não mais às caprichosas exigências de concursos seletivos
para o nível superior. Essa foi sem dúvida uma das principais virtudes desse exame. Ao
comunicar os resultados apurados para os professores e escolas, em suas primeiras
edições o ENEM constituiu-se como uma avaliação que além de viável e precisa era
347
também útil e ética. O avaliador dava nítidos sinais de ter plena consciência do alcance
e influência de sua forma de atuação sobre o sistema educacional do país. Comportavase, portanto, de forma responsável e respeitosa com escolas, educadores e com a
sociedade em geral.
O ENEM foi concebido com o objetivo fundamental de avaliar o desempenho do
aluno ao final da escolaridade básica. O exame seria realizado anualmente, para aferir o
desenvolvimento de competências fundamentais ao exercício pleno da cidadania. O
sentido e pressupostos da avaliação podem ser identificados por meio da consulta aos
documentos originais, da primeira equipe de autores, que, ainda em fins da década de
90, foi constituída para conceber esse exame. Para esse grupo de autores, o ENEM
(INEP, 1998, p. 6) teria ainda como objetivos específicos:
a. Oferecer uma referência para que cada cidadão possa proceder a sua
autoavaliação com vistas às suas escolhas futuras, tanto em relação ao
mercado de trabalho quanto em relação à continuidade de estudos;
b. Estruturar uma avaliação da educação básica que sirva como
modalidade alternativa ou complementar aos processos de seleção nos
diferentes setores do mundo do trabalho;
c. Estruturar uma avaliação da educação básica que sirva como
modalidade alternativa ou complementar aos exames de acesso aos
cursos profissionalizantes pós-médios e ao ensino superior.
Além desses objetivos, o ENEM teria também a importante função estratégica
de induzir as reformas educacionais já previstas na legislação educacional.
Para estruturar o exame, concebeu-se uma matriz com a indicação de
competências e habilidades associadas aos conteúdos do ensino
fundamental e médio que são próprias ao sujeito na fase de
desenvolvimento cognitivo correspondente ao término da escolaridade
básica. Tem como referência a LDB, os Parâmetros Curriculares
Nacionais (PCN), a Reforma do Ensino Médio, bem como os textos
que sustentam sua organização curricular em Áreas de Conhecimento,
e, ainda, as Matrizes Curriculares de Referência do SAEB (INEP,
1998, p. 5).
A intenção de usar esse exame como forma de apoiar a reforma do Ensino
Médio vem claramente explicitada em algumas passagens dos textos que integram os
documentos básicos de 1998, de 2000 e também os “Eixos Cognitivos do ENEM”, de
2002.
Estas premissas já estão delineadas na atual LDB, que introduz
profundas transformações no ensino médio, desvinculando-o do
vestibular, ao flexibilizar os mecanismos de acesso ao ensino superior,
e, principalmente, delineando o perfil de saída do aluno da
348
escolaridade básica, ao estipular que o educando, ao final do ensino
médio, demonstre:
I- domínio dos princípios científicos e tecnológicos que presidem a
produção moderna;
II- conhecimento das formas contemporâneas de linguagem;
III- domínio dos conhecimentos de Filosofia e de Sociologia
necessários ao exercício da cidadania (INEP, 1998, p. 5).
O exame deveria sinalizar para o conjunto da educação brasileira alguns dos
principais objetivos por essa reforma, como abordagens inter e transdisciplinares que
permitissem maior contextualização dos conteúdos. Estas características da prova
transformam o ENEM em um poderoso indutor das mudanças em andamento na escola
brasileira. Como a prova enfatiza as estruturas de inteligência dos participantes, ela está
contribuindo de maneira significativa para a consolidação dos pressupostos dos
Parâmetros Curriculares Nacionais e dos critérios de avaliação das aprendizagens
significativas dos conteúdos das Ciências Humanas, numa perspectiva interdisciplinar
(GUIMARÃES, 2002).
O uso do ENEM para promover essas inovações não foi fato aleatório; foi uma
escolha intencional carregada de sentidos e consequências. Fazia parte de estratégias
oficiais.
O ENEM, em sua conceituação geral ou em sua formulação
específica, tanto quanto os objetivos educacionais dos Parâmetros
Curriculares Nacionais para o Ensino Médio foram propostos de
forma consoante com aquela lei e com aquela regulamentação. Além
disso, o Exame e os Parâmetros tiveram alguns elaboradores comuns.
São, portanto, intencionais e construídas, não incidentais ou
eventuais, as convergências entre os objetivos de avaliação do
ENEM e os objetivos formativos dos Parâmetros (MENEZES, 2002,
p. 97, grifo do autor).
Assim, desde sua origem, o INEP explica ter adotado essa estratégia para induzir
a reforma do Ensino Médio em conformidade com as diretrizes e os parâmetros
curriculares nacionais fixados pelo Conselho Nacional de Educação. Nesse aspecto, o
ENEM foi, certamente, uma bem-vinda novidade e começou a modificar lentamente o
rumo dos vestibulares e o sentido do Ensino Médio.
O grupo de educadores encarregado da concepção do ENEM entendeu ser
necessário assegurar a correspondência entre essa avaliação e a concepção teórica que
fundamenta a legislação educacional brasileira. Os autores preocuparam-se, portanto,
349
em ancorar a estrutura do exame nos mesmos pressupostos teóricos que inspiram os
documentos legais do país.
O ENEM é, em sua concepção, uma avaliação de inspiração construtivista. A
intencionalidade dessa orientação teórica foi claramente explicitada pelo grupo de
autores do exame desde o início. Na busca por essa consonância teórica, aquele grupo
de educadores foi buscar na teoria epistemológica de Piaget os conceitos e pressupostos
que deveriam dar suporte, orientação e iluminar a estrutura do exame. Dessa forma, as
competências que dão suporte à avaliação do ENEM estão baseadas nas competências
que os indivíduos desenvolvem.
Estas competências são descritas nas operações formais da teoria de
Piaget, tais como, a capacidade de levantar todas as possibilidades
para resolver um problema, a capacidade de formular hipóteses,
combinar todas as possibilidades e separar as varáveis para testar a
influência de vários fatores, o uso do raciocínio hipotético dedutivo;
aspectos de interpretação, análise [...].
Ao mesmo tempo, nas avaliações do Enem, a inteligência é encarada
não como uma faculdade mental ou expressão de estruturas cognitivas
inatas, porém é compreendida como o uso de estratégias cognitivas
básicas voltadas para a análise da realidade.
E isto em uma situação problema que deve ser elaborada dentro de um
contexto, de modo que se possa avaliar a emergência das habilidades
cognitivas, o ‘saber fazer’ (DIAS, 2002, p. 27).
A Matriz de Competências foi elaborada para estruturar o ENEM, a fim de
definir claramente seus pressupostos e delinear suas características operacionais. A
Matriz foi construída por um grupo de profissionais da educação – especialistas em
psicologia do desenvolvimento, pesquisadores e professores das diferentes áreas de
conhecimento e especialistas em psicometria, – a partir de um projeto elaborado e
coordenado pelo INEP.
A matriz do ENEM, concebida sob essa perspectiva pela equipe
coordenada pela Profa. Maria Inês Fini foi elaborada e consolidada
pelo Grupo de Autores em janeiro e fevereiro de 1998 conjugando
competências, habilidades e conteúdos norteadores da elaboração de
questões abrangendo as diferentes áreas do conhecimento, dirigidas a
um cidadão na fase de término da escolaridade básica e objetivando
sua
integração
político-social
e
profissional
(PINTO;
LETICHEVSKY; GOMES, 2003, p. 263).
350
A estrutura do ENEM foi elaborada e consolidada pelo chamado Grupo de
Autores, nos meses de janeiro e fevereiro de 1998. Os documentos que expõem os eixos
cognitivos do ENEM registram o desenrolar do processo de criação do exame.
os professores indicados para a elaboração dos itens e para a discussão
da redação, reuniram-se com o Grupo de Autores para um trabalho,
sem o caráter de treinamento, do tipo “aprender a fazer, fazendo”,
utilizando-se, como material de suporte, os textos e as primeiras
versões do documento “Principais conceitos teóricos que estruturam o
ENEM”. O Grupo de Autores e os professores selecionados
trabalharam na análise e no ajuste das questões iniciando assim, o que
posteriormente consolidou-se como Fase de Ajuste Pedagógico e
Técnico dos itens. Essa experiência foi realizada com a
responsabilidade e o objetivo de, além de elaborar um exame coerente
com sua proposta de avaliação, concretizar uma metodologia que
permitisse construir as futuras edições do ENEM (FINI, 2002, p. 103).
O grupo de autores, constituído por professores de diferentes disciplinas,
identificou na capacidade de “leitura de mundo” – considerada em seu sentido mais
amplo - a principal condição para que o aluno concluinte do Ensino Médio possa
enfrentar as exigências do mundo contemporâneo. Nessa concepção, conhecer e ser, do
ponto de vista do raciocínio e do pensamento, exige do ser humano a construção de
ferramentas adequadas para uma leitura compreensiva da realidade. Assim, se o exame
é estruturado em torno de um determinado conjunto de competências, pode-se, de modo
geral, identificar a “leitura” como uma “arquicompetência”, que abrangeria todas as
demais.
a área se mostra pelo eixo da competência de leitura, presente na
descrição de todas as competências.
O grupo autor da matriz decidiu eleger a leitura como
arquicompetência. Esse grupo, formado de professores de várias
disciplinas, indicou que sem o desenvolvimento pleno da atividade
leitora todas as competências e habilidades avaliáveis teriam suas
possibilidades reduzidas ou interrompidas.
O exame se propõe a avaliar a analisar a própria operação de ler, seus
modos e tipos que ultrapassam os limites da decifração e adentram em
um campo semiótico amplo, responsabilizando todos os envolvidos na
produção da prova com essa avaliação.
O ENEM assume a leitura e as leituras como pressuposto inicial e
sinaliza para o trabalho sistemático com essa arquicompetência para
o desenvolvimento das competências e habilidades representadas
como necessárias ao final da educação básica. A avaliação da leitura
está presente em toda sua plenitude seja na prova de múltipla escolha
seja na produção do texto escrito. A leitura resume no ENEM os
pressupostos da área Linguagens e códigos (MURRIE, 2002, p. 88,
grifo do autor).
351
Concebido como recurso de avaliação de âmbito nacional, o ENEM (INEP,
1998) estruturou-se a partir de uma matriz de cinco competências, consideradas
essenciais. Assim, conforme definidas no Documento Básico (INEP, 1998),
Competências são as modalidades estruturais da inteligência, ou melhor, ações e
operações que se utiliza para estabelecer relações com e entre objetos, situações,
fenômenos e pessoas que deseja-se conhecer. No Documento Básico original de 1998
(INEP, 1998), as cinco competências avaliadas na parte objetiva são apresentadas da
forma abaixo:
I - Demonstrar domínio básico da norma culta da Língua Portuguesa e
do uso das diferentes linguagens:matemática, artística, científica, etc.
II- Construir e aplicar conceitos das várias áreas do conhecimento para
a compreensão de fenômenos naturais, de processos históricogeográficos, da produção tecnológica e das manifestações artísticas.
III- Selecionar, organizar, relacionar, interpretar dados e informações
representados de diferentes formas, para enfrentar situações-problema,
segundo uma visão crítica com vistas à tomada de decisões.
IV- Organizar informações e conhecimentos disponíveis em situações
concretas, para a construção de argumentações consistentes.
V- Recorrer aos conhecimentos desenvolvidos na escola para
elaboração de propostas de intervenção solidária na realidade,
considerando a diversidade sociocultural como inerente à condição
humana no tempo e no espaço (INEP, 1998, p. 9).
No caso do ENEM, busca-se que o aluno demonstre o domínio das cinco
competências acima na solução de problemas. Esse objetivo diferencia o ENEM de
outras avaliações, como os vestibulares e o ENCCEJA, que pretendem testar os
conhecimentos dos alunos nas diversas disciplinas que compõem o currículo. Para
avaliar essas competências, o ENEM estabeleceu um conjunto de 21 habilidades,
aplicadas às áreas de conhecimento ou disciplinas que fundamentam a educação básica.
O ENEM trouxe contribuição para a atualização da identidade do Ensino Médio.
O sentido da avaliação empreendida não deveria ter o caráter de concurso ou de seleção.
Diferente dos concursos vestibulares, esse exame não pretendia selecionar os
“competentes”, excluindo os “incompetentes”. Não se tratava de realizar uma
comparação entre os candidatos, reunindo os que preencheram certos requisitos, por
oposição aos que estavam fora.
O ENEM foi concebido para ser uma avaliação, e não um concurso. Ancorada
em consistentes pressupostos teóricos, a prova desenvolvida pelo grupo de autores
constitui-se efetivamente como um bom instrumento para avaliar as competências
352
individuais do aluno ao final da Educação Básica. O cuidado com o correto uso dos
resultados, destinando-os às escolas, oferecia de fato aos professores a possibilidade de
aprimorarem suas práticas. O trabalho por competências e de sentido transdisciplinar é
complexo, por isso trouxe muitos desafios. Mas a concepção proposta pelo ENEM
acenava para o ensino médio com uma nova perspectiva, possibilitando que suas
práticas fossem reordenadas de forma mais condizente com os objetivos de formação
geral.
Como seria de se esperar, as mudanças propostas não foram recebidas de
maneira uniforme. Em um país de dimensões continentais como o Brasil, é sempre
ambicioso empreender avaliações de abrangência nacional, em função da complexidade,
da diversidade e das diferenças entre as regiões. Aqueles que souberam enxergar o
alcance da proposta procuraram atender à convocação feita. Caberia aos professores e
escolas criarem as condições para que as mudanças fossem, de fato, implementadas.
Afinal, é sempre deles a responsabilidade de assegurar a sua concretização em sala de
aula.
Assim, ao longo de 10 anos, muitos educadores, orientadores e diretores
empenharam-se em pautar seu trabalho, tomando por referência a matriz oficial: cinco
competências gerais e 21 habilidades específicas. Em um numero sempre crescente,
professores e escolas de todo o país vinham correspondendo a essa convocação com
seriedade e empenho cada vez maior. Empreenderam consideráveis esforços, que
consumiram tempo, desgaste e investimento de instituições e a dedicação de muitos
profissionais.
Na medida em que o exame abria concretas perspectivas de aprimoramento da
qualidade de ensino, justificava-se plenamente o investimento feito pela sociedade.
Desde o início esse exame constituiu-se como uma avaliação viável e precisa, quanto
aos seus objetivos pretendidos. Além de útil, era ética, tanto para alunos e professores,
como no que concerne a toda a sociedade. Cabe, portanto, reconhecer que, tal como foi
originalmente concebido, o ENEM favoreceu um avanço para as escolas de ensino
médio.
A instalação da cultura de avaliação depende, antes de tudo, que se instale um
clima de credibilidade e de confiança. Somente o longo prazo permitirá que se
consolidem políticas e práticas de avaliação de fato consequentes. Revisões
permanentes condenam o sistema escolar a um eterno recomeço. O país precisa de
353
políticas de Estado e não de medidas que flutuem ao sabor da gestão de um ou outro
Governo.
Contudo, com o decorrer dos anos e com sucessão de novas gestões na equipe
que o conduzia, o ENEM enveredou por desvios que foram progressivamente
descaracterizando o quadro inicial. A supressão do envio dos boletins para as escolas
caracterizou uma sonegação das informações aos docentes, impedindo que se extraísse
do exame informações que apontassem ajustes a serem feitos e comprometendo a
utilidade do investimento público. O uso dos resultados do ENEM sofreu outra grave
deturpação. Desde 2007, só o que se tem tido é a divulgação de medições e rankings de
efeito sensacionalista, que fazem escoar um dos principais sentidos do investimento
feito pelo país em uma avaliação tão dispendiosa. A conduta do avaliador fomenta
desconfiança e resistências no meio educacional, pouco contribuindo para o
enraizamento da cultura da avaliação.
Mais recentemente, o “NOVO ENEM” marcou um novo capítulo nessa
trajetória. Ao final de apenas uma década de vivência desse exame, o avaliador
surpreende com o descarte prematuro da matriz do exame. Escolas e magistério mal
haviam dominado o trabalho orientado pelas cinco competências e 21 habilidades
quando essa nova versão do exame inflacionou o numero de habilidades, acrescentando
outras 99 descrições. É implausível que se possa, de fato, considerá-las no cotidiano da
sala de aula.
O NOVO ENEM pretende aglutinar diferentes objetivos: avaliar o desempenho
individual do estudante, produzir avaliações da qualidade, relevância ou mérito de
instituições e sistemas de ensino e ainda selecionar candidatos ao ingresso na
universidade. No entanto, esses objetivos são distintos uns dos outros, têm sentidos e
lógicas diferentes. Dificilmente um mesmo instrumento poderá, de forma precisa e
justa, avaliar as competências do estudante brasileiro concluinte do Ensino Médio e, ao
mesmo tempo, servir para selecionar os concorrentes às escassas vagas dos mais
disputados cursos superiores do país. A tentativa de síntese e reunião desses objetivos
em um único exame implica perda de foco e de precisão da avaliação feita, abalando sua
precisão e confiabilidade.
O “SISU” representou uma nova reviravolta no cenário. Ao impor a todo o
sistema educacional do país esse vestibular unificado, o governo subordinou
inteiramente o ENEM à lógica dos concursos de seleção para as Instituições de nível
superior. Com isso, descaracterizou completamente uma das principais virtudes do
354
exame, que era oferecer uma avaliação cuja perspectiva fosse a da Educação Básica e a
da formação geral que se espera o brasileiro tenha desenvolvido até a conclusão do
Ensino Médio. Apesar de mantido o nome, o exame nacional do ensino médio passou a
ter como principal destinatário as instituições de nível superior.
As principais universidades do país vão gradualmente acatando o processo de
seleção imposto pelo MEC. No Rio de Janeiro, as escolas de Ensino Médio foram
surpreendidas, em pleno ano letivo, pela notícia de que a UFRJ aderiu ao ENEM e que
o próximo processo seletivo já se daria através do SISU. O processo de ingresso estava
na pauta das discussões internas da Universidade já há alguns meses. Do ponto de vista
das escolas, a intenção de se alforriar o Ensino Médio da excessiva influência dos
editais desses concursos é, em muitos aspectos, pertinente. Faz tempo que o ensino
superior vinha sendo convocado a examinar sua missão e seus procedimentos de seleção
“com a ética de quem reconhece o poder que as exigências para ingresso no ensino
superior exercem, e continuarão exercendo, sobre a prática curricular e pedagógica das
escolas médias”. (BRASIL, 1996).
A solução a que se chegou na UFRJ foi extrema: implicou a total renúncia ao
controle da avaliação do perfil do ingressante em seus cursos de graduação. De agora
em diante, a condução do processo seletivo fica delegado ao INEP. Cai por terra o
vestibular que por mais de duas décadas constituiu-se como uma das mais importantes
balizas para o trabalho desenvolvido no Ensino Médio carioca. Somente o longo prazo
trará exata noção dos efeitos dessa mudança. Mas de imediato já se pode arriscar
algumas considerações. Há consideráveis diferenças entre o vestibular da UFRJ e a
prova proposta pelo ENEM. Dentre elas, podemos destacar três aspectos: as questões
específicas, as dissertativas e a redação.
As questões específicas eram talvez a face mais perversa do vestibular. Sua
presença no vestibular era sintoma do equívoco em que os diferentes departamentos da
universidade incorriam ao pretender usar o exame de acesso à graduação para recrutar
futuros pesquisadores. A antecipação de certo tipo de exigência era completamente
descabida. Por meio dela a universidade impunha às escolas que antecipassem
conteúdos que absolutamente não são pertinentes nem tem cabimento na Educação
Básica, em país algum.
Equívocos como esse levaram o Ensino Médio brasileiro a
apresentar alarmantes estatísticas e a despontar como o segmento de ensino que mais
causa fracasso escolar, desistência e abandono.
355
O desaparecimento do vestibular põe em xeque vastos pontos dos programas,
sobretudo nas Ciências Naturais. Da noite para o dia, materiais didáticos tornaram-se
obsoletos. Reina a perplexidade nas escolas. Mas abre-se a preciosa oportunidade para
que currículos sejam revistos e que amadureça nas escolas o debate acerca da qualidade
de ensino e das funções de cada segmento. Por essas razões, o desaparecimento das
específicas traz uma promessa de alforria.
No entanto, no que se refere às questões dissertativas e à Redação a perspectiva
futura é mais sombria. Uma vez instituído o vestibular isolado da UFRJ, em 1988, os
responsáveis por esse processo deram demonstrações de terem clara compreensão dos
efeitos que o exame dessa importância traria para todo o sistema escolar e da
reverberações que suas escolhas traria para as escolas, orientando currículos e induzindo
os sentidos das práticas de sala de aula. Cientes do peso de suas decisões e zelosos pela
melhoria da qualidade do ensino então oferecido nas escolas, os avaliadores cuidaram,
desde cedo, de converter o exame em um indutor da melhoria da qualidade da produção
textual do aluno.
Em reação a décadas de questões de “múltipla escolha”, o vestibular isolado foi
utilizado para convocar a Escola a ensinar o aluno a escrever e a desenvolver sua
fluência textual. Se o vestibular trazia muitos inconvenientes, ele tinha, também, acertos
e virtudes, que cabe reconhecer. Através desse exame, a Universidade Federal do Rio de
Janeiro exerceu a benfazeja função de induzir escolas e professores cariocas ao
aprimoramento dessa importante competência para o brasileiro que conclui a Educação
Básica, qualquer que seja o seu destino: na graduação, na pós ou no comércio... Sem
alarde, essa virtuosa influência foi exercida sobre as escolas durante 23 anos. Ao longo
desse quase quarto de século muita coisa de fato mudou nas aulas de redação das
escolas: hoje é muito maior o empenho e investimento em se ensinar os alunos a bem
escrever.
A correção de textos exige critérios bem estabelecidos, requer cuidados e
revisões. É tarefa artesanal, atravessada por boa dose de subjetividade.
O
gerenciamento das equipes de correção sempre foi um grande desafio para os
avaliadores. Em uma escala como a do vestibular isolado da UFRJ, era tarefa
gerenciável com satisfatório nível de controle, precisão e justiça entre os concorrentes.
Ao que tudo indica, esse capítulo acaba de ser encerrado. A dimensão
continental do SISU conflita com tudo isso. O seu gigantismo torna inexequíveis
correções de textos e questões dissertativas. O novo exame marca a volta triunfante das
356
questões de múltipla escolha. Assim como no Enem original, a redação responde por
metade dos pontos da prova. Mas na nova escala, a aplicação e a correção da redação
implicam desafios intransponíveis.
A correção passou a ser feita “on-line” e sem supervisão presencial. A
capacitação dos professores avaliadores preocupa, assim como a coerência de critérios
entre os diferentes polos de correção instalados ao longo do território nacional. Como
assegurar o rigor e os critérios utilizados em cada correção e a justiça da avaliação entre
os candidatos concorrentes? Os deslizes nas correções das redações são indício da pouca
consistência e confiabilidade do Novo Enem, decorrência direta do gigantismo de sua
escala.
De todo esse embate entre o vestibular, o ENEM e o NOVO ENEM, vão se
delineando as tendências e o destino do Ensino Médio. Com o fim dos vestibulares
isolados, desaparecem importantes referenciais pelos quais as escolas de Ensino Médio
vinham pautando o seu trabalho. De agora em diante, as escolas deverão assumir elas
mesmas esse cuidado e esse zelo. Como toda crise, essa envolve também novas
oportunidades. Com isso, elas deverão enfrentar o desafio de conceber seus currículos e
a formação que deverão assegurar aos seus alunos até o final da Educação Básica.
É importante que saibamos extrair da atual circunstância o amadurecimento das
nossas percepções acerca do que aspiramos para o nosso sistema de ensino e para a
formação de nossos filhos. Cabe, portanto, uma reflexão acerca dos motivos que terão
levado o governo a aspirar controlar diretamente os critérios para acesso às
universidades públicas e a converter o ENEM em um gigantesco vestibular de Estado.
Que sentido há em o Estado impor a todos os estudantes do país uma mesma e única
prova? No médio prazo isso conduzirá o sistema escolar a uma perspectiva cada vez
mais homogênea, inibindo quaisquer diferenças ou inovações. Nos levará, portanto, a
um cenário cada vez mais empobrecido. Contraria-se, dessa forma, o espírito pretendido
pela LDB.
Por essas razões, é importante que o debate em torno do ENEM não fique
restrito aos tropeços operacionais. É oportuno colocar em pauta os desvios impostos à
essência do exame e suas consequências para as escolas. Espera-se que possamos extrair
lições produtivas do atual contexto. O atual momento sugere que se amplie a discussão
acerca dos usos do exame, mas ao lado disso oferece também uma preciosa
oportunidade para que se amadureça a reflexão acerca do próprio Ensino Médio, suas
práticas e currículos.
357
Caberá aos educadores, professores e escolas de Ensino Médio atuarem como
formadores de opinião perante as famílias de seus alunos e a sociedade em geral. Eles
terão um importante papel a desempenhar, difundindo noções mais amadurecidas de
como devam ser conduzidas as avaliações na Educação Básica. Dessa forma, poderá
prosperar no país uma cultura de avaliação que de fato contribua para a qualidade das
escolas e para a liberdade de ensino.
358
Referências
BRASIL. Constituição (1988). Constituição da República Federativa do Brasil:
Constituição do Brasil de 05 de outubro de 1988, com a redação da emenda
Constitucional e as Emendas Constitucionais de Revisão. [Diário Oficial da República
Federativa do Brasil], Brasília, DF, 5 out. 1988.
______. Lei nº. 9. 394, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da
Educação Nacional. [Diário Oficial da República Federativa do Brasil], Brasília, DF,
23 dez. 1996.
______. Ministério da Educação. Portaria nº. 462, de 27 de maio de 2009. [Diário
Oficial da República Federativa do Brasil], Brasília, DF, n. 100, 28 maio 2009. Seção
1, p. 64.
CASTRO, M. H. G. Sistemas de avaliação da educação no Brasil: avanços e novos
desafios. São Paulo em Perspectiva, São Paulo, 2009. (No prelo).
CONSELHO NACIONAL DE EDUCAÇÃO. Câmara de Educação Básica. Parecer nº.
15. Diretrizes Curriculares Nacionais para o Ensino Médio. Brasília, DF, 1 jun. 1998.
DIAS, M. G. B. B. O desenvolvimento das competências que nos permitem conhecer.
In: INEP. Eixos cognitivos do ENEM. Brasília, DF, 2002. (Documento sem revisão).
FINI, M. I. Apresentação. In: INEP: Eixos cognitivos do ENEM. Brasília, DF, 2002.
(Documento sem revisão).
GUIMARÃES, R. B. Mudança social: ciências humanas e ENEM. In: INEP. Eixos
cognitivos do ENEM. Brasília, DF, 2002. (Documento sem revisão).
INEP. Eixos cognitivos do ENEM. Brasília, DF, 2002.
INEP. Exame Nacional do Ensino Médio: ENEM documento básico 1998. Brasília,
DF, 1998.
MENEZES, L. C. O Exame Nacional do Ensino Médio e os objetivos educacionais da
área das ciências da natureza, matemática e suas tecnologias no ensino médio.
In: INEP: eixos cognitivos do ENEM. Brasília, DF, 2002. (Documento sem revisão).
MURRIE, Z. F. A área linguagens e códigos e suas tecnologias no ENEM. In: INEP:
eixos cognitivos do ENEM. Brasília, DF, 2002. (Documento sem revisão).
PENNA FIRME, T. Avaliação: tendências e tendenciosidades. Ensaio: Aval. Pol. Públ.
Educ., Rio de Janeiro, v. 1, n. 2, p. 5-12, jan./mar. 1994.
PENNA FIRME, T.; STONE V. I.; TIJIBOY J. A. Avaliação de programas alternativos
de atendimento aos meninos de rua. Brasília. DF: UNICEF, 1987. (Relatório de estudo
não publicado).
359
PINTO, F.; LETICHEVSKY, A. C.; GOMES, C. G. O ENEM em síntese: propostas
teóricas e desdobramentos. Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, n. 40, p.
260-282, jul./set. 2003.
360
AVALIAÇÃO DO NÍVEL DE SATISFAÇÃO DOS GRADUANDOS,
QUE CURSARAM DISCIPLINAS EM REDE NA UNIGRANRIO,
COM A DIMENSÃO MATERIAL DIDÁTICO
Mary Neuza Dias Galdino51
Lúcia Inês Kronemberger52
Vanessa Olmo Pombo53
Resumo
O estudo avaliativo foi baseado na abordagem centrada nos consumidores que considera que os
sujeitos diretamente envolvidos são vistos como usuários do produto sem o poder de interferir no
processo, mas com a oportunidade de apontar o seu nível de satisfação em relação ao serviço
prestado pela IES. Para identificar o nível de satisfação dos graduandos que cursaram disciplinas
em rede com a Dimensão Material Didático foi realizado um recorte da Avaliação do grau de
satisfação dos discentes das disciplinas semipresenciais, aplicada pela UNIGRANRIO.
Metodologicamente, foram utilizados métodos quantitativos que envolveram análise descritiva
dos resultados e classificações a partir de dados estatísticos advindos de uma base de dados. A
qualidade material didático é uma potencialidade na oferta de disciplinas em rede, conforme
verificado nos resultados dos indicadores da Dimensão avaliada.
Palavras-chave: Ensino a Distância; Educação em Rede; Avaliação em EaD
1 Introdução
A Educação a Distância (EaD) não é novidade no cenário educacional brasileiro.
Ações vêm sendo desenvolvidas, desde o início do século XX, que tornam evidentes a
expansão dessa modalidade de ensino, alicerçadas por iniciativas do setor público e
privado e aliadas às políticas expansionistas para o ensino e aos avanços tecnológicos.
Especialmente, a partir da década de 80, foram intensificados estudos para o
aproveitamento dos recursos tecnológicos como ferramentas efetivas de melhoria ao
acesso à Educação, mas só nos últimos anos é que vem se consolidando uma forma de
comunicação mais eficiente mediada pelas tecnologias da informação e comunicação
(TIC).
O processo de evolução da EaD pode ser classificado em fases ou gerações
levando em consideração a prevalência dos tipos de mídias utilizadas como recursos
51 UNIGRANRIO
52 UNIGRANRIO
53 UNIGRANRIO
361
pedagógicos. Alguns autores como Peters (2003), Maia e Mattar (2007) defendem a
existência de três fases para EaD. Sartori (2006) e Martins (2007) propõem quatro fases
para o ensino a distância. Já Campos, Costa e Santos (2007), Santos (2007), Moore e
Kearsley (2007) e Formiga (2012) delineiam cinco fases para a EaD. O diálogo entre os
autores, tomando como base os respectivos referenciais temporais da EaD, indica que as
fases iniciais são comuns na concepção dos mesmos, evidenciando numa sequência
cronológica a utilização da mídia impressa via correspondência e o rádio, a utilização da
TV e fitas de áudio e videocassete e os computadores que possibilitaram através da
Internet o correio eletrônico e a videoconferência. As fases finais, especialmente, a
quarta, se destacaram pela valorização do uso dos recursos computacionais e pela
chegada da banda larga. Para alguns autores essa é a ultima fase na cronologia. A quinta
fase, intimamente ligada a quarta, enfatiza uma forma mais flexível e inteligente de
comunicação em rede. Na Figura 1 são identificadas cinco gerações da educação a
distância.
Figura 1 – As gerações de EAD.
Fonte: Adaptado do Quadro 13.2 As gerações de EAD e suas tecnologias, de Santos (2007, p. 162).
Este estudo enfatizou a quinta fase de EaD que aborda mais especificamente a
educação em rede.
362
2 Educação em Rede
Na perspectiva de uma comunicação mais flexível e inteligente, propiciada pelo
uso de recursos computacionais como forma de motivar o aluno a explorar o
conhecimento fora da sala de aula, a educação em rede vem se firmando como proposta
inovadora no campo educacional. Nesse contexto, vislumbra-se uma nova relação com
o saber permeada pelo desafio da passagem e convivência de um novo modelo de
ensino centrado no aluno.
Segundo Silva:
A inserção de tecnologia com toda a sua parafernália no cotidiano
escolar fornece a base para uma potencial revolução no aprendizado,
deslocando, inclusive, o locus do poder do professor para o aprendiz.
A informática abre um espaço sem fronteiras nas mãos dos
aprendizes; através dela é possível se trabalhar em tempos e maneiras
individualizadas, em velocidades variadas. Por muito tempo, a
educação tem feito promessas infundadas para atender às necessidades
únicas dos indivíduos e ensiná-los de que maneira aprender. A era da
informação com seus computadores pessoais pode tornar essa meta
realidade (SILVA, 2004, p. 21).
No ensino superior, a educação em rede foi apropriada pelas Instituições de
Ensino Superior (IES) através da oferta de atividades semipresenciais. Trata-se de oferta
de atividades na modalidade de ensino a distância, que de acordo com a Portaria nº
4.059 (BRASIL, 2004), se caracterizam como “atividades didáticas, módulos ou
unidades de ensino-aprendizagem centrados na autoaprendizagem e com a mediação de
recursos didáticos organizados em diferentes suportes de informação que utilizem
tecnologias de comunicação remota”.
De acordo com a legislação vigente, a oferta de disciplina semipresencial é
permitida em curso de graduação reconhecido pelo Ministério da Educação (MEC) e
seu desenho curricular pode contemplar essa oferta até o limite de 20% do total da carga
horária do curso. Além disso, a oferta de disciplina semipresencial deverá obedecer às
prerrogativas da Portaria nº 4.059 (BRASIL, 2004), no que diz respeito à
obrigatoriedade de avaliação presencial, existência de sistema de tutoria online e
presencial, e programação de encontros presenciais.
A adoção da educação em rede por meio da oferta de disciplinas semipresenciais
vem sendo largamente utilizada pelas IES no Brasil e essa prática independe do
credenciamento institucional para a modalidade de EaD. O credenciamento de IES para
a oferta de cursos de graduação e pós-graduação na modalidade de EaD está em
363
ascensão e enfrenta as exigências legais e de condições mínimas de qualidade previstas
nos referenciais e instrumentos de avaliação do MEC.
Atualmente, o Brasil conta com 227 instituições credenciadas para a oferta de
EaD distribuídas em suas cinco regiões geográficas. Sendo que 45% das IES estão
localizadas na Região Sudeste, 21% na Região Sul, 19% na Região Nordeste, 8% na
Região Centro-Oeste e 7% na Região Norte. No total, 77,1% possuem credenciamento
pleno para oferta de graduação e pós-graduação lato sensu e 22,9% possuem
credenciamento apenas para oferta de pós-graduação lato sensu, de acordo com o
Relatório de Instituições Credenciadas para EAD (MINISTÉRIO DA EDUCAÇÃO,
2011).
Segundo Formiga:
A geração nascida a partir de 1980 – nativos, enquanto seus pais e
avós são migrantes da civilização digital – é contemporânea do
microcomputador pessoal. Os nativos encontraram um parque
industrial diversificado, que levou o País a 10ª posição como maior
indústria global em 2010, conectado por redes de comunicação e
satélites. Esses jovens cresceram em uma sociedade dual caracterizada
por altos e baixos, ricos e pobres, conhecedores das vantagens da
tecnologia moderna: redes sociais, Internet sem fio, telefone celular,
iPads, iPods, tablets, PDAs, videogame, cartão eletrônico, DVD e a
recém-chegada TV interativa, digital em terceira dimensão. Os filhos
da civilização multimídia, convivendo com texto, som e imagem
convergentes e amistosos, estão acostumados à mudança continuada
nos hábitos e costumes da Galáxia de Gutemberg à aldeia global
(FORMIGA, 2012, p. 381).
Nesse sentido, a oferta de educação em rede nas IES encontra mais apoio e
aceitação do que resistência por parte dos graduandos, tendo em vista as possibilidades
de conexão independente de tempo e lugar, propiciada pelos recursos tecnológicos
pessoais ou a disposição nos diversos espaços de convivência no dia-a-dia. As
facilidades da evolução tecnológica apresentam-se como potenciais estimuladores do
uso de recursos computacionais conectados a Internet como ferramenta que favorece a
autonomia e a autoaprendizagem, por meio do acesso a informação e comunicação
remota.
3 Cenário: uma Universidade com o lema “Vá Além da Sala de Aula”
No início da década de 60, a Baixada vivia um período extremamente
promissor, não só pelo crescimento do seu parque industrial e
364
desenvolvimento do comércio, mas pela perspectiva da qualidade de
vida que existia em toda a região (CARDOSO, 2010, p. 13).
Nesse contexto, foi criada a Universidade do Grande Rio “Prof. José de Souza
Herdy” (UNIGRANRIO) que se constituiu como marco importante para a educação
superior do município de Duque de Caxias. A história da instituição começou na década
de 70, com a criação da Associação Fluminense de Educação (AFE), pelo Prof. José de
Souza Herdy, com seus primeiros cursos ofertados em 1972.
A UNIGRANRIO foi reconhecida como Universidade no ano de 1994, através
da Portaria Ministerial nº 940 (BRASIL, 1994), teve seu status de Universidade
renovado em 2012, pela Portaria Ministerial nº 690 (BRASIL, 2012), e para exercer sua
autonomia universitária, dispõe de estrutura de governança própria exercida por meio
dos órgãos da administração superior, da administração acadêmica e os suplementares.
Atualmente, a UNIGRANRIO conta com sete campi e quatro unidades distribuídos no
Estado do Rio de Janeiro. A trajetória da UNIGRANRIO está alinhada à sua missão de
promover a qualidade de vida por meio do processo educacional e tem como alicerces
os pilares Sustentabilidade, Empreendedorismo e Empregabilidade, perpassados pela
Responsabilidade Social. A essa trajetória estão incorporadas as metas corporativas de
Crescimento, Imagem, Rentabilidade e Gestão que se constituem em diretrizes para o
Plano de Desenvolvimento Institucional (PDI) da Universidade.
A Sede principal da UNIGRANRIO está localizada no município de Duque de
Caxias, na área da Baixada Fluminense, que congrega 13 dos 92 municípios do Estado
do Rio de Janeiro. Com forte presença comunitária, a UNIGRANRIO busca reafirmar,
permanentemente, a sua missão de melhoria da qualidade de vida da população, tendo
como instrumento básico o processo educacional e realiza suas atividades de ensino,
pesquisa e extensão, numa visão empreendedora da educação, que a leva, em todas as
suas dimensões, para além da sala de aula.
A UNIGRANRIO conta com Programas de Pós-graduação Lato Sensu e Stricto
Sensu cujas linhas de pesquisa, definidas pelas Escolas54 e Institutos55, estão
vinculadas aos projetos de extensão e articulam-se com os programas dos cursos de
graduação, principalmente, no que concerne à iniciação científica.
54 Escola de Educação, Ciências, Letras, Artes e Humanidades; Escola de Ciências Sociais e Aplicadas;
Escola de Ciência e Tecnologia; e Escola de Ciências da Saúde.
55 Instituto de Estudos Fundamentais I e Instituto de Estudos Fundamentais II.
365
Atualmente, a Instituição oferta cursos de graduação na modalidade presencial
em conformidade com a legislação vigente, e disciplinas em rede de acordo com as
prerrogativas da Portaria nº 4.059, (BRASIL, 2004).
Para a oferta de disciplinas na modalidade a distância, em rede, a Universidade
conta em sua estrutura com o Núcleo de Educação a Distância (NEaD), criado pela
Resolução nº 50/2007 (UNIGRANRIO, 2007). Trata-se de unidade de gestão com
competência para implementar as políticas e diretrizes para a Educação a Distância
estabelecidas no âmbito da instituição, o que possibilitou expansão do uso do Ambiente
Virtual de Aprendizagem (AVA) com suas ferramentas comunicacionais e de interação
como apoio didático, ampliando a proposta dos cursos reconhecidos pelo MEC quanto à
inserção de atividades na modalidade em rede em seus desenhos curriculares. Apesar de
o NEaD ter sido criado em 2007, a Universidade já oferecia de forma tímida e
experimental disciplinas em rede desde 2005, utilizando a Plataforma Moodle.
A criação do NEaD e a oferta institucionalizada de atividades em rede,
coadunou-se com os resultados das estatísticas da Pesquisa Nacional por Amostra em
Domicílios PNAD (2008), realizada no Estado do Rio de Janeiro, que apontou dados
otimistas referentes ao crescimento de uso da Internet, variável importante na
consolidação do processo de oferta da modalidade de EaD.
No ano de 2010, na busca da solidificação da experiência com o uso pedagógico
das TIC nos cursos presenciais, a UNIGRANRIO incrementou suas ações de EaD
investindo na capacitação de gestores, professores, pessoal técnico-administrativo e
graduandos. Além disso, contratou e capacitou tutores e professores conteudistas, bem
como investiu em produção científica. Na expectativa de aprimorar o processo de oferta
de atividades no formato em rede, a Universidade estabeleceu contrato de parceria com
a empresa webAula56 para contratação de Learning Management System (LMS)57 e
conversão dos conteúdos para a linguagem e-learning58. Tais medidas objetivaram dar
mais plasticidade, dialogicidade e atratividade às disciplinas em rede e aumentar a
56 A webAula S/A é pioneira no segmento de e-Learning no país e, atualmente, possui o maior player
nacional. Destaca-se pela qualidade na produção e implementação de cursos on-line e pelo uso de alta
tecnologia. Resultado de uma joit venture entre as empresas Zargon e Poliedro, a empresa desenvolve
soluções completas e flexíveis para educação a distância, aliando tecnologia, conteúdo e gestão.
Disponível em: <http://www.webaula.com.br/pt/a-webaula/webaula-o-maior-player-e-learning-dobrasil.asp>. Acesso em: 16 Abr. 2012.
57 Sistema de Gestão da Aprendizagem.
58 Formato de educação a distância com suporte na internet. Seu foco consiste em organizar e
disponibilizar materiais didáticos e recursos hipermediáticos. Disponível em:
<http://pt.wikipedia.org/wiki/Learning_Management_System>. Acesso em: 16 Abr. 2012.
366
usabilidade do AVA, de forma a motivar os alunos a construírem conhecimento de
modo colaborativo e desenvolverem hábitos de estudos, com autonomia e compromisso
em seu processo formativo, além de potencializar o trabalho do docente.
4 O ESTUDO
O estudo avaliativo foi baseado na abordagem centrada nos consumidores, que
segundo Scriven (1960 apud WORTHEN; SANDERS; FITZPATRICK, 2004, p. 166),
ressalta o papel formativo e somativo da avaliação. Formativo considerando a exigência
de avaliação permanente para o acompanhamento do desenvolvimento das atividades do
NEaD e somativo ao ponderar a necessidade de se concluir parecer sobre produto final –
disciplinas em rede – ofertado pelo Núcleo e sua utilidade e benefícios para a vida do
usuário, no caso o aluno e para a Universidade. Nesse contexto, cabe esclarecer que ao
definir a abordagem avaliativa centrada nos consumidores os sujeitos diretamente
envolvidos são vistos como usuários do produto sem o poder de interferir no processo,
mas com a oportunidade de apontar o seu nível de satisfação em relação ao serviço
prestado pela IES.
Para identificar o nível de satisfação do graduando com o processo de oferta de
disciplinas em rede foi realizado, em dezembro de 2011, pela Comissão Própria de
Avaliação (CPA) em parceria com o NEaD, estudo avaliativo denominado Avaliação do
grau de satisfação dos discentes das disciplinas semipresenciais. Essa avaliação foi
elaborada a partir do cumprimento de uma das etapas do Projeto de Avaliação do
NEaD. O Projeto de Avaliação do NEaD, em conformidade com as diretrizes
estabelecidas pelo Núcleo e com o Projeto de Autoavaliação da CPA da
UNIGRANRIO, se propõe a averiguar o processo de funcionamento das atividades do
NEaD e a partir do diagnóstico propor estratégias de melhorias em seu Plano de Gestão.
Para tanto, o referido Projeto prevê avaliações permanentes das Categorias: NEaD,
como unidade de gestão; Professores-Coordenadores; Tutores; e Discentes.
O instrumento avaliativo foi elaborado e homologado pela CPA e pelo NEaD, e
validado no âmbito da disciplina de Prática em Ambientes Virtuais do Programa de Mestrado
Profissional em Avaliação da Fundação CESGRANRIO. Esse processo de validação foi
intermediado por membro da CPA, então mestranda do referido Programa. A avaliação
contou com um universo de 11.393 graduandos matriculados em disciplinas em rede e teve
uma amostra de 2.005 alunos que compôs uma representatividade de 17,6% do total,
considerada válida de acordo com o método probabilístico aplicado. Os dados foram
367
coletados por meio do Portal Educacional da UNIGRANRIO, onde o aluno ao se conectar era
convidado a participar da avaliação por meio de uma janela pop up, e com base nas seguintes
dimensões: Perfil discente; Socioafetiva; Organização didático-pedagógica; Ambiente virtual;
Mediação pedagógica (tutoria); Interatividade; Material didático; Avaliação; e Atendimento
ao aluno. O instrumento utilizado no processo avaliativo foi composto por 9 dimensões e 81
indicadores com padrões de resposta específicos, conforme descrito no Quadro 1:
Quadro 1 – Dimensões, número de indicadores e padrões de resposta da Pesquisa Avaliação do
grau de satisfação dos discentes das disciplinas semipresenciais.
Dimensão
1.
2.
Perfil do Aluno
Socioafetiva
3.
Organização Didático-Pedagógica
4.
Ambiente Virtual de Aprendizagem
(AVA)
5.
Mediação Pedagógica (Tutoria)
6.
Interatividade
7.
Material Didático
8.
Avaliação
9.
Atendimento ao aluno
Fonte: A autora (2012).
Nº de
Indicadores
5
4
Padrão de Resposta
Variável
Plenamente
Satisfatório
Satisfatório
Insatisfatório
Sim
Não
Parcialmente
12
13
11
10
17
6
3
Metodologicamente, foram adotados no estudo avaliativo métodos quantitativos
que envolveram análise descritiva dos resultados provenientes dos instrumentos
avaliativos e classificações a partir de dados estatísticos advindos de uma base de dados.
Para este artigo foi realizado um recorte da Avaliação aplicada e definiu-se para
apresentação a Dimensão 1: Perfil do Aluno e a Dimensão 7: Material Didático. A
Dimensão 1 foi escolhida pela relevância de se conhecer o perfil do graduando
respondente. A Dimensão 7 foi escolhida com base no critério de ter sido melhor
avaliada pelos graduandos, conforme média das Dimensões avaliadas nas Tabelas 1 e 2:
Tabela 1 - Média dos indicadores da dimensão socioafetiva.
Dimensão
2 - Socioafetiva
Legenda:
PS- Plenamente Satisfatório
S- Satisfatório
I- Insatisfatório
Número de
Indicadores
4
PS
%
18
S
%
70
I
%
12
368
Tabela 2 -
Média dos Indicadores das dimensões da avaliação com os discentes que cursaram
disciplinas semipresenciais.
Dimensão
3- Organização Didático-Pedagógica
4- Ambiente Virtual de Aprendizagem
(AVA)
5- Mediação Pedagógica (Tutoria)
6- Interatividade
7- Material Didático
8- Avaliação
9- Atendimento ao aluno
Média final
Número de
Indicadores
12
13
S
%
53
50
P
%
27
34
N
%
20
16
11
10
17
6
3
-
56
56
64
53
50
50
28
28
26
28
34
34,4
16
16
10
19
16
15,6
Legenda:
S- Sim
P- Parcialmente
N- Não
5 RESULTADOS
5.1 Dimensão: Perfil do Aluno
A dimensão contemplou a análise do Perfil do Aluno representado pelos
Gráficos 1, 2, 3, 4, 5 e 6 que descreveram os seguintes indicadores: Sexo; Possui
computador em casa; Possui acesso a Internet no trabalho; Local onde mais acessa;
Qual tipo de acesso mais utilizado e a Frequência de acesso.
Gráfico 1 – Gênero
Gráfico 2 – Possui computador em casa.
O Gráfico 1 apontou que 60% dos respondentes eram do sexo feminino e 40%
do sexo masculino. O estudo mostrou que 88% possuíam computador em casa com acesso
a Internet (Gráfico 2). Os dados da PNAD (2008) – Estado do Rio de Janeiro confirmaram
369
essa tendência, já que revelaram que 68% dos entrevistados possuíam computador em casa
com acesso a Internet.
Gráfico 3 - Possui acesso a Internet no trabalho
Gráfico 4 - Local onde mais acessa a Internet.
Os dados revelaram que 53,7% possuíam acesso a Internet no trabalho como representado
no Gráfico 3. A PNAD (2008) – Estado do Rio de Janeiro revelou números menos expressivos,
28,8% das pessoas entrevistadas no Estado realizavam acesso a Internet no trabalho. O estudo
revelou que 64% acessaram a Internet com maior frequência em suas casas, conforme pode se
observar no Gráfico 4. O Relatório da PNAD (2008) – Estado do Rio de Janeiro revelou que
68% acessaram Internet em casa.
Gráfico 5 – Tipo de acesso à Internet mais utilizado.
Gráfico 6 – Frequência de acesso à Internet.
O Gráfico 5 mostrou que 47% utilizavam a Internet a cabo e 41% utilizavam a
Internet via conexão ADSL. O Gráfico 6 demonstrou que 78% acessavam a Internet
diariamente, o que aponta um alto índice de possibilidade de acesso.
370
5.2 Dimensão: Material Didático
O estudo dessa dimensão abordou as questões pertinentes ao planejamento,
elaboração, utilidade e qualidade do material didático da disciplina em rede.
Gráfico 7 – Dimensão material didático.
1
265
3
5
Indicadores
7
138
158
158
196
219
223
9
11
13
15
17
1478
343
184
535
207
96
136
152
1442
1401
1317
1245
1201
1219
425
445
375
289
239
190
1205
529
563
585
563
640
608
559
618
563
990
1191
1157
1149
1251
1542
1482
367
387
1333
519
271
Sim
640
Valores
Parcialmente
1095
Não
Indicadores:
1- O plano de ensino foi disponibilizado e apresentado no início da disciplina?
2- Os objetivos de aprendizagem trabalhados em cada unidade de aprendizagem da
disciplina estavam claros?
3- O material didático denota respeito às questões éticas?
4- O material didático denota respeito às questões de gênero?
5- O material didático promove a integração de diversas mídias?
6- Há equilíbrio na utilização de elementos imagéticos e textuais no material didático?
7- O material didático mobiliza conhecimentos prévios do aluno?
8- O material didático possui clareza na linguagem?
9- A formatação do material didático é agradável e estimulante?
10- O material didático faz uso de ícones adequadamente?
11- A apresentação visual do material didático facilita a aprendizagem?
12- As imagens utilizadas no material didático agregam valor ao conteúdo e facilitam o seu
entendimento?
13- Os textos empregados no material didático são relevantes?
14- Há indicação de bibliografia complementar?
15- Há indicação de sites complementares?
16- O conteúdo atende o proposto na ementa da disciplina?
17- O guia/manual/ tutorial de utilização do material disponibilizado é prático e facilitou a
aprendizagem?
As análises descreveram que 73,7% (1.478 graduandos) declararam que o plano de
ensino foi disponibilizado no inicio da disciplina (Indicador 1); 60,1% (1.205 graduandos)
confirmaram que os objetivos da disciplina estavam claros (Indicador 2); 71,9% (1.442
371
graduandos) concordaram que o material didático denotou respeito às questões éticas
(Indicador 3); 69,9% (1.401 graduandos) concordaram que o material didático respeitou as
questões de gênero (Indicador 4); 65,7% ( 1.317 graduandos) concordaram que o material
didático promoveu a integração de diversas mídias (Indicador 5); 62,1% (1.245 graduandos)
disseram que houve equilíbrio na utilização de elementos imagéticos e textuais no material
didático (Indicador 6); 59,9% (1.201 graduandos) concordaram que o material didático
mobilizou conhecimentos prévios do aluno (Indicador 7); 60,8% (1.219 graduandos)
afirmaram que o material didático apresentou clareza de linguagem (Indicador 8); 49,4%
(990 graduandos) acharam a formatação do material didático agradável e estimulante, 31,9
% (640 graduandos) concordaram parcialmente com esse indicador e 18,7% (375
graduandos) não concordaram (Indicador 9); 59,4% (1.191 graduandos) concordaram que o
material didático fazia uso de ícones de forma adequada (Indicador 10); 57,7% (1.157
graduandos) afirmaram que a apresentação visual do material didático facilitou a
aprendizagem (Indicador 11); 57,3% (1.149 graduandos) concordaram que as imagens
utilizadas no material didático agregaram valor ao conteúdo e facilitaram o entendimento
(Indicador 12); 62,4% (1.251 graduandos) revelaram que os textos empregados no material
didático foram relevantes (Indicador 13); 76,9% (1.542 graduandos) concordaram com a
existência de indicação de bibliografia complementar (Indicador 14); 73,9% (1.482
graduandos) concordaram que existiu indicação de sites complementares (Indicador 15);
66,5% (1.333 graduandos) afirmaram que o conteúdo atendeu ao proposto na ementa da
disciplina (Indicador 16); e 54,6% (1.095 graduandos) confirmaram a praticidade do guia,
manual, tutorial de utilização do material disponibilizado e que o mesmo facilitou a
aprendizagem, enquanto 31,9% (640 graduandos) concordaram parcialmente e 13,5% (271
graduandos) não concordaram (Indicador 17).
5.3 Considerações
Com a finalidade de fornecer as orientações necessárias para o sucesso do
trabalho desenvolvido pelos atores responsáveis pela mediação da aprendizagem dos
alunos, o NEaD elaborou diferentes tipos de materiais educacionais, com função
específica dentro do contexto:

Guias e Manuais para informação e orientação dos alunos e professores com
relação ao calendário acadêmico, ao curso, às disciplinas, à metodologia, sistema de avaliação
e demais informações relevantes para o bom andamento do curso. Ex. Guia Geral do Curso,
Guia da Disciplina, Manual do aluno, Guia de Autoria, Guia de Tutoria.
372
 Tutoriais para orientação dos professores e os alunos com relação aos
procedimentos para o acesso, a navegação e a interação no AVA.
 Apostilas, materiais didáticos que contêm os textos-base para estudo das
disciplinas.
 Material didático online que consiste no material didático multimídia, de
cunho interativo.
 Audiobook, textos-base convertidos em áudio para atendimento aos alunos
portadores de necessidades educacionais especiais.
 Material Audiovisual na forma de vídeo contendo a apresentação da
disciplina a ser cursada pelo aluno.
As disciplinas em rede são estruturadas seguindo planejamento metodológico
específico para atender o aluno desta modalidade de ensino.
Para a elaboração do conteúdo das disciplinas em rede o NEaD recruta e
seleciona os professores autores, dando preferência aos que compõem o corpo docente
da Universidade, a partir da análise curricular e de uma entrevista com os interessados e
os contrata de acordo com a legislação em vigor. Como requisito mínimo exigido, os
docentes devem ter domínio do conteúdo da disciplina, formação em nível de pósgraduação stricto sensu em área afim e ter ministrado a disciplina na graduação, além de
possuir, preferencialmente, experiência na produção de material didático e na EaD.
A elaboração dos materiais didáticos obedece ao planejamento instrucional
idealizado pela equipe do NEaD. Esse plano instrucional orienta para a definição dos
objetivos, as competências, habilidades e atitudes a serem desenvolvidas durante o
processo de estudo do material, o conhecimento a ser construído pelo aluno, as atividades
e textos complementares, os exercícios de autoavaliação e as referências bibliográficas. O
professor pode enriquecer os estudos com proposta de esquemas, gráficos, links, vídeos,
animações, desenhos e figuras importantes para a aprendizagem, além de artigos e
capítulos de livros a serem postados na Biblioteca Virtual da disciplina.
O material didático recebe tratamentos especializados visando um design
instrucional acessível e agradável ao usuário e passa por ambiente de testes para
validação pelo autor e pela equipe do NEaD.
Para que os alunos se sintam acolhidos e motivados são disponibilizados vídeos
de apresentação das disciplinas gravados nos estúdios da UNIGRANRIO.
373
O NEaD da UNIGRANRIO oportuniza o acesso aos conteúdos das disciplinas em
rede através de diferentes mídias, favorecendo ao aluno o estudo por meios alternativos e
convergentes: meio impresso, CD-ROM ou DVD e arquivos para download no AVA e no
Portal Educacional. Ao iniciar a disciplina os alunos têm acesso ao Guia do Aluno, no
qual encontram informações sobre a modalidade de educação a distância e sobre o
processo de ensino, como devem proceder durante o curso, como ter acesso ao AVA e a
todos os endereços eletrônicos úteis referentes às suas demandas acadêmicas.
A qualidade dos materiais instrucionais (de orientação e didático) é uma
potencialidade na oferta de disciplinas em rede, conforme verificado nos resultados dos
indicadores da Dimensão: Material Didático.
O estudo realizado foi de caráter somativo, mas ao ser indexado às avaliações
formativas podem propiciar de forma complementar a avaliação do “produto” e dos sujeitos
envolvidos durante o seu processo de implantação, que permite os ajustes necessários.
374
Referências
BRASIL. Ministério do Estado e de Educação e do Desporto. Portaria nº 690, de
28 de maio de 2012. Recredencia, em caráter excepcional, a Universidade do
Grande Rio “Prof. José de Souza Herdy”- Unigranrio, mantida pela Associação
Fluminense de Educação, com sede na cidade de Duque de Caxias, Estado do Rio
de Janeiro, pelo prazo máximo de 5 (cinco) anos. Diário Oficial [da] República
Federativa do Brasil, Brasília, DF, 29 maio 2012.
______. Ministério do Estado e de Educação e do Desporto. Portaria nº 940, de 16 de Junho
de 1994. Reconhece a Universidade do Grande Rio “Prof. José de Souza Herdy”Unigranrio, mantida pela Associação Fluminense de Educação, com sede na cidade de
Duque de Caxias, Estado do Rio de Janeiro, aprovando, neste ato, seu Estatuto e Regimento
Geral. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 17 jun. 1994.
______. Ministério da Educação. Portaria nº 4.059, de 10 de dezembro de 2004.
Considera o disposto no art. 81 da Lei nº 9.394, de 20 de dezembro de 1996, e no art. 1º
do Decreto nº 2.494, de 10 de fevereiro de 1998. Diário Oficial [da] República
Federativa do Brasil, Brasília, DF, 13 dez. 2004.
CAMPOS, F. C. A.; COSTA, R. M. E.; SANTOS, N. Fundamentos da educação a
distância: mídias e ambientes virtuais. Juiz de Fora: Editar, 2007.
CARDOSO, A. Retratos da Baixada Fluminense. Rio de Janeiro: Wak, 2010.
FORMIGA, M. M. M. Aprendizagem além-fronteiras e EaD. In: LITTO, F. M.;
FORMIGA, M. (Orgs.). Educação à distância: o estado da arte. São Paulo: Pearson
Education do Brasil, 2012. 2 v.
MAIA, C.; MATTAR, J. ABC da EaD. São Paulo: Pearson Prentice Hall, 2007.
MARTINS, H. G. O processo de ensino-aprendizagem mediado pelos recursos da EAD
nas universidades corporativas. In: RICARDO, E. J. (Org.). Gestão da educação
corporativa. São Paulo: Pearson Prentice Hall, 2007.
MINISTÉRIO DA EDUCAÇÃO (Brasil). Sistema e-MEC. Relatório de instituições
credenciadas para EaD. [Brasília, DF]: MEC, 2011.
MOORE, M.; KEARSLEY, G. Educação a Distância: uma visão integrada. Tradução:
Roberto Galman. São Paulo: Thomson Learning, 2007.
PNAD. Pesquisa Nacional por Amostra de Domicílios: acesso a Internet e posse de
telefone móvel celular para uso pessoal. Rio de Janeiro: IBGE, 2008. Disponível em:
<http://www.ibge.gov.br/estadosat/imprimir.php?sigla=rj&tema=pnad_internet_celular
_2008>. Acesso em: 10 abr. 2012.
PETERS, O. A Educação a distância em transição. Tradução: Leila Ferreira de Souza
Mendes. São Leopoldo: Unisinos, 2003.
375
SANTOS, E. O. dos. A EAD como dispositivo formativo nas organizações que
aprendem: desafios para a gestão de recursos humanos no contexto da educação e da
universidade corporativa. In: RICARDO, E. J. (Org.). Gestão da educação corporativa.
São Paulo: Pearson Prentice Hall, 2007.
SARTORI, A. S. A Comunicação na Educação a Distância: o desenho Pedagógico e os
modos de interação. In: CONGRESSO BRASILEIRO DE CIÊNCIAS DA
COMUNICAÇÃO, 29., 2006, Brasília, DF. Anais... São Paulo: Intercom, 2006. CDROM. Disponível em:
<http://galaxy.intercom.org.br:8180/dspace/bitstream/1904/19913/1/Ademilde+Silveira
+Sartori.pdf>. Acesso em: 27 fev. 2012.
SILVA, A. C. da. Escola da linearidade presente à possível hipertextualidade um caminho a
ser trilhado. In: SILVA, A. C. da (Org.). Infovias para a educação. Campinas, SP: Alínea,
2004.
UNIGRANRIO. Plano de Desenvolvimento Institucional 2010-2014. Rio de Janeiro, 2010a.
______. Projeto Pedagógico Institucional. Rio de Janeiro. 2010b.
______. Resolução Consepe nº 50, de 21 de dezembro de 2007. Cria o núcleo de
educação a distância. Rio de Janeiro, 2007.
concepções e práticas. São Paulo: Gente, 2004.
376
UM INSTRUMENTO SIMPLES PARA AVALIAR A AUTOAVALIAÇÃO
Márcia da Silveira Ferreira59
Lígia Silva Leite60
Resumo
O Sistema Nacional de Avaliação da Educação Superior (Sinaes) determina que as
instituições de ensino superior brasileiras realizem autoavaliações institucionais. Neste
texto relata-se o desenvolvimento de um instrumento elaborado para enfrentar o desafio
de avaliar a qualidade da autoavaliação realizada no âmbito do Sinaes por uma
instituição de educação superior (IES) carioca, tanto à luz de seu papel nos processos
regulatórios de recredenciamento institucional e de renovação de reconhecimento dos
cursos de graduação quanto perante padrões internacionais de qualidade de avaliação.
Trata-se, portanto, da apresentação de um instrumento de meta-avaliação, isto é,
destinado a subsidiar a avaliação de uma avaliação.
Palavras-chave: meta-avaliação, autoavaliação, ensino superior, SINAES.
Introdução
Na história do ensino superior brasileiro, foi a pós-graduação stricto sensu que
primeiro contou com um sistema bem estruturado de avaliação permanente. Este foi
implementado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
(Capes) ainda na década de 1970, estando fundamentado em indicadores de qualidade e
de eficiência: os indicadores de qualidade, basicamente, em termos da produção
científica e da publicação de dissertações e teses, e os indicadores de eficiência,
basicamente, considerando as taxas de conclusão de curso e o tempo para obtenção do
diploma.
Quanto à graduação, os procedimentos de avaliação institucionalizados
nacionalmente são bem mais recentes. Na última década, a avaliação do ensino superior
brasileiro, e, portanto das IES, é regulada pela Lei no 10.861 (BRASIL, 2004), que
instituiu o Sistema Nacional de Avaliação da Educação Superior (Sinaes). Este tem por
finalidade determinar a qualidade do ensino superior brasileiro e possui o objetivo
tripartite de promover (1) a avaliação do desempenho dos estudantes, (2) a avaliação
dos cursos de graduação, e (3) a avaliação das instituições de ensino superior per se.
No âmbito do Sinaes:
59 Universidade Gama Filho
60 Mestrado Fundação CESGRANRIO
377
 a avaliação do desempenho dos estudantes se dá por meio do Exame Nacional
de Avaliação de Desempenho dos Estudantes (Enade);
 a avaliação dos cursos de graduação, por sua vez, ocorre por meio da análise
das informações obtidas com o ENADE e por meio de visita in loco com utilização de
instrumentos próprios, divididos em três dimensões: organização didático-pedagógica,
corpo docente, e infraestrutura; e
 a avaliação das IES, por fim, é composta de uma autoavaliação, um processo
interno desenvolvido pela própria instituição segundo roteiro e orientações publicadas
pelo MEC, e de uma avaliação externa, in loco, realizada por comissões designadas pelo
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), segundo
instrumento próprio.
Passados alguns anos desde que as autoavaliações institucionais vem ocorrendo
nas IES brasileiras, nos moldes e âmbito do Sinaes, era hora de avaliar uma dessas
autoavaliações. A autora deste artigo foi membro da Comissão Interna de Avaliação
Institucional (CIAI), criada:
para organizar e sistematizar a documentação institucional [...] e todos
os procedimentos referentes à visita da Comissão de Avaliação
Institucional Externa" da instituição cujo quadro docente integra.
Entre as suas tarefas na CIAI estava a de avaliar a situação da
Universidade no que tange ao "planejamento e avaliação,
especialmente em relação aos processos, resultados e eficácia da
autoavaliação institucional.
(Dimensão 8 do Instrumento de Avaliação Institucional Externa). Assim, coubelhe contribuir na avaliação da autoavaliação da instituição, isto é, uma meta-avaliação.
Como fazer a meta-avaliação? Elliot ensina que meta-avaliação é “a verificação
da qualidade da própria avaliação à luz de diversos critérios“ (ELLIOT, 2011). A
seleção de critérios é basal e, para obter um juízo de valor a respeito da autoavaliação
em questão, optou-se por uma abordagem somativa utilizando critérios oriundos de três
fontes e reunidos em uma lista de verificação.
O Sinaes prevê a retroalimentação do sistema afirmando que os processos de
avaliação interna e os da externa devem ser constantemente avaliados, tanto pelas
próprias IES quanto pelo Ministério da Educação (MEC); que as análises dos processos
de avaliação e as recomendações específicas daí derivadas devem fazer parte dos
respectivos relatórios; que cada novo ciclo avaliativo deve levar em conta os acertos e
378
eventuais equívocos do processo anterior; e que a Comissão Nacional de Avaliação da
Educação Superior (Conaes) fará suas recomendações para o contínuo aperfeiçoamento
dos processos de avaliação, buscando verificar questões como a sua adequação à
complexidade institucional e à diversidade do sistema, a utilidade das recomendações
para o aperfeiçoamento da instituições e a melhoria da qualidade acadêmica, a
viabilidade dos métodos e instrumentos utilizados, a justeza e a confiabilidade dos
resultados, entre outros (BRASIL, 2003).
Ao ser realizada no âmbito do Sinaes, adicionalmente ao seu componente de
gênese de autoconhecimento institucional, a autoavaliação institucional tem especial
papel em processos regulamentadores de essencial importância para as IES. Portanto,
além de apreciar a autoavaliação perante parâmetros internacionais de qualidade, a
meta-avaliação aqui mencionada preocupou-se com a contribuição da autoavaliação aos
resultados
dos
processos
de
recredenciamento
institucional
e
de
reconhecimento/renovação de reconhecimento de curso. Assim, para a construção do
processo meta-avaliativo almejado, foi fundamental debruçar-se sobre os documentos e
legislação que orientam o Sinaes, para identificar e selecionar standards gerais de
verificação de qualidade de avaliação que englobassem as questões de adequação,
utilidade, viabilidade, a justeza e a confiabilidade, preocupações do Sinaes (BRASIL,
2003).
Além disso, o instrumento desenvolvido para a meta-avaliação foi desenhado
também à luz da matriz orientadora dos instrumentos do processo de avaliação externa
do Sinaes e dos seus elementos constitutivos, cujos conceitos estão estabelecidos pelo
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP, 2011),
como segue:
I - Dimensões são agrupamentos de grandes traços ou características referentes
aos aspectos institucionais sobre os quais se emite juízo de valor e que, em seu
conjunto, expressam a totalidade da instituição.
II - Categorias são subdivisões ou aspectos específicos que compõem uma
dimensão e que, em conjunto, expressam a situação em que se encontra a instituição
com relação a cada dimensão.
III - Grupo de indicadores é o conjunto de medidas e/ou evidências usadas para
caracterizar o estado da categoria.
379
IV - Indicadores são evidências concretas (quantitativas ou qualitativas) relativas
a cada um dos grupos de indicadores, que de uma forma simples ou complexa
caracterizam a realidade dos múltiplos aspectos institucionais que retratam.
V - Critérios são atributos ou qualidade dos indicadores que permitem avaliar
uma categoria.
Os processos de recredenciamento institucional e de reconhecimento/renovação
de reconhecimento de curso se valem de dois instrumentos próprios, descritos a seguir.
O Instrumento de Avaliação Institucional Externa (IAIE) é um formulário para
registro dos resultados de observações e análise de documentos, com cotejamento a
indicadores e conceituação, expresso em escala Likert. Foi elaborado de forma conjunta
pela Conaes e pela Diretoria de Avaliação da Educação Superior (DAES), do Inep.
Trata-se de um documento oficial, destinado à utilização em avaliações de caráter
regulatório: recredenciamento de instituição de ensino superior. Está disponível para o
público interessado em versão eletrônica Portable Document Format (PDF), no site do
Inep.
De acordo com o relato de Sousa e de Xavier (2004), representantes da
Comissão Assessora de Avaliação Institucional, do Inep, o processo de construção da
proposta do IAIE incluiu: designação e reuniões de trabalho da Comissão Assessora de
Avaliação Institucional do Inep; análise do formulário eletrônico pré-existente;
elaboração de uma matriz composta por dimensões, categorias de análise, grupos de
indicadores e indicadores; decisão de construir, a partir da matriz, três instrumentos para
a avaliação institucional externa; ampla leitura sobre educação superior e avaliação, e
análise de instrumentos avaliativos nacionais e internacionais; e definição de uma
metodologia para a construção do processo.
No relato citado, obtém-se a informação de que o IAIE passou por processo de
validação que obedeceu às seguintes etapas: submissão da primeira versão a um grupo
de 13 especialistas, para análise crítica e aperfeiçoamento; teste no contexto de quatro
IES; encaminhamento ao Conselho Nacional de Educação (CNE), para apreciação pela
Câmara de Educação Superior do CNE e outras providências; previsão da aplicação,
após Portaria Ministerial/MEC, em novembro de 2004; previsão da elaboração dos
instrumentos para avaliar centros universitários e faculdades integradas, faculdades,
institutos ou escolas superiores no início de 2005; construção de um simulador que
permitiu a realização de exercícios para adequação dos pesos; revisão do modelo
380
matemático, considerando a nova distribuição de pesos por elementos constitutivos;
revisão global, gerando uma nova versão do mesmo.
Segundo o então Ministro da Educação, Fernando Haddad (2010, p. 2), em texto
de 2008, o IAIE:
possui abrangência e flexibilização necessárias para assegurar uma
avaliação fidedigna das instituições, realçar as especificidades que
marcam cada uma delas, e viabilizar a sua utilização associada a
indicadores diagnósticos que contribuirão para uma análise mais
substancial da realidade.
Quando o instrumento é preenchido, on-line, pela comissão avaliadora, é gerado
um Conceito Institucional com base nos conceitos individuais atribuídos pela comissão
a 41 indicadores aos quais correspondem pesos predefinidos no cálculo, de acordo com
o Quadro 1.
Quadro 1 - Pesos das dimensões - IAIE.
Dimensão
1. A missão e o plano de desenvolvimento institucional
2. A política para o ensino, a pesquisa, a pós-graduação, a extensão e
as respectivas normas de operacionalização, incluídos os
procedimentos para estímulo à produção acadêmica, para as bolsas
de pesquisa, de monitoria e demais modalidades.
3. A responsabilidade social da instituição, considerada especialmente
no que se refere à sua contribuição em relação à inclusão social, ao
desenvolvimento econômico e social, à defesa do meio ambiente, da
memória cultural, da produção artística e do patrimônio cultural
4. A comunicação com a sociedade
5. As políticas de pessoal, de carreiras do corpo docente e corpo
técnico-administrativo, seu aperfeiçoamento, seu desenvolvimento
profissional e suas condições de trabalho.
6. Organização e gestão da instituição, especialmente o funcionamento
e representatividade dos colegiados, sua independência e autonomia
na relação com a mantenedora, e a participação dos segmentos da
comunidade universitária nos processos decisórios
7. Infraestrutura física, especialmente a de ensino e de pesquisa,
biblioteca, recursos de informação e comunicação
8. Planejamento e avaliação, especialmente em relação aos processos,
resultados e eficácia da autoavaliação institucional
9. Políticas de atendimento aos estudantes
10. Sustentabilidade financeira, tendo em vista o significado social da
continuidade dos compromissos na oferta da educação superior
Fonte: Brasil (2010, p. 19).
Quantidade
de
indicadores
2
Pesos
5
7
35
4
5
3
5
6
20
4
5
5
10
3
5
4
5
3
5
381
Cada indicador é apresentado com um critério referencial mínimo de qualidade a
ser observado. Cabe às Comissões Avaliadoras a tarefa de cotejar o referencial com as
informações documentais e as condições observadas in loco e atribuir conceitos às
dimensões avaliadas, registrando a fundamentação da escolha nos campos reservados
para isso. O conceito a ser atribuído é 1 "quando os indicadores da dimensão avaliada
configuram um quadro muito aquém do que expressa o referencial mínimo de
qualidade"; é 2 quando configuram um quadro aquém; é 3 quando configuram um
quadro similar; é 4 quando configuram um quadro além; e é 5, quando configuram um
quadro muito além (HADDAD, 2010, p. 19).
Sobre o critério referencial mínimo de qualidade, o glossário do instrumento
esclarece tratar-se do "conceito de referência para a condição mínima aceitável de um
determinado indicador" e orienta:
Para análise dos indicadores, quando os critérios forem numéricos,
sugere-se considerar como "muito além" do referencial mínimo de
qualidade o percentual aproximadamente 50% maior que os valores
citados no texto do critério. Considerar como "além" do referencial
mínimo de qualidade o percentual aproximadamente 25% maior que
os valores citados no referido texto. Importante: estes percentuais são
apenas balizadores para a Comissão de Avaliação, que poderá
considerar outros percentuais mais adequados a cada caso
(HADDAD, 2010, p. 21).
Quadro 2 - Exemplos do uso de qualificadores subjetivos no IAIE.
Dimensão
1. A Missão e o
Plano
de
Desenvolvimento
Institucional
Indicador
1.1 - Implementação do
PDI, considerando as
metas
e
as
ações
institucionais previstas e a
estrutura
e
os
procedimentos
administrativos
1.2 - Articulação entre o
PDI e os processos de
avaliação
institucional
(auto-avaliação
e
avaliações externas)
Referencial
Quando as propostas constantes do PDI estão
sendo adequadamente implementadas, com
as funções, os órgãos e os sistemas de
administração/gestão
adequados
ao
funcionamento dos cursos e das demais ações
existentes, e à efetiva implantação das ações e
dos cursos previstos. (grifos do instrumento)
Quando os resultados da autoavaliação e das
avaliações externas são adequadamente
utilizados como subsídios para a revisão
permanente do PDI, e constata-se a existência
de ações acadêmicas e administrativas
consequentes aos processos avaliativos. (grifos
do instrumento)
Fonte: Haddad (2010, p. 5).
Os conceitos são dados com base no que foi visto in loco em termos físicos e
documentais pela Comissão e, como se vê, dependem do discernimento da Comissão
Avaliadora, que determina, para cada indicador, o que é "além", "muito além", "aquém"
382
e "muito aquém" do referencial. Não obstante a tentativa de guiar as análises
quantitativas, a falta de descrições bem detalhadas e objetivas do que são as situações
que correspondem aos qualificadores usados nos referenciais aumenta ainda mais a
subjetividade dos resultados da aplicação do instrumento. Um exemplo dessa lacuna
pode ser observado já no referencial do primeiro indicador do instrumento, como se vê
no Quadro 2. Isto preocupa em especial, considerando que a utilização do instrumento
se dá no âmbito de processos regulatórios —credenciamento e recredenciamento de
instituições de ensino superior — e que o Conceito Institucional (CI) resultante é
amplamente utilizado pela mídia para "rankear" as instituições e classificá-las como
boas ou ruins.
Para fins de construção do instrumento de meta-avaliação, o IAIE foi utilizado
no que diz respeito à sua Dimensão 8 ("Planejamento e avaliação, especialmente em
relação aos processos, resultados e eficácia da autoavaliação institucional"), já que esta
é a dimensão que trata especificamente da autoavaliação.
O segundo instrumento usado como base deste estudo foi o IAC, Instrumento de
Avaliação de Cursos de Graduação - Bacharelados, Licenciaturas e Cursos Superiores
de Tecnologia (presencial e a distância).
Como o anterior, é um formulário para
registro dos resultados de observações e análise de documentos, com cotejamento a
indicadores e conceituação assinalados com escala Likert. Foi elaborado pela Diretoria
de Avaliação da Educação Superior (DAES), do Inep. Trata-se também de um
instrumento oficial, destinado a utilização em avaliações de caráter regulatório:
autorização, reconhecimento e renovação de reconhecimento, pelo Ministério da
Educação, dos cursos de graduação brasileiros, com exceção dos cursos de graduação
em Direito e Medicina, para os quais existem instrumentos próprios. Está disponível
para o público interessado no site do Inep, em versão PDF.
O IAC é um instrumento elaborado em observância ao disposto na Lei
no 10.861 (BRASIL, 2004), no Decreto no 5.773 (BRASIL, 2006), e na Portaria
Normativa n° 40, de 12 de dezembro de 2007, reformulado pela Comissão de Revisão
dos Instrumentos de Avaliação, coordenada pela Diretoria e Avaliação da Educação
Superior (DAES), mediante solicitação da CONAES, em reunião ordinária. Esta
Comissão foi oficializada por meio da Portaria Inep nº 386 (INEP, 2011).
A versão utilizada para construção do instrumento meta-avaliativo foi a de maio
de 2011 e, segundo a Diretoria de Avaliação da Educação Superior (FUNGHETTO;
GRIBOSKI, 2011), resulta de uma reformulação realizada "visando maior ajuste às
383
diferentes realidades da Educação Superior no país". Segundo Funghetto e Griboski
(2011), a reformulação partiu de uma padronização inicial dos vários instrumentos em
uso (Instrumento de Avaliação de Autorização de Curso a Distância, Instrumento de
Avaliação de Reconhecimento de Curso de Graduação Tecnológico, Instrumento de
Renovação de Reconhecimento de Cursos de Graduação, e outros, totalizando 12
instrumentos diferentes), que apresentavam critérios diversos de análise.
Na padronização foram utilizados como referência os indicadores de avaliação e
seus descritores das respectivas dimensões, conforme o artigo 4º da Lei n° 10.861
(BRASIL, 2004); foram consideradas as questões abrangência e flexibilização, de modo
a garantir, no processo avaliativo um resultado fidedigno dos cursos de graduação e a
melhoria da qualidade como referencial básico dos processos de regulação e supervisão
da educação superior o artigo 2o, parágrafo único, da Lei n° 10.861 (BRASIL, 2004); e
foram respeitados as DCN dos cursos, os princípios e diretrizes do Sinaes e os padrões
de qualidade da educação superior.
Quadro 3 - Instruções para a atribuição de conceitos – ACG
Conceito
1
2
3
4
5
Descrição
Quando os indicadores da dimensão avaliada configuram um conceito
não existente.
insuficiente.
suficiente.
Quando os indicadores da dimensão avaliada configuram um conceito muito
bom/muito bem.
excelente.
Fonte: Brasil (2011, p. 2).
Os critérios de análise que subsidiam o conceito atribuído ao indicador no
instrumento seguem na escala crescente de excelência de 1 a 5, conforme o Quadro 3.
Com base na média entre os conceitos de cada indicador, obtém-se o conceito da
dimensão. As dimensões Organização Didático-Pedagógica, Corpo Docente, e
Infraestrutura, originais do instrumento inicial, permaneceram, alterando-se os
indicadores de modo a padronizar os procedimentos provendo sustentação aos conceitos
atribuídos. O instrumento possui a mesma escala de análise do Instrumento de
Avaliação de Curso de Graduação em Direito - Presencial e EAD (Autorização,
Reconhecimento e Renovação de Reconhecimento) e do Instrumento de Avaliação de
384
Curso de Graduação em Medicina (Autorização, Reconhecimento e Renovação de
Reconhecimento), frutos do mesmo processo de reformulação.
Os instrumentos divididos por ato autorizativo, com diferentes critérios de
análise, foram unificados, mantendo-se um único conjunto de critérios de análise que
passou a contemplar todos os atos a serem avaliados: Autorização, Reconhecimento e
Renovação de Reconhecimento de curso. A diferença na avaliação de distintos atos
regulatórios se reflete na presença de nomenclaturas no texto dos critérios de análise.
Estes
critérios
dispõem
das
expressões
previsto/implantado
e
regulamentado/institucionalizado. As expressões 'previsto' e 'regulamentado' são
consideradas para a avaliação do primeiro ato (Autorização de curso) e as expressões
'implantado' e 'institucionalizado' para os atos subsequentes (Reconhecimento,
Renovação de Reconhecimento de cursos e para os indicadores da dimensão
infraestrutura no ato de autorização). Cada indicador apresenta predominantemente um
objeto de análise e foi incluído o critério 'Não Se Aplica' (NSA) para as especificidades.
O Conceito de Curso resulta da média ponderada dos conceitos gerados em cada
dimensão, considerando seus pesos, conforme publicação nos respectivos extratos. Os
pesos por ato regulatório e dimensão de análise são: Autorização de Curso (Organização
Didático-Pedagógica - 30, Corpo Docente - 30 e Infraestrutura - 40); Reconhecimento e
Renovação de Reconhecimento de Curso (Organização Didático-Pedagógica - 40,
Corpo Docente - 30 e Infraestrutura - 30).
Não foram encontradas informações sobre o processo de validação do
instrumento reformulado, porém Funghetto e Griboski (2011, não paginado) afirmam:
os indicadores dos instrumentos e as alterações que se fizerem
necessárias ao longo do processo avaliativo se darão de modo a
atualizar tais indicadores com o intuito de democratizar esse processo,
que deve contar com a participação da comunidade acadêmica. Em
atividade conjunta - Inep e Conaes - realizarão Audiências Públicas
para a apresentação dos instrumentos.
Cabe aqui a mesma observação feita ao instrumento descrito na seção anterior: a
falta de descrições muito detalhadas e objetivas do que são as situações que
correspondem a cada qualificador ("adequado" e "adequadamente", ou "suficiente" e
"suficientemente", por exemplo), aumenta a subjetividade dos resultados da aplicação
do instrumento, eventualmente resultando em injustiças. Esta é uma grande
385
preocupação, considerando que sua utilização se dá no âmbito de um processo
regulatório e que o resultante Conceito do Curso (CC) é público e divulgado pela mídia.
Voltando à seleção dos critérios utilizados no instrumento de meta-avaliação,
para robustecê-lo foram introduzidos padrões internacionais de verificação de qualidade
de avaliação: os padrões da Joint Committee on Standards for Educational
Evaluation61, formada por organizações e associações canadenses e dos Estados
Unidos da América e originária de uma força-tarefa reunida em 1974.
Sem fins
lucrativos, essa comissão, além de estabelecer padrões de avaliação para uso em uma
variedade de contextos educacionais, também revisa e atualiza esses padrões.
Os Padrões de Avaliação do Joint Committee "identificam e definem qualidade
da avaliação e guiam os avaliadores e usuários a perseguir essa qualidade" (JOINT
COMMITE, 2011, p. xxii apud ELLIOT, 2011, p. 951). Em número de 30, os padrões
traduzem os atributos essenciais a uma boa avaliação, mencionados na seção de
introdução desta dissertação: utilidade, exequibilidade, adequação, precisão, e
responsabilização62.
Quadro 4 - Padrões do Joint Committee on Standards for Educational Evaluation.
Atributos essenciais às avaliações
Utilidade
Exequibilidade
Adequação
Precisão
61
62
Padrões de avaliação
U1 - Credibilidade do Avaliador
U2 - Atenção aos Interessados (Stakeholders)
U3 - Propósitos Negociados
U4 - Explicitação de Valores
U5 - Informação Relevante
U6 - Processos e Produtos Significativos
U7 - Comunicação e Relatórios Apropriados e no Prazo
U8 - Preocupação com Consequências e Influência
E1 - Gerenciamento do Projeto
E2 - Procedimentos Práticos
E3 - Viabilidade do Contexto
E4 - Uso dos Recursos
A1 - Orientação Responsiva e Inclusiva
A2 - Acordos Formais
A3 - Direitos e Respeito Humanos
A4 - Clareza e Equidade (Justiça)
A5 - Transparência e Abertura
A6 - Conflitos de Interesses
A7 - Responsabilidade Fiscal
P1 - Conclusões e Decisões Justificadas
P2 - Informação Válida
P3 - Informação Fidedigna
P4 - Explicitação das Descrições do Propósito e
Comissão Conjunta de Padrões de Avaliação Educacional, em tradução livre.
No original accountability, também traduzível por imputabilidade.
386
Responsabilização
Contexto
P5 - Gerenciamento da Informação
P6 - Análises e Planos Sólidos
P7 - Explicitação do Raciocínio da Avaliação
P8 - Comunicação e Relatório
R1 - Documentação da Avaliação
R2 - Meta-avaliação Interna
R3 - Meta-avaliação Externa
Fonte: Adaptado de Elliot (2011, p. 954).
Os padrões de utilidade são oito e estão relacionados à necessidade de assegurar
que a avaliação forneça informações que sejam úteis aos seus clientes e interessados. Os
de exequibilidade são quatro e estão ligados às facetas políticas e práticas da avaliação.
Os de adequação são sete e destinam-se a garantir a probidade, isto é, os aspectos
morais, éticos e legais da avaliação. Os de precisão são oito e abordam as características
de validade, fidedignidade, imparcialidade e fundamentação dos resultados da
avaliação. Por fim, os padrões da categoria responsabilização são três e tratam da
documentação da avaliação, de meta-avaliação interna e de meta-avaliação externa,
como comprovação das etapas realizadas.
Sumarizando, as três fontes dos critérios utilizados para a meta-avaliação foram:
• padrões internacionais,
• Inep - avaliação de curso ("Ações decorrentes dos processos de avaliação do
curso"),
• Inep - avaliação institucional ("Planejamento e avaliação, especialmente em
relação aos processos, resultados e eficácia da autoavaliação institucional").
Na construção do instrumento, a escolha do modelo ‘Lista de Verificação’
deveu-se à sua potencial facilidade e rapidez de aplicação. A meta-avaliação valeu-se
de uma composição dos extratos relevantes dos instrumentos do Sinaes, adaptados onde
necessários, e da lista verificação proposta pelo Joint Committee para aplicação dos
padrões. A lista provê uma escala de quatro pontos para julgar o nível de atendimento
do indicador avaliado em relação a cada padrão, facilitando a tarefa de julgar a
qualidade da avaliação.
Para não abandonar a nomenclatura dos instrumentos de origem, os termos
'critério', 'padrão' e 'referencial' foram mantidos, sendo utilizados como sinônimos com
o significado de característica desejada para o indicador. O termo 'indicador', por sua
vez, foi adotado com o significado de evidência ou indício diretamente observável.
O instrumento de meta-avaliação foi submetido a um especialista em metaavaliação e validado para aplicação, sem que fosse necessária nenhuma alteração.
387
O objetivo deste artigo é somente a apresentação do instrumento, assim não se
discorre aqui sobre a aplicação do instrumento ou sobre os resultados obtidos. Cabe
enfatizar que o propósito do instrumento não é a avaliação da instituição, mas somente
da sua autoavaliação institucional e que, embora algumas críticas se tenham mostrado
inevitáveis, a avaliação dos instrumentos do Inep tampouco foi foco do trabalho.
Observa-se, no entanto, que alguns dos problemas apontados foram sanados ou
amenizados na versão do documento de Avaliação de Curso que foi publicado em
fevereiro de 2012.
Pelo Sinaes, todas as IES brasileiras estão obrigadas à realização de
autoavaliações. Espera-se que este instrumento possa servir de modelo e inspiração para
outras meta-avaliações, contribuindo para o aprimoramento dessas autoavaliações
institucionais e ajudando a assegurar que tenham a qualidade necessária para o
benefício da educação superior.
Instrumento de meta-avaliação
1a parte
Indicador
Coerência do
planejamento e da
avaliação,
especialmente em
relação aos
processos,
resultados e
eficácia da
autoavaliação
institucional com o
estabelecido em
documentos
oficiais
Autoavaliação
institucional
Referencial / Critério / Padrão
O planejamento e a avaliação,
especialmente em relação aos processos,
resultados e eficácia da autoavaliação
institucional da IES estão coerentes com o
especificado no PDI
A CPA funciona adequadamente, há
efetiva participação da comunidade interna
(professores, estudantes e técnicoadministrativos) e externa nos processos de
autoavaliação institucional, e há
divulgação das análises e dos resultados
das avaliações, estando as informações
correspondentes acessíveis à comunidade
acadêmica.
Atendimento
sim parcial não n/a*
2a parte
388
Planejamento e
ações acadêmicoadministrativas a
partir dos
resultados das
avaliações
Ações decorrentes
dos processos de
avaliação de cursos
de graduação
A IES implementa adequadamente ações
acadêmico-administrativas baseadas nos
resultados da autoavaliação e das
avaliações externas.
As ações acadêmico-administrativas, em
decorrência das autoavaliações e das
avaliações externas (avaliação de curso,
Enade, CPC e outras) no âmbito dos
cursos, estão previstas/implantadas de
maneira suficiente.
U1 - Credibilidade do avaliador
U2 - Atenção aos interessados
U3 - Propósitos negociados
U4 - Explicitação de valores
Utilidade
U5 - Informação relevante
U6 - Processos e produtos significativos
U7 - Comunic. e relatórios apropriados e no
prazo
U8 - Preocupação com consequências e
influência
E1 - Gerenciamento do projeto
3a parte
Exequibilidade
E2 - Procedimentos práticos
E3 - Viabilidade do contexto
E4 - Uso dos recursos
A1 - Orientação responsiva e inclusiva
A2 - Acordos formais
A3 - Direitos e respeito humanos
Adequação
(proibidade)
A4 - Clareza e equidade (justiça)
A5 - Transparência e abertura
A6 - Conflitos de interesses
A7 - Responsabilidade fiscal
389
P1 - Conclusões e decisões justificadas
P2 - Informação válida
Precisão
P3 - Informação fidedigna
P4 - Explicit.das descrições do propósito e
contexto
P5 - Gerenciamento da informação
P6 - Análises e planos sólidos
P7 - Explicitação do raciocínio da avaliação
P8 - Comunicação e relatório
R1 - Documentação da avaliação
Responsabilização
R2 - Meta-avaliação interna
R3 - Meta-avaliação externa
*não se aplica
390
Referencias:
BRASIL. Decreto nº 5.773, de 9 de maio de 2006. Dispõe sobre o exercício das funções
de regulação, supervisão e avaliação de instituições de educação superior e cursos
superiores de graduação e sequenciais no sistema federal de ensino. Diário Oficial [da]
Republica Federativa do Brasil, Brasília, DF, 10 maio 2006.
______. Lei no 10.861, de 14 de abril de 2004. Institui o Sistema de Avaliação da
Educação Superior - Sinaes. Diário Oficial [da] Republica Federativa do Brasil,
Brasília, DF, 15 abr. 2004. Disponível em:
<http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm>. Acesso
em: 18 nov. 2010.
______. MEC. Portaria no 4, de janeiro de 2005. Implanta o Instrumento de Avaliação
Institucional Externa para fins de credenciamento e recredenciamento de universidades.
Diário Oficial [da] Republica Federativa do Brasil, Brasília, DF, n. 10, jan. 2005.
Seção 1, p. 2414.
______. MEC. SINAES (Sistema Nacional de Avaliação da Educação Superior). Bases
para uma nova proposta de Avaliação da Educação Superior Brasileira. Brasília, DF,
set. 2003.
ELLIOT, L. G. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio:
avaliação e políticas públicas em educação. Rio de Janeiro, v. 19, n. 73, p. 941-963,
out./dez. 2011.
FUNGHETTO, S. S.; GRIBOSKI, C. M. Reformulação dos Instrumentos de Avaliação
dos Cursos de Graduação da Educação Superior para Operacionalização do Sistema
Nacional de Avaliação da Educação Superior - Sinaes. Brasília, DF, 2011. (Nota
Técnica). Disponível em: <http://portal.inep.gov.br/ web/guest/ nota-tecnica1>. Acesso
em: 12 jul. 2011.
HADDAD, F. Apresentação. In: BRASIL. Comissão Nacional de Avaliação da
Educação Superior; Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
Teixeira. Instrumento de Avaliação Institucional Externa. Brasília, set. 2010.
Disponível em: <http://download.inep.gov.br/download/superior/institucional/2010/
instrumento_avaliacao_institucional_externa_recredenciamento.pdf>. Acesso em: 10
jul. 2011.
SOUZA, A. M. C. de; XAVIER, I. de M. Relatório da construção do instrumento de
avaliação institucional externa: credenciamento e recredenciamento de universidades.
Brasília, DF, 2004. Disponível em:
<www.ufpb.br/avalies/Rel.%20do%20Processo%20de%Constr..doc>. Acesso em: 5 jul.
2011.
INEP. Instrumento de Avaliação de Cursos de Graduação. Brasília, DF, 2011.
UNIVERSIDADE GAMA FILHO. Plano de Desenvolvimento Institucional. Rio de
Janeiro: Universidade Gama Filho, 2007.

ANAIS DA II REUNIÃO DE AVALIAÇÃO

Transcrição

Documentos relacionados

Oi continua desrespeitando os consumidores - Sinttel-DF

FIM... - formadocente2010

Boomerang News

Interpretação de Texto

Apresentação do PowerPoint

1º Congresso Abril Educação debate os rumos da educação no Brasil

informativo

EDUCAÇÃO INFANTIL E ENSINO FUNDAMENTAL 1 (1º AO 5º ANO

Acesse o formulário através deste link: https://docs.google.com

Sociedade mocadaqueagita.com | [email protected]