Metodologia e Procedimentos - SisPAE

SisPAE 2015
OFICINA DE DIVULGAÇÃO
DE RESULTADOS DO SISPAE 2015
METODOLOGIA
E PROCEDIMENTOS
BELÉM - OFICINA 0
SisPAE: Sistema Paraense de
Avaliação Educacional
•  Avaliação externa da Educação Básica.
•  Fornece informações consistentes, periódicas e
comparáveis sobre a situação da escolaridade
básica na rede pública de ensino paraense.
SisPAE: 2013 - 2016
2014-2016: SEDUC/PA e Fundação Vunesp/SP
  Os resultados dos alunos no SisPAE permitem a
verificação das competências e habilidades, entre as
propostas para cada etapa de ensino-aprendizagem
escolar, encontram-se em efetivo desenvolvimento.
Matriz de Referência da Avaliação
“Conhecendo as matrizes curriculares e as
competências estipuladas para os testes o professor
contará com um material altamente rico em
possibilidades de interpretação e desenvolvimento de
ações pedagógicas que contribuíram no processo de
superação das dificuldades de aprendizagem.”
Valdecir Soligo
Doutorado em 2013: A qualidade na Educação Básica: gestão democrática e avaliação de larga escala nos
municípios catarinenses
* SOLIGO, Valdecir. Possibilidades e Desafios das Avaliações em Larga Escala da Educação
Básica na Gestão Escolar. Revista Eletrônica Política e Gestão Educacional, n. 9, 2º Semestre
2010.
Disponível em: www.fclar.unesp.br
 Os conteúdos, competências e habilidades
apontados na MRA – SisPAE para cada série e
disciplina, indicam o que os alunos devem
aprender em cada área do conhecimento, em cada
etapa da escolarização.
  A MRA – SisPAE retrata as estruturas conceituais
mais gerais das disciplinas e também as
competências mais gerais dos alunos, que se
traduzem em habilidades específicas
"   Quando o que se quer saber é o desempenho de
um sistema educacional, é preciso avaliar,
utilizando uma metodologia de larga escala. Caso
contrário, a avaliação será sempre parcial e
incompleta, e por essas razões, poderá levar a
decisões que pouco ou quase nada contribuem
para a melhoria do projeto educacional.
1.Abrangência: avaliação de larga escala, tem que ser que representativa de um
sistema educacional.
2.Objeto: Avaliações de larga escala descrevem um sistema educacional em todas
as suas dimensões.
3. Adoção de Referenciais: avaliações de larga escala são norteadas por Matrizes
de Referencia, que indicam o que é avaliado para cada área do conhecimento e
etapa de escolaridade. Matrizes de Referência não são currículos, mas recortes
que com eles guardam estreita relação.
4.Diversidade de dados e complexidade das analises: avaliações de larga escala
requerem analise estatística complexa, que permita processar tecnicamente os
dados de um grande número de escolas, alunos e turmas.
5.Generalização de resultados:
quando um estudo afere desempenhos de turmas e escolas representativos de um
sistema educacional, em disciplinas, seus resultados expressam o desempenho
desse sistema educacional, na disciplina e no nível de ensino avaliados.
Característica
Instrumento
Temperatura
Termômetro
Graus Celsius,
Fahrenheit etc.
Nível socioeconômico
Questionário
Critério
Brasil etc.
Teste
Proficiência na
Escala Saeb, ENEM,
Pisa etc.
Proficiência
Medida
Instrumentos do SisPAE: Provas
Por exemplo: Prova 4º ano EF Língua
Portuguesa- Turma A
Caderno 1
22 questões
Caderno 10
22 questões
Caderno 21
22 questões
Por que numerar cadernos de prova?
Por exemplo: Cadernos de Prova 4º ano
EF - Língua Portuguesa
Desempenho dos alunos do 4º Ano do
Ensino Fundamental por Habilidade
SisPAE 2015 – Língua Portuguesa
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
LPA01 LPA02 LPA03 LPA04 LPA09 LPA10 LPA11 LPA12 LPA13 LPA14 LPA15 LPA25 LPA26 LPA27 LPA28
Grupo de Menor Desempenho
13
Grupo Intermediário
Grupo de Melhor Desempenho
  Da aplicação de metodologia estatística apropriada , que
trata o conjunto de respostas de uma prova SisPAE –
disciplina e ano escolar – obtém-se uma média de
proficiência .
  A média expressa o rendimento dos alunos em uma prova.
  Nas provas de larga escala, como as do SisPAE, em lugar
de somar os pontos da prova respondida e dar uma nota
para cada aluno, calculam-se as médias para o conjunto
dos alunos.
  Resultados com base no número de acertos do aluno
na prova (Escore).
  A qualidade de um item é medida com base frequência
de respostas que ele recebe.
 Permite estudar a percepção dos respondentes em
cada item.
 Permite avaliar a dificuldade e a discriminação de um
item.
Teoria da Resposta ao Item - TRI
A Teoria da Resposta ao Item (TRI) é um conjunto
de modelos matemáticos que representam a
probabilidade de um indivíduo responder
corretamente a um item, dados os parâmetros do
item e a proficiência do indivíduo.
Teoria da Resposta ao Item - TRI
  A TRI permite comparar resultados de um ano
para outro, não importando se a prova é mais fácil
ou mais difícil. Com alguns itens pré testados em
ambas as provas, torna-se possível equalizar as
proficiências.
  A TRI permite medir, explicar a medida, avaliar o
ganho em proficiência entre as séries/anos
escolares, e utilizar essa medida como uma forma
de tomar ações para um melhor planejamento
educacional.
Vamos ver na Prática?
SisPAE 2015 - Língua Portuguesa - 4º Ano EF
LPA 01 - Identificar a finalidade de um texto
O que significa
Parâmetros TRI?
Como foram as
escolhas em
cada
alternativa de
resposta?
SisPAE 2015 - Matemática - 5º Ano EF
Generalização de resultados
Quando um estudo afere
desempenhos de turmas e
escolas representativos de
um sistema educacional, em
disciplinas, seus resultados
expressam o desempenho
desse sistema educacional,
na disciplina e no nível de
ensino avaliados.
Revista
do
SisPAE 2015 Referências
e
Resultados
Verifique os dados
do desempenho de
sua(s) turma (s), na
sua disciplina.
SisPAE: dando sentido aos resultados
O SisPAE ancora o
desempenho dos
alunos em uma escala,
a Escala de
Proficiência.
Uma escala permite
ordenar posições e desse
modo, nela se pode situar
o desempenho dos alunos
do sistema educacional.
E mais: o desempenho dos alunos de cada rede e de
cada escola que participou da avaliação.
Escala de Proficiência: ordenando posições
•  Uma escala é uma maneira de medir resultados
de forma ordenada.
•  A escolha dos números que definem os pontos
de uma escala de proficiência é arbitrária e
construída com os resultados da aplicação do
método estatístico de análise denominado
Teoria da Resposta ao Item (TRI).
Escala de Proficiência: dando sentido aos
resultados
125 150 175 200 225 250 275 300 325 350 375 400 425
A Escala de Proficiência do SisPAE está na
mesma métrica utilizada pelo Saeb, o exame
nacional de referência para a Educação
Básica do Brasil desde 1996. Portanto os
resultados obtidos pelos alunos paraenses
nos dois exames são comparáveis.
TRI: 1º passo - Itens na Escala
Item 1
125
Item 40
150
175
Item 77
200
225
250
  A TRI é utilizada para criação da medida da escala para verificação
do desempenho.
  Os itens são posicionados na escala de proficiência, permitindo
verificar que habilidade está associada a determinada proficiência.
Escala SisPAE
Por exemplo: três alunos participaram do SisPAE:
dispondo das suas médias de proficiência, verifica-se
em que ponto da escala se encontram.
<125
125
150
135,8
175
200
182,4
225
250
275
257,5
300
325
350
375
≥400
A TRI e a Escala SisPAE
 Espera-se que um indivíduo com proficiência igual a 257,
consiga responder corretamente ao item na posição 257 e
todos os anteriores.
 Espera-se que um indivíduo com proficiência igual a 257
não responda corretamente a um item na posição maior
que 257 na escala.
 Mesmo não sendo esperado, é possível que um indivíduo
com proficiência igual a 257 responda corretamente a um
item com posição maior que 257.
Escala SisPAE
Cada disciplina avaliada no SisPAE possui uma
escala própria, que permite a representação das
habilidades que integram a Matriz de Referência do
SisPAE.
Exemplo: Língua Portuguesa 4º Ano EF
4º EF
< 135
135 160 185 210
> 235
Níveis de Proficiência de Língua
Portuguesa 4° EF - SisPAE
Nível 4º EF 5º EF 7ª EF 8ª EF 1ª EM 2ª EM 3ª EM < 135 < 150 < 175 < 200 < 215 < 230 < 250 Básico 135
a < 185 150
a < 200 175
a < 225 200
a < 275 215
a < 280 230
a < 285 250
a < 300 Adequado 185
a < 235 200
a < 250 225
a < 275 275
a < 325 280
a < 340 285
a < 355 300
a < 375 Avançado ≥ 235 ≥ 250 ≥ 275 ≥ 325 ≥ 340 ≥ 355 ≥ 375 Abaixo do
Básico E as médias SisPAE 2015 LP
4º Ano Ensino Fundamental,
situam - se no intervalo ......
Básico
Básico
Básico
Níveis de Proficiência
Nível de
Proficiência
Abaixo do
Básico
Básico
Adequado
Avançado
Descrição
Os alunos neste nível demonstram domínio insuficiente
dos conteúdos, competências e habilidades desejáveis
para o ano/série escolar em que se encontram.
Os alunos neste nível demonstram domínio mínimo dos
conteúdos, competências e habilidades, mas possuem as
estruturas necessárias para interagir com a proposta
curricular no ano/série subsequente.
Os alunos neste nível demonstram domínio pleno dos
conteúdos, competências e habilidades desejáveis para o
ano/ série escolar em que se encontram.
Os alunos neste nível demonstram conhecimentos e
domínio dos conteúdos, competências e habilidades acima
do requerido no ano/série escolar em que se encontram.
Percentuais de alunos do 4o Ano EF por Nível de
Proficiência em Língua Portuguesa SisPAE 2014 e
2015
Percentuais de alunos do 4o Ano EF por Nível de Proficiência
em Língua Portuguesa
Estado, Rede Estadual e Redes Municipais
SisPAE 2014 e 2015
SisPAE: destaques de uma prova de larga escala
  Proficiência em lugar de Nota/Conceito.
  Posicionamento em Escala em lugar de lista de
aprovados.
  Interpretação pedagógica dos Níveis de
Proficiência como mecanismo para induzir
ações de melhoria.
SisPAE 2015 – Língua Portuguesa
SisPAE 2015 – Língua Portuguesa
SisPAE 2015 – Língua Portuguesa
• estabelecem relações de coesão entre segmentos de texto, associando uma
expressão a seu referente, em poema;
• identificam o local da moradia de uma personagem no enredo, em fábula;
• identificam o local em que se desenrola o enredo, em história em quadrinhos;
• inferem o assunto principal do texto, em notícia;
• localizam informação explícita, com base na compreensão global do texto, em
fábula e em informativo de interesse público;
• selecionam título para foto, considerando as informações implícitas nela
contidas.
• identificam as personagens de uma narrativa literária, em conto;
E mais
SisPAE 2015 – Língua Portuguesa
Nível Básico: 135 a < 185
estabelecem relação de causa/consequência entre informações, em artigo de
divulgação científica e em reportagem;
• identificam o efeito de sentido produzido pelo uso de pontuação expressiva
(exclamação) e caixa-alta, em poema;
• identificam as marcas do foco narrativo, em fábula;
• inferem a moral, em fábula;
• identificam o sentido denotado de vocábulo, selecionando aquele que pode substituílo, em notícia;
• selecionam título para o texto, considerando as informações explícitas, em conto,
imagem, e notícia.
• inferem o assunto principal do texto, em artigo de divulgação científica.
• identificam os elementos constitutivos da organização interna de um texto científico.
• estabelecem relação entre segmentos de texto, identificando substituições por formas
pronominais.
•
SisPAE 2015 – Língua Portuguesa
SisPAE 2015 – Língua Portuguesa
SisPAE 2015 – Língua Portuguesa
SisPAE 2015 – Língua Portuguesa
LPA 01 - Identificar a finalidade de um texto
SisPAE 2015 – Língua Portuguesa
Oficina de Elaboração de Itens – Marabá maio de 2016
Oficina de Elaboração de Itens – Marabá maio de 2016
Oficina de Elaboração de Itens – Marabá maio de 2016
SisPAE: a Escala de Proficiência
"   A escala do SisPAE descreve a proficiência em
detalhes. Por isso, é útil para definir tipos de
tarefas a serem propostas aos alunos quando o
que se quer é fazê-los avançar na escala, isto é,
quando o esforço se dirige no sentido de
aumentar os percentuais de alunos classificados
nos níveis mais altos do SisPAE.
"   A possibilidade de descrever a proficiência em
detalhes vem da MRA/SisPAE e das provas que
com ela se elaboram.
Vamos à Escola?
Resultado da Escola no SisPAE 2015:
Média de Matemática 5º EF = 200,0
Escola
A média de Matemática da escola corresponde
à média das proficiências em Matemática, dos
alunos de 5º ano EF dessa escola.
125
125
150
175
200
225
250
275
300
325
350
375
400
Escala SisPAE – Matemática 5º Ano EF
Nível Abaixo do básico < 175
Os alunos nesse nível são capazes de:
•  Descobrir o número ocultado em uma soma que torna a sentença
verdadeira;
•  Determinar o horário após 10 minutos da hora apontada em um relógio
digital;
•  Determinar a diferença, em minutos, entre dois horários
•  Efetuar uma multiplicação entre um número de três e outro de dois
algarismos
•  Identificar, em um gráfico de colunas, as entradas associadas ao maior e
menor valor apresentados no gráfico
•  Ler a temperatura marcada em um termômetro;
•  Ler a marcação em uma seringa que indica volume do líquido contido.
Escala SisPAE – Matemática 5º Ano EF
Nível Básico: 175 a 225
Os alunos classificados nessa faixa de proficiência mostram ser capazes
de:
•  Identificar a unidade de medida correta para determinar o peso de um
elefante;
•  Identificar o número total apresentado em um gráfico de colunas que
apresenta marcações primárias e secundárias;
•  Localizar um número de quatro algarismos na reta numérica variando
de 32 em 32 unidades (não informado no texto)
•  Reconhecer o valor posicional de um algarismo que compõe um
número;
•  Resolver problema envolvendo multiplicação para a contagem de carros
dispostos em filas em um estacionamento (configuração retangular)
Média de Proficiência – Matemática
5ºEF
4ºEF
8ªEF 2ªEM
7ªEF 1ªEM
3ªEM
5ºEF
4ºEF
8ªEF
7ªEF
2ªEM
1ªEM
3ªEM
Vamos à Escala de Proficiência
Matemática 5° EF – SisPAE?
Escola
125
Item 1: descobrir
o número
ocultado em uma
soma que torna a
sentença
verdadeira
125
150 175
200
225
250
Item 2: calcular a
soma de três
números, sendo
dois na ordem da
centena e um na
ordem da dezena
275
300
325
350
375
400
Item 3:
Identificar o
decimal 11,5 na
reta numérica
(graduada nos
décimos)
Em média, os alunos dessa escola desenvolveram as
habilidades descritas nos itens 1 e 2, mas não a habilidade
correspondente ao item 3.
Vamos à Escola?
Matemática 5º EF
Nível
%
Abaixo do básico
38,4
Básico
32,5
Adequado
25,6
Avançado
3,5
Matemática 5º EF
Nível
%
Abaixo do básico
13,4
Básico
44,4
Adequado
32,5
Avançado
9,7
Diferenças de Desempenho
 Por quê?
 Há fatores associados a essas diferenças?
"  Nível socioeconômico dos alunos da escola (NSE)
"  Região (capital/interior) da escola
"  Clima em sala de aula
"  Nível de qualificação e motivação dos professores da
escola
"  Nível da infraestrutura predial
"  Nível de informatização e outros recursos da escola
"  Qualificação e motivação do gestor escolar
"  Estilo de liderança do gestor escolar
Por que estudar fatores
associados?
• 
Alunos e escolas têm desempenhos diferentes . Por quê?
• 
• 
• 
Em grande parte porque os alunos têm condições diferentes para a
aprendizagem;
as escolas têm estruturas diferentes.
Os fatores associados ao desempenho podem ser
características dos alunos, das turmas, dos professores,
das escolas e do ambiente.
Etapas para o estudo dos fatores associados
Medidas e Indicadores
Fatores fora do controle do professor e do gestor.
Associados ao aluno:
• 
• 
• 
• 
• 
Sexo
Cor
Nível Socioeconômico Familiar
Se trabalha além de estudar
Se já teve reprovação ou abandono
Associados à escola:
•  Local (urbana ou rural)
•  Dependência administrativa (municipal ou estadual)
•  Região de integração
Medidas e Indicadores
Fatores que professor e/ou gestor podem atuar
•  Nível de relacionamento escolar na percepção do aluno
•  Nível do clima escolar na percepção do aluno
•  Correção dos deveres de casa
•  Professor procurar fazer com que todos os alunos aprendam
•  Orientação aos pais e alunos para que o aluno faça os deveres de casa
•  Orientação aos pais para incentivar os filhos nos estudos
•  Professor não faltar
Construção de Medidas e
Indicadores
•  Muitas medidas foram construídas pela
Teoria da Resposta ao Item.
•  E organizadas por escalas ordinais com
níveis interpretáveis.
•  Exemplo: Nível Socioeconômico Familiar
(NSE7) para estudantes da 7ª EF a 3ª EM
Construção de Medidas e
Indicadores
•  Nível Socioeconômico Familiar (NSE7)
•  Nível 1 (Baixo)
–  Em geral a família deste nível tem no máximo uma TV e uma
geladeira simples; não costuma ter geladeira duplex, freezer,
máquina de lavar roupa carro, moto, e empregada
doméstica ou diarista. O domicílio não costuma ter banheiro
interno e usualmente tem no máximo um quarto.
•  Nível 2 (Médio-baixo)
–  Neste nível a família já pode ter geladeira duplex e máquina
de lavar roupa. A casa costuma ter banheiro interno e pode
ter mais de um quarto. Também costuma contar com
serviço de coleta de lixo.
Construção de Medidas e
Indicadores
•  Nível Socioeconômico Familiar (NSE7)
•  Nível 3 (Médio)
–  Neste nível a família costuma ter freezer, máquina de
lavar roupa e tem um ou mais TV e computador. A casa
costuma ter banheiro interno (às vezes mais de um) e
mais de um quarto. A casa, em geral, está em rua
asfaltada ou calçada.
•  Nível 4 (Médio-alto)
–  Neste nível a família pode ter mais de uma TV, ter DVD, mais
de uma geladeira ou freezer, mais de um carro ou moto e
costuma ter diarista ou empregada mensalista. A casa
costuma dois ou mais banheiros internos e mais de dois
quartos.
Análise de cada fator
isoladamente
• 
A primeira ideia para avaliar os fatores associados com o desempenho é
através de “tabelas cruzadas” entre cada fator e os níveis de
desempenho.
• 
Níveis de desempenho considerados:
–  Abaixo do básico
–  Pelo menos o básico
• 
Fator-exemplo: Nível de Estrutura Predial (NEP):
–  Inadequado
–  Regular
–  Adequado
Análise de cada fator
isoladamente
•  Ex. 5º ano Língua Portuguesa.
  Para NEP inadequado:
  Para NEP adequado:
P(básico ou maior) = 0,566
P(básico ou maior) = 0,663
Análise de cada fator
isoladamente
•  Conceito de chance
  Para NEP inadequado:
  P(básico ou maior) = 0,566
  P(abaixo do básico) = 0,434
•  Chance de básico ou maior: 0,566 / 0,434 = 1,30
–  A cada 100 alunos abaixo do básico espera-se 130 alunos no nível
básico ou maior
Análise de cada fator
isoladamente
•  Conceito de chance
  Para NEP adequado:
  P(básico ou maior) = 0,663
  P(abaixo do básico) = 0,337
•  Chance de básico ou maior: 0,663 / 0,337 = 1,97
–  A cada 100 alunos abaixo do básico espera-se 197 alunos no nível
básico ou maior
Análise de cada fator
isoladamente
•  Conceito de razão de chance
  Para NEP adequado:
  P(básico ou maior) = 0,663
  P(abaixo do básico) = 0,337
Chance de básico ou maior: 0,663 / 0,337 = 1,97
  Para NEP inadequado:
  P(básico ou maior) = 0,566
  P(abaixo do básico) = 0,434
Chance de básico ou maior: 0,566 / 0,434 = 1,30
•  Razão de chances: 1,97 / 1,30 = 1,52
–  Com NEP adequado a chance de estar no nível básico ou maior é 52% maior
do que com NEP inadequado.
Análise de cada fator
isoladamente
Local da escola
NSE
Atuação do gestor
NEP
Desempenho
Atuação dos professores
Atuação dos pais
 
Ao analisar o efeito isolado de cada fator está se considerando o efeito direto e os efeitos indiretos.
Estudo dos fatores de forma
múltipla
NEP
Local da escola
NSE dos alunos
Atuação do gestor
Atuação dos professores
Atuação dos pais
Desempenho
Estudo dos fatores de forma
múltipla
  Regressão Múltipla
Desempenho = b0 + b1(NSE) + b2(incentivo dos pais) + b3(local)
+ b4(Dep. Adm.) + b5(NEP) + ... + variação aleatória
• 
Os coeficientes de cada fator são estimados com os dados observados.
Estudo dos fatores de forma
múltipla
• 
O desempenho está sendo analisado de forma dicotômica:
–  abaixo do básico vs.
–  básico ou maior
  Regressão Múltipla logística
Chance de básico ou maior =
= exp{b0 + b1(NSE) + b2(incentivo dos pais) + b3(local) + ...}
• 
Por esse modelo examina-se o efeito de cada fator pela razão de chances.
• 
Para acomodar fatores observados em alunos e fatores de escolas foi usada a
abordagem de modelos hierárquicos (Modelo Hierárquico Logístico)
Estudo dos fatores de forma
múltipla
Resultados do 4º e 5º ano
Chance de estar no nível básico ou maior
Fatores do nível Aluno Categoria de referência mt4 lpt4 mt5 lpt5 -­‐15% 34% -­‐18% 36% Sexo [fem.] [masc.] Cor [pardo] [branco/amarelo] 28% 21% 18% 23% Cor [preto] [branco/amarelo] -­‐13% -­‐4% -­‐13% -­‐11% Cor [indígena] [branco/amarelo] ns -­‐6% 21% 19% Cor [não sabe] [branco/amarelo] 20% 40% -­‐11% ns NSE4 [baixo-­‐médio] [baixo] 23% 45% 16% 29% NSE4 [médio] [baixo] 20% 33% 20% 30% NRE [bom] [ruim] 107% 117% 137% 173% NRE [muito bom] [ruim] 133% 170% 170% 239% Estudo dos fatores de forma
múltipla
Resultados do 4º e 5º ano
Chance de estar no nível básico ou maior
Fatores do nível Aluno Categoria de referência mt4 lpt4 mt5 lpt5 Abandono [sim] [não] -­‐14% -­‐34% -­‐11% -­‐28% Reprovação [sim] [não] -­‐45% -­‐51% -­‐52% -­‐49% Escola part. [sim] [não] -­‐19% -­‐13% -­‐14% -­‐20% Fez pré-­‐escola [sim] [não] ns ns 5% ns Ida à escola [de bicicleta] [a pé] ns -­‐2% 6% ns Ida à escola [transp. próprio] [a pé] 34% 48% 32% 50% Ida à escola [transp. esc. ruim] [a pé] ns -­‐10% 37% 26% Ida à escola [transp. esc. bom] [a pé] ns -­‐8% -­‐11% -­‐7% Trabalha [sim] [não] -­‐42% -­‐49% -­‐47% -­‐58% Trab. domésTco [menos de 1h] [não ] -­‐9% -­‐19% -­‐3% -­‐21% Trab. domésTco [de 1 a 3h] [não ] -­‐26% -­‐29% -­‐16% -­‐30% Trab. domésOco [mais de 3h] [não ] -­‐43% -­‐37% -­‐42% -­‐44% Estudo dos fatores de forma
múltipla
Resultados do 4º e 5º ano
Chance de estar no nível básico ou maior
Fatores do nível Aluno Categoria de referência mt4 lpt4 mt5 lpt5 Tv e internet [menos de 1h] [não ] ns 2% 1% ns Tv e internet [de 1 a 3h] [não ] 19% 3% 38% 20% Tv e internet [mais de 3h] [não ] 28% 28% 48% 31% IncenTvo dos pais [moderado] [baixo] 12% 21% 9% 36% IncenOvo dos pais [alto] [baixo] 48% 77% 38% 93% Prof. corrige [de vez em quando] [quase nunca] 13% 20% 30% 34% Prof. corrige [quase sempre] [quase nunca] 17% 22% 35% 36% Faz dever [de vez em quando] [quase nunca] 39% 46% 33% 65% Faz dever [quase sempre] [quase nunca] 58% 75% 75% 93% Estudo dos fatores de forma
múltipla
Resultados do 4º e 5º ano
Chance de estar no nível básico ou maior
Fatores do nível Escola Categoria de referência mt4 lpt4 mt5 lpt5 -­‐16% -­‐39% -­‐34% -­‐42% Localização [rural] [urbana] Dep. adm. [municipal] [estadual] ns -­‐12% 31% 28% Região [Araguaia] [Metropolitana] ns -­‐18% -­‐38% -­‐35% Região [Baixo Amazonas] [Metropolitana] ns -­‐6% -­‐20% -­‐34% Região [Carajás ] [Metropolitana] ns 12% -­‐20% -­‐19% Região [Lago de Tucuruí ] [Metropolitana] ns -­‐17% -­‐25% -­‐35% Região [Marajó] [Metropolitana] -­‐22% -­‐46% -­‐41% -­‐51% Região [Rio Caeté] [Metropolitana] -­‐45% -­‐52% -­‐52% -­‐55% Região [Rio Capim ] [Metropolitana] ns 4% ns ns Região [Rio Guamá ] [Metropolitana] -­‐16% -­‐21% -­‐38% -­‐30% Região [Tapajós] [Metropolitana] 41% 58% ns 52% Região [TocanTns ] [Metropolitana] ns -­‐37% -­‐38% -­‐47% Região [Xingu] [Metropolitana] ns -­‐11% ns -­‐30% Estudo dos fatores de forma
múltipla
Resultados do 4º e 5º ano
Chance de estar no nível básico ou maior
Fatores do nível Escola Categoria de referência mt4 lpt4 mt5 lpt5 NEP [regular] [inadequado] ns ns 13% ns NEP [adequado] [inadequado] ns ns 26% ns NEqui [regular] [ruim] ns 17% ns 27% NEqui [bom] [ruim] ns 32% ns 52% Diretor discute sim] [não] ns ns 17% ns Diretor exige [sim] [não] ns ns 33% 44% Diretor [fem.] [masc.] 13% 17% 16% 21% Diretor PG [sim] [não] ns ns 12% 14% Diretor: preparo para avaliação [não] ns 16% ns ns Diretor há mais de 10 anos [não] ns 8% ns ns Coord57: Problema de interrupção [não] -­‐11% -­‐28% ns ns Coord38: Desescmulo docência [não] ns -­‐15% ns ns Estudo dos fatores de forma
múltipla
Resultados
do
4º
e
5º
ano
Ex. 1. Efeito do professor corrigir os
deveres
de
casa.
Categoria de Fatores do nível Aluno mt4 lpt4 mt5 lpt5 Prof. corrige [quase sempre] 17% 22% 35% 36% referência [quase nunca]   Em lpt5, a chance de um aluno em que o professor corrige os
deveres de casa é 36% maior de estar no nível “básico ou maior”
do que nos casos em que o professor não corrige os deveres de
casa.
  Enquanto no grupo dos alunos em que o professor não corrige os
deveres de casa, 100 alunos atingem nível “básico ou maior”; no
grupo dos alunos em que o professor corrige os deveres de casa,
espera-se que esse número seja de 136 alunos.
Estudo dos fatores de forma
múltipla
Resultados
do
4º
e
5º
ano
Ex. 2. Efeito reprovação.
Fatores do nível Aluno Reprovação [sim] Categoria de referência [não] mt4 lpt4 mt5 lpt5 -­‐45% -­‐51% -­‐52% -­‐49%   Em lpt5, a chance de um aluno que já foi reprovado é 49%
menor de estar no nível “básico ou maior” quando
comparados a alunos que não tiveram reprovação.
  A cada 100 alunos que nunca reprovaram conseguem atingir
o nível “básico ou maior”, espera-se que apenas 51 (49%
menos) dos que já reprovaram chegam no nível “básico ou
maior”.
Estudo dos fatores de forma múltipla
Resultados Língua Portuguesa. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Aluno Sexo [fem.] Cor [pardo] Cor [preto] Cor [indígena] Defasagem [sim] NSE7 [médio-­‐baixo] 1 NSE7 [médio] 1 NCE [ruim] 3 NCE [bom] 3 NCE [óTmo] 3 NRE [bom] 4 NRE [muito bom] 4 NSAE7 [saTsfeito]5 NSAE7 [totalmente saTsfeito] 5 Categoria de referência [masc.] [branco/amarelo] [branco/amarelo] [branco/amarelo] [branco/amarelo] [baixo] [baixo] [péssimo] [péssimo] [péssimo] [ruim] [ruim] [insaTsfeito] [insaTsfeito] 7ª EF 0,7 ns -­‐0,11 ns -­‐0,36 0,23 0,3 0,09 0,11 ns 0,52 0,54 ns -­‐0,14 8ª EF 77% -­‐7% -­‐18% ns -­‐31% 28% 36% 21% 42% 13% 32% 38% ns -­‐24% 1ª EM 2ª EM 3ª EM 0,68 ns -­‐0,11 ns -­‐0,39 0,29 0,39 0,16 0,31 0,18 0,41 0,46 ns -­‐0,31 46% -­‐9% -­‐12% -­‐18% -­‐50% 36% 40% 19% 42% 18% 55% 64% -­‐7% -­‐35% 0,49 ns ns -­‐0,18 -­‐0,52 0,38 0,39 0,16 0,44 0,22 0,4 0,49 ns -­‐0,37 Estudo dos fatores de forma múltipla
Resultados Língua Portuguesa. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Aluno Categoria de referência 7ª EF 8ª EF 1ª EM 2ª EM 3ª EM Prof. ouve [sim] [não] 0,15 12% 0,15 ns 0,13 Prof. Tra dúvidas [sim] [não] 0,25 26% 0,22 21% 0,12 Aluno aprende com o prof. [sim] [não] 0,19 11% 0,13 13% ns Aprendizado depende mais do prof. [sim] [não] -­‐0,29 -­‐38% -­‐0,37 -­‐38% -­‐0,41 Prof. aluno bom [sim] [não] -­‐0,27 -­‐22% -­‐0,22 -­‐20% -­‐0,09 Prof. corrige dever de casa [sim] [não] 0,53 52% 0,5 45% 0,4 Prof. explica bastante [sim] [não] ns ns ns ns ns Prof. turma toda pode aprender [sim] [não] 0,32 32% 0,23 47% 0,25 Aluno capricha nos trabalhos [sim] [não] 0,28 34% 0,32 27% 0,4 Prof. é claro [sim] [não] 0,2 ns ns -­‐14% -­‐0,13 Aulas interessantes [sim] [não] -­‐0,11 -­‐17% -­‐0,13 -­‐17% -­‐0,2 Prof. falta [sim] [não] -­‐0,22 -­‐21% -­‐0,12 -­‐10% -­‐0,11 Estudo dos fatores de forma múltipla
Resultados Língua Portuguesa. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Escola Região [Araguaia] Região [Baixo Amazonas] Região [Carajás ] Região [Lago de Tucuruí ] Região [Marajó] Região [Rio Caeté] Região [Rio Capim ] Região [Rio Guamá ] Região [Tapajós] Região [TocanTns ] Região [Xingu] Local [rural] Dep. Adm. [municipal]2 Categoria de referência [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [urbana] [estadual] 7ª EF 8ª EF 1ª EM 2ª EM 3ª EM -­‐0,2 ns ns ns ns -­‐0,26 ns -­‐0,21 0,35 ns ns ns ns -­‐22% ns ns ns ns ns ns 0,27 ns ns ns ns ns ns 27% ns 23% 0,36 27% 0,54 ns -­‐0,21 ns ns 36% ns ns ns -­‐17% ns ns ns ns 0,31 35% 0,76 ns ns ns ns ns ns ns ns ns ns ns ns 16% – – – Estudo dos fatores de forma múltipla
Resultados Matemática. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Aluno Sexo [fem.] Cor [pardo] Cor [preto] Cor [indígena] Defasagem [sim] NSE7 [médio-­‐baixo] NSE7 [médio] NCE [ruim] NCE [bom] NCE [óTmo] NRE [bom] NRE [muito bom] NSAE7 [saTsfeito] NSAE7 [totalmente saTsfeito] Categoria de 7ª EF 8ª EF 1ª EM 2ª EM 3ª EM referência [masc.] -­‐33% -­‐39% 67% -­‐35% -­‐45% [branco/amarelo] 10% ns ns ns 10% [branco/amarelo] ns -­‐9% -­‐11% ns ns [branco/amarelo] ns ns ns ns -­‐24% [branco/amarelo] -­‐39% -­‐43% -­‐39% -­‐47% -­‐56% [baixo] 19% 16% 30% 23% 32% [baixo] 44% 33% 38% 28% 40% [péssimo] 10% 22% 17% 18% 17% [péssimo] 23% 48% 32% 41% 51% [péssimo] ns 19% 18% 22% 22% [ruim] 49% 19% 40% 41% 35% [ruim] 48% 31% 45% 51% 53% [insaTsfeito] ns ns ns ns -­‐8% [insaTsfeito] -­‐17% -­‐26% -­‐31% -­‐29% -­‐37% Estudo dos fatores de forma múltipla
Resultados Matemática. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Aluno Prof. ouve [sim] Prof. Tra dúvidas [sim] Aluno aprende com o prof. [sim] Aprendizado depende mais do prof. [sim] Prof. aluno bom [sim] Prof. corrige dever de casa [sim] Prof. explica bastante [sim] Prof. turma toda pode aprender [sim] Aluno capricha nos trabalhos [sim] Prof. é claro [sim] Aulas interessantes [sim] Prof. falta [sim] Categoria de referência [não] [não] [não] [não] [não] [não] [não] [não] [não] [não] [não] [não] 7ª EF 6% 14% 30% -­‐27% -­‐19% 33% -­‐10% 16% 30% 17% -­‐8% -­‐17% 8ª EF ns 15% 28% -­‐37% -­‐12% 35% ns 20% 25% ns -­‐11% -­‐18% 1ª EM 2ª EM 3ª EM 15% 24% 13% -­‐37% -­‐22% 33% ns 23% 32% ns -­‐12% -­‐12% ns 14% 26% -­‐32% -­‐12% 30% ns 19% 13% ns -­‐13% -­‐6% 18% ns 45% -­‐38% -­‐8% 17% ns ns 21% ns -­‐17% -­‐10% Estudo dos fatores de forma múltipla
Resultados Matemática. 7ª EF a 3ª EM
Chance de estar no nível básico ou maior
Fatores de nível Escola Região [Araguaia] Região [Baixo Amazonas] Região [Carajás ] Região [Lago de Tucuruí ] Região [Marajó] Região [Rio Caeté] Região [Rio Capim ] Região [Rio Guamá ] Região [Tapajós] Região [TocanTns ] Região [Xingu] Local [rural] Dep. Adm. [municipal] NEP [regular] NEP [adequado] NEqui [regular] NEqui [bom] Categoria de referência [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [Metropolitana] [urbana] [estadual] [inadequado] [inadequado] [ruim] [ruim] 7ª EF ns -­‐14% ns ns ns -­‐26% ns -­‐14% 22% ns 17% -­‐7% 8% ns ns ns ns 8ª EF 1ª EM 2ª EM 3ª EM -­‐16% ns ns ns ns -­‐27% 43% -­‐21% ns -­‐16% ns -­‐12% 20% 8% ns ns ns ns ns ns ns 32% -­‐26% ns ns 31% ns ns ns -­‐ ns ns ns -­‐28% ns ns ns ns 30% -­‐20% ns ns ns ns ns ns -­‐ ns ns -­‐11% -­‐18% ns ns ns ns 38% -­‐24% ns -­‐22% ns ns ns ns -­‐ ns ns -­‐17% -­‐37% Algumas considerações
•  O conhecimento dos principais fatores que afetam o
desempenho escolar auxilia os gestores e os professores a
orientarem suas ações de forma mais objetiva e pragmática,
melhorando o desempenho escolar dos alunos e diminuindo
as diferenças entre eles.
•  Esse estudo mostra forte impacto no desempenho de alguns
fatores que estão intimamente ligados à gestão e ao trabalho
em sala de aula, como:
–  Passar, cobrar e corrigir os deveres escolares dos alunos.
–  Motivar os pais a participar mais da vida escolar e incentivar os
filhos a estudar.
–  Melhorar o nível de relacionamento escolar.
–  Melhorar o clima escolar.
Algumas considerações
•  Num trabalho complementar, foram selecionadas
escolas que se destacaram no SisPAE 2015, com vistas
a identificar “boas práticas”.
•  Mas não seria justo comparar a qualidade da gestão em
escolas localizadas em regiões mais ricas, com boa
infraestrutura e alunos com nível socioeconômico
familiar alto com escolas de regiões pobres, com
infraestrutura deficitária e alunos com nível
socioeconômico familiar baixo.
•  Por isto a seleção levou em conta o ambiente em que se
encontra a escola, ou seja, foram descontados os efeitos
de fatores não controláveis pela gestão escolar.
Obrigado!