Apresentação do PowerPoint

Questionários e Escalas:
como construir e adaptar
Guilhermina Lobato Miranda
[email protected]
Lema do Seminário
“…se, por um lado, a construção de sistemas de observação e medida
dotados de qualidades adequadas é essencial ao avanço do
conhecimento, não menos indispensável é que os instrumentos sejam
desenvolvidos com base numa teoria ou, pelo menos, num conjunto de
princípios e objetivos claros”
[Moreira, 2004, p. 20]
Guilhermina L. Miranda
2
O Problema da Medida nas Ciências Sociais
• Assunto controverso. Mas…
• Medir é um processo de observação e registo de informação sobre a forma de atributos que
reflectem qualidades ou quantidades (Maroco, 2009)
• Processo de codificação das propriedades de um objeto (Moreira, 2004)
• A codificação assume muitas vezes a forma de números
• Níveis de medida das variáveis: nominal, ordinal, intervalar e de razão
• Nas Ciências Físicas o problema da medida também se coloca mas é mais consensual o uso de
instrumentos universais.
Guilhermina L. Miranda
3
Tipos e escalas de medida das variáveis
As variáveis podem ser qualitativas ou quantitativas e há escalas para cada tipo de variável: nominais, ordinais, intervalares e
proporcionais ou de rácio (as duas primeiras são teoricamente qualitativas e as duas segundas quantitativas)
Os principais tipos de escalas usados em Psicometria são:
1. Escalas de Likert ou do tipo Likert ou modelo aditivo (1932) (escala mais usada nas ciências sociais e humanas)
Conjunto de itens bipolares, entre extremo positivo e extremo negativo, a uma afirmação, com um ponto central de
resposta neutra, geralmente com número impar (5, 7, 9)
Mais raramente sem ponto neutro e com número par (4, 6, 8)
Soma (média) de conjunto de itens para obter score de construto, se tal fizer sentido, i.e., se a aproximação a um nível de
medida intervalar for defensável. Caso contrário considerar medida ordinal e analisar com métodos apropriados (Me,
Mo, mas não Me SD)
2. Escalas de Thurstone (1928), ou modelo de intervalos, primeira técnica formal para medir atitudes
3. Escalas de Guttman (1950), escalograma, escala cumulativa ou modelo ordinal
[ver Moreira, 2004]
Guilhermina L. Miranda
4
O Problema da Medida nas Ciências Sociais
• Como medir atitudes, comportamentos, emoções, representações,
opiniões, inteligência, motivação… e outras variáveis (mais ou menos
manifestas)?
• Estas variáveis latentes podem ser designadas de construtos
• O que é um construto (ou variável latente) e sua relação com a
variável observável, o que vou medir?
É esta relação que torna a medida em Ciências Sociais única
Guilhermina L. Miranda
5
Operacionalizar um construto
construto
Indicador
(conceito ou variável latente)
(variável observável)
Operacionalização
Inteligência
Atitude
(face aos computadores )
Testes de QI / Provas Piagetianas
Escala com itens ordinais com 3
factores ou dimensões
Guilhermina L. Miranda
Gosto de trabalhar com
computadores (CC até DC)
6
Operacionalizar um construto
1. Testes psicológicos, Escalas, Questionários
Medida objectiva e estandardizada de uma amostra de comportamento; muitos são auto-aplicáveis; mas de
informação “limitada”
2. Entrevista
Avaliação presencial e interativa do entrevistado
Informação mais “rica”; mas sujeito a enviesamento do entrevistador
3.Observação directa
Recolha de amostra do comportamento observável pelo avaliador. Problemas de amostragem, de fiabilidade e de
enviesamento
4.Medidas psicofisiológicas
Medidas fisiológicas/bioquímicas e comportamentos associados; problemas com validade e fiabilidade
Guilhermina L. Miranda
7
Operacionalizar um construto por meio de uma escala /questionário
• Escalas e questionários: avaliação padronizada de comportamentos, aptidões, atitudes,
ou traços, por intermédio de itens intercorrelacionados cuja manipulação algébrica
(soma, subtracção, média) indica uma quantificação (intervalar) dos objectos medidos;
• e.g. Escala de suporte social; Escala de Stresse, Escala de Auto-eficácia…
• Evitam a palavra “teste” ou respostas corretas/incorretas;
[Maroco, 2009; Moreira, 2004]
Guilhermina L. Miranda
8
Como construir uma Escala / Questionário?
1.Que construtos se pretende medir?
2. Qual a dimensionalidade pretendida?
3. Qualidade e quantidade dos itens?
4. Instruções de preenchimento, codificação e cotação
5. Pré-teste
6. Qualidades psicométricas da escala?
[in Maroco, 2009]
Guilhermina L. Miranda
9
Como construir uma Escala / Questionário?
1. Que construtos se pretende medir?
Clarificação do conceito, construto a medir
Como operacionalizar a medida?
 Seleção de itens do domínio em estudo: Revisão bibliográfica sobre o construto; Que instrumentos de
medida existem? Escalas, Inventários, Questionários?
 Focus group (entrevistas individuais)
 Validade de conteúdo
2. Qual a dimensionalidade pretendida?
 O construto é unidimensional, bidimensional ou multidimensional?
Guilhermina L. Miranda
10
Como construir uma Escala / Questionário?
3. Qualidade e quantidade dos itens?
Tipo de itens: perguntas abertas ou fechadas?
Tipos de respostas fechadas
Itens dicotómicos
Julgamentos categoriais /listas de verificação/itens constituídos por alternativas
Julgamentos quantitativos
Respostas análogo-visuais
Guilhermina L. Miranda
11
Como construir uma Escala / Questionário?
3. Qualidade e quantidade dos itens?
Segundo Maroco (2009) o número de itens por dimensão:
Mínimo: 3
Aconselhável: 5-20
Máximo: Sem limite (mas deve ser razoável)
Número de pontos por item:
Par ou impar? Com ponto central ou sem ponto central?
1- Discordo fortemente, 2-Discordo, 3-Nem concordo nem discordo, 4- Concordo; 5- Concordo
fortemente
Guilhermina L. Miranda
12
Como construir uma Escala / Questionário?
4. Instruções de preenchimento, codificação e cotação
4.1. Instruções de preenchimento
4.2. Como codificar as respostas?
 Códigos numéricos (facilidade de análise e criação de BD)
 Análise de Conteúdo nas Respostas abertas: Quantas categorias ou classes
usar? Como codificar as classes e as frequências?
4.3. Como Cotar as Respostas/Escala?
 Itens com codificações numéricas
 Itens revertidos
 Soma ou média dos itens faz sentido para obter um score global?
 Padronização dos scores (notas Z, por exemplo)
Guilhermina L. Miranda
[adaptado de Maroco, 2009]
13
Como construir uma Escala / Questionário?
5. Pré-teste
Num estudo piloto deve avaliar-se:
 Clareza e compreensão dos itens
 Grau de dificuldade dos itens
 Distribuição das respostas
 Distribuição das não-respostas
 Qualidade psicómetricas provisórias: Sensibilidade, Validade de Conteúdo, Validade de construto, Fiabilidade
 A análise do pré-teste pode determinar a eliminação, reformulação e/ou adição de novos itens
[adaptado de Maroco, 2009]
Guilhermina L. Miranda
14
Como construir uma Escala / Questionário?
6. Qualidades psicométricas da escala?
Sensibilidade: Os itens permitem diferenciar indivíduos estruturalmente diferentes na medida do construto? O poder discriminativo da escala / questionário ou
prova.
Validade: A escala mede o construto que se pretendia medir? Várias dimensões de Validade (Anastasi, 1998):
• Validade relacionada como conteúdo (Validade de conteúdo; Valida de face)
• Validade de construto (Validade factorial, Validade convergente, Validade discriminante)
• Validade relacionada com o critério (Validade concorrente, Validade preditiva)
Fiabilidade: A escala mede o construto de forma fiável? Isto é de forma consistente e reprodutível (indivíduos com a mesma característica, ou mesmo indivíduo em
dois momentos equivalentes, têm o mesmo valor na medida?)
Guilhermina L. Miranda
15
Validar uma escala para uma população / amostra
Como fazer?
1º Passo: Tradução /retrotradução/ Avaliação semântica da forma em língua nacional se a escala não está originalmente na língua da população;
Avaliação da validade de conteúdo/tradução por painel de especialistas.
2º Passo: Ter em conta os conceitos de população e de amostra e os vários tipos de amostragem: população teórica, a população do estudo e a amostra
(probabilística ou não-probabilística). Se se deseja criar um instrumento válido para uma dada população convém que a amostra onde se vai testar o
instrumento seja constituída de forma aleatória (recorrendo a um dos seus procedimentos de modo a garantir a significância e representatividade da
amostra)
3º Passo: Demonstrar a Sensibilidade, Validade e Fiabilidade numa amostra representativa da população para a qual se quer fazer a validação
/adaptação
4º Passo: Aferição e correcção dos itens de forma a melhorar a sensibilidade, validade e fiabilidade da escala
Guilhermina L. Miranda
16
Maslach Burnout Inventory – Student Survey (1996)
Burnout [adapatado a partir de Maroco, 2009)
Resposta prolongada no tempo a stressores interpessoais crónicos no trabalho, composta por três dimensõeschave: exaustão emocional, despersonalização e redução da realização pessoal (Maslach, 1993).
Maslach Burnout Inventory – Student Survey:
Adaptação de Schaufeli, et al. (2002) a partir da
MBI-GS de Maslach, et al. (1996)
pontos:
15 itens ordinais que reflectem sentimentos e estados emocionais cotados numa escala ordinal de 7
Nunca
Quase
Nunca
Algumas
vezes
Regularmente
Bastantes
vezes
Quase sempre
Sempre
0
1
2
3
4
5
6
Nenhuma vez
Poucas vezes
por ano
Uma vez por
mês
Poucas vezes
por mês
Uma vez por
semana
Poucas vezes
por semana
Todos os dias
Guilhermina L. Miranda
17
Maslach Burnout Inventory – Student Survey (1996)
Três Dimensões (Tradução e Adaptação J. Maroco & M. Tecedeiro, 2006):
I. Exaustão emocional
1. Os meus estudos deixam-se emocionalmente exausto
2. Sinto-me de “rastos” no final de um dia na universidade.
3. Sinto-me cansado quando me levanto de manhã e penso que tenho de enfrentar mais um dia na universidade.
4. Estudar ou assistir a uma aula deixam-me tenso.
5. Os meus estudos deixam-me completamente esgotado.
II. Descrença
6. Tenho vindo a desinteressar-me pelos meus estudos desde que ingressei na universidade.
7. Sinto-me pouco entusiasmado com os meus estudos.
8. Sinto-me cada vez mais cínico relativamente à utilidade potencial dos meus estudos.
9. Tenho duvidas sobre o significado dos meus estudos.
Guilhermina L. Miranda
18
Maslach Burnout Inventory – Student Survey (1996)
Três Dimensões (Tradução e Adaptação J. Maroco & M. Tecedeiro, 2006):
III. Eficácia Profissional
10. Consigo resolver, de forma eficaz, os problemas que resultam dos meus estudos.
11. Acredito que participo, de forma positiva, nas aulas a que assisto.
12. Sinto que sou um bom aluno.
13. Sinto-me estimulado quando alcanço os meus objetivos escolares.
14.Tenho aprendido muitas matérias interessantes durante o meu curso.
15. Durante a aula, sinto que consigo acompanhar as matérias de forma eficaz.
Guilhermina L. Miranda
19
Dois estudos de validação
1º Estudo de validação para uma amostra de estudantes portugueses: Maria
Elvira Monteiro e Guilhermina Lobato Miranda
2º Estudo de validação para uma amostra de professores portugueses: Pedro
Brás e Guilhermina Lobato Miranda
Guilhermina L. Miranda
20
Sensibilidade
O que é e como determinar, interpretar [e reportar] a sensibilidade de um
Questionário / Escala?
Guilhermina L. Miranda
21
Validade fatorial
O que é e como determinar, interpretar e [reportar] a validade fatorial de um
Questionário / Escala?
Guilhermina L. Miranda
22
Fiabilidade
O que é e como determinar, interpretar [e reportar] a fiabilidade de um
Questionário / Escala?
Guilhermina L. Miranda
23
Algumas referências
• Almeida, L. & Freire, T. (2000). Metodologia de investigação em psicologia e educação (2ª Ed.). Braga: Psiquilíbrios
• Anastasi, A. & Urbina, S. (1997). Psychological testing. NJ: Prentice-Hall
• Ghiglione, R. & Matalon, B. (2001). O Inquérito: teoria e prática. Oeiras: Celta
• Hill, M. & Hill, A. (2000). Investigação por questionário. Lisboa: Sílabo
• Maroco, J. (2007). Análise estatística com a utilização do SPSS (3ª Ed.). Lisboa: Edições Sílabo
• Moreira. J. M. (2004). Questionários: Teoria e prática. Coimbra. Almedina
• Thorndike, R. L. (Ed.). Educational measurement (2nd). Washington, DC: American Council on Education.
• Tuckman, B. W. (2000). Manual de investigação em educação. Lisboa: Fundação Calouste Gulbenkian.
Guilhermina L. Miranda
24