Critérios de Credibilidade da Investigação Científica (em Educação)

Critérios de Credibilidade da Investigação Científica (em
Educação)
Guilhermina Lobato Miranda
[email protected]
Instituto de Educação da Universidade de Lisboa
Doutoramento em Educação – TIC na Educação
Sumário
• As fases da investigação científica
• Que critérios usar para cada uma das fases
• Critérios de credibilidade da investigação quantitativa
• Critérios de credibilidade de investigação qualitativa
• [Critérios de credibilidade da Investigação-ação
• Critérios de credibilidade da investigação mista]
Sumário
Se houver tempo:
• O que conta como investigação científica de acordo com o/s
público/s a que se destina?
• Relatório de investigação (literatura cinzenta)
• Revistas não-indexadas
• Revistas indexadas: e as várias classificações/rakings
http://scimagojr.com/
http://adat.crl.edu/databases
http://wokinfo.com/
Fases da investigação
(Fonte: Adaptado de Mertens, 1998)
Fases lógicas da investigação (segundo Tuckman, 1994)
• Fase 1: Identificar a nossa visão do mundo, o paradigma que melhor representa os nossos
valores e concepções da realidade
• Fase 2: Escolher a problemática (delimitar o problema a estudar)
• Fase 3: Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o
estatuto das variáveis)
Fases da investigação
(Fonte: Adaptado de Mertens, 1998)
Fases metodológicas da investigação (segundo Tuckman, 1994)
• Fase 4: Elaborar o plano e o design da investigação (Quantitativo/Qualitativo/Misto) /
(Experimental/Correlacional/Descritivo: Estudo de caso, Etnográfico, Narrativa histórica, etc.)
• Fase 5: Identificar e escolher as fontes de recolha de dados
• Fase 6: Identificar e seleccionar os métodos e instrumentos de recolha de dados
•
•
•
•
Fase 7: Escolher os métodos e as técnicas de análise de dados
Fase 8: Fazer o trabalho de terreno (recolha dos dados)
Fase 9: Elaborar o relatório de investigação
Fase 10: Tornar públicos os resultados da investigação
Três questões para definir um paradigma de investigação
(Fonte: Mertens, 1998)
Questão
Ontológica
• Qual é a natureza
da realidade?
Questão
Epistemológica
Questão
metodológica
• Qual é a natureza
do conhecimento e
as relações entre o
sujeito e o objecto
de conhecimento?
• Como pode o
sujeito conhecer o
objecto de
conhecimento?
Paradigmas de investigação
(segundo Lather, 1992. Fonte: Mertens, 1998)
Positivista /
pós- positivista
• Experimental; Quase-Experimental
• Correlacional; Causal e comparativo
• Quantitativo
Interpretativo/
Construtivista
• Naturalista; Fenomenológico
• Hermenêutico; Interacção Simbólica; Etnográfico
• Qualitativo
Emancipatório
• Teoria Crítica; Neo-Marxista; Feminista
• Específico; Freireniano; Participativo; Transformista
• Investigação-acção
Paradigmas de investigação + UM
Não sei se será um novo paradigma mas tão só uma nova maneira de
conhecer a realidade
Os Métodos Mistos (Creswell, 2011, 2012), uma visão Pragmática da
realidade. Pode ser inserido na Corrente Pragmática da Filosofia (onde
destaco John Dewey, início e meados séc. XX)
Consultar este site sobre Métodos Mistos: http://johnwcreswell.com/
Fases da investigação
(Fonte: Adaptado de Mertens, 1998)
Fases lógicas da investigação (segundo Tuckman, 1994)
• Fase 2: Escolher a problemática (delimitar o problema a estudar)
• Fase 3: Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o
estatuto das variáveis)
• Como dar credibilidade às fases lógica da Investigação? Como escolher um problema
pertinente a ser estudado? Como fazer uma consistente revisão da literatura? Serão diferentes
as fontes e as evidências que tenho que descrever nesta fase, quer se trate do uso de um
método quantitativo, qualitativo, misto ou de IA?
Vamos enumerar alguns aspetos
Como escolho um problema pertinente e mostro que é
credível?
Como elaboro as questões (hipóteses) a serem estudadas /
testadas? Como mostro que são credíveis?
Serão diferentes as evidências que tenho de ‘mostrar’ numa
investigação quantitativa e numa investigação qualitativa?
Estas evidências dependerão do público a que se destina a
minha investigação?
Fases da investigação: como dar credibilidade à fase
metodológica?
(Fonte: Adaptado de Mertens, 1998)
Fases metodológicas da investigação (segundo Tuckman, 1994)
• Fase 4: Elaborar o plano e o design da investigação (Quantitativo/Qualitativo/Misto) /
(Experimental/Correlacional/Descritivo: Estudo de caso, Etnográfico, Narrativa histórica, etc.)
• Fase 5: Identificar e escolher as fontes de recolha de dados
• Fase 6: Identificar e seleccionar os métodos e instrumentos de recolha de dados
•
•
•
•
Fase 7: Escolher os métodos e as técnicas de análise de dados
Fase 8: Fazer o trabalho de terreno (recolha dos dados)
Fase 9: Elaborar o relatório de investigação
Fase 10: Tornar públicos os resultados da investigação
Os dois conceitos-chave quando se fala de credibilidade de
uma investigação científica (fase metodológica)
Os dois conceitos-chave quando se fala de credibilidade de
uma investigação científica
Para uma investigação ter valor científico é necessário assegurar a sua
fiabilidade.
validade
e
Só assim os resultados alcançados serão credíveis junto da comunidade científica.
Garantir a validade e fiabilidade de uma investigação não é tarefa fácil.
Os procedimentos para assegurar que uma investigação é válida e fiável não são os
mesmos nas
investigações quantitativas
e
qualitativas.
Validade (quantitativo)
A validade de uma investigação consiste em estudar (medir) realmente aquilo
para que foi planeada.
Terá que ser assegurada tanto no que concerne ao plano ou design da
investigação como no que respeita aos instrumentos de medida (recolha e
análise de dados)
Fiabilidade (quantitativo)
A fidelidade ou precisão de uma investigação pode ser definida pela consistência
(ao longo do tempo) dos procedimentos usados e dos resultados obtidos.
Os resultados devem ser independentes do olhar particular do investigador e terem
uma margem mínima de erro.
Validade: Interna e externa
• O investigador deve garantir a validade interna e a validade externa da sua
investigação.
• Dizemos que uma investigação tem validade interna se os resultados alcançados
puderem ser aceites tendo em conta o plano ou design da investigação (se o
investigador provou as hipóteses formuladas ou respondeu cabalmente às
questões levantadas no início da investigação)
• Uma investigação tem validade externa se os resultados alcançados puderem ser
generalizados a outros contextos ou situações similares.
Fiabilidade
• O investigador deve também garantir a fiabilidade do seu estudo. Esta está
relacionada com a precisão dos instrumentos de medida usados, quer dizer, os
instrumentos devem fornecer ao investigador o máximo de consistência e o
mínimo de erros.
• Podemos obter a fidelidade dos instrumentos de medida recorrendo a vários
procedimentos: (i) acordo interobservadores (intercodificadores, interjuízes);
teste e reteste; sliphalf; alfa de Cronbach
• Nos estudos quantitativos a fidelidade depende da precisão dos instrumentos de
medida. Nos estudos qualitativos depende das descrições feitas pelo investigador.
Investigação Quantitativa
Factores que afetam a validade Interna
• Contexto
• Maturação e desenvolvimento dos sujeitos
• Selecção diferencial dos sujeitos
• Mortalidade experimental
• Efeitos de Interacções
• Reactividade da medida
• Instrumentação
• Regressão estatística
• Difusão ou imitação do tratamento
Investigação Quantitativa
Fatores que afetam a validade externa
• Reatividade experimental
• Interacções tratamento-atributos
• Efeito reativo ou interativo do pré-teste
• Interferência de tratamentos múltiplos
• Novidade do tratamento
[Significância e representatividade da amostra]
E na investigação qualitativa?
Teremos ou não de credibilizar as investigações qualitativas, como o fizeram os
investigadores do paradigma quantitativo, usando os critérios de validade e de
fiabilidade?
Dois tipos de atitudes dos investigadores qualitativos
Uns negam as críticas dos
investigadores quantitativos
(e.g. Guba & Lincoln, 1989)
Outros pensam que a investigação qualitativa
só será credível no mundo científico se se
pautar por critérios de validade e precisão,
embora com pressupostos e estratégias
diferentes do paradigma quantitativo
(e.g. Kirk & Miller; Lecompte & Goetz, 1982,
1984)
AQUI VAMOS ADOPTAR A 2ª POSIÇÃO, POIS SÓ ASSIM A INVESTIGAÇÃO QUALITATIVA
GANHARÁ CREDIBILIDADE
Mas se parte de pressupostos e estratégias diferentes como caracterizar e definir a
validade e fidelidade?
Os dados e o plano da investigação são diferentes
Quantitativo
Qualitativo
Os dados no quantitativo assumem a forma de números
(medem dimensões do comportamento);
Fiabilidade está associada aos instrumentos utilizados
para recolher os dados
Validade relaciona-se com o plano (como antes vimos),
como controlar as variáveis e as prováveis fontes de
‘erro’: validade interna e externa
Os dados no qualitativo assumem a forma de atributos;
podem existir números mas não têm todas as
propriedades dos números;
Fiabilidade associada às descrições feitas pelo
investigador (dificuldade em usar instrumentos
estandardizados e técnicas de controlo das possíveis
fontes de ‘erro’)
Validade A importância dada aos contextos e à
subjetividade dos participantes torna difícil ‘generalizar
os resultados’
De que depende a FIABILIDADE ou PRECISÃO?
Quantitativo
Qualitativo
No quantitativo depende da precisão dos instrumentos de
recolha de dados. Depende sobretudo da instrumentação.
No qualitativo depende sobretudo do investigador das
descrições feitas pelo investigador (construções que elabora
sobre o que observa)
Problema da subjetividade do investigador e do enviesamento
que pode fazer sobre a realidade que observa
Existem várias técnicas estatísticas para determinar a
fiabilidade: teste-resteste; slip-half; alfa de Cronbach a medida
mais usada
Fidelidade interna: grau em que investigadores diferentes são
capazes de observar os mesmos fenómenos ou definir os
mesmos construtos (no mesmo contexto ou em contextos
idênticos);
Fidelidade externa: grau em que outros investigadores,
perante um conjunto de construtos já elaborados, conseguem
fazê-los corresponder aos dados que recolhem (seguindo o
mesmo procedimento do investigador que os elaborou)
[Lecompte & goetz, 1982]
Como tornar Fiáveis as Investigações Qualitativas?
O modo mais sério dos investigadores qualitativos garantirem a fiabilidade dos seus estudos é serem o mais
completos possível nas descrições do processo de investigação, o que Geertz (1966, 1988) designou de descrições
densas (thick descriptions).
Estas descrições densas devem incluir:
 um delineamento (físico, social e cultural) do contexto do estudo
 uma definição do papel do investigador
 uma descrição do quadro de referência concetual
 uma descrição exaustiva dos métodos de recolha e análise de dados
[ No quantitativo há a definição e operacionalização dos conceitos/construtos o que não acontece em muitos
estudos qualitativos, o que prejudica a fidelidade e cria obstáculos à replicação dos resultados]
Como tornar Fiáveis as Investigações Qualitativas?
Estratégias para aumentar a fiabilidade externa
O investigador deve ser o mais claro e exato possível na descrição dos seguintes aspectos
(Lecompte & Goetz, 1982, 1984):
Qual é o estatuto do investigador?
Como escolheu os informadores?
Quais são as situações e as condições sociais?
De que construtos e premissas analíticas parte?
Que métodos de recolha e análise de dados usou?
Como tornar Fiáveis as Investigações Qualitativas?
Estratégias para aumentar a fiabilidade interna
Fidelidade interobservadores ou interavaliadores (Lecompte & Goetz, 1982, 1984), que não são
necessariamente quantitativos (frequência).
Cinco estratégias para aumentar a fidelidade interna:
Descrições com um nível de inferência baixo
Múltiplos investigadores
Investigadores participantes assistentes (locais mas não os informantes)
Corroboração dos dados por colegas da mesma área
Registo mecânico da informação (sem codificação ou classificação)
Como tornar Válidas as Investigações Qualitativas?
Mostrando o grau em que as conclusões do estudo representam a realidade que descrevem;
Avaliando se os construtos elaborados pelo investigador representam ou medem a
experiência humana descrita
Validade interna: grau de correspondência entre as observações e medições científicas e a
realidade estudada (credibilidade)
Validade externa: tem a ver com o poder de generalização das conclusões alcançadas
(transferibilidade)
(Campbell & Stanley, 1963; Guba & Lincoln, 1989)
Estratégias para aumentar a Validade Interna
Permanência prolongada do investigador no terreno
Entrevistas e outras técnicas de recolha direta de dados
Observação participante
Autorreflexão do investigador (subjetividade disciplinada, Erickson, 1973)
Entre outras estratégias
Será um problema a Validade Externa para os investigadores qualitativos
No sentido clássico do conceito não. Mas qualquer investigador deseja que as
conclusões do seus estudos possam servir como referência e ser “generalizadas” a outros
contextos
Goetz & LeCompte (1984) falam de:
COMPARABILIDADE: grau em que as componentes do estudo são suficientemente descritas a ponto de
poderem ser comparadas com, pelo menos, um outro estudo, tendo em vista transferir a este último as
conclusões do primeiro
TRADUCTIBILIDADE: grau em que os quadros de referência concetuais, a linguagem e as técnicas utilizadas são
fáceis de entender e utilizar por outros investigadores
Obrigada pela vossa atenção
Guilhermina Lobato Miranda
[email protected]
Bibliografia
• Almeida, L., & Freire, T. (2000). (2.ª ed.). Metodologia da investigação em psicologia e educação. Braga:
Psiquilíbrios.
• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. USA:
Houghton Mifflin Company.
• Cohen, L., Manion, L., & Morrison, K. (2006).(5th ed.).Research methods in education. New York:
RoutledgeFalmer
• Geertz, c. (1973). The interpretation of cultures. New York: Basic Books Classics
• Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin & Y. S. Lincoln
(Eds.). Hanbook of qualitative research (pp. 105-117). Thousand Oaks, CA: Sage. Retirado de:
https://www.uncg.edu/hdf/facultystaff/Tudge/Guba%20&%20Lincoln%201994.pdf
• LeCombe, M. D., & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of
Educational Research, 52(1), 31-60. Retirado de:
http://www.colorado.edu/education/sites/default/files/attachedfiles/LeCompte_Goetz_Problems_of_Reliability_Validity_in_Ed_Re.pdf
Bibliografia (cont.)
• LeCombe, M. D., & Goetz, J. P. (1984). Ethnography and qualitative design in educational research. USA:
Academic Press
• Mertens, D. M. (1998). Research methods in education and psychology: Integrating diversity with quantitative &
qualitative approaches. London: Sage.
• Tuckman, B. W. (2000). Manual de investigação em educação (A. Rodrigues-Lopes, Trad.). Lisboa: Fundação
Calouste Gulbenkian. (Obra original publicada em 1972)