Mestrado e Doutorado – Prof. Vinicius Brei (PPGA

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
PLANO DE ENSINO
I – IDENTIFICAÇÃO: Código: ADP249 - Metodologia de Pesquisa Experimental (Eletiva)
Professor: Vinícius Andrade Brei ([email protected])
Carga Horária: 60 h/aula
Créditos: 4
Dias de aula: quartas-feiras, 8h às 12h
Local: Escola de Administração, sala 207
II – Súmula/ementa
Conceitos básicos relativos à pesquisa experimental (definições de pesquisa experimental, causalidade, pesquisa
de laboratório e de campo, passos para a realização de experimentos, validade, confiabilidade). Principais designs
experimentais (single factor, factorial, quasi-experimental). Mediação, moderação e relações entre variáveis em
experimentos. Coleta de dados (construção de instrumentos de coleta, amostragem, coleta em laboratório, coleta via
Internet). Análise de dados de experimentos (effect sizes, nível de significância, erro padrão e intervalo de confiança,
fundamentos de estimação, distribuições estatísticas, análise, interpretação e preparação visual de dados experimentais,
principais técnicas estatísticas de análise usadas em experimentos, análise e apresentação de effect sizes, interações,
variáveis dicotômicas/contínuas, spotlight analysis). Redação de artigos científicos e ética na pesquisa experimental.
III – Objetivos
O objetivo geral da disciplina é fornecer instrumental analítico e metodológico que possibilite ao aluno planejar,
executar, analisar, redigir e avaliar pesquisas experimentais em administração. Em termos específicos, a finalidade da
disciplina é levar o aluno a:
• analisar os pressupostos que permeiam o processo da pesquisa experimental em administração
• conhecer as definições básicas em pesquisa experimental
• identificar as etapas básicas do processo e do projeto de pesquisa experimental
• conhecer e saber escolher os diferentes tipos de designs experimentais
• conhecer e saber escolher as melhores técnicas de coleta e análise de dados
• coletar, analisar e apresentar dados de um projeto de pesquisa experimental
• conhecer aspectos éticos a respeito da pesquisa experimental
• elaborar um artigo científico que apresente resultados de pesquisa experimental
IV – Programa (conteúdo)
Módulo 1: Conceitos básicos relativos à pesquisa experimental (aulas 1 a 3)
Módulo 2: Designs experimentais e relações entre variáveis (aulas 4 a 7)
Módulo 3: Coleta de dados (aulas 8 e 9)
Módulo 4: Análise de dados (aulas 10 a 14)
Módulo 5: Redação de artigos científicos e ética na pesquisa experimental (aula 15)
V – Método de trabalho (principais atividades)
•
A disciplina será desenvolvida por meio da utilização dos seguintes recursos didáticos:
Aulas expositivas-dialogadas pelo professor
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
1
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
•
Apresentação em seminários, pelos alunos, de tópicos do programa, seguidos de discussões sob a coordenação
do professor. A ordem das apresentações será definida no primeiro dia de aula (por afinidade de tema e/ou
sorteiro). Observações importantes sobre os seminários:
o Anteriormente aos seminários, o aluno deverá pesquisar e distribuir aos colegas de turma um artigo
acadêmico adicional sobre o tema que estará apresentando e fazer a relação entre os textos lidos e o
artigo escolhido. Este trabalho adicional deverá ser um artigo empírico, no qual deverão estar aplicados
os conceitos relativos ao tema do seminário.
o Todos os coordenadores dos seminários deverão fazer suas apresentações de modo a promover o debate,
por parte da turma, do tema apresentado. Para tanto, sugere-se a utilização de recursos auxiliares, como
Power Point ou outros, e a elaboração de questões para debate, durante ou ao final da apresentação.
o Os coordenadores de seminários deverão disponibilizar os slides a serem utilizados e o artigo empírico
adicional no Moodle, antes da aula (até 18h da noite anterior ao dia da aula).
o TODOS os alunos deverão ler o material sugerido pelo professor para a aula e apresentar dúvidas e
questões para debate. TODOS deverão estar preparados para discutir os temas da aula.
o O foco de cada seminário será o debate dos textos lidos e não apenas a apresentação. Todos os alunos
deverão consultar o Moodle regularmente (pelo menos uma vez por semana). O Moodle será usado para
disponibilização de material didático, textos, sanar dúvidas e receber trabalhos.
VI – Procedimentos e/ou critérios de avaliação
a) Participação: 15% da nota
A nota da participação será individual e ponderada pelo percentual de presença e pelo interesse demonstrado
pelo aluno em relação à disciplina, em todas as suas frentes (assiduidade, pontualidade, participação, atuação nas
pesquisas, etc.).
b) Coordenação de seminário – 15% da nota
Cada aluno será responsável pela coordenação de seminários envolvendo temas do conteúdo programático da
disciplina. Os seminários serão avaliados de acordo com os seguintes critérios: lateralidade, profundidade,
apresentação e dinâmica proposta.
c)
Realização de experimentos – 70% da nota
A turma será dividida em duplas de pesquisa. Ao longo do semestre, cada dupla elaborará, realizará e
apresentará dados e resultados de estudos experimentais. Todas as duplas trabalharão num mesmo projeto de pesquisa,
a ser detalhado pelo professor. O objetivo do projeto de pesquisa conjunto será a publicação de um artigo em
periódico científico. Por isso, espera-se a colaboração de todos os alunos no projeto.
Ao final do semestre, será atribuída uma nota relativa à realização dos experimentos para cada dupla, a partir da
competência e dedicação dos alunos face aos seguintes aspectos: 1) qualidade do desenho experimental realizado; 2)
elaboração e cuidados na preparação da coleta de dados; 3) coleta de dados; 4) análise e apresentação dos dados e
resultados.
IMPORTANTE: realizar os experimentos e ter aprovação na disciplina NÃO tornará um aluno co-autor do
artigo científico automaticamente. Tornar-se-ão co-autores do artigo científico APENAS os alunos que se envolverem
ativamente com sua conclusão (em todos os seus aspectos teóricos, metodológicos e empíricos) após o final da
disciplina.
VII – PLANEJAMENTO DE AULAS (poderá haver mudança de cronograma e/ou de leituras indicadas, a
depender do aproveitamento da turma)
Aula
1
Tópico
Apresentação da disciplina, dos alunos e do -
Atividades/Leituras
Falk & Heckman (2009)
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
Responsáveis
pelos
Seminários
(definir)
Sem
2
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
11/03
2
18/03
professor
Introdução
à
pesquisa
experimentos e inferência causal
coordenação
3
25/03
Validade em pesquisas experimentais – validade estatística, validade interna, validade de
construto e validade externa
-
experimental: -
4
01/04
Designs experimentais – conceitos básicos da pesquisa experimental e single factor-designs
-
5
8/04
6
15/04
Designs experimentais – factorial designs
7
22/04
8
29/04
Relações entre variáveis em pesquisas
experimentais – moderação, mediação e
mecanismos explicativos
Relações entre variáveis em pesquisas
experimentais – Interação entre variáveis
9
06/05
Coleta de dados – priming, papéis dos sujeitos,
demand artifacts
10
13/05
Coleta de dados – instrumentos de coleta,
elaboração
de
cenários,
checagem
de
manipulação, amostragem (tamanho de amostra,
poder estatístico), softwares e serviços de coleta
de dados
-
Designs experimentais – quasi-experimental designs
-
11
20/05
Análise de dados em pesquisa experimental – escolha do teste estatístico; principais testes
estatísticos: teste-t e ANOVA; como relatar resultados
12
27/05
Análise de dados em pesquisa experimental – Effect sizes, nível de significância, erro padrão e intervalo de confiança
Análise de dados em pesquisa experimental –
visão geral de análise, interpretação e preparação
13
03/06
(1)Shadish, Cook and Campbell (2002) –
Capítulo 1: Experiments and Generalized Casual
Inference
(2)Wilson et al (2010)
(3)Shadish, Cook and Campbell (2002) –
Capítulo 2: Statistical Conclusion Validity and
Internal Validity;
(4) Shadish, Cook and Campbell (2002) Capítulo 3: Construct Validity and External
Validity
(5) Goodwin & Goodwin (2013) – Capitulo 6
(Control Problems in Experimental Research) e
(6) Goodwin & Goodwin (2013) - Capitulo 7:
Experimental Design I: Single-Factor Designs
(7) (8) Goodwin & Goodwin (2013) – Capitulo 8:
Experimental Design II: Factorial Designs
(9) (10) Goodwin & Goodwin (2013) – Capitulo
10: Quasi Experimental Designs and Applied
Research
(11) Baron; Kenny (1986)
(12) Zhao et al. (2010)
(13) Imai et al. (2012)
(RELER Goodwin & Goodwin (2013) cap. 8)
(37) Rosnow; Rosenthal (1989)
(38) Rosnow; Rosenthal (1991)
(39) Ross; Creyer (1993)
(40) Rosnow; Rosenthal (1995)
(41) Petty et al. (1996)
(14) Janiszewski; Wyer (2014)
(15)Weber; Cook (1972)
(16)Sawyer (1975)
(17)Shimp et al (1991)
(18)Rungtusanatham et al (2011)
(19)Oppenheimer et al.(2009)
(20)Perdue & Summers (1986)
(21)Maxwell et al (2008)
(22)Button et al (2013)
(23) Ioannidis (2005)
(24) Mechanical Turk: Paolacci et al. (2010);
(25) Hauser & Schartz (2015)
(26)
Qualtrics
(vídeos
tutoriais)
www.qualtrics.com/university/researchsuite/learn
-qualtrics-in-5-steps)
(27) (28) Pallant (2011) – cap. 10. Se necessário,
ler também Hair et al. (2005);
REVISAR: Pallant (2011) cap. 2 (codebook) cap.
4 (fluxograma) 7 (gráficos); 8 (manipular dados),
caps. 11 a 15 ; Part V, caps. 16 a 18
(29) Kelley; Preacher (2012)
(30) Sawyer; Peter (1983)
(31) Nuzzo (2014)
(32) Schmidt (1996)
(33)Masson; Loftus (2003)
(34) Estes (1997)
(35)Loftus, G. (2002) – Capítulo 9: Analysis,
Interpretation, and Visual Presentation of
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
3
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
visual de dados experimentais
14
10/06
15
17/06
Análise de dados em pesquisa experimental – regressão, variáveis dicotômicas, floodlight e spotlight analysis, uso do Process
- ética na pesquisa experimental
- redação de artigos científicos
-
Experimental Data
(36)Loftus (1996)
(42) Irwin McClelland (2003)
(43) Fitzsimons (2008)
(44) Spiller et al (2013)
(45) Hayes (2012, caps. 4 a 8)
(46) Goodwin (2008) – Capítulo 2: Ethics in
Psychological Research
(47) Ashby (2005)
(48) Mills (1959)
VIII – Bibliografia
Aronson, E. Experimental social psychology. “Experimental social psychology”. In D. T. Gilbert; S. T. Fiske; G. Lindzey
(Eds.). The handbook of social psychology, v. 1, p. 99-142. Boston, MA: McGraw-Hill, 1998.
Ashby, Mike. "How to write a paper." Engineering Department, University of Cambridge, Version 6 (2006). Disponível
em: https://www.site.uottawa.ca/~bochmann/dsrg/how-to-do-good-research/how-to-write-paper/writingpaper.pdf.
Barbara C. Perdue and John O. Summers. Checking the Success of Manipulations in Marketing Experiments
Journal of Marketing Research. Vol. 23, No. 4 (Nov., 1986), pp. 317-326
Baron, Reuben M.; David A. Kenny. The Moderator-Mediator Variable Distinction in Social Psychological Research:
Conceptual, Strategic, and Statistical Considerations. Journal of Personality and Social Psychology, v. 51, n. 6, p.
1173-1182, 1986.
Bem, D. J. Writing the empirical journal article. In: M. P. Zanna; J. M. Darley. The complete academic: A practical
guide for the beginning social scientist. Lawrence Erlbaum Associates: 171-201, 1987.
Brewer, M. Research Designs and Issues of Validity. In Reis, H.; Judd, C. (Eds.) Handbook of Research Methods in
Social and Personality Psychology, p. 40-84. Cambridge, UK: Cambridge University Press, 2000.
Buhrmester, M. D.; Kwang, T.; Gosling, S. D. Amazon’s Mechanical Turk: A new source of inexpensive, yet highquality, data? Perspectives on Psychological Science, v. 6, 3-5, 2011.
Button, Katherine S., John PA Ioannidis, Claire Mokrysz, Brian A. Nosek, Jonathan Flint, Emma SJ Robinson, and
Marcus R. Munafò. "Power failure: why small sample size undermines the reliability of neuroscience." Nature Reviews
Neuroscience 14, no. 5 (2013): 365-376.
Calder, Bobby; Lynn Phillips; Alice Tybout. The concept of External Validity. Journal of Consumer Research, v. 9,
December, p. 240, 1982.
Estes, W. K. (1997). On the communication of information by displays of standard errors and confidence intervals.
Psychonomic Bulletin and Review , 4, 330–341.
Falk, Armin; Heckman, J. Lab Experiments Are a Major Source of Knowledge in the Social Sciences. Science,
326(5952), p. 535-38, 2009.
Finkelstein, Stacey R.; Ayelet Fishbach. When Healthy Food Makes You Hungry,” Journal of Consumer Research, v.
37, October, 2010.
Fitzsimons, G. J. Editorial: Death to Dichotomizing. Journal of Consumer Research, v. 35, n. 1, 5-8, 2008.
Fitzsimons, Grainne M.; Tanya l. Chartrand; Gavan J. Fitzsimons. Automatic Effects of Brand Exposure on Motivated
Behavior: How Apple Makes You “Think Different”. Journal of Consumer Research, v. 35, June, 2008.
Gerrod, P.W.; Sabini, J. Mood and Memory under Natural Conditions: Evidence for Mood Incongruent Recall. Journal
of Personality and Social Psychology, v. 59, August, 321-336, 1990.
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
4
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
Goodwin, C. J.; Goodwin, K. A. Research in Psychology: Methods and Design. Wiley, 2013.
Hair, J.F., Black, B., Babin, B., Anderson, R.E., Tatham, R. L. Multivariate Data Analysis. 6th edition. Prentice-Hall,
2005.
Hauser, D. J.; Schwarz, Norbert. Attentive Turkers: MTurk participants perform better on online attention checks than
subject pool participants. Behavior Research Methods (forthcoming, 2015).
Hayes, Andrew F. Introduction to mediation, moderation, and conditional process analysis : a regression-based
approach. The Guilford Press, 2013.
Ioannidis JPA. Why Most Published Research Findings Are False. PLoS Med 2(8): e124, 2005.
Irwin JR, McClelland GH. Negative consequences of dichotomizing continuous predictor variables. Journal of
Marketing Research 2003; 40 :366–371.
Judd, Charles M. Everyday Data Analysis in Social Psychology. In: Handbook of Research Methods in Social and
Personality Psychology. Harry T. Reis Charles; M. Judd (eds.), Cambridge: Cambridge University Press, p. 370-392,
2000.
Kelley, K., & Preacher, K. J. (2012). On effect size. Psychological Methods, 17, 137-152.
Keppel, Geoffrey; Wickens, T. Design and Analysis: A Researcher’s Handbook. 3. Ed., Prentice Hall, 1991.
Kutner, Michael H.; Christopher J. Nachtsheim; John Neter; William Li. “Chapter 15: Introduction to Design of
Experimental and Observational Studies.”. Applied Linear Statistical Models. 5 ed. McGraw-Hill/Irwin, 2005.
Loftus, Geoffrey R. "Psychology Will Be A Much Better Science When We Change The Way We Analyze Data."
Current Directions In Psychological Science, 5.6 (1996): 161-171.
Loftus, Geoffrey. Analysis, Interpretation, and Visual Presentation of Experimental Data. In: Pashler, Hal; Wixted, John
(eds.). Stevens’ handbook of experimental psychology. 3. Ed., p. 339-390. John Wiley & Sons, 2002.
Lynch, Jr, John G. On the External Validity of Experiments in Consumer Research. Journal of Consumer Research, v.
9, n. 3, p. 225-239, 1982.
Maxwell, Scott E., Ken Kelley, and Joseph R. Rausch. "Sample size planning for statistical power and accuracy in
parameter estimation." Annual Review of Psychology 59 (2008): 537-563.
Mills, C Wright (1959) The Sociological Imagination, Oxford: Oxford University Press.
Muller, Dominique, Charles M. Judd and Vincent Y. Yzerbyt, “When Moderation is Mediated and Mediation is
Moderated,” Journal of Personality and Social Psychology, v. 89, n. 6, p. 852-863, 2005.
Neter, John, Kutner, Michael H., Nachtsheim, Christopher J. & Wasserman, William. Applied Linear Statistical
Models, 4. Ed. Chicago: Irwin, 1996.
Nunnaly, Jim (1978) Psychometric Theory, New York: McGraw-Hill.
Nuzzo, R. Scientific method: Statistical errors. Nature, v. 506, n. 7487, p. 150-152, 2014.
Oppenheimer, D. M.; Meyvis, T.; Davidenko, N. Instructional manipulation checks: Detecting satisficing to increase
statistical power. Journal of Experimental Social Psychology, v. 45, n. 4, p. 867-872, 2009.
Pallant, Julie. SPSS Survival Manual: A step by step guide to data analysis using SPSS. Open University Press, 2011.
Paolacci, G.; Chandler, J.; Ipeirotis, P. G. Running experiments on Amazon Mechanical Turk. Judgment and Decision
Making, 5, p. 411-419, 2010.
Pedhazur, Elazar J., and Liora Pedhazur Schmelkin, (1991) Measurement, Design, and Analysis: An Integrated
Approach, Hillsdale, NJ., Lawrence Erlbaum Associates.
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
5
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
Perdue, Barbara C., and John O. Summers. "Checking the success of manipulations in marketing experiments." Journal
of Marketing Research 23, no. 4 (1986).
Petty, R. E.; Fabrigar, L. R.; Wegener, D. T.; Priester, J. R. Understanding data when interactions are present or
hypothesized. Psychological Science, v. 7, n. 4, p. 247-252, 1996.
Rosenthal, R.; Rosnow, R. Essentials of Behavioral Research: Methods and Data Analysis. 2. Ed. New York: McGrawHill, 1991.
Rosnow, R. L.; Rosenthal, R. "Some things you learn aren't so": Cohen's paradox, Asch's paradigm, and the interpretation
of interaction. Psychological Science, v. 6, n. 1, 3-9, 1995.
Rosnow, R. L.; Rosenthal, R. Definition and Interpretation of Interaction Effects. Psychological Bulletin, v. 105, n. 1, p.
143-146, 1989.
Rosnow, R. L.; Rosenthal, R. Effect Sizes for Experimenting Psychologists. Canadian Journal of Experimental
Psychology, v. 57, n. 3, p. 221-237, 2003.
Rosnow, R. L.; Rosenthal, R. If You're Looking at the Cell Means, You're Not Looking at Only the Interaction (Unless
All Main Effects Are Zero). Psychological Bulletin, v. 110, n. 3, 574-576, 1991.
Ross, W. T.; Creyer, E. H. Interpreting Interactions: Raw Means or Residual Means? Journal of Consumer Research, v.
20, n. 2, p. 330-338, 1993.
Rungtusanatham, M., Wallin, C., and Eckerd, S. 2011. “The Vignette in a Scenario-Based Role-Playing Experiment.
Journal of Supply Chain Management 47(3):9–16.
Sawyer, Alan G .and J. Paul Peter (1983), "The significance of Statistical Significance Tests in Marketing Research,"
Journal of Marketing Research, 20, 122-133.
Sawyer, Alan G. (1975), "Demand Artifacts in Laboratory Experiments in Consumer Research," Journal of Consumer
Research, 1, 20-30.
Schmidt, Frank L. "Statistical significance testing and cumulative knowledge in psychology: Implications for training of
researchers." Psychological methods 1, no. 2 (1996): 115.
Shadish, W. R.; Cook, T. D.; Campbell, D. T. Experimental and Quasi-Experimental Designs: For Generalized
Causal Inference. New York: Houghton Mifflin, 2002.
Shavelson, R. J. Statistical Reasoning for the Behavioral Sciences. 3. Ed. Pearson, 1996.
Shimp, T. A., Hyatt, E. M., & Snyder, D. J. (1991). A Critical Appraisal of Demand Artifacts in Consumer Research.
Journal Of Consumer Research, 18(3), 273-283.
Sigall, Harold; Mills, Judson. Measures of Independent Variables and Mediators are Useful in Social Psychology
Experiments: But are They Necessary? Personality and Social Psychology Review, v. 2, n. 3, p. 218-226, 1998.
Spiller SA, Fitzsimons GJ, Lynch JG, McClelland GH (2013) Spotlights, floodlights, and the magic number zero: Simple
effects tests in moderated regression. Journal of Marketing Research 50(2):277–288.
Zhao, X., Lynch, J. G., Jr, & Chen, Q. Reconsidering Baron and Kenny: Myths and truths about mediation analysis.
Journal of Consumer Research, 37, 197–206, 2010.
Weber, Stephen J., and Thomas D. Cook. "Subject effects in laboratory research: An examination of subject roles,
demand characteristics, and valid inference." Psychological Bulletin 77.4 (1972): 273.
Wilson, T. D., Aronson, E., & Carlsmith, K. (2010). The art of laboratory experimentation. In S. T. Fiske, D. T. Gilbert,
& G. Lindzey (Eds.), Handbook of social psychology (Vol. 1, pp. 51–81). Hoboken, NJ: Wiley.
_________________________________________________________________
PPGA/UFRGS - Av. Washington Luis N.º 855 CEP 90.040-160
Porto Alegre/RS
( ( 51) 316-3536 FAX: (51) 316-3991
E-MAIL: [email protected]
6