avaliação da utilização do índice h como ferramenta de medição da

RELATÓRIOS DE PESQUISA EM ENGENHARIA DE PRODUÇÃO v.14, n. A5, p. 52-60.
AVALIAÇÃO DA UTILIZAÇÃO DO ÍNDICE H COMO FERRAMENTA DE
MEDIÇÃO DA PRODUÇÃO CIENTÍFICA DO PROGRAMA DE PÓSGRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO DA UNIVERSIDADE
FEDERAL FLUMINENSE
Pedro Maffia da Silva
Universidade Federal Fluminense -UFF
[email protected]
Tulio Rabelo de Albuquerque Mota
Universidade Federal Fluminense -UFF
[email protected]
João Carlos C. S. de Mello
Universidade Federal Fluminense -UFF
jcsmello@produção.uff.br
Resumo
O objetivo do presente artigo é discutir a utilização do índice h para caracterizar a quantidade e
disseminação da produção científica em um programa de pós-graduação. O índice h, proposto em 2005
por J. Hirsch da Universidade da Califórnia, é um dos mais utilizados para esse fim. Sendo um índice
muito simples, possui algumas limitações, que não lhe retiram no entanto a importância. O presente
artigo baseia-se em um estudo de caso, do programa de pós-graduação em engenharia de produção da
Universidade Federal Fluminense. Ao final, é proposta a utilização do índice h como forma de avaliar a
quantidade e qualidade das publicações e também direcionar e orientar os pesquisadores para futuros
trabalhos buscando a melhoria da pesquisa do programa.
Palavras chave: Índice h, Engenharia de Produção, Produção Científica.
Artigo submetido em 24/10/2013. Versão final recebida 14/2/2014. Publicado em 20/2/2014.
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
1. Introdução
O físico J.Hirsch da Universidade da Califórnia, em 2005, sugeriu um método bastante simples
para estimar a importância de produções científicas de um único pesquisador. Criado por
Hirsch (2005), o índice h de um determinado pesquisador significa que ele possui h artigos com
pelo menos h citações.
Para comparar pesquisadores com diferentes tempos de carreira, Hirsch utiliza o parâmetro m,
que se obtém dividindo o índice h pelo número de anos a partir da publicação do primeiro
artigo.
Segundo Hirsch (2005) um pesquisador de Física pode ser considerado como sendo um caso de
sucesso se conseguir um índice h de 20 ao fim de 20 anos de carreira (m=1). Conseguir um
índice h de 40 (m=2) ao fim desse período de tempo segundo o autor só é passível de ser
alcançado por pesquisadores excelentes, quanto a índices superiores a 60 (m=3) só estarão ao
alcance de verdadeiros fenômenos. No estudo de Hirsch (2005) foi utilizada a base Thomson
ISI Web of Science.
Hirsch (2005) analisou o índice h dos vencedores do prêmio Nobel da Física nos últimos 20
anos, tendo observado que 84% deles tinham um índice h superior a 30. Ele sugere que para a
área científica de Física a subida à categoria de Professor Associado numa Universidade de
topo, deveria implicar por parte dos candidatos a titularidade de um índice h=12 enquanto que
para a categoria máxima de Professor esse índice seria de 18.
Na área científica de Física, Hirsch destaca que os valores de índice h são muito elevados. O
valor mais alto a nível mundial nesta área pertence ao físico teórico Edward Witten com um
índice h=110 e com m=3,83. Witten seria classificado segundo Hirsch como um fenômeno.
Rubem et al. (2013b) realizaram uma comparação empírica de alguns indicadores
bibliométricos bem conhecidos, incluindo o h-index, g-index, R-index, w-index, h(2)-index e o
indicador de publicações altamente citadas , a fim de identificar aqueles que se comportam de
um modo satisfatório para medir o impacto geral de grupos de cientistas.
Eggle (2006a) definiu g-index como o maior número g de artigos que juntos receberam g2
citações ou mais. Jin et al. (2007) definiram R-index como:
Onde os números de citações (citj) são classificados em ordem decrescente.
Segundo Wu (2010), se w artigos de um pesquisador possuem pelo menos 10w citações cada e
os outros artigos possuem menos de 10(w+1) citações , seu w-index é w. Kosmulski (2006),
criou o h(2)-index como sendo o maior número natural tal que seus h(2) artigos mais citados
receberam {h(2)}2 citações cada. Já Waltman e Van Eck (2012), formularam o indicador HCP
que considera que todas as publicações em que as citações excedam certo limite têm a mesma
pontuação positiva e todas as outras publicações têm pontuação zero.
53
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
Rubem et al. (2013a) propõem um estudo para selecionar dentre diversos índices bibliométricos
o que melhor distinga a produção científica de candidatos à vaga de professor de um
determinado programa de pós-graduação para universidades públicas brasileiras.
Rubem et al. (2013a) aplicam o uso conjugado de dois métodos de apoio à decisão
multicritério, MACBETH e VIP Analysis, de forma a dar suporte ao decisor na análise das
alternativas e na seleção daquela mais apropriada ao processo seletivo a que se destina.
O presente artigo contém uma análise parcial utilizando como base o índice h de artigos
produzidos por pesquisadores do Programa de Pós Graduação em Engenharia de Produção da
Universidade Federal Fluminense. Para tal utilizou-se a base Scopus para o desenvolvimento
do estudo. Esta base é mais abrangente que a Web of Science e contém mais artigos em
português.
Este trabalho apresenta um estudo de caso realizado no departamento de pós-graduação em
Engenharia de Produção em uma universidade ponta no Brasil tendo como base o levantamento
do perfil das publicações de 3 pesquisadores na base Scopus associado ao cálculo e análise dos
respectivos índices h.
Lovegrove & Johnson (2008) sumarizam cinco vantagens na utilização do índice h:
1. Pode ser obtido de forma muito rápida;
2. A sua obtenção é feita com custos muito reduzidos, embora em muitos casos o
acesso às bases de dados seja pago;
3. Evita avaliações subjetivas e variáveis de natureza pessoal existentes nas
avaliações por revisão de pares;
4. Permite comparações a nível internacional;
5. Permite transparência no processo de avaliação possibilitando aos avaliados
gerir a sua carreira de forma a atingir objetivos pessoais.
2. Discussão Teórica do Índice h
Alguns autores (Ball, 2005) referem que o índice h pode ser utilizado para avaliar o
desempenho de pesquisadores. Bornmann & Daniel (2005) analisaram candidaturas a
programas de Pós-Doutoramento referindo que os candidatos aceites têm em média valores de
índice h superiores aos dos candidatos recusados.
O índice h permite ainda prever desempenhos futuros, fato que foi analisado por Hirsch (2007)
através do estudo da produção de artigos de uma amostra de 50 físicos para perceber se a
produção ao longo de 12 anos permitia prever a produção dos 12 anos seguintes. Os resultados
obtidos mostraram que o índice h apresenta uma capacidade de previsão superior à de outros
índices.
Mugnaini et al. (2008) compararam o índice h médio dos membros da Academia Brasileira de
Ciências com o mesmo índice dos membros da academia correspondente dos Estados Unidos
em dez áreas cientificas distintas, tendo observado que em termos gerais os membros da
Academia de Ciência Norte-Americana apresentam índices bem mais elevados.
Mugnaini et al. (2008) relataram que o índice h varia com a área científica analisada e que a sua
dispersão é maior na Academia Brasileira de Ciências, embora não tenham apresentado
nenhuma explicação para o efeito. Nota-se que Hirsch (2005) já tinha analisado o índice h dos
54
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
membros da Academia de Ciências dos Estados Unidos, referindo que aqueles possuíam um
valor de aproximadamente 45.
Kelly & Jennions (2006) analisaram o índice h de editores de revistas internacionais da área da
Ecologia e Evolução tendo obtido valores entre 21 e 34. Bornmann et al. (2008) compararam o
desempenho do índice h com outros indicadores (como o número total de artigos, o número
total de citações e o fator de impacto das revistas) e a avaliação por pares em pesquisadores da
área da biologia molecular referindo que o índice h é um indicador válido.
Bornmann & Daniel (2007) referem que, em virtude da sua simplicidade, o índice h padece de
algumas limitações, como por exemplo, não levar em conta a contribuição de todos os artigos
de um autor nem o total das suas citações, como também não levar em conta o número de
autores por artigo.
Egghe (2006b) refere que o índice h não consegue distinguir entre autores que têm o mesmo
índice, mas em que um tem o dobro ou o triplo das citações nos artigos mais citados, sugerindo
um novo índice para ultrapassar essa limitação.
Schreiber (2007a, 2007b) refere que o índice h contabiliza as auto-citações sugerindo alterações
ao índice h. Contudo atualmente a Web of Science e o SciVerse Scopus possuem ferramentas
informáticas que permitem determinar o índice h de forma bastante rápida. Estas bases de
dados permitem também excluir as auto-citações para o cálculo do índice h.
Para Rosseau (2007) pode acontecer que uma determinada percentagem de artigos com elevado
impacto de um determinado autor, tenha sido publicada numa conferência ou numa revista de
acesso aberto não abrangida pela Web of Science e logo não contribuam para o seu índice h.
Segundo Torgal (2011) as críticas geralmente apontadas não invalidam a importância do índice
h, o que acontece é que alguns autores apontam as suas limitações mas na maioria dos casos
reconhecem que apesar das limitações este índice é atualmente utilizado em várias áreas
científicas para produzir rankings de pesquisadores.
Alem disso, Franceschini & Maisano (2010) referem que é a simplicidade do índice h que
justifica a sua popularidade, já que outros indicadores, embora possam ser mais eficazes, têm
menos aceitação e dificilmente conseguem evidenciar a sua ligação com aquilo que está sendo
analisado.
A contribuição deste artigo pretende ser iniciar uma discussão técnica sobre possíveis formas
de avaliação de pesquisadores e do próprio programa de pós-graduação, possibilitando a
apresentação do índice h como instrumento não só de avaliação, mas de orientação para
melhoria individual e coletiva do ensino e pesquisa na UFF.
3. Tratamento de Dados e Aplicação
3.1 A Engenharia de Produção da UFF
O curso de graduação em Engenharia de Produção na Universidade Federal Fluminense iniciou
no final da década 1980. Até hoje se formaram aproximadamente 1.200 engenheiros em cerca
de 24 anos, as últimas avaliações no MEC mostram que o curso está entre os melhores do país
com nota 04 no último Exame Nacional de Desempenho de Estudantes (ENADE 2011).
55
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
Já a pós-graduação iniciou-se há mais tempo, no final dos anos de 1970. De acordo com
Produção (2013), atualmente conta com Mestrado nas áreas abaixo:
•
•
•
•
•
•
•
•
•
Competitividade;
Trabalho e Segurança;
Conhecimento e Inovação Tecnológica;
Finanças e Gestão de Investimento;
Gestão e Estratégia de Negócios;
Gestão da Informação;
Logística e Cadeias de Suprimento;
Modelagem no Apoio à Decisão;
Políticas Públicas e Privadas de Ciência e Tecnologia.
Já o curso de doutorado está restrito a pesquisadores com interesse nas áreas de Logística e
Cadeias de Suprimento além de Modelagem e Apoio à Decisão (Produção, 2013).
3.2 Levantamento e Análise de Dados
A coleta de dados foi realizada na base Scopus com levantamento do perfil de 21 pesquisadores
do programa de pós-graduação em engenharia de produção da UFF. Para o estudo proposto
foram selecionados 3 pesquisadores, que serão chamados aqui de Pequisador A, B, e C.
Dentre os critérios que levaram â escolha desses pesquisadores destacam-se publicações,
citações recebidas e o índice h de cada pesquisador dentro da base Scopus. A tabela 01 detalha
essas características desses três pesquisadores.
TABELA 01: RESUMO DE PUBLICAÇÕES – BASE SCOPUS
Pesquisador Citações Publicações
A
291
40
B
203
124
C
192
30
Índice h
8
8
8
Intervalo
1999-Atual
2003-Atual
2002-Atual
Fonte: Scopus, 2013
A partir de uma análise preliminar dos pesquisadores listados na tabela 01, percebe-se que,
embora os mesmos possuam índice h idêntico, ou seja, os pesquisadores são isoindex, o perfil
da produção científica individual é um pouco diferente.
O pesquisador B com certeza é o que atingiu o maior número de publicações do programa e
possui um número considerável de citações. No entanto, parte de seus artigos talvez ainda não
tenham sido descobertos e não tenham obtido muita visibilidade. Muitas vezes um artigo
precisa de certo tempo para começar a ser citado e ter mais visibilidade na comunidade
científica.
Já os pesquisadores A e C, possuem um perfil semelhante quanto a suas produções científicas.
Eles possuem uma gama de artigos que tiveram muitas citações, o que aumentou a visibilidade
e replicação. Quando comparados com o pesquisador B, podemos dizer que parte das
publicações dos pesquisadores A e C conseguiram alcançar uma maior replicação em menos
tempo dentro da base Scopus.
56
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
GRÁFICO 01: ÍNDICE h - PESQUISADOR A
Região II
Região I
Fonte: Scopus, 2013
Analisando individualmente o Pesuisador A, a partir do gráfico 01 fora da região II, nota-se que
na fronteira inferior de citações do índice h, o mesmo possui dois artigos com 8 citações, três
com 7 citações, um com seis citações e um com 5 citações. Os demais possuem 4 citações ou
menos. Ou seja, o pesquisador possui 7 artigos com pelo menos 5 citações (ver região I do
gráfico) o que pode significar, dependendo da visibilidade dos artigos que este pesquisador
pode em breve estar elevando de 8 para 9 seu índice h.
GRÁFICO 02: ÍNDICE H - PESQUISADOR B
Região II
Região I
Fonte: Scopus, 2013
Da mesma forma, o Pesuisador B, como demonstrado no gráfico 02 fora da região II, possui
um artigo com 8 citações, um com 7 citações, um com 5 citações e quatro com 4 citações. Os
demais possuem 3 citações ou menos. Ou seja, o pesquisador possui 7 artigos com pelo menos
4 citações (ver região I do gráfico). Nota-se que para esse pesquisador buscar um crescimento
contínuo de seu índice h, o mesmo precisará de mais citações na região I do que o pesquisador
A.
57
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
GRÁFICO 03: ÍNDICE H - PESQUISADOR C
Região II
Região I
Fonte: Scopus, 2013
A partir da análise do Gráfico 3, percebe-se que o Pesquisador C está mais distante de uma
mudança de nível de seu índice h de 8 para 9. Na região II, na fronteira inferior de citações do
índice h do referido gráfico, nota-se que o pesquisador possui um artigo com 8 citações, um
com 5 citações, dois com 4 citações e dois com 3 citações. Os demais possuem 2 citações ou
menos.
É importante mencionar que, nos três casos descritos anteriormente, percebe-se uma tendência
ou não de elevação do índice h à medida que outros artigos que não contribuem para o índice h
se aproximam, em citações, do valor do índice atual. No entanto, publicações que hoje não
estejam na zona de evidência para aumento do índice (região I) podem ganhar destaque à
medida que sejam “descobertos” e posteriormente citados em outros trabalhos.
4. Conclusão
O presente artigo apresentou alguns conceitos do índice h desenvolvido por Hirsch em 2005 e
algumas formas de analisá-lo e interpretá-lo com 3 exemplos de pesquisadores do programa de
pós-graduação em engenharia de produção da UFF. É importante destacar alguns pontos sobre
a possível utilização do índice na UFF:
•
•
•
É possível utilizar o índice h como uma ferramenta de avaliação na UFF, a facilidade
em calculá-lo facilita sua implementação e entendimento aos pesquisadores
relacionados;
Apesar das desvantagens apontadas por alguns autores, o índice h tem uma boa
aceitação na comunidade científica, é fácil de explicar e pode ser utilizado como um
parâmetro para definir objetivos individuais.
Os autores entendem que, pelo menos no primeiro momento, não seria interessante
desenvolver ou utilizar outras variantes do índice h, mas é importante para quem está
analisando o índice h de algum grupo ou pesquisador específico obter mais
58
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
informações sobre o perfil de pessoa para comparar os pesquisadores de mesmo índice
h.
A partir da pesquisa, notou-se que será necessário informar em âmbito geral aos pesquisadores
da UFF sobre o índice h e as maneiras que o índice de cada um pode ser incrementado. De
acordo com alguns perfis na base de dados Scopus, percebeu-se que alguns pesquisadores
provavelmente desconhecem a importância que este índice tem na comunidade científica e
talvez com um pouco mais de direcionamento poderiam ter seus índices melhorados.
Como proposta futura, sugere-se a elaboração de uma metodologia que busque utilização do
índice h como forma de avaliar a quantidade e qualidade das publicações e também direcionar e
orientar os pesquisadores para futuros trabalhos, buscando a melhoria contínua da pesquisa do
programa de pós-graduação em engenharia de produção da Universidade Federal Fluminense.
Referências
Ball, P. (2005). Index aims for fair ranking of scientists. Nature 436, pp.900.
Bornmann, L.; Daniel, H. (2005). Does the h-index for ranking of scientists really work? Scinetometrics
65, pp.391-392.
Bornmann, L.; Daniel, H. (2007). What do we know about the h index? Journal of American Society for
Information Science and Technology 58, pp.1381-1385.
Bornmann, L.; Wallon, G.; Ledin, A. (2008). Is the h index related to (standard) bibliometric measures
and to the assessments by peers? An investigation of the h index by using molecular life sciences data.
Research Evaluation 17, pp.149-156..
Egghe, L. (2006a). Theory and practice of the g-index. Scientometrics 69, pp.131-152.
Egghe, L. (2006b). An improvement of the h-index: The g-index. ISSI Newsletter, 2(1), 8–9.
Franceschini, F.; Maisano, D. (2010). Analysis of the Hirsch index´s operational properties. European
Journal of Operational Research 203, pp.494-504.
Hirsch, J. (2005). An index to quantify an individual's scientific research output. Proceedings of the
National Academy of Sciences of the United States of America 102, pp.16569–16572.
Hirsch, J. (2007). Does the h index have predictive power? Proceedings of the National Academy of
Sciences of the United States of America 104, pp.19193-19198.
Jin, B., Liang, L., Rousseau, R., & Egghe, L. (2007). The R- and AR-indices: Complementing the hindex. Chinese Science Bulletin, 52(6), 855–863.
Kelly, C.; Jennions, M. (2006). The h index and career assessment by numbers. Trends in Ecology and
Evolution 21, 167-170.
Kosmulski, M. (2006). A new Hirsch-type index saves time and works equally well as the original hindex. ISSI Newsletter, 2(3), 4–6.
Lovegrove, B.; Johnson, S. (2008). Assessment of research performance in biology: How well do peer
review correlate? BioScience 58 nº 2.
59
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO
Mugnaini, R.; Packer, A.; Meneghini, R. (2008). Comparison of scientists of the Brazilian Academy of
Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Brazilian
Journal of Medical and Biological Research 41, pp.258-262.
PRODUÇÃO. (2013). Portal da Pós Graduação em Engenharia de Produção da UFF. Acessado em
14/06/2013 < http://www.producao.uff.br/>.
Rosseau, R. (2007). The influence of missing publications on the Hirsch index. Journal of Infometrics 1,
pp.2-7.
Rubem, A. P. S.; de Moura, A. L.; Soares de Mello, J. C. C. B. (2013a). Resultados Preliminares da
Integração do Macbeth ao Vip Analysis, Aplicada a Seleção de Indicadores Bibliométricos Destinados
ao Processo Seletivo para o Cargo de Docente em um programa de pós-graduação. Simpósio Brasileiro
de Pesquisa Operacional. SBPO, Natal/RN.
Rubem, A. P. S.; de Moura, A. L.; Soares de Mello, J. C. C. B. (2013b). Numerical Analysis of Some
Individual Bibliometric Indexes When Applied to Groups of Researchers. Simpósio Brasileiro de
Pesquisa Operacional. SBPO.
Schreiber, M. (2007a). Self-citation corrections for the Hirsch index. Europhysics Letters 78 30002.
Schreiber, M. (2007b) A case study of the Hirsch index for 26 non-prominent physicists. Annales de
Physique Leipzig 16 640–52.).
Scopus. (2013). Banco de dados Cientifico Scopus SciVerse. <Acessado em 10 de Junho de 2013>
Torgal, Fernando Pacheco. (2011). Utilização do índice h para caracterizar a quantidade e a qualidade da
produção científica: o caso da investigação em Engenharia Civil produzida em Universidades
Portuguesas. C-TAC - Artigos em Revistas Nacionais. Editora Universidade do Minho. Departamento de
Engenharia Civil - ISSN 0873-1152.
Waltman, L., Van Eck, N.J. (2012). The inconsistency of the h-index. Journal of the American Society
for Information Science and Technology, 63 (2), 406-415.
Wu, Q. (2010). The w-index: A measure to assess scientific impact by focusing on widely cited papers.
Journal of the American Society for Information Science and Technology, 61(3), 609–614.
60