Índice H: ame-o ou deixe-o? O debate em torno da métrica POP

Você deve estar familiarizado com métricas científicas como o fator de impacto e o índice H. Mas você já parou para pensar sobre elas?

Comparação e competitividade

Todos sabemos que a ciência é um meio competitivo e somos influenciados (ou contaminados) em maior ou menor escala pelo espírito “publicar ou perecer”. Obviamente queremos ter o nosso trabalho reconhecido (quem não quer?) e muitas vezes precisamos desse reconhecimento para nos manter no mundo acadêmico. Entretanto, avaliar a relevância da produção científica de um pesquisador é uma tarefa complexa e delicada. Independente da dificuldade, do ponto de vista prático, é necessário de alguma maneira comparar o trabalho de diferentes pessoas em diversas situações: para o recrutamento em um possível emprego, para progressão na carreira ou para distribuição de recursos, por exemplo.

O índice H foi proposto pelo físico Jorge Hirsch numa tentativa para quantificar a relevância geral da produção científica individual, com base no histórico de publicação daquele pesquisador e no número de citações dos seus artigos publicados. Resumindo, esse índice mostra o número máximo de artigos que você tem publicados e que foram citados pelo menos aquele mesmo número de vezes. Por exemplo: índice H igual a 5 se refere a um pesquisador que tem 5 artigos que já foram citados todos pelo menos 5 vezes.

O índice H acabou por se tornar uma métrica bastante popular, principalmente por ser muito simples e objetiva. Contudo, como não poderia deixar de ser, é um tema de debate na comunidade acadêmica. Pergunte a um conhecido o que ele pensa sobre o índice H… É que nem coentro: ou você ama e não pode viver sem, ou você odeia com todas as forças!

Bom, não podemos negar que é necessário avaliar a produção científica dos pesquisadores de alguma maneira. Além da utilidade, os defensores do índice H o consideram como uma maneira de contrabalançar a subjetividade extrema de processos seletivos. Os fatores positivos são bem claros, então agora vamos focar nas críticas.

As inconsistências do índice H

Começando pela ideia fundamental implícita no índice: muita citação é sinônimo de qualidade. Essa ideia faz sentido a princípio. Espera-se que um artigo com resultados importantes seja bastante utilizado por outros cientistas e, consequentemente, citado. Entretanto, a história não é tão simples. Primeiro, o acaso pode ter um papel na propagação dos artigos. Os artigos que forem citados inicialmente sobre um tema aumentam as suas chances de serem citados por novos trabalhos, em detrimento de outros. Outro questionamento é que não sabemos se as citações em si são positivas ou negativas. Um artigo pode ser bastante citado apenas por gerar controvérsias ou por ser fortemente criticado por outros pesquisadores da área. Nesse caso, o trabalho não mereceria tanto mérito assim.

Além do acaso e das controvérsias, ainda existe a manipulação de citações, conhecida pelo termo “citation-stacking”. Claro que existem contextos em que vamos citar um trabalho próprio anterior quando seguimos trabalhando no mesmo tema, inclusive é necessário. O problema é quando o autor exagera e faz várias citações de artigos próprios sem necessidade. Também ocorre de um revisor solicitar ao autor uma lista de artigos que devem ser citados no seu manuscrito. É bom verificar logo se por acaso todos os artigos dessa lista não têm o mesmo nome… É antiético, mas acontece. Com essas estratégias, algumas pessoas podem facilmente inflar o seu índice H.

O índice também não traz informação sobre a ordem da autoria, basta ter o nome na lista de autores. Assim, não discrimina os autores que conceberam o trabalho daqueles que podem ser colaboradores distantes. Esse detalhe favorece grandes nomes já reconhecidos e bem estabelecidos que têm várias colaborações. Vemos aqui que o jovem pesquisador começa a sua carreira em desvantagem. Como um jovem pesquisador pode ser diretamente comparado com outro que trabalha na ciência há muito mais anos, tem mais artigos publicados e várias colaborações que rendem cada vez mais artigos e citações?

Independente da contribuição de cada pesquisador e da relevância do trabalho, o número de citações reflete quanto aquele tema é tendência no momento. Para além disso, muitas vezes a tendência do momento é influenciada por diversos fatores, que não necessariamente incluem a relevância científica. Isso pode tendenciar os cientistas a trabalharem só com alguns poucos temas, quando eles sabem que serão recompensados pelas citações, enquanto pesquisas com outros interesses são desencorajadas.

Não podemos esquecer uma questão básica: nem só de artigos se faz a ciência. A publicação de resultados, hipóteses e teorias é essencial para o progresso científico, mas o cientista também tem outros papéis, tanto dentro da comunidade acadêmica quanto para com o público em geral. Um pesquisador pode ser um mentor dedicado e investir mais tempo para a orientação dos seus alunos. Por outro lado, muitos pesquisadores não assumem o seu papel na formação da nova geração.

Outro aspecto do trabalho que pode ser facilmente negligenciado é a participação na revisão de artigos submetidos para serem publicados em revistas acadêmicas. Contudo, para além das revistas acadêmicas tradicionais, também há outras formas de comunicar ciência. A divulgação científica para diminuir a distância entre a academia e a sociedade também é papel do pesquisador. Inclusive, a importância dessa divulgação mais acessível e em diferentes meios fica cada vez mais aparente hoje no cenário de desvalorização da ciência e disseminação de notícias falsas que vivemos.

O criador e a criatura

O próprio criador Jorge Hirsch diz que o índice H é falho e que o seu uso pode ter consequências negativas, mas ele não imaginava que seria uma ferramenta tão amplamente utilizada (veja aqui alguns comentário instigantes do criador). Além das questões que já discutimos, Hirsch atenta para o problema de supervalorizar as citações e a dificuldade para criticar um trabalho que tem muitas citações: “Só porque uma coisa é amplamente aceita, não quer dizer que seja correta”, filosofa o físico.

Diante dessas questões, é necessário que comitês de avaliação e agências de financiamento considerem outros aspectos da carreira dos candidatos, como a conexão com colaboradores, a ordem de autoria dos trabalhos, a participação em projetos de extensão e divulgação científica… Obviamente, a necessidade da avaliação permanece, e nenhuma métrica pode ser perfeita. A grande vantagem da simplicidade do índice H é que nos permite visualizar os seus prós e contras de uma maneira relativamente mais clara.