Como achar uma métrica TOP? Os porquês do fator de impacto não refletir a qualidade de um artigo
Não tem como negar: absolutamente todos os pesquisadores são obcecados pelo fator de impacto de revistas e jornais científicos. Certamente a escolha da escrita de um manuscrito começa sempre mirando aquelas revistas com os maiores fatores de impacto, antes mesmo de se ponderar se as revistas de maior fator de impacto oferecem o melhor escopo ao trabalho desenvolvido no manuscrito.
Isto tudo porque existe um consenso de que as revistas de alto impacto são sinônimos de publicações de alta qualidade. Entretanto, nada poderia estar mais longe da verdade. Obviamente, as grandes revistas cientificas (como Nature, Science, Cell, PNAS, entre outras), consideradas grandes devido ao seu alto fator de impacto, possuem um processo de seleção extremamente criterioso e seletivo. Nesse processo afunilado, no qual a taxa de rejeição chega a superar os 95%, tais revistas acabam por selecionar apenas os trabalhos considerados melhores ou mais impactantes dentre milhares de manuscritos submetidos. Entretanto, será que todos os manuscritos escolhidos realmente são de alta qualidade?
Um dado que indica que nem todos os trabalhos publicados em revistas de alto impacto são de alta qualidade está indicado nesta análise demonstrando que tais revistas possuem um alto número de trabalhos retratados. Uma explicação para tal fato seria que trabalhos de revistas de alto impacto são mais visíveis e reproduzidos por mais grupos na comunidade científica, colocando assim à prova os resultados publicados mais frequentemente. Uma hipótese alternativa seria que, em um ambiente de acirrada competição acadêmica por publicações de alto impacto, pesquisadores estariam dispostos a ir até as últimas consequências para se conseguir manterem competitivos, chegando a falsificar resultados ou plagiar o mesmo resultado em diferentes publicações.
Em todos os casos, os fatos demonstram que nem tudo o que é publicado por revistas de grandes nomes é digno de confiança, e, portanto, avaliar um trabalho pelo fator de impacto da revista em que foi publicado possui falhas. Assim, soma-se a falha no sistema em aceitar manuscritos sem a verificação dos resultados com a alta pressão sobre os pesquisadores para publicarem os seus trabalhos em revistas consideradas de alto impacto (seja para se conseguir financiamentos, seja para se conseguir melhores empregos) e temos fraudes.
Ainda, tem sido cada vez mais frequente a presença de revistas predatórias (aquelas que cobram uma taxa abusiva para se publicar um trabalho) com crescentes fatores de impacto; isso porque tais revistas artificialmente estimulam a autocitação, o que inflaciona os seus números. Casos similares têm sido observado em editoras sérias também, que pressionadas em aumentar o seu fator de impacto, também estimulam artificialmente as citações de trabalhos publicados na mesma revista.
Assim sendo, novos sistemas de avaliação são constantemente propostos para substituir o fator de impacto e ir além das citações. Como exemplo, podemos citar os Altmetrics, que medem o impacto de um trabalho pelo seu rastreamento em redes sociais.
Uma das mais novas métricas de impacto e qualidade de trabalhos, o TOP Factor, tem ganhado visibilidade por ser um método que estimula a transparência e acessibilidade de dados publicados.
O que é o TOP Factor?
O TOP factor é um sistema de pontos dividido em 10 critérios, para cada é dado uma nota entre zero e 3, sendo o TOP factor de um artigo dado pelo somatório desses pontos. Assim, este sistema é qualitativo por dar notas a diferentes critérios e não um sistema de ranqueamento, buscando capturar elementos de qualidade científica (e não somente apelo do público, como é o caso do fator de impacto). Quanto mais próximo de 30 pontos, melhor a qualidade da revista em questão. Dos 10 critérios avaliados, 3 deles relacionam-se com a transparência dos dados publicados. Ao acessar a página online do TOP Factor pode-se comparar cada um dos 10 critérios de cada jornal ou revista analisada (são centenas de revistas analisadas pelo TOP Factor).
Pode-se verificar como o TOP Factor se diferencia dos fatores de impactos pela comparação direta de ambos os índices para diferentes revistas. Um exemplo claro é quando comparamos ambos os índices para a PLoS ONE e para a Nature: apesar do fator de impacto da primeira ser muito menor que o da segunda (2.776 vs 43.070 na data da escrita deste artigo), ambas as revistas se enquadram no mesmo grupo de publicações com TOP Factor de 11. Tais discrepâncias poderiam ser explicadas pelo fato de 1) o fator de impacto da PLoS ONE diluir as suas citações em um número muito maior de artigos publicados; 2) o TOP Factor considerar que ambas revistas possuem similar transparência e acessibilidade a dados; e 3) não levar em conta fatores não facilmente mensuráveis, como “novidade dos resultados”, o que muitas vezes leva autores a afirmar ideias ousadas ou reivindicar avanços na área que não podem ser totalmente escrutinizados, porque boa parte dos dados e análises permanecem sigilosos.
O TOP Factor, assim como o fator de impacto, analisa revistas como um todo, e não cada artigo isoladamente. Entretanto, acredita-se que ao analisar sistematicamente cada um dos critérios sugeridos para diferentes revistas irá diminuir os casos de fraude em ciências e melhorar o ambiente acadêmico, já que a coleção de dados publicados pelas revistas com alto TOP Factor tendem a ser disponibilizados integralmente. Tal transparência também facilitaria ainda a reprodução de experiências em diferentes laboratórios, o que permitiria um avanço mais rápido da ciência.
TOP Factor versus fator de impacto
O TOP Factor portanto, mais do que uma simples métrica que compete com o fator de impacto a medição da qualidade de uma revista científica, procura mudar a cultura de proteção de dados estabelecida no meio acadêmico. Além disso, esta métrica postula ainda disponibilização de todos os dados e uma maior transparência nos trabalhos publicados. A sua implementação como métrica diminuiria ainda a pressão sobre pesquisadores pela busca por citações (ou revistas de alto fator de impacto) em troca duma busca por uma maior transparência na pesquisa, mais colaborações, maior reprodutibilidade de resultados e menos possibilidades de fraudes.
Em conclusão, todas as métricas possuem suas falhas, e dificilmente haverá uma métrica perfeita para se comparar revistas. Contudo, o estabelecimento de métricas alternativas ao fator de impacto (como o TOP Factor) demonstra vontade da comunidade científica em se alterar a atual cultura de como se fazer ciência. No final das contas, o importante será sempre o avanço da ciência de maneira ética e clara, independentemente de como este avanço será medido, e neste sentido o TOP Factor parece em primeira instância superar o fator de impacto como uma boa alternativa para o avanço das métricas.
