Qualidade do artigo científico: Métricas de avaliação

O meio acadêmico tem se tornado cada vez mais competitivo, fortalecendo a questionável lógica do publicar ou perecer. Mas tão ou mais importante que o volume de produção é a qualidade do periódico no qual se publica, uma vez que este aspecto costuma determinar a qualidade do trabalho publicado. Enquanto no Brasil há uma unificação da avaliação dos periódicos através dos critérios do Webqualis, em âmbito internacional várias métricas distintas são usadas para determinar a qualidade dos periódicos e produção geral dos pesquisadores.

Fator de impacto

No contexto internacional o impacto da pesquisa é tradicionalmente medido pelo prestígio do periódico onde foi publicada e pelas citações que ela recebe. O prestígio do periódico como parâmetro de qualidade da pesquisa foi um fator introduzido por Eugene Garfield, sendo esta métrica calculada a partir do índice denominado fator de impacto (criado na década de 60). O fator de impacto é a mais difundida forma de avaliação de periódicos e da qualidade da produção de pesquisadores da atualidade em determinadas áreas do conhecimento, particularmente nas áreas das Ciências Físicas e Biológicas e suas subáreas. Ele determina a importância dos periódicos a partir do número total de citações recebidas nos dois anos que sucedem o ano base. Assim sendo, quanto mais for citado, maior será fator de impacto do periódico.

Tomando como parâmetro uma métrica mais recente e conhecida por quase todos, pode-se dizer que o ranking do fator de impacto se assemelha ao ranking de sites mais buscados do Google. Mas assim como o sistema do Google, o fator e impacto está longe de ser uma unanimidade quanto aos seus métodos. A principal crítica a esta métrica é que ela fala sobre a qualidade geral os periódicos, mas pouco informa sobre a qualidade individual das pesquisas publicadas, visto que permite que uma pesquisa de pouca relevância ”se aproveite” da reputação que as citações recebidas por outra pesquisa publicada no mesmo periódico geram.

Eingenfactor

Desenvolvido em 2007 por pesquisadores da Universidade de Washington, o eigenfactor se assemelha mais ainda aos mecanismos do Google, utilizando um algoritmo de lógica semelhante ao PageRank. O eigenfactor é um índice que se propõe a calcular o impacto total dos periódicos no campo acadêmico a partir do número de citações recebidas e da qualidade das fontes das quais estas citações provêm. O cálculo é feito levando-se em consideração os aspectos mencionados e as particularidades de cada área do conhecimento, sendo um índice contextual. Apesar de parecer uma métrica mais completa e eficiente que o fator de impacto, o eigenfactor ainda é muito recente e por isso ainda não se sabe se será capaz de superar totalmente as distorções geradas pelo fator de impacto (e os malefícios a longo prazo das distorções que ele mesmo pode criar).

Bibliometrics

Bibliometrics  são métodos usados para medir a qualidade de trabalhos acadêmicos a partir da aplicação de dados estatísticos, principalmente a partir de dados fornecidos pelas de citações feitas e recebidas pelos pesquisadores. A análise das citações pode indicar a forma como as redes de conhecimento se conectam, como pesquisadores se relacionam entre si e com os periódicos, ajudando a partir disso a definir tendências de pesquisa e obras e periódicos de maior prestígio em suas áreas.

Um índice de destaque entre os bibliometrics atualmente é o h-index. Criado em 2005, o h-index tem como finalidade mensurar a produtividade e o impacto da produção dos pesquisadores a partir de seus trabalhos mais citados, podendo ser aplicado também para medir os mesmos aspectos em relação a um periódico. Em linhas gerais, o h-index de um pesquisador significa que ele publicou um número h de artigos, tendo cada um deles sido citado ao menos h vezes por outros trabalhos. Apesar de ser uma alternativa ao fator de impacto por colocar em jogo um número maior de variáveis em seu cálculo, o h-index ainda é dependente do número de citações para avaliar a qualidade das pesquisas, gerando as distorções que tal dependência costuma causar por não avaliar de fato o conteúdo dos trabalhos.

Métricas para artigos

Atualmente muitas ferramentas de métricas têm sido criadas para qualificar a produção dos pesquisadores pensando uma forma de mensurar a qualidade dos artigos individualmente. Métricas do tipo altmetrics, por exemplo, não só procuram avaliar a qualidade individual dos artigos, como também tentam capturar todas as informações disponíveis para a avaliação de um tema. Integradas a uma nova realidade, as altmetrics além de avaliar número de citações e a reputação dos periódicos, também coletam dados de menções referentes a visualizações em sites, bookmarks, postagens em blogs, tweets e outras formas de compartilhamento em redes sociais diversas. O objetivo através desta coleta de dados é captar o real interesse gerado pelos artigos e sua capacidade real de viralização.

Embora reconheça-se que estas novas métricas sejam mais adequadas às formas de comunicação e de compartilhamento de informações e que procuram explorar de forma mais consciente os recursos tecnológicos à disposição, elas estão longe do ideal. Seus críticos ressalvam que os atuais modos de compartilhamento online são facilmente manipuláveis, gerando outros possíveis tipos de distorção quanto aos dados coletados. Seus defensores, no entanto, acreditam que o ganho da percepção em tempo real do impacto de trabalhos individuais supera as perdas causadas pelas possíveis distorções.

Apesar da disponibilização de todas estas ferramentas de métricas e os diferentes aspectos que buscam privilegiar, torná-las determinantes na mensuração da qualidade de periódicos e artigos acadêmicos depende da popularidade que conseguem alcançar no meio. E para tanto, a necessidade de que a escrita do artigo esteja em inglês, e assim, ampliar a quantidade de citação, por alcançar níveis internacionais.

Dado o tempo que isso leva, mesmo com tantas novidades à disposição o fator de impacto segue como a métrica mais popular e mais adotada por instituições como parâmetro de mensuração – ainda que sua hegemonia já esteja sendo repensada em muitos âmbitos.