Calidad e impacto de una revista – Enago Academy Spanish https://www.enago.com/academy/latam Just another Enago Academy Sites site Fri, 04 Sep 2020 14:42:14 +0000 en-US hourly 1 https://wordpress.org/?v=5.8.2 Desventajas del Índice H Según su Creador https://www.enago.com/academy/latam/drawbacks-of-h-index/ https://www.enago.com/academy/latam/drawbacks-of-h-index/#respond Wed, 15 Apr 2020 14:11:40 +0000 https://www.enago.com/academy/latam/?p=26280 Un indicador que ha destacado en los últimos años es el índice H propuesto por el físico Jorge Hirsch de la Universidad de California. Este índice es una métrica de la productividad e impacto del científico que considera cuántas publicaciones ha realizado y la cantidad de citas que tienen sus artículos. Como otros indicadores, muchos científicos han aceptado este índice, inclusive no sólo para medir la calidad de la producción científica, sino también para determinar la calidad de las revistas donde aparecen sus publicaciones. Sin embargo, la comunidad científica está consciente de sus inconvenientes, incluso el mismo Hirsch ha señalado sus desventajas.

¿Qué es el índice H y cómo se calcula?

En años recientes, la preocupación por evaluar la importancia de la investigación científica ha derivado en la creación de indicadores cuantitativos que permitan determinar niveles de calidad como el factor de impacto, el impacto en la investigación y el índice H.

El índice H fue propuesto en 2005 por el físico Jorge Hirsch para medir el éxito en la investigación en el campo de la física teórica y él mismo pensó que no se usaría en otras áreas de la investigación. Sin embargo, a partir de que Hirsch publicó su propuesta, el índice H se consideró para medir la calidad de la producción científica de otras áreas del conocimiento.

Para obtener el índice H de un científico, hay que considerar el número de publicaciones que ha hecho y el número de citas que cada publicación ha tenido.

Para que usted calcule su índice H, obtenga el número de artículos que ha publicado y las citas por cada artículo y ordene los artículos por el número de citas. Si tiene al menos cinco artículos con al menos cinco citas cada uno, entonces su índice H es igual 5. Pero si tiene ocho publicaciones con al menos cuatro citas cada una, entonces su índice H es igual a 4. Si de esas ocho, sólo tres tienen cuatro citas cada una y el resto tiene dos o menos, entonces su índice H es igual a 3. El cálculo del índice H puede hacerse manualmente o se puede obtener de sitios como Scopus, the Web of Science o Google Scholar.

¿Qué valor alcanzan los índices H?

Se ha visto que el índice H depende del campo del conocimiento en el que el investigador publique. De acuerdo con un estudio de 2012, el índice H es mayor para los investigadores de medicina clínica con valores promedio entre 90 y 100 y menor en ciencias computacionales cuyos valores promedio son alrededor de 20.

No obstante, como lo muestra el propio Hirsch, este índice llega a favorecer a varios investigadores y por por eso lo siguen utilizando. En Estados Unidos, por ejemplo, los valores del índice H oscilan de 10 a 12 para profesores asociados y alrededor de 18 para un profesor de tiempo completo. En ese país exigen valores mínimos del índice H para obtener una membresía en sociedades tan importantes como la American Physical Society, que solicita índices H de 14 a 20 para entrar; o la Academia Norteamericana de Ciencias que, en general, solicita índices H cercanos a 45.

De acuerdo con Hirsch, un índice H de 20 refleja 20 años de actividad científica, pero si en esos 20 años se tiene un índice de 40, entonces significa que la carrera del científico ha sido bastante exitosa como se puede ver en científicos de las mejores universidades del mundo. Y si en esos 20 años, el índice H del científico es mayor a 60, esto se puede interpretar como una carrera excepcional de investigación.

Pero, ¿cuáles son las desventajas del índice H?

Por la forma en que se calcula el índice H, éste no proporciona información importante de otros aspectos de la investigación de un científico que también pueden dar cuenta de la calidad de su producción. Por ejemplo, no toma en cuenta la experiencia en un campo de investigación. Un investigador joven puede tener pocas publicaciones con muchas citas por estar un campo de investigación atractivo, mientras que otro investigador con mayor trayectoria podría tener muchas publicaciones con un menor número de citas, quizá porque su tema de investigación no es tan popular.

Hirsch, por ejemplo, ha trabajado y publicado en el campo de la superconductividad por 30 años, pero sus publicaciones en esa área no han sido ni tan populares ni tan citadas como el artículo en el que propuso el índice H. Y, en sus propias palabras, esto le decepciona, pues siente que sus contribuciones en el área de superconductividad han sido más importantes que la creación del índice H.

El índice H tampoco da información de si el investigador con un alto índice H ha sido el principal autor de sus artículos o no. En opinión del mismo Hirsch, el investigador podría ser considerado un experto en la materia y no ser cuestionado por sus estudiantes debido a un alto índice H. Sin embargo, este índice no mide si las citas que contribuyen al cálculo del índice H son del tipo que apoyan los resultados de su artículo o aquéllas que lo descartan. Tampoco dice si el autor ha publicado en revistas con un alto factor de impacto o en otras con un menor factor de impacto.

Aunque en palabras del mismo Hirsch, él propuso el índice H como una medida objetiva del éxito científico, ahora se ha dado cuenta de serias desventajas de este indicador. Teme que para obtener índices H altos, los investigadores podrían preferir tópicos de investigación más populares que les retribuyan en un mayor número de publicaciones que, a su vez, repercutan en un mayor número de citas, pero entonces quizás descuiden otro tipo de actividades a parte de la publicación de artículos como la formación de estudiantes o ser revisor de trabajos científicos.

Aunque en la actualidad existen instituciones que consideran el valor del índice H de los científicos para otorgar financiamientos, en opinión de Hirsch, este criterio no debe ser único sino que es necesario considerar otros aspectos de la carrera del investigador.

Lo invitamos a determinar su índice H y con base en las reflexiones de su creador, compártanos su opinión de si este índice es un buen medidor de la calidad de un científico o no.

]]>
https://www.enago.com/academy/latam/drawbacks-of-h-index/feed/ 0
Adiós al factor de impacto. ¡Llega el factor TOP! https://www.enago.com/academy/latam/goodbye-impact-factor/ https://www.enago.com/academy/latam/goodbye-impact-factor/#respond Mon, 23 Mar 2020 11:33:17 +0000 https://www.enago.com/academy/latam/?p=26218 Durante años, el Factor de Impacto (IF por sus siglas en inglés) ha determinado la importancia de una revista científica. Sin embargo, la medición del IF está muy lejos de reflejar la verdadera calidad de la publicación pues sólo se basa en el número de citas y deja de lado otros aspectos de importancia como la transparencia de los datos, los métodos de análisis y el diseño de la investigación que sí se han tomado en cuenta para proponer un nuevo índice de medición de calidad en publicaciones científicas: el factor TOP.

Abuso y manipulación del factor de impacto

En la actualidad, varios investigadores piensan que enfrentan una competencia injusta y desigual en lo que se refiere a la publicación de su trabajo en revistas especializadas ya que en el sistema actual de publicación pesa más la cantidad de trabajos publicados que la calidad de los mismos. Al ser importante la cantidad de publicaciones, un investigador busca publicar cada vez más, sacrificando, incluso, su propia vida cotidiana. Y dado que el factor de impacto de las revistas científicas se relaciona con el número de citas que tienen sus artículos publicados, el investigador también está obsesionado con el número de citas de sus artículos.

La obsesión por el número de citas de un artículo por parte de los autores y del incremento en el factor de impacto por parte de los editores y editoriales de las revistas científicas ha derivado en diversas prácticas deshonestas. Existen casos en los que algún editor incrementa de forma descomunal sus publicaciones y su número de citas mediante prácticas de autocitas o de inclusión deshonesta en varias publicaciones. Las revistas que han permitido estas prácticas y que a costa de ellas han elevado su factor de impacto se incluyen de lo que recientemente se ha denominado como la mafia de las publicaciones científicas. La existencia de métodos de evaluación diferentes al factor de impacto podría disminuir la manipulación que se ha hecho al factor de impacto.

¿Qué es el factor TOP?

El factor TOP es un sistema de medición propuesto recientemente por el Center for Open Science de Estados Unidos. Este sistema se basa en los siguientes lineamientos de transparencia y promoción de apertura (Transparency and Opennes Promotion, en inglés, y de ahí sus siglas):

  • Número de citas
  • Transparencia de los datos
  • Transparencia de los métodos de análisis
  • Transparencia de los materiales de investigación
  • Transparencia del diseño y el análisis
  • Prerregistro de los estudios
  • Prerregistro de los planes de análisis
  • Replicación

Cada uno de estos aspectos se evalúa mediante tres niveles de transparencia o accesibilidad a otros investigadores de la comunidad científica. Por ejemplo, en relación al criterio de la transparencia de los datos, si la revista estipula que los autores pueden o no poner sus datos a disposición de los lectores, se evalúa con un punto. Si, en general, los datos están a disposición de los lectores, la evaluación es de dos puntos. Si se da el caso de que además de que los datos estén a disposición de los lectores y que la revista los ha comprobado, entonces la revista obtiene la máxima puntuación de tres. Si la revista no cumple con ninguno de los niveles anteriores, entonces obtendría una puntuación de cero en el criterio de transparencia de datos.

El número de citas es un criterio que tiene que ver con la medición de estándares de las citas hechas en los artículos. Los criterios de transparencia de datos, métodos de análisis y materiales de investigación están relacionados con la disponibilidad de los datos y la verificación de los mismos hecha por la revista. El criterio de evaluación de la transparencia del diseño y el análisis depende del área de investigación, pero en esencia, establece el grado de comprensión que pueda tener un lector del diseño de la investigación que se reporta y el análisis de los datos obtenidos. Los criterios de prerregistro de los estudios y de planes de análisis tienen que ver con que la revista tenga políticas de prerregistro de las investigaciones para poder saber qué es lo que se realiza y cómo se realiza, aún si la investigación no llega a contar con una publicación. Finalmente, el criterio de replicación está relacionado con los estándares de transparencia antes mencionados, de modo que los resultados reportados se puedan reproducir utilizando los datos originales.

Las revistas ante el factor TOP

Brian Nosek, director ejecutivo del Center of Open Science, declara que la idea de crear el factor TOP es contar con una mejor evaluación de la calidad de las publicaciones científicas que el factor de impacto no ha cumplido. Después de realizar una evaluación de 250 revistas, encontró una puntuación de cero para 40 de ellas. Por lo que concluye que es de esperar que ante nuevos criterios de evaluación como el factor TOP, las revistas tiendan a cambiar sus políticas de publicación. En su estudio, encontró que varias revistas del área de sicología lograron puntuaciones de 20 pero para aquéllas que contemplan diversos campos del conocimiento como Nature, lograr puntuaciones altas será todo un reto.

Tom Hardwicke, investigador del Instituto de Salud de Berlín, Alemania, experto en el análisis de prácticas y políticas editoriales de las revistas de investigación piensa que aún es pronto para pronosticar cómo se comportará el factor TOP u otros sistemas de medición alternos al factor de impacto. No se puede aún saber si este factor cambiará significativamente las prácticas editoriales en la comunidad científica pero Hardwicke comenta que hay que seguir vigilantes para que las políticas repercutan en una mejor calidad de publicaciones científicas.

Aunque es difícil que un sistema de medición se pueda aplicar para determinar la calidad de las revistas en diferentes campos de investigación, el factor TOP parece ser una buena propuesta con la que iniciar para dejar de lado las malas prácticas de manipulación del factor de impacto de algunas revistas, editoriales y editores.

En su website, el Center of Open Science presenta los resultados de las puntuaciones de diversas revistas en diferentes áreas de investigación y hace una invitación para sugerir la evaluación de revistas o contribuir al análisis o las políticas de evaluación. Con seguridad, de aquí en adelante escucharemos hablar más del factor TOP, ¿no cree?

]]>
https://www.enago.com/academy/latam/goodbye-impact-factor/feed/ 0