Hacia un cambio en la evaluación para la OS: de las Altmetrics a las Next Generation Metrics
En 2010 se propuso el término Altmetrics para las nuevas métricas, muy ligadas a la web 2.0. Los más conocidos Altmetric.com, PLUMx e ImpactStory. Cada uno recopila un conjunto ligeramente diferente de indicadores de fuentes primarias. Los indicadores de nivel de artículo son proporcionados por la mayoría de los principales editores (descargas, lectores de Mendeley, tweets, menciones de noticias, etc.)
Empezaron a ser incorporadas por los editores. Springer junto con Altmetric.com presentó Bookmetrix, que agrega datos altmétricos de capítulos dentro del libro al nivel del libro. PlumX, proporciona también altmetrics a nivel de unidad e institución de investigación. Datacite, Zenodo, GitHub y Figshare…
El problema es que la atención temprana, pues llegan antes que las citas, no es necesariamente indicativo de calidad, pero los expertos están de acuerdo que no deberían ir más allá de completar
Las métricas abiertas deben ir más allá de las altmetric y aquí surge la necesidad de las Next Metric Generation para aplicarlas a la Open Science.
Pueden seguir sirviendo las métricas de uso (descargas, publicaciones guardadas en gestores de referencia), impacto social en redes. Pero las métricas de próxima generación deben estar respaldadas por una estructura abierta, transparente y vinculada a la infraestructura de datos. La forma en que se recopilan y procesan los datos subyacentes es crucial.
En este sentido, es importante mencionar ciertos hitos. DORA (declaración de San Francisco), the Leiden Manifesto y The Metric Tide. Recomendaban establecer indicadores y métricas antes del siguiente programa marco
–Manifiesto de Leiden sobre métricas de investigación (2014)
–En 2015 se publicó el informe The metric tide. es un informe independiente que sostiene que los investigadores tienen la oportunidad de influir en la forma en que se mide la ciencia en la educación superior y la investigación. Y propone un marco para las métricas responsables. Y propone un marco para las métricas responsables, dando una serie de recomendaciones dirigidas a los líderes universitarios, a quienes financian la investigación, a editores e investigadores individuales
–DORA o Declaración de San Francisco
El investigador Lluis Codina concluye que los indicadores cuantitativos ofrecen un buen apoyo para la evaluación, pero las métricas no pueden sustituir las decisiones informadas. La valoración de la calidad de una investigación o de un artículo debe basarse en la investigación misma y por métricas a su nivel y no solamente, por ejemplo, por el factor de impacto de la revista donde se haya publicado. No hacerlo así significa que los evaluadores abandonan su responsabilidad. El actual sistema de evaluación y sus implicaciones con el investigador quedaron señalados con el trágico caso de Stefan Grimm, cuyo suicidio en septiembre 2014 llevó a Imperial College a poner en marcha una revisión del uso de métricas de rendimiento.