Los rankings. A tener en cuenta.
Sobre los rankings
Actualmente el paradigma de la evaluación de las instituciones de educación superior está cambiando a sistemas que abarcan más parámetros, permiten evaluar teniendo en cuenta más de una visión, o iniciativas de paises como Holanda o Noruega donde se ha realizado un esfuerzo grande en crear paneles de indicadores cualitativos (que no subjetivos) y poner referencia a los documentos.
La Universidad de Murcia considera necesario avanzar en la manera de evaluar a instituciones e investigación, adhiriéndose a los principios de la Coalición para el avance en la evaluación de la investigación (COARA)
Para entender el por qué de esta evolución, consideramos conveniente que se conozcan mejor la manera en la que se elaboran los principales rankings internacionales.
Actualmente los rankings están configurados como una poderosa herramienta de publicidad de las instituciones de educación superior. Sus virtudes: sencillez de uso, amplitud y simplicidad. Abarcan miles de instituciones complejas y reducen todo a un único número con el que clasificar a las mismas.
Hay que tener sin embargo en cosideración ciertos aspectos negativos de los mismos, principalmente:
- Mezclan todo tipo de instituciones de características totalmente dispares: especializadas y generalistas, grandes y pequeñas, con ánimo de lucro y sin ánimo de lucro, centradas en investigación, especializadas en primer ciclo o en los siguientes,...
- En cambio los criterior suelen estar centrados únicamente en la investigación y en datos brutos, beneficiando a una parte de las instituciones implicadas.
- Los criterios y metodologías los crean y manejan compañías privadas con ánimo de lucro, y prácticamente en su totalidad es imposible reproducir sus resultados.
Normalmente los datos que solicitan los rankings están en una de estas tres categorías:
- Datos obtenidos de fuentes que operan a nivel mundial (por ejemplo, WoS o SCOPUS).
- Datos recopilados de las propias universidades.
- Datos recopilados de individuos (encuestas).
El primer grupo suele dar poca flexibilidad a la hora de escoger indicadores -ARWU es uno de los pocos que toma toda su información de fuentes de este tipo-, mientras que para el segundo existen varios hechos que se han de tener en cuenta:
a) Existe una amplia variedad de sistemas de educación superior, algunos muy diferentes entre si. La metodología para definir los indicadores (sobre todo de los datos recopilados a las universidades) suele regirse por la mentalidad dominante en el sistema imperante del organizador del ranking.
b) No siempre se define exhaustivamente un indicador, por lo que dejan margen para interpretarlo de varias maneras. No todas las universidades dan datos compatibles para un mismo indicador.
c) Muchas veces los rankings no tienen forma de comprobar que los datos que obtienen de las universidades son reales.
Sobre el ranking ARWU
ARWU tiene dos indicadores en los que es imposible puntuar para el 99% de las instituciones
- Premios Nobel (Académicos) y Premios Nobel (Alumni).
Cuenta con indicadores muy difíciles de puntuar, que discriminan en gran medida a los mejores posicionados
- Autores HiCi (según el listado publicado por Clarivate Analytics).
- Papers publicados en Nature & Science (En este indicador no basta con publicar, sino en liderar la autoría, ya que la puntuación depende de la posición en la autoría).
Y por último dos indicadores en los que puntuan todas las universidades:
- Papers indexed in Science Citation Index-Expanded and Social Science Citation Index
- Per capita academic performance of an institution
Es el único de los tres grandes rankings cuya metodología es reproducible.
ARWU premia la publicación en Ciencias Sociales y Humanidades:
- Las publicaciones únicamente indexadas en Science Citation tienen un multiplicador de 1.
- Las publicaciones indexadas en Social Science Citation tienen un multiplicador de 2.
- Las publicaciones indexadas en ambos tienen un multiplicador de 1,5.
Sobre el ranking THE
THE cambió en 2023 su metodología. Los cambios se centran en la incorporación de un gran número de indicadores de poco peso, haciendo que el conjunto dependa menos de los tres grandes indicadores. THE tiene tres indicadores con un peso considerable:
- Citas - 15% (pre-2023 representaba el 30%).
- Reputación Académica - 15%
- Reputación en Investigación - 18%
La investigación tiene un peso fuerte en este ranking (60% de la puntuación final). Los indicadores de investigación son 7, reunidos en dos grandes categorías "Entorno investigador" (29% de la nota final) y "Calidad investigadora" (30% de la nota final)
Las puntuaciones del ranking no son reproducibles: su metodología implica operaciones internas, tanto a la hora de calcular las citas como a la hora de realizar y procesar la encuesta con la que se otorga la puntuación de reputación investigadora.
- Al calcular citas declaran ponderar tanto por ámbitos como por países.
- Al realizar la encuesta declaran enviar un número de correos por país en proporción al peso en la producción de artículos científicos según la OCDE, de tal manera que a un país que produjera un 15% de la producción mundial se le enviarían el 15% del total de las encuestas enviadas.
- En la encuesta se permite el autovoto: se puede votar a la universidad a la que pertenece, por lo que animamos a todos los investigadores UMU que puedan haber recibido la misma a que voten por la Universidad de Murcia.
Sobre el ranking QS
QS cambió en 2023 su metodología. Sigue concentrando casi la mitad de su puntuación en los indicadores de reputación (encuestas):
- Reputación Académica (30%).
- Reputación entre empleadores (15%).
Antes de la actualización de 2023, el 90% de la nota se decidía en únicamente cuatro indicadores: Los dos anteriores y "Citas" y "Ratio Estudiante/Profesor". En la actualización metodológica quitaron peso al indicador "Ratio Estudiante/Profesor" (pasa de contar el 20% al 10%) e introdujeron tres nuevos indicadores con poco peso (5% cada uno), por lo que en la actualidad el peso de los cuatro grandes indicadores ha bajado de representar el 90% de la calificación total a un 75%
- Las puntuaciones del ranking, salvo los indicadores estructurales, no son reproducibles, e internamente aplican ponderaciones para evitar que las universidades cambien bruscamente de posición.
- Su metodología implica operaciones internas sobre las que sólo ellos tienen control, tanto a la hora de calcular las citas como a la hora de realizar y procesar la encuesta con la que se otorga la puntuación de reputación investigadora.
Última actualización: Junio 2024
