La literatura sobre los rankings universitarios suele diferenciar dos grandes
familias de estos instrumentos: las listas “reputacionales” o
subjetivas, elaboradas con base en encuestas de opinión aplicadas a grupos que,
según se estima, son capaces de emitir puntos de vista autorizados. Por ejemplo,
los egresados, los académicos y los empleadores. Este método es el más antiguo y
suele ser criticado por problemas de representatividad estadística. En segundo
lugar, los llamados “rankings objetivos”, basados en indicadores de desempeño,
los cuales se calculan a partir de un determinado conjunto de datos empíricos.
Los ranqueos internacionales de tipo “objetivo” son, a su vez, criticados
porque tienden a comparar realidades institucionales muy distintas y sobre todo
porque, excepto algunos indicadores básicos (tamaño de las poblaciones
estudiantiles y académicas, recursos financieros de las instituciones o
indicadores de productividad científica), las variables de la calidad docente, o
la apreciación de las funciones de difusión y extensión, suelen pasar
desapercibidas.
Con todo, en el mundo de los rankings universitarios de cobertura
internacional, las clasificaciones de tipo “objetivo” han alcanzado primacía
numérica. Ello se explica por la intensa circulación en las redes de internet de
información sobre las variables de desempeño universitario, y por la tendencia,
política y educativa, que hace que las prácticas docentes, de investigación y de
gestión académica se sometan a escrutinio público mediante evaluaciones internas
y exteriores de todo tipo.
En alguna medida, los rankings refuerzan las pautas de evaluación en boga al
generar un referente comparativo con las ventajas y riesgos inherentes a su
aparente simplicidad. Las clasificaciones de este tipo son, sin duda, un
fenómeno mediático que tiene consecuencias políticas considerables, lo que hace
recomendable, en primer lugar, la comprensión de su naturaleza, metodología y
alcance explicativo.
En tal estado del debate, algunos rankings internacionales, entre los cuales
sobresale el difundido por el Times Higher Education Supplement (THES), han
optado por una fórmula de tipo mixto o intermedio, es decir, una clasificación a
la vez “reputacional” y “objetiva”. El ranking THES, cuya primera edición data
de 2004, ha ido perfeccionado su metodología por la presión de los no pocos
cuestionamientos recibidos.
Pero lo ganado en robustez técnica se ha perdido en estabilidad. Entre los
rankings universitarios internacionales más conocidos, el THES presenta la mayor
variabilidad de resultados cuando se busca ordenar, por ejemplo, una secuencia
temporal de resultados.
La edición 2008 de esta clasificación, denominada World University Rankings,
incluye en la lista de las mejores 400 universidades del mundo 15 instituciones
de Iberoamérica, de las cuales cinco son de España, tres de Brasil, dos de
México, dos de Chile, una de Argentina, una de Uruguay y una de Portugal. La
Universidad Nacional Autónoma de México (UNAM) se clasifica como la primera de
la región y la 150 en la comparación mundial.
El año pasado, la institución
mexicana fue ubicada en la posición 192, aunque en 2005 había alcanzado el sitio
95 y en 2006 el 74. Siguen a la UNAM, en la lista de las primeras 200, la
Universidad de Barcelona (España), en el lugar 186; la Universidad de Sao Paulo
(Brasil), en la posición 196, y la Universidad de Buenos Aires (Argentina) en la
197.
En los lugares 200 aparecen las universidades Católica de Chile (241);
Campinas, de Brasil (249); Autónoma de Madrid (254), y Autónoma de Barcelona
(256). En los 300 figuran la Universidad de Chile (320), el Tecnológico de
Monterrey (328), la Universidad Federal de Río de Janeiro (334), la Universidad
Pompeu Fabra, de España (342); la Universidad ORT de Uruguay (387), y la
Universidad de Coimbra (Portugal).
La lista del THES incluye también resultados por área de conocimientos. Las
clasificaciones se limitan, en este renglón, a enumerar las primeras cien
universidades que, en opinión de especialistas de la academia, son consideradas
líderes de investigación en el área respectiva. Como es de esperarse, en la
clasificación por áreas la cantidad y proporción de las universidades
iberoamericanas es más bien escasa, aunque no inexistente.
En artes y humanidades figuran tres instituciones de la región: la
Universidad Complutense de Madrid, en el lugar 78; la Universidad de Barcelona
(94), y la UNAM (97). En ciencias de la vida y biomedicina sólo clasifica la
UNAM, en el puesto 64. En ciencias naturales se encuentran las universidades de
Barcelona (90) y Sao Paulo (93). En ciencias sociales sólo califica la
Universidad Pompeu Fabra, de España, en el sitio 91. En el área de tecnología,
por último, ninguna universidad iberoamericana.
La reputación cuenta
La clasificación de universidades en los World Universty Rankings se
construye mediante indicadores sobre las variables de formación profesional,
capacidad de investigación, y presencia de académicos y estudiantes extranjeros.
Son seis: reputación de las universidades según académicos; reputación según
empresarios; proporción de estudiantes entre planta académica; proporción de
citas a los artículos en revistas indexadas entre planta académica; proporción
de estudiantes extranjeros, y proporción de académicos extranjeros.
El primer indicador tiene el mayor peso relativo en la escala al representar
40 por ciento de la puntuación total. La calificación de las universidades, a
cargo de la comunidad internacional de académicos, es recogida mediante la
encuesta que cada año aplica la compañía Quacquarelli Symonds (QS), firma
especializada en facilitar contactos entre graduados universitarios y
potenciales empleadores.
La muestra es de aproximadamente 6 mil casos y proviene de dos bases de
datos: una que administra la compañía Mardev, (http://www.maderv.com), dedicada
a capturar, organizar y comercializar direcciones de académicos de todo el
mundo. La base Mardev cuenta con más de 600 mil contactos académicos con e-mail
incluido. La segunda base proviene de la compañía World Scientific
(http://www.worldscientific.com), la cual es una distribuidora de revistas
académicas y posee una base de datos de autores con más de 180 mil registros.
La encuesta de “pares académicos” solicita a los informantes que identifiquen
las regiones del mundo y las áreas académicas de las que tienen familiaridad.
Posteriormente, el cuestionario presenta, para cada área seleccionada, una lista
“nacional” de universidades (las del país del académico informante) y una lista
“internacional”, que incluye a las universidades de la o las regiones
seleccionadas. A continuación se solicita valorar en qué universidades se
realiza la mejor investigación dentro de cada área; quien responde puede elegir
un máximo de diez instituciones.
El cuestionario aclara que “su propia universidad será excluida de las
secciones”. Así, el académico informante puede opinar sobre cualquier
universidad menos la suya, y sobre una, varias o todas las áreas de conocimiento
incluidas en la encuesta.
La muestra de académicos tiende a representar los resultados de rankings
previos. A pesar de que la metodología propone un equilibrio cuantitativo entre
regiones geográficas —un tercio para el continente americano, un tercio para
Europa y un tercio para el resto del mundo—, al cabo la proporción de académicos
adscritos a universidades anglosajonas resulta mayor que la de cualquier otro
conglomerado.
En la aplicación 2008, la muestra incluyó a 638 académicos de Estados Unidos
(10.0 por ciento del total), 563 ingleses (8.9 por ciento) y 286 australianos
(4.5 por ciento). Sólo esos tres países consumieron casi una cuarta parte de la
muestra total. En cambio, sólo fueron encuestados 142 académicos de España (2.2
por ciento), 63 de Brasil (1.0 por ciento), 59 de México (0.9 por ciento) y 36
de Argentina (0.6 por ciento).
El segundo indicador se basa también en una encuesta, esta vez aplicada a
empleadores, y representa 10 por ciento del puntaje total. En ésta, cuya muestra
promedia 2 mil casos por año, se solicita a cada informante que, “de acuerdo con
su experiencia, seleccione un máximo de 30 universidades de las cuales egresan
los mejores candidatos (esta lista está separada por país y ha sido compilada
con base en el número de ocasiones que dichas facultades han sido mencionadas en
nuestras encuestas)”.
La última aclaración es importante, pues la lista de universidades elegibles
se reduce a las que la compañía QS ha identificado previamente como relevantes.
Para dar un ejemplo, la lista de universidades mexicanas que los empleadores
pueden marcar se limita a tres instituciones: la UNAM, la Universidad
Iberoamericana y el Tecnológico de Monterrey. Ninguna otra. También cabe aclarar
que esta encuesta contiene, en su mayor parte, preguntas acerca de programas y
escuelas de administración de empresas, pues QS elabora también un ranking
acerca de las mejores escuelas de negocios en el mundo.
Como puede advertirse en la tabla 1, el peso otorgado a los indicadores de
prestigio predice la posición final en la tabla. Si ambos valores son altos
(puntuación en la revisión de pares y puntuación de empleadores), entonces un
buen lugar en la clasificación está asegurado.
Indicadores de productividad, desempeño e internacionalización
El tercer indicador del ranking refleja la proporción de estudiantes por
académico de tiempo completo en las universidades. Es confeccionado mediante
consulta a las instituciones sobre sus datos de matrícula y planta académica.
Para evitar subestimación de los datos de universidades que cuentan con figuras
académicas de tiempo parcial o por horas, el ranking solicita a las
instituciones que estimen equivalencias. El peso de este indicador en la
puntuación total es de 20 por ciento.
El cuarto indicador se deriva del número de citas a los artículos producidos
por los académicos, en los últimos cinco años, según la base de datos Scopus,
administrada por la compañía editora holandesa Elsevier Ltd. En las primeras
ediciones del ranking (2004 a 2006), el indicador respectivo provenía del
ISI-Thomson Web of Science pero, a partir del año pasado, se tomó la decisión de
utilizar los servicios de Scopus por contener un mayor número de registros que
los consignados en la base ISI-Thomson. Este indicador concentra, asimismo, 20
por ciento en la puntuación total.
Las diferencias entre las bases ISI y Scopus no son irrelevantes. En primer
lugar, Scopus es aproximadamente el doble de tamaño, a pesar de haberse iniciado
apenas en 2004, mientras que los servicios bibliométricos del Institute for
Scientific Information (ISI) tienen casi medio siglo. En efecto, la firma ISI
fue fundada en 1960 por Eugene Garfield y actualmente forma parte del consorcio
editorial Thomson-Reuters.
La base ISI se ha caracterizado por ser
académicamente selectiva; cada revista propuesta es revisada, durante al menos
un año, para tener certeza que cumple con los estándares, de forma y contenido,
de una publicación científica, además de controlar el volumen de citas que
recibe. La mayoría de los journals incluidos en la base se publican en inglés,
independientemente del país de origen.
También en Scopus es aplastante mayoría la proporción de revistas en inglés
pero, a diferencia de la base ISI, la incorporación de revistas es menos rígida.
En primer lugar porque se integró a partir de catálogos de publicaciones
científicas que ya existían; en segundo, porque la revisión de nuevas
publicaciones procede mediante una revisión de pares descentralizada. Como han
anotado varios especialistas, tanto ISI como Scopus, además del sesgo del
idioma, muestran una marcada inclinación por las revistas del área de ciencias
de la salud, probablemente por ser ésta la que ha logrado un mayor desarrollo en
términos de internacionalización de la producción y la difusión de resultados.
En la tabla 2, la cual consigna los datos reportados por las universidades
iberoamericanas que alcanzaron lugar entre las primeras 200 de la lista, es
notable la heterogeneidad de condiciones de infraestructura y resultados que
éstas presentan.
En el cálculo de desempeño una variable crucial es el tamaño de la planta
académica. Este dato funciona como denominador tanto del indicador de
estudiantes por miembros del personal académico de las instituciones, como del
indicador de citas per cápita. Si el volumen de la matrícula es elevado, pero
también el de la planta académica, entonces la relación entre ambos datos genera
un puntaje elevado. En estas condiciones, sin embargo, se requiere un elevado
número de citas académicas para adquirir puntos en el indicador de citas por
académico.
Tómese como ejemplo la comparación entre la UNAM y la Universidad de Sao
Paulo (USP). La UNAM, en el indicador de estudiantes por académico de tiempo
completo, obtiene un resultado de 10.1 contra 15.3 de la institución brasileña
(en este indicador el menor puntaje expresa los mejores resultados). En cambio,
en el indicador de citas, en que más puntos implican mejores resultados, la UNAM
obtiene 2.6 contra 13.4 de la USP.
Por último, los indicadores quinto y sexto se estiman con base en la
proporción de estudiantes y académicos extranjeros en las universidades. Cada
uno de éstos vale 5 por ciento en el puntaje total y los datos proceden de
consultas a las instituciones. En el reporte de las cuatro universidades
iberoamericanas la variación es notable. Mientras que en la UNAM y la USP la
proporción de estudiantes extranjeros es limitada (menos de 2 por ciento en cada
caso), la cantidad relativa de alumnos foráneos en las universidades de Buenos
Aires y Barcelona supera 6 por ciento en cada caso.
Una observación final
En la elaboración del ranking se asignan, en cada indicador y en el puntaje
total, 100 puntos a la universidad con los mejores datos o promedios. El resto
de las universidades obtiene sus puntos mediante la estimación de valores
normalizados “Z” que equivalen al valor puntual menos la media aritmética de la
distribución entre la desviación estándar de la misma. La normalización incluye,
asimismo, un proceso de conversión logarítmica de los puntajes que estrecha aún
más las distancias entre los resultados institucionales.
El cálculo del
resultado total, que determina la posición en la tabla, promedia las
puntuaciones de los seis indicadores ponderándolos con los pesos asignados a
cada uno. Al proceder a la normalización de la distribución, ésta se convierte
en simétrica con respecto de la media, de tal forma que es el promedio, y no la
puntuación más alta, el dato de referencia en torno al cual se colocan las
instituciones en la distribución. Esta opción metodológica, implantada en el
ranking THES a partir de 2007, tiene el efecto de hacer variar los lugares en la
clasificación en función del número de universidades calificadas, pues la
puntuación promedio es muy sensible a este factor. Por ello, es de esperarse
que, aun cuando permanezca invariable la construcción de los indicadores, así
como el sistema de ponderación adoptado, se observen en próximas ediciones
cambios en la colocación de las universidades dentro del ranking.
Quizá, hacerla de emoción y crear suspenso es parte del atractivo de esta
clasificación.
