THE World University Rankings

Le Times Higher Education (THE) a publié la semaine dernière son classement 2010 des 200 meilleures universités du monde (TOP 200). Ce qui m’a d’abord impressionné dans ce palmarès, ce n’est pas la présence de quatre institutions d’enseignement supérieur françaises seulement, mais l’écart de notation entre le numéro 1 et le numéro 200. Harvard Université, numéro 1, obtient un score global de 96,1; la Swedish University of Agricultural Sciences, classée 199, n’obtient que 46,2. Celle-ci serait-elle deux fois moins performante qu’Harvard University ? Dur, dur alors pour les universités non classées !

Et ouf pour trois des quatre établissements français classés : L’Ecole polytechnique, l’ENS Ulm et l’ENS Lyon ont en effet failli être exclues du classement : « Universities were excluded from the World University Rankings tables if they do not teach undergraduates ». Les quatre institutions pouvaient y apparaître car elles recrutent à bac+2 ; elle enseignent à des étudiants qui n’ont pas encore obtenu de licence ! 

J’ai toujours été passionné par les classements, la quantification des données. Quand je travaillais à mon doctorat de 3ème cycle dans la seconde partie des années 60, un de mes livres de référence était « L’analyse mathématique des faits sociaux » (Raymond Boudon, Plon, 1967). Et ce n’est pas un hasard si j’ai accepté de créer et diriger entre 1999 et 2004 l’OFIPE de Marne-la-Vallée. A la lecture des Rankings du THE, je me suis tout de suite demandé : les universités françaises non classées pourraient-elles calculer leur propre score ? Et éventuellement se donner le défi de rejoindre le TOP 200 ? Ce serait là un des points forts du classement du THE. Calculer son score « personnel » n’est pas totalement impossible (quelques suggestions en fin de chronique).

Le THE présente sa méthodologie comme « robuste, transparente et sophistiquée ». Elle est longuement explicitée sur le site : transparence oblige. Habile, Phil Baty, signataire du développement sur la méthodologie signale d’abord les limites de l’exercice : une université n’est pas réductrice à une note globale ; le nombre d’indicateurs de performance a été porté à 13 au lieu de 6 dans les classements précédents, mais évidemment d’autres indicateurs pourraient être pris en compte (qualité de la vie sur le campus, vie étudiante associative, formation tout au long de la vie, insertion professionnelle des diplômés, impact de l’université sur le développement économique, social et culturel régional)… mais le problème serait de quantifier ces autres « activités » des universités. Limite également que celle de la crédibilité des données : elles sont déclaratives (fournies par les institutions elles-mêmes). Le THE s’en sort par la pirouette habituelle : « les données ont été certifiées par ces institutions ».

Le problème crucial de la pondération entre les 13 indicateurs rangés eux-mêmes en 5 catégories, i.e. du poids que chaque indicateur représente dans le score global, est évoqué dans la présentation de la méthodologie. Le classement par rang (de 1 à 200) pour chaque indicateur et la somme des rangs pour l’ensemble des 13 indicateurs ou des 5 catégories n’a pas été retenu : procédé facile mais grossier. Le THE a choisi de classer 200 institutions à partir d’une notation de 1 à 100 pour chaque indicateur et de pondérer chacun des indicateurs pour construire le score global. « To calculate the overall ranking score, « Z-scores » were created for all datasets. This standardises the different data types on a common scale and allows fair comparisons between the different types of data – which is essential when combining diverse information into a single ranking ». Quelqu’un(e) pourrait-il expliquer ce qu’est ce « Z score » : cette méthodologie est-elle « robuste » ?

Je suis fort surpris des critères retenus pour la pondération : « Lower weightings are employed where confidence in the data or the usefulness of the indicator is less pronounced ». L’utilité semble avoir été décidée par les 50 experts internationaux qui ont travaillé pour le THE ; on aimerait en connaître le nom et la nationalité. La pondération retenue demeure peu transparente : pourquoi par exemple avoir accordé un poids supérieur à un tiers du score global aux enquêtes de réputation (19,5% pour la réputation en matière de recherche, 15% pour la réputation en matière d’enseignement). Les enquêtes de réputation devraient sortir des classements. Quand on sait qu’un poids de 32,5% est accordé au « Citation impact« , il ne reste donc que 33% pour les 10 autres indicateurs : difficile à admettre.

Mais ne faisons pas la fine bouche : le THE Rankings ne prend pas seulement en compte la recherche et le citation index, mais aussi l’enseignement, l’attractivité internationale (étudiants et enseignants), le transfert technologique et l’innovation. Le classement 2011 est susceptible d’évoluer encore.

Les institutions d’enseignement supérieur français pourraient utiliser les indicateurs du THE pour se comparer, au moins partiellement, aux 4 établissements français classés. La condition serait que l’Ecole polytechnique, l’ENS ULM, l’ENS Lyon et l’université Pierre et Marie Curie publient les données qu’elles ont fait parvenir au THE (effectifs des enseignants-chercheurs et chercheurs par grade et nationalité, effectifs étudiants par cycle et par nationalité, nombre de diplômés de licence et de doctorat, budget pour l’enseignement, budget de la recherche, budget de la recherche qui provient de l’industrie, de fonds publics, nombre de publications dans les revues labellisées). Qui pourrait prendre l’initiative d’impulser cette comparaison ? Les établissements classés ? Ceux qui pensent n’être pas loin du Top 200 (comme l’université de Strasbourg) ? La CPU ? La Conférence des Grandes Ecoles ? Les directions des enseignements supérieurs et de la recherche du MESR ? L’AERES ? Le groupe l’Etudiant ?

Ces données permettraient de calculer 10 des 13 indicateurs : budget de la recherche (poids de 5,25% dans le score global), nombre de publications par enseignant – chercheur (4,5%), part des fonds publics dans l’ensemble des ressources de recherche (0,75%), fonds de recherche émanant de l’industrie par enseignant – chercheur (2,5%), nombre de doctorats délivrés par enseignant – chercheur (6%), nombre de licences délivrées par enseignant-chercheur (4,5%), budget d’enseignement par enseignant-chercheur (2,25%), nombre de doctorats délivrés / nombre de licences délivrées (2,25%), proportion d’étudiants étrangers (2%), proportion d’enseignants – chercheurs étrangers (3%). L’exercice de comparaison devrait être tenté et je pense que l’AERES devrait en assurer la logistique.

Le THE Rankings est à peine paru qu’un autre classement a pris sa place dans les médias : le classement des Ecoles de management par le Financial Times. A suivre.

Commentaires fermés sur THE World University Rankings

Classé dans Non classé

Une réponse à “THE World University Rankings

  1. Le z-score exprime la valeur d’une observation provenant d’une population connue en termes de distance à la moyenne mesurée en unités d’écart-type, d’où la notion de « standardisation ». On l’obtient en calculant la différence entre l’observation x et la moyenne de la population et en la divisant par l’écart-type.

  2. Thomas Coudreau

    Bonjour,

    Il me semble qu’il serait encore plus intéressant d’obtenir les paramètres de l’ensemble des universités et la méthode de calcul exacte du modèle SYMPA. A défaut de classer les universités par leur qualité, on pourrait les classer par leur financement. Pratiquement parlant c’est très simple, politiquement…

    Cordialement,
    Thomas Coudreau.

  3. Le modèle SYMPA apporte un facteur explicatif pas si évident. Pour des raisons obscures à chaque alternance politique les sommes allouées par étudiant restent remarquablement stables. Depuis 25 ans que l’ENS Lyon existe la somme alloué pour un étudiant ENS est 25 fois plus élevé que celle alloué pour un étudiant en Pharmacie de la même ville. (Uniquement les frais de fonctionnement !).