Critères de Shanghaï : le débat

Suite à plusieurs commentaires à « Laurent 1er et la méthode Coué« , une nouvelle chronique sur Shanghaï et ses critères de classement. Merci à Philippe, Joël, Luigi et François d’avoir ouvert un débat technique et politique. Le site du classement : « Academic Ranking of World Universities« . Rappelons qu’il s’agit du 9ème classement et qu’il concerne essentiellement le champ des sciences « dures ». Pourquoi ce champ est-il classé selon deux nomenclatures ? 1. Sciences, Ingénierie, Sciences de la Vie, Médecine, Sciences sociales ; 2. Mathématiques, Physique, Chimie, Informatique, Economie.

La méthodologie, les définitions des critères, les pondérations. Tout paraît transparent. Mais Luigi et François notent que, quand on cherche à entrer dans la méthodologie fine, on se heurte à un mur de non explication. Rentrerait-on alors dans l’arrière cuisine du classement, celle qu’il faut cacher ? Six critères de classement sont pris en compte. Les 5 premiers se fondent sur des chiffres absolus. 1 et 2 : les récompenses (pondération : 30%) 1. Nombre de diplômés de l’université qui ont obtenu un prix Nobel ou une médaille Fields ; c’est donc d’abord l’université de « diplômation » qui est classée. 2. Nombre de prix Nobel ou de médailles Fields gagnés par l’université ; c’est cette fois l’université d’exercice de l’enseignant ou du chercheur récompensé qui est classée.

3, 4 et 5. Publications et citations (pondération : 60%). 3. Nombre d’enseignants et de chercheurs les plus cités (prise en compte de 21 sujets scientifiques). 4. Nombre de « papiers » publiés dans Nature ou Science. 5. Nombre de papiers cités dans Science Citation Index Expanded et Social Science Citation Index.

Le 6ème indicateur est tout à fait pertinent car il réfère la performance observée par les critères 1 à 5 au nombre d’enseignants et de chercheurs de l’Institution. La performance devient une performance per capita. Mais le critère 6 ne compte que pour 10% dans la note globale. Ce qui est peu, trop peu. Il me paraîtrait plus correct que le poids de ce critère 6 soit au moins égal à un tiers. En effet, la prise en compte de données absolues (critères 1 à 5) peut inciter les institutions à fusionner pour maximiser leur potentiel humain et donc leurs chances d’être classées dans les critères.

La stratégie de l’effet « masse » est mise en oeuvre par la France et c’est le souhait de Laurent Wauquiez de le rechercher. Joël l’observe : « ce classement est néanmoins utilisé par tous, et surtout par les politiques: Valérie Pécresse l’utilisait afin de montrer que les universités françaises étaient médiocres et qu’il fallait réformer (par la LRU), Laurent Wauquiez l’utilise comme satisfecit, avec pas plus de raisons » !

 Philippe Jacqué s’interroge sur son blog Le Monde : « La France peut-elle s’améliorer au classement de Shanghaï… Coopérer ou fusionner » ? Le journaliste démontre très bien que si Shanghaï acceptait de prendre en compte les performances des établissements coopérant au sein d’un PRES, la France pourrait en classer quatre dans le top 100. Pas de chance ! Les auteurs du classement – et ils ont raison – ne veulent pas prendre en compte les PRES mais seulement les PRES qui ont la ferme intention de fusionner rapidement (Aix Marseille University et Université de Lorraine apparaissent donc dans le classement 2011).

Le cas de l’université de Toulouse 3 Paul Sabatier. « Toulouse 3 a gagné 53 places de 278 à 225, c’est un bon exemple de progrès dans les zones moins regardées du classement“ (Laurent Wauquiez). Le commentaire de Philippe : « je soupçonne les chiffres du ministère d’être corrects, et devine que Toulouse 3 était classée à peu près 296° en 2009… mais a beaucoup reculé par rapport à 2003 où elle était à peu près 198°, ce qui illustre bien la démarche qui consiste à choisir soigneusement les chiffres qui arrangent pour justifier son discours« . Effectivement : le graphique sur le site de Shanghaï.

Luigi confirme et s’interroge. « Le classement de chaque institution est en fait donné – implicitement – dans un recoin obscur du site de Shanghaï (le “code source” de la page décrivant l’institution concernée, avec le graphique). On peut d’ailleurs se demander pourquoi Shanghaï ne publie pas carrément ce classement exact (au lieu de faire des paquets “102-150″, “151-200″, “201-300″, “301-400″, “401-500″, chacun trié par ordre alphabétique). Peut-être Shanghaï considère-t-il que les écarts de note ne sont pas suffisamment significatifs à l’intérieur d’un paquet pour justifier un classement plus fin » ?

Je partage totalement l’interrogation de Luigi. Shanghaï ne peut publier décemment que des « paquets » car, entre la 100ème et la 500ème place du classement, les « notes » sur 100 sont inférieures à un total de 24,2, soit un possible écart moyen de 0,06 point seulement entre chacun des 400 établissements. Sans doute même moins, car il serait bizarre que les établissements classés entre 400 et 500 aient une note globale inférieure à 5 sur 100 ! Un établissement qui aurait la note 15 serait-il « plus excellent » qu’un établissement que n’aurait que 14,94 ?

Petite touche finale moqueuse. Par méthodologie (nombre de critères et poids de chacune des critères), l’université qui arrive en tête (Harvard) est dotée de 100 points (le classement). En 2ème position, Standford n’obtient que 72,6 points. L’écart est énorme. Très vite dans le classement, le nombre de points diminue. Dès la 15ème place, le score devient inférieur à 50 ; dès la 29ème, il est en-dessous de 40 et, dès la 61ème, en-dessous de 30. Paris Sud et Pierre et Marie Curie (40 et 41èmes) n’obtiennent qu’un peu plus de 30 sur 100. Seraient-elles trois fois moins excellentes qu’Harvard ? Bref, les écarts très importants de notes sur 100 entre les 100 premiers établissements classés me semblent poser un problème méthodologique important. Poursuivre le débat !

13 Commentaires

Classé dans Non classé

13 réponses à “Critères de Shanghaï : le débat

  1. François

    En France, le classement de Shanghai a eu l’intérêt de convaincre nos responsables de la nécessité d’améliorer notre enseignement supérieur (et son image internationale). Mais ce même classement est devenu dangereux car beaucoup de politiques (souvent influencés par les journalistes) le prennent au pied de la lettre, ce qui risque de conduire à des décisions aberrantes (en particulier constitution de monstres universitaires ingérables).
    Malheureusement toute remise en cause de Shanghai par des Français à partir d’arguments objectifs ne donne pas de grands résultats, car elle les fait passer pour de mauvais perdants qui contestent les décisions de l’arbitre.
    Je soumets donc à vos réflexions une proposition d’action qui permettrait d’ébranler quelque peu la foi de nos décideurs quant à la pertinence de ce ce classement.

    PROPOSITION ***********************************

    Au cours des siècles précédents les mathématiciens européens se lançaient des défis (démonstration de telle ou telle proposition).

    Sur ce modèle, lançons aux meilleurs économistes du monde entier un défi, ou plutôt un concours doté d’un prix intéressant et faisant l’objet d’une forte couverture médiatique : celui de la meilleure explication du « Paradoxe de Shanghaï » :

    – Face à la concurrence mondiale (et en particulier celle des pays émergents) le maintien d’un niveau de vie élevé pour les populations des pays développés implique que ceux-ci offrent en permanence des produits et services compétitifs; il est généralement admis que la seule solution pour les pays développés est de se montrer plus novateurs que les pays à faible coûts de main d’oeuvre,

    – Un point clé de cette politique est la capacité du système universitaire des pays développés à préparer leurs étudiants à l’innovation,

    – Depuis quelques années des classements internationaux (dont le plus connu mondialement est celui de Shanghaï) donnent des indications sur la qualité des formations dispensées par les universités du monde entier, en insistant tout particulièrement sur la proximité entre la formation des étudiants et une recherche de haut niveau menée par les établissement où ils étudient,

    – Dans ces classements, les universités de deux pays (les Etats-Unis et le Royaume-Uni) dominent de façon écrasante leurs concurrents d’autres pays développés (en particulier le Japon et l’Allemagne),

    – Or les Etats-Unis et la Grande-Bretagne subissent de façon récurrente les plus grands déficits commerciaux de la planète, alors que le Japon et l’Allemagne accumulent de forts excédents .

    – Pouvez-vous dans un essai de xx pages, rédigé en anglais ou en français, expliquer ce paradoxe ? Quelles conclusions en tirez-vous pour la formation souhaitable des étudiants des pays développés ?

  2. Luigi

    Pour visualiser l’impact du 6ème critère (« performance per capita »), si à l’extrême on lui attribuait un poids de 100% (on peut bien sûr discuter du sens que ça aurait) :

    – Le « top 10 » deviendrait :
    1. Caltech
    2. Harvard
    3. Princeton
    4. MIT
    5. ENS Paris
    6. Berkeley
    7. Cambridge
    8. Stanford
    9. ETH Zurich
    10. Scuola Normale Superiore – Pisa

    – La France aurait toujours 3 institutions dans le « top 100 » :
    5. ENS Paris
    50. ESPCI ParisTech
    92. Université Paris-Sud 11

  3. François

    Réponse à PR27 qui a dit: août 21st, 2011 at 15:23

     » J’ai lu récemment qu’une publication écrite par un EC rattaché à un EPST (par ex. une UMR) voit cette publication compter pour moitié, puisqu’elle est à partager entre l’univ. et l’EPST. Quelqu’un peut-il le confirmer ou l’informer ? A t-on une idée de la manière dont le classement serait modifié, si ces publis comptaient pour 1 ? Merci. »

    Dans un tel cas, Albert Fert a écrit dans le Monde qu’il y avait partage (donc perte de 50% des points pour l’université).
    En revanche Bernard Larrouturou a écrit dans son rapport sur l’immobilier universitaire parisien que chaque organisme bénéficiait de la totalité des points.
    L’arrière-cuisine de Shanghai est donc si transparente que le dernier Nobel français de physique et l’ex-DG du CNRS n’ont pas compris la même chose…
    A cet égard le classement de l’Ecole des Mines (quelle que soit sa pertinence, là n’est pas la question du jour !) est exemplaire. La liste des 500 dirigeants est la liste dite « Global 500 » établie tous les ans par Fortune accessible par tous sur Internet. Les études prises en compte pour chaque dirigeant sont indiquées dans le document des Mines. Le partage est fait de façon égalitaire entre les formations indiquées. La méthode est donc totalement transparente (même si elle est contestable : les écoles françaises telles que HEC et les Mines sont avantagées, car elles comptent des anciens n’ayant que ce diplôme puisque les prépas ne sont pas prises en compte … et que relativement rares sont les diplômés de ces 2 écoles qui obtiennent ensuite un diplôme d’un autre établissement ).
    Il faudrait obtenir de Shanghai qu’il communique pour chaque Nobel et chaque Fields pris en compte le nombre de points qu’il rapporte en tant qu’alumnus et en tant que membre du personnel de l’université. On pourrait avoir des surprises (le 1er cas à vérifier étant celui de Cambridge vis-à-vis de Debreu dont j’ai parlé dans la chronique précédente).

  4. Joel Pothier

    Un article intéressant sur ce « classement »:
    « Le classement de Shanghai n’est pas scientifique », La Recherche N°430, Mai 2009 :
    http://www.larecherche.fr/content/recherche/article?id=25327

  5. Joel Pothier

    Un article intéressant sur ce « classement »:
    « Le classement de Shanghai n’est pas scientifique », La Recherche N°430, Mai 2009 :
    http://www.larecherche.fr/content/recherche/article?id=25327

  6. PR27

    Merci François pour cette « précision ».
    En recherche, on tente de promouvoir les résultats reproductibles, l’open data et le logiciel libre de traitement de données (publication des détails de mise en oeuvre et fourniture de logiciel la facilitant), il me paraît souhaitable de pouvoir disposer des indicateurs locaux ayant permis de déterminer les scores et le classement…. Luigi, ci-dessus, a un classement sur un seul critère :
    y a t-il des moulinettes informatiques et des jeux de données permettant de refaire les calculs, modifier les poids etc… ?

  7. Pingback: A quand un bêtisier sur les classements des universités ? | Éduveille

  8. François

    A PR27 « y a t-il des moulinettes informatiques et des jeux de données permettant de refaire les calculs, modifier les poids etc… ? »

    Apparemment l’organisme français le mieux informé sur l’arrière-cuisine des chimistes de Shanghai est l’OST (voir sur ce sujet sa page http://www.obs-ost.fr/fr/dossiers/form.html?tx_ttnews%5Btt_news%5D=15)
    Quand je dis chimistes de Shanghai, c’est au sens propre, car c’est la spécialité des auteurs de ce classement qui ne sont pas statisticiens !
    J’avais essayé de faire moi-même un classement beaucoup plus simple :
    – par pays,
    – ne tenant compte que des Nobel scientifiques (physique, chimie, médecin/bio) et des médailles Fields (le « Nobel » d’économie ne me paraissant pas très sérieux, car attribué essentiellement aux promoteurs d’idéologies à la mode du moment),
    – sur les 20 ou 30 dernières années (mais sans coefficient favorisant les années les plus récentes).
    J’ai très vite buté sur des questions telles que :
    – cursus de formation pluri-universitaires (ce qui dans le cas de mon classement était gênant quand ces universités n’étaient pas dans le même pays),
    – appartenance à plusieurs organismes au moment de l’attribution du prix,
    – poids relatif des Nobel (attribués tous les ans à 1, 2 ou 3 récipiendaires) et des Fields (attribués tous les 4 ans, généralement à 3 ou 4 récipiendaires),
    – changements de nationalité, cas des bi-nationaux,
    – sans parler du cas diabolique de l’ENS au palmarès impressionnant mais dont les élèves passent des diplômes généralement décernés par des universités françaises.
    Compte tenu de ces difficultés, il serait donc indispensable que l’université de Shanghai rende publics ses données de départ et ses calculs (pour le partie Nobel-Fields, ça représente l’étude des CV d’environ 500 personnes, ce qui est tout-à-fait faisable : c’est ce nombre de CV que traite tous les ans avec des moyens limités l’Ecole des Mines de Paris pour son classement si controversé).
    Pour terminer une remarque :
    Mon classement rudimentaire confirmait ce que nous savons tous sur l’enseignement-recherche scientifique du plus haut niveau en France (compte tenu de notre population) :
    – exceptionnel en mathématiques,
    – excellent en physique,
    – médiocre en chimie et en biologie/médecine (disciplines où nous sommes assez loin derrière l’Allemagne et le Royaume-Uni).
    Il est remarquable de voir que la compilation des résultats de Shanghai ne permet pas de détecter des points aussi fondamentaux.

  9. François

    Pour l’accord OST – Shanghai :
    – rechercher « Shanghai » sur le site http://www.obs-ost.fr/fr/dossiers/form.html?tx_ttnewstt_news=15)indiqué plus haut
    – ou aller sur http://www.obs-ost.fr/fileadmin/medias/tx_ostdocuments/OST_DepecheAEF_francais.pdf

  10. Damien

    « Il est remarquable de voir que la compilation des résultats de Shanghai ne permet pas de détecter des points aussi fondamentaux »

    J’ai la flemme de chercher, mais si je vois les titres de l’AEF :
    > Classements de Shanghai 2011 par discipline : l’UPMC et Paris-Sud dans le top 10 mondial en mathématiques, Paris-Dauphine dans le top 20
    > Classements de Shanghai 2011 par discipline : Paris-Sud, l’ENS Paris, l’UPMC et Grenoble-I dans le top 100 mondial en physique
    > Classements de Shanghai 2011 par discipline : l’université de Strasbourg dans le top 15 mondial et le top 5 européen en chimie
    > Classements thématiques de Shanghai 2011 : Paris-V, Paris-VI et Paris-XI dans le top 100 mondial en sciences médicales et pharmaceutiques

    Il me semble que le niveau exceptionnel en mathématiques ressort bien. Pour l’écart entre physique et chimie/biologie/médecine, c’est peut-être plus discutable.

  11. Pierre2

    Depuis quelques années, j’interroge régulièrement les collègues étrangers que je rencontre (chercheurs actifs, rencontrés dans des congrès) sur le classement de Shanghai. Leur réponse est toujours la même : qu’est-ce que c’est? Ils n’en ont jamais entendu parler, et sont ahuris d’apprendre que la politique universitaire française se détermine en fonction de ce classement…

    Faites l’expérience si vous en avez l’occasion, c’est instructif.

  12. PR27

    @Pierre2 : en Angleterre, à l’époque du rapport Browne demandant une hausse terrible des frais d’inscription, un argument des rapporteurs était que si la GB avait un bon classement dans les rankings internationaux (THE, Shanghai), ça risquait fort de chuter par manque de financement. Les réformes devaient être faites pour conserver le classement et comme le contribuable était déjà accablé, faire payer les étudiants.

  13. François

    1 – Citation du Financial Times du 19/8/2010 :
    « The road to success for staff at Britain’s universities is via research. Teaching suffers as a result « .
    2 – Les départements scientifiques des universités américaines incluent de grands centres de recherche peuplés en grande partie de doctorants et de postdocs étrangers; en revanche le nombre d’ingénieurs et scientifiques formés y est très faible : 74 000 masters (dont 35% d’étrangers) et 25 000 PhDs (dont 45% d’étranger) pour un pays de plus de 300 millions d’habitants : – chiffres NSF 2008 n’incluant pas les sciences sociales et la psychologie qu’à la différence des autres pays ils incluent dans « Science & Engineering », ce qui leur permet de camoufler leur situation réelle. Rappelons que les chiffres français sont 29 000 ingénieurs (tous de niveau master), 24 000 masters scientifiques et 6 000 docteurs scientifiques pour 60 millions d’habitants. Le « grand » MIT lui même ne décerne que 700 masters de sciences et ingénierie par an (c’est-à-dire un peu plus que l’X, Centrale ou Supélec, mais moins que les Arts et Métiers). Il est vrai que dans le même temps les universités américaines décernent tous les ans 165 000 masters en « business » …