Financer selon la performance (4)

4ème chronique sur le financement selon la performance. Elle fait suite aux chroniques sur les concepts et les définitions (1), sur l’histoire de ce financement (2), sur les indicateurs de performance (3). La 4ème chronique porte sur les indicateurs de performance en matière de formations supérieures et sur les financements qui pourraient en découler. L‘objectif 2 du programme 150 du Projet de loi de finances 2010 de la MIRES est intitulé : « améliorer la réussite à tous les niveaux de formation » (autrement dit et essentiellement attaquer de front le serpent de mer des taux d’abandon et d’échec en licence).

Pour mesurer les progrès dans l’atteinte de l’objectif, cinq indicateurs de performance sont créés dont 2 sont commentés ici : l’indicateur 2.3 (taux de jeunes sortis non diplômés de l’enseignement supérieur), l’indicateur 2.4 décomposé lui-même en deux sous-indicateurs (taux de licences obtenues en 3 ans après une première inscription en Licence 1 ou taux d’obtention de la licence dans les délais prévus ; taux d’inscrits en L1 accédant en L2 l’année suivante).

Sans conteste, il s’agit bien d’indicateurs de performance. Le taux de sortie sans diplôme était de 18% en 2007 ; il est prévu qu’il monte à 19,5% en 2009 et descende à 17% en 2010 et à 16% en 2012. Le taux d’obtention de la licence en 3 ans était de 38,3% en 2007 ; l’objectif à atteindre est 40% en 2010 et de 43% en 2012. Le taux de L1 accédant directement en L2 l’année suivante était de 44,7% en 2007 ; il est descendu à 43,2% en 2008 ; il « doit » monter à 49% en 2009, 50% en 2010, 52% en 2012. L’objectif est ambitieux !

Le moyen de l’amélioration des taux : le Plan Réussite en licence (orientation active, développement des relations avec les lycées, tutorat, enseignants référents, travail en petits groupes, davantage de contrôles continus par rapport aux contrôles terminaux lire l’expérience de l’université d’Avignon). Les universités dans leur ensemble et chaque université en particulier sont les opérateurs de l’objectif 2 du Programme 150 ; elles sont collectivement responsables de l’atteinte des taux « cibles ». Mais il y a un énorme problème : le ministère a l’outil statistique pour établir le niveau et l’évolution des 3 indicateurs (la base SISE sur les inscriptions et les changements d’inscription), mais chaque université ne peut se positionner sur ces indicateurs ; chaque université est « aveugle » sauf à multiplier des enquêtes fort coûteuses.

Diminuer le taux de sortie sans diplôme et faire progresser le taux de passage immédiat de L1 en L2 : chaque université ne peut mesurer ces taux car elle ignore les raisons d’une non réinscription après le L1 (inscription ailleurs ou abandon des études). Faire progresser le taux d’obtention de la licence en trois ans : le problème est identique (la licence peut être obtenue dans une autre université que celle de l’inscription en L1) et différent (l’indicateur prend en compte non seulement les inscrits en L1, mais également les inscrits en 1ère année de DUT et de BTS qui poursuivent en licence 3 ; il faut identifier ceux-ci dans la base d’inscriptions ; ce n’est pas impossible mais cela demande du travail).

Le paradoxe est donc intéressant : les universités sont sommées d’améliorer leurs performances, mais elles n’ont pas les outils statistiques pour mesurer leurs progrès ! Le ministère aurait pu y penser ! C’est d’ailleurs une grave légèreté méthodologique de sa part que d’avoir mélangé dans un même indicateur le taux d’obtention de la licence en 3 ans des inscrits en L1 (non sélectionnés à l’entrée) et des inscrits en 1ère année de DUT et de BTS (sélectionnés à l’entrée) ! Autre problème : celui de l’évaluation des effets du plan Licence dans chaque université. Si le taux d’abandon diminue, si les taux de passage direct en L2 et d’obtention de la licence en 3 ans progressent, à quelle(s) mesure(s) du PLan Licence imputer les progrès ? Un exemple : les effets du tutorat, rendu obligatoire par les arrêtés de 1997, n’ont jamais pu être rigoureusement établis, faute de protocole d’enquête rigoureux (comparaison du devenir de deux cohortes d’inscrits en 1ère année partageant les mêmes caractéristiques sauf une, celle d’avoir été ou non tutorés).

Le PLF de la MIRES pour 2010 contient des indicateurs de performance, mais ne traite pas du financement selon la performance : c’est un autre paradoxe ! Les universités qui seront en dessous des taux cibles pour le taux de passage direct en 2ème année et pour le taux d’obtention de la licence en 3 ans seront-elles sanctionnées (devront-elles rendre l’argent du Plan Licence ?) et les universités qui seront au-dessus percevront-elles un bonus ? Bonus pour les universités dont les taux s’améliorent et malus pour les universités dont les taux se détériorent ? Il ne saurait bien sûr en être question, car les universités n’ont pas la même offre de formation et n’accueillent pas les mêmes populations étudiantes ! Il faut les comparer, toutes choses étant égales par ailleurs.

Et voilà encore un autre paradoxe : la DEPP a toutes les données pour calculer des taux comparables d’une université à l’autre, maîtrise la méthodologie, mais ne fait plus ce travail de comparaison ! Elle l’a fait à la fin des années 90 (lire la note) : « taux de succès aux DEUG en deux, trois ou quatre ans », pour chacune des grandes disciplines et certaines caractéristiques individuelles étant égales par ailleurs (neutralisation de l’âge au bac, du type de bac, de la mention au bac). La méthodologie permet de calculer, pour chaque université, un taux « réel » (ou brut ou observé) et un taux attendu (fonction des caractéristiques de sa population étudiante) ; les universités performantes font mieux que le taux attendu, les universités non performantes font moins bien ! Les universités classées dans cette catégorie ont réagi par un sacré vacarme ! La DEPP a cependant publié en 2007 une Note d’information sur le taux de réussite en DUT en deux ou trois ans (cliquer ici), selon la méthodologie « taux observés – taux attendus » : des IUT font mieux que ce qui est attendu de leur population étudiante et des IUT font nettement moins bien !

Alors faut-il laisser tomber les financements des universités selon la performance ? Non ! Il faut encourager les universités à suivre rigoureusement des cohortes d’entrants en première année de licence et en première année de master, à calculer des taux de succès et leur évolution dans le temps (toutes choses égales par ailleurs), à créer des protocoles d’enquête pour mesurer les effets du Plan Licence qu’elles mettent en oeuvre… et il faut financer celles qui mènent ces opérations statistiques dans la durée. Un exemple parmi beaucoup d’autres : celui de Lille I Sciences et Technologie (cliquer ici) .

Il faut aussi financer davantage les universités qui ont le courage politique de fermer les diplômes qui ont de mauvais taux de succès et de mauvais taux d’insertion (chronique à suivre). On peut aussi penser à un autre mode de financement de l’offre de formation habilitée et qui freinerait l’explosion de l’offre de formation (autre objectif du PLF de la MIRES) : ne pas financer immédiatement les nouveaux diplômes et ne les financer qu’au vu de leurs résultats après 4 ans (taux d’obtention du diplôme et d’insertion) ; en cas d’objectifs atteints, les nouveaux diplômes obtiendraient un financement rétroactif pour les 4 premières années.

Note. YAHOU Nicolas, RAULIN Emmanuel (1997), « De l’entrée à l’université au deuxième cycle : taux d’accès réel et simulé« , DEP, Les dossiers, n°78, janvier.

Commentaires fermés sur Financer selon la performance (4)

Classé dans Non classé

Une réponse à “Financer selon la performance (4)

  1. EC Nantes

    Bien !
    Et rien de tel qu’expliquer aux EC d’un jury que le budget universitaire est conditionné au taux de passage,
    que les budgets pédago et recherche se mélangent parfois par accident (ben oui les ANR ça sert aussi à boucher les trous de la pédago, pas chez vous ?) pour que les notes d’examen s’améliorent par miracle.

    Comme toujours, les critères facilement observables/mesurables sont privilégiés, au détriment des vrais objectifs de fond. L’exigence de suivi des cohortes que vous indiquez me paraît au contraire excellente !
    Dans l’ « universitaire professionnalisant », nous mettons le paquet là dessus et, au delà de l’évaluation externe de notre formation, c’est très instructif et permet de rester en contact avec tout un réseau d’anciens.