Financer selon la performance (6)

Conclusion des 5 chroniques sur le financement selon la performance. Personne et en particulier aucun enseignant-chercheur fonctionnaire ne peut être sérieusement contre un tel financement : les universités doivent optimiser les ressources attribuées par l’Etat pour atteindre les résultats les meilleurs en matière de taux de succès aux examens, de diminution des abandons sans diplôme, d’insertion professionnelle des diplômés. De plus, personne de sensé ne peut s’opposer au principe de l’évaluation qui estime la performance. Les principes de la LOLF : oui !

Que ces principes admissibles soient opérationnalisés chaque année dans la loi de finances par des programmes, des objectifs à atteindre et des indicateurs de performance : oui ! Encore faut-il que les objectifs soient atteignables, que les indicateurs de performance aient quelque chose à voir avec la réalité. Ce n’est pas le cas : les 3 indicateurs de la LOLF analysés dans ces chroniques (taux de diplômés du supérieur dans une classe d’âge, taux d’obtention de la licence en 3 ans, taux de cadres et de professions intermédiaires chez les diplômés du supérieur, 3 ans après leur sortie de formation initiale) ne tiennent pas du tout la route soit parce qu’ils sont trop ambitieux, soit parce qu’ils ne peuvent être calculés rigoureusement. La LOLF est ainsi dévoyée : il faut que les taux des indicateurs progressent toujours ! Pour atteindre un jour 100% ? Lire aussi la chronique, : « le PAP du PLF de la MIRES« .

Trois autres points faibles de ce qui n’est, en définitive et hélas, qu’une idéologie du financement selon la performance. Les universités ne peuvent être concernées par les même taux de performance à atteindre pour la simple raison qu’elles n’ont pas toutes la même population étudiante et les mêmes ressources. Le financement sera-t-il un bonus ou un malus ? Pas de réponse. Et quelle sera l’importance du financement selon la performance par rapport à l’ensemble des financements d’Etat ? 2%, 10% ou 30 % ? Pas de réponse.

Le président d’université est une personne sensée. Il a compris que ce n’est pas demain la veille que son université sera financée selon la performance de ses formations. Il aurait cependant tort de ne pas tenter en interne un financement selon cette logique. Cela suppose d’avoir un outil (un observatoire) à même de calculer des indicateurs et d’en suivre l’évolution dans la durée. Trois indicateurs suffisent. 2 indicateurs de résultats pour chacun des diplômes : taux de succès en licence et en master (mise en place de suivis de cohortes d’entrants), conditions d’insertion professionnelle des diplômés à 18 mois (taux d’emploi, de répartition dans les différentes catégories socioprofessionnelles, de contrats stables, de salaire) ; ce qui suppose des enquêtes annuelles. Un indicateur de coût : le coût complet par étudiant par diplôme (ce qui suppose une comptabilité analytique).

Au vu des résultats des indicateurs, l’université doit récompenser la performance et sanctionner la contre-performance. Sanctionner = fermer les diplômes qui ont de manière récurrente des mauvais résultats ou des coûts trop élevés ; il faut en avoir le courage politique et ce serait d’ailleurs un moyen de freiner l’explosion de l’offre de formation.

Mais comment récompenser la performance ? Il est mieux de ne pas verser de primes aux individus ; la réussite est une oeuvre collective et il est malsain de créer des jalousies. Il faut une récompense collective qui assure la performance du diplôme dans la durée : financement d’une certification qualité externe, attribution d’un secrétariat plus étoffé, financement d’une campagne de communication, participation au financement d’une chaire d’excellence, financement sur contrat privé de professionnels payés au prix du marché et qui accroîtraient encore la performance (lire la note)… Il faut être honnête : les universités et les universitaires ne sont pas prêts à accepter cette logique de l’attribution de moyens additionnels selon la performance observée. « On ne déshabille pas Pierre pour habiller Paul, surtout quand Paul a déjà les moyens qui lui ont permis de réussir ! ».

Et paradoxe final : les diplômes performants (bons taux de succès aux examens et en insertion) n’ont, en fait, pas besoin d’être récompensés ! Le financement selon la performance ne les intéresse pas ! Ces formations sont relativement « riches » car, pour réussir, elles ont construit de solides et rémunérateurs partenariats avec les entreprises du ressort de leur diplôme. Elles accueillent des salariés en formation continue (5.000 euros de droits d’inscription), des étudiants en apprentissage (financement partiel du diplôme par le CFA de rattachement) ; elles perçoivent de la taxe d’apprentissage ; elles n’ont pas de difficultés à trouver des sponsors pour organiser des manifestations… Et paix des ménages oblige : les formations performantes acceptent qu’une partie de leurs « ressources propres » soit « mutualisée » au sein de l’université, soit transférée vers des formations nouvelles, vers les formations aux résultats moyens ou mauvais.

Pour l’enseignement supérieur et la recherche, en matière de formations supérieures, la LOLF est un échec. La stupidité des indicateurs et des objectifs à atteindre est contre-mobilisatrice pour le développement d’un mouvement qui, dans chaque université, devrait conduire à porter de plus en plus attention aux ressources utilisées et aux résultats atteints. Il ne faut pas gaspiller l’argent public !

Note. Tous les diplômes professionnels ont besoin d’enseignements en gestion de projet. Recruter un enseignant-chercheur titulaire en gestion ne sert à rien car celui-ci n’aura de cesse de fuir les diplômes professionnels pour n’enseigner que dans les diplômes de gestion de son UFR. Une observation de plus de 30 ans dans 3 universités différentes le prouve !

Financer selon la performance (5)

5ème et avant-dernière chronique sur le financement selon la performance. Elle fait suite aux chroniques sur les concepts et les définitions (1), sur l’histoire de ce financement (2), sur les indicateurs de performance (3), sur les indicateurs de performance en matière de formations supérieures. La 5ème chronique porte sur les indicateurs de performance en matière d’insertion professionnelle des diplômés et sur les financements qui pourraient en découler. L‘objectif 1 du programme 150 du Projet de loi de finances 2010 de la MIRES est intitulé : “répondre aux besoins de qualifications supérieures« . Le texte du PLF précise avec raison : « l’ajustement formation-emploi est un processus qui dépend non seulement de la formation des jeunes sortants du système éducatif mais également de la conjoncture du marché du travail. Les marges de manoeuvre existent cependant pour viser une meilleure insertion des diplômés dans les prochaines années, sauf forte dégradation de la conjoncture« .

Le « sauf » est aussitôt oublié. Selon la logique de la performance (« faire toujours plus »), la cible de l’indicateur 1.2. (« taux d’insertion des jeunes diplômés trois ans après leur sortie de formation initiale ») est pour 2010 en hausse par rapport à 2007. Quelle est la cible pour les diplômés du supérieur universitaire ? Il faut qu’en 2012 le taux de diplômés du supérieur, employés au niveau cadre ou profession intermédiaire, soit en hausse de 5 points : il était de 77% en 2007, il doit être de 82% en 2010 (lire la note). Cette cible sera-t-elle atteinte alors que la conjoncture de crise a fortement pénalisé les diplômés 2008 et les diplômés 2009 arrivant sur le marché du travail ? Cela n’est-il pas bizarre ?

Il faut ici entrer dans la construction statistique de cet indicateur de performance du PLF pour en démontrer la stupidité et pour faire comprendre que le PLF prend « les citoyens pour des cons ». L’indicateur pour 2007 (77% de cadres et de professions intermédiaires) est celui des diplômés entrés sur le marché en 2004 et enquêtés par le CEREQ en 2007 ( « Génération 2004 » : cliquer ici). L’indicateur cible pour 2010 (82% ) est celui des diplômés 2007 enquêtés en 2010 : personne ne sait si le CEREQ aura les moyens financiers pour faire cette enquête ; elle n’est d’ailleurs pas annoncée sur son site ; il se pourrait bien qu’elle soit remplacée par l’enquête d’insertion que les universités doivent entreprendre dès décembre 2009 (voir ci-dessous). Puisque les enquêtes Génération du CEREQ ont lieu tous les 3 ans (Générations 1998, 2001, 2004), les diplômés 2008 et 2009 ne devraient jamais être enquêtés ! Ouf pour le gouvernement : « cachez le marasme de leur insertion : je ne saurais le voir« . Lire la chronique : « 32% de chômeurs ».

Pourquoi les diplômés 2007, enquêtés en 2010, devraient être plus nombreux que les diplômés 2004 à être cadres ou professions intermédiaires, 3 ans après leur sortie de formation initiale ? Le PLF explique que plusieurs « leviers sont utilisables pour y parvenir » : « généralisation de l’orientation active qui prend en compte les débouchés associés à chaque formation, généralisation des observatoires qui ont pour mission de mesurer les taux d’insertion de chaque filière à chaque niveau, développement de la professionnalisation des formations (généralisation des stages dans tous les cursus notamment en 3ème année de licence), développement de partenariats avec le monde économique, création dans chaque université d’un Bureau d’aide à l’insertion professionnelle (diffusion aux étudiants d’une offre de stages et d’emplois variés en lien avec les formations, assistance à la recherche de stages et de premiers emplois), plates-formes d’insertion professionnelle, outil supplémentaire au service de l’accès à l’emploi des diplômés, favorisant un travail en commun avec le monde professionnel, en particulier pour la définition de l’offre de formation ».

Le lecteur aura reconnu dans ces axes d’action la politique de Valérie Pécresse, ministre… depuis 2007. L’arnaque est complète : bien évidemment, les diplômés 2007 n’ont pu bénéficier de ces mesures ! L’indicateur 1.2 du PLF est donc une escroquerie. Il l’est d’autant plus que le financement des BAIP, annoncé par Valérie Pécresse en octobre 2008 (55 millions d’euros sur 5 ans), est disparu du PLF 2010  (pour une critique des BAIP, cliquer ici) ! 

Il faut noter « zéro » cet indicateur du PLF si l’enquête « Génération 2007 » du CEREQ est remplacée par l’enquête que les universités doivent entreprendre en décembre 2009, enquête que nous avons critiquée dans une chronique du 27 octobre 2009 : « Insertion performante« . Cette enquête est une honte scientifique : financement insuffisant, calendrier impossible à tenir, conditions de traitement à la scientificité douteuse pour permettre une comparaison entre universités, masquage d’éventuels déclassements par la mise ensemble des « cadres » et des « professions intermédiaires » dans la même catégorie, inutilité de l’enquête pour un pilotage de l’offre de formation par les universités elles-mêmes (le délai de 3 ans après la sortie de formation initiale est trop long ; les universités ont besoin d’enquêtes à 18 mois).

L’indicateur 1.2 du Programme 150 du PLF ne précise pas l’incidence financière de l’obtention ou de la non-obtention de la cible par les universités. Celles qui l’atteignent seront-elles recompensées par un financement « bonus » et celles qui ne l’atteignent pas seront-elles sanctionnées par un « malus » ? Evidemment non, puisque cette cible n’a aucun fondement et qu’elle est déjà obsolète avant même que d’avoir été observée par enquête.

Cela ne veut pas dire que le financement des universités selon la qualité de l’insertion de leurs diplômés doit être abandonné. Bien au contraire. La même chronique recommande des financements de ce type : récompenser les universités qui ont un observatoire des insertions depuis 3 ans, récompenser celles qui ont eu le courage politique de fermer les diplômes dont les débouchés professionnels récurrents n’étaient pas satisfaisants.

Note. La cible d’insertion pour l’ensemble des diplômes universitaires de licence, de master et de doctorat est 82% de cadres et professions intermédiaires en 2010 (77% observés en 2007). Cette cible est différenciée selon les niveaux de diplôme (67% pour les diplômés de licence, 86% pour ceux de master, 90% pour les docteurs) et selon les disciplines (71% pour les diplômés de lettres et sciences humaines, 89% pour ceux de sciences et techniques, 85% pour ceux de droit, économie et gestion).

Financer selon la performance (4)

4ème chronique sur le financement selon la performance. Elle fait suite aux chroniques sur les concepts et les définitions (1), sur l’histoire de ce financement (2), sur les indicateurs de performance (3). La 4ème chronique porte sur les indicateurs de performance en matière de formations supérieures et sur les financements qui pourraient en découler. L‘objectif 2 du programme 150 du Projet de loi de finances 2010 de la MIRES est intitulé : « améliorer la réussite à tous les niveaux de formation » (autrement dit et essentiellement attaquer de front le serpent de mer des taux d’abandon et d’échec en licence).

Pour mesurer les progrès dans l’atteinte de l’objectif, cinq indicateurs de performance sont créés dont 2 sont commentés ici : l’indicateur 2.3 (taux de jeunes sortis non diplômés de l’enseignement supérieur), l’indicateur 2.4 décomposé lui-même en deux sous-indicateurs (taux de licences obtenues en 3 ans après une première inscription en Licence 1 ou taux d’obtention de la licence dans les délais prévus ; taux d’inscrits en L1 accédant en L2 l’année suivante).

Sans conteste, il s’agit bien d’indicateurs de performance. Le taux de sortie sans diplôme était de 18% en 2007 ; il est prévu qu’il monte à 19,5% en 2009 et descende à 17% en 2010 et à 16% en 2012. Le taux d’obtention de la licence en 3 ans était de 38,3% en 2007 ; l’objectif à atteindre est 40% en 2010 et de 43% en 2012. Le taux de L1 accédant directement en L2 l’année suivante était de 44,7% en 2007 ; il est descendu à 43,2% en 2008 ; il « doit » monter à 49% en 2009, 50% en 2010, 52% en 2012. L’objectif est ambitieux !

Le moyen de l’amélioration des taux : le Plan Réussite en licence (orientation active, développement des relations avec les lycées, tutorat, enseignants référents, travail en petits groupes, davantage de contrôles continus par rapport aux contrôles terminaux – lire l’expérience de l’université d’Avignon). Les universités dans leur ensemble et chaque université en particulier sont les opérateurs de l’objectif 2 du Programme 150 ; elles sont collectivement responsables de l’atteinte des taux « cibles ». Mais il y a un énorme problème : le ministère a l’outil statistique pour établir le niveau et l’évolution des 3 indicateurs (la base SISE sur les inscriptions et les changements d’inscription), mais chaque université ne peut se positionner sur ces indicateurs ; chaque université est « aveugle » sauf à multiplier des enquêtes fort coûteuses.

Diminuer le taux de sortie sans diplôme et faire progresser le taux de passage immédiat de L1 en L2 : chaque université ne peut mesurer ces taux car elle ignore les raisons d’une non réinscription après le L1 (inscription ailleurs ou abandon des études). Faire progresser le taux d’obtention de la licence en trois ans : le problème est identique (la licence peut être obtenue dans une autre université que celle de l’inscription en L1) et différent (l’indicateur prend en compte non seulement les inscrits en L1, mais également les inscrits en 1ère année de DUT et de BTS qui poursuivent en licence 3 ; il faut identifier ceux-ci dans la base d’inscriptions ; ce n’est pas impossible mais cela demande du travail).

Le paradoxe est donc intéressant : les universités sont sommées d’améliorer leurs performances, mais elles n’ont pas les outils statistiques pour mesurer leurs progrès ! Le ministère aurait pu y penser ! C’est d’ailleurs une grave légèreté méthodologique de sa part que d’avoir mélangé dans un même indicateur le taux d’obtention de la licence en 3 ans des inscrits en L1 (non sélectionnés à l’entrée) et des inscrits en 1ère année de DUT et de BTS (sélectionnés à l’entrée) ! Autre problème : celui de l’évaluation des effets du plan Licence dans chaque université. Si le taux d’abandon diminue, si les taux de passage direct en L2 et d’obtention de la licence en 3 ans progressent, à quelle(s) mesure(s) du PLan Licence imputer les progrès ? Un exemple : les effets du tutorat, rendu obligatoire par les arrêtés de 1997, n’ont jamais pu être rigoureusement établis, faute de protocole d’enquête rigoureux (comparaison du devenir de deux cohortes d’inscrits en 1ère année partageant les mêmes caractéristiques sauf une, celle d’avoir été ou non tutorés).

Le PLF de la MIRES pour 2010 contient des indicateurs de performance, mais ne traite pas du financement selon la performance : c’est un autre paradoxe ! Les universités qui seront en dessous des taux cibles pour le taux de passage direct en 2ème année et pour le taux d’obtention de la licence en 3 ans seront-elles sanctionnées (devront-elles rendre l’argent du Plan Licence ?) et les universités qui seront au-dessus percevront-elles un bonus ? Bonus pour les universités dont les taux s’améliorent et malus pour les universités dont les taux se détériorent ? Il ne saurait bien sûr en être question, car les universités n’ont pas la même offre de formation et n’accueillent pas les mêmes populations étudiantes ! Il faut les comparer, toutes choses étant égales par ailleurs.

Et voilà encore un autre paradoxe : la DEPP a toutes les données pour calculer des taux comparables d’une université à l’autre, maîtrise la méthodologie, mais ne fait plus ce travail de comparaison ! Elle l’a fait à la fin des années 90 (lire la note) : « taux de succès aux DEUG en deux, trois ou quatre ans », pour chacune des grandes disciplines et certaines caractéristiques individuelles étant égales par ailleurs (neutralisation de l’âge au bac, du type de bac, de la mention au bac). La méthodologie permet de calculer, pour chaque université, un taux « réel » (ou brut ou observé) et un taux attendu (fonction des caractéristiques de sa population étudiante) ; les universités performantes font mieux que le taux attendu, les universités non performantes font moins bien ! Les universités classées dans cette catégorie ont réagi par un sacré vacarme ! La DEPP a cependant publié en 2007 une Note d’information sur le taux de réussite en DUT en deux ou trois ans (cliquer ici), selon la méthodologie « taux observés – taux attendus » : des IUT font mieux que ce qui est attendu de leur population étudiante et des IUT font nettement moins bien !

Alors faut-il laisser tomber les financements des universités selon la performance ? Non ! Il faut encourager les universités à suivre rigoureusement des cohortes d’entrants en première année de licence et en première année de master, à calculer des taux de succès et leur évolution dans le temps (toutes choses égales par ailleurs), à créer des protocoles d’enquête pour mesurer les effets du Plan Licence qu’elles mettent en oeuvre… et il faut financer celles qui mènent ces opérations statistiques dans la durée. Un exemple parmi beaucoup d’autres : celui de Lille I Sciences et Technologie (cliquer ici) .

Il faut aussi financer davantage les universités qui ont le courage politique de fermer les diplômes qui ont de mauvais taux de succès et de mauvais taux d’insertion (chronique à suivre). On peut aussi penser à un autre mode de financement de l’offre de formation habilitée et qui freinerait l’explosion de l’offre de formation (autre objectif du PLF de la MIRES) : ne pas financer immédiatement les nouveaux diplômes et ne les financer qu’au vu de leurs résultats après 4 ans (taux d’obtention du diplôme et d’insertion) ; en cas d’objectifs atteints, les nouveaux diplômes obtiendraient un financement rétroactif pour les 4 premières années.

Note. YAHOU Nicolas, RAULIN Emmanuel (1997), « De l’entrée à l’université au deuxième cycle : taux d’accès réel et simulé« , DEP, Les dossiers, n°78, janvier.

Financer selon la performance (3)

Chroniques précédentes : « Les concepts, les définitions« , « Brève histoire du financement selon la performance« . La chronique d’aujourd’hui est consacrée à la mesure des résultats des activités et des projets mis en oeuvre par les universités. Sans mesure rigoureuse des résultats obtenus et des ressources engagées pour les atteindre, un financement selon la performance est impossible ; sans mesure de l’efficience et de l’efficacité des universités, un financement selon la performance n’a pas de sens. Mais attention : les mesures quantifiées (les indicateurs) sont indispensables, mais la réalité n’est jamais totalement quantifiable ! Il faut interpréter les résultats quantifiés.

Pour obtenir des mesures rigoureuses des résultats, il existe une condition préalable : celle du renforcement, au niveau national et au niveau local, des structures qui conçoivent et élaborent les outils (les indicateurs), collectent et traitent les informations, diffusent les résultats en toute transparence. Les deux niveaux organisationnels, le national et le local, doivent exister ; sans niveau national, les comparaisons nécessaires dans le temps et dans l’espace sont impossibles ; sans niveau local, il ne peut y avoir de progrès dans le pilotage stratégique de chacune des universités. Mais problème : le niveau national (rôle clé de la DEPP) a été très déstabilisé par la réforme de l’administration centrale des deux ministères (lire la chronique : « le mammouth dégraissé« ). Bien des universités encore ne possèdent pas, faute de volonté politique et/ou de moyens, une structure à même d’élaborer des indicateurs rigoureux et cela même si on a vu fleurir, ici et là, des cellules de contrôle de gestion, des services statistiques, des observatoires…

La mesure de l’efficience tout d’abord. Les résultats ont-ils été atteints selon la meilleure optimisation des ressources engagées, c’est-à-dire à quel coût ? Pour le savoir, il faut évidemment une comptabilité analytique : elle est à peine émergente dans les universités, mais elle devrait rapidement progresser avec les contraintes et les opportunités données par la LRU, par le passage aux responsabilités et compétences élargies. Un exemple d’une orientation qui va dans ce sens : celui de Paris 2 Panthéon-Assas qui « s’oriente vers une comptabilité analytique diplôme par diplôme« .

Cette comptabilité analytique est difficile à instaurer. Exemples tirés de l’expérience. L’université, dans le cadre de son contrat quadriennal, a obtenu un financement pour créer un Observatoire de la vie étudiante ; ce financement est « noyé dans le pot commun des services centraux » ; impossible en fin de contrat de calculer le coût de l’observatoire qui a été effectivement créé. Le blogueur veut calculer le coût complet d’un étudiant de la licence professionnelle dont il est responsable, n’y parvient que partiellement (cliquer ici) car jamais il n’obtiendra du vice-président en charge des finances de l’université l’information sur le coût à imputer à chaque étudiant pour les différents services centraux. 

La comptabilité analytique n’est pas inconnue des universités. Elle leur est imposée par la gestion des contrats européens : elles doivent justifier chacun des euros dépensés. Les comptables européens y veillent : des dépenses effectives sont rejetées car elles ne correspondent pas au cahier des charges ou aux règles comptables en vigueur ; des dépenses engagées doivent être remboursées « à l’Europe » ; les financements attendus en fin de projet (paiement sur service fait) ne parviendront jamais dans les « caisses » de l’université ; un déficit de l’opération s’ensuit pour elle. Il s’agit bien ici d’un financement selon la performance, et plus spécifiquement d’un financement selon l’efficience. Quelquefois, la mesure de l’efficience est extrêmement « légère » : « vous vous êtes engagés à créer un Observatoire, un Bureau d’aide à l’insertion professionnelle, un service du patrimoine, un service de la Validation des Acquis de l’Expérience… ; vous l’avez fait ; OK, rien à dire ! ». Dans ce cas, il n’y a pas de réelle mesure de l’efficience et de l’efficacité.

Mesure de l’efficacité ou la question des indicateurs de performance. Un immense chantier ! Quelques réflexions sur la méthode de construction des indicateurs, sur leur nombre, sur leur mise en oeuvre au niveau local par un service dédié. Construire des indicateurs. Ils peuvent être prescrits aux universités par le ministère, être élaborés conjointement par le ministère et la représentation des universités (la CPU ?), être construits par chacune des universités « libres et responsables ». Chaque approche a ses avantages et ses inconvénients. La prescription par le « Centre » a le mérite de permettre des comparaisons dans le temps et dans l’espace (entre universités), mais elle a l’inconvénient de se contenter d’un petit nombre d’indicateurs (lire la chronique : « Le PAP du PLF de la MIRES« ). L’élaboration autonome des indicateurs par chacune des universités a le mérite d’engager plus facilement des démarches de progrès : on se mobilise plus facilement dans les champs d’activité couverts par les indicateurs. Mais il y a un inconvénient : les indicateurs élaborés localement ne sont pas forcément comparables d’une université à l’autre. L’élaboration conjointe ou négociée par le ministère et la représentation des universités est a priori plus satisfaisante, mais elle demande beaucoup de temps et ne peut n’aboutir qu’à des indicateurs de compromis faussement consensuels.

Le nombre d’indicateurs ? Il faut résister à une frénésie : celle de produire des indicateurs toujours plus nombreux. Trop d’indicateurs tuent les indicateurs. Les universités doivent donner la priorité aux indicateurs de résultats, tout en ne négligeant pas les indicateurs d’activité et de moyens mobilisés. Une expérience : celle de la licence professionnelle déjà mentionnée et de ses 62 indicateurs de qualité, centrés progressivement sur 13 indicateurs principaux.

Expérience fragile : le départ en retraite du blogueur a mis en sommeil l’actualisation des indicateurs ; elle demande du temps, beaucoup de temps… L’initiative a été un moment relayée par l’université (conduire deux diplômes à une certification qualité externe), puis a été abandonnée. Une initiative individuelle peut être motrice ; elle est insuffisante. Pour avoir des indicateurs solides et actualisés, il faut avoir des professionnels affectés à un service permanent. Approvisionner en données les indicateurs demande, au préalable, de mobiliser des ressources non négligeables. Un tel service doit être proche de l’équipe de direction de l’université : celle-ci doit en définir le cahier des charges annuel, mais ne pas empiéter sur les activités quotidiennes. Ce service doit avoir une grande indépendance ; elle pourrait être garantie par un commissaire aux statistiques, un commissaire externe.

Indicateurs quantitatifs et interprétations qualitatives. Produire des indicateurs, mesurer leur évolution, comparer leurs résultats avec ceux des autres universités et avec les indicateurs nationaux n’a d’intérêt que pour engager des démarches de progrès. Celles-ci ne sont possibles que si une large place est laissée aux discussions sur les résultats. Un mauvais résultat peut avoir plusieurs explications : il faut les identifier pour pouvoir faire évoluer l’indicateur dans le bon sens. Evaluations quantitatives et évaluations qualitatives sont nécessairement complémentaires.

Chroniques à suivre : les indicateurs de taux de succès, les indicateurs d’insertion professionnelle.

Financer selon la performance (2)

Brève histoire du financement selon la performance (suite de la chronique « Financer selon la performance« ). Ce financement est ancien, mais il a pris, ces dernières années, une ampleur nouvelle avec l’instauration de la LOLF (2001, Loi d’Orientation de la Loi de Finances), loi votée sous le gouvernement Jospin. Cette chronique « historique » ne traite que des subventions de fonctionnement attribuées par l’Etat aux universités (ne sont donc pas concernées les subventions d’investissement). Les subventions de fonctionnement, allouées pour les missions d’enseignement et de recherche, prennent en compte les activités de l’université (ses formations et le nombre d’étudiants inscrits dans chacune d’entre elles), et/ou leurs projets et/ou leurs résultats.

Le financement des formations habilitées et des centres de recherche « labellisés » n’est pas nouveau : il s’agit soit d’un financement selon l’activité (organiser des enseignements et faire de la recherche coûte) et/ou selon le projet (demande d’habilitation ou de création d’un centre de recherche). Un diplôme habilité donne lieu à des dotations de postes d’enseignants-chercheurs et de BIATOSS, à une dotation de fonctionnement par étudiant, et éventuellement à des dotations de compensation si le nombre de postes est insuffisant. Selon quels critères se font ces dotations ? Ils font référence à des normes, les normes Garacès dans les années 70, les normes SanRemo depuis 1984 (H/E, Heures par étudiant). Un étudiant en master professionnel dans une discipline scientifique est davantage doté par l’Etat qu’un étudiant en 1ère année de licence générale de droit.

L’explosion de l’offre de formations professionnelles, en particulier en master, a mis le système SanRemo à mort : voulant faire la réforme LMD à coût zéro, l’Etat ne pouvait augmenter indéfiniment ses dotations pour les diplômes professionnels de plus en plus nombreux. SanRemo a donc été remplacé par Sympa et plus personne ne sait si un H/E par type de formation existe encore !

De plus, San Remo souffrait d’un point faible structurel : il distinguait « potentiel théorique » (somme des dotations de toutes les formations) et « potentiel réel ». Un certain nombre d’universités avaient un potentiel réel bien inférieur au potentiel théorique que l’Etat aurait dû leur reconnaître, mais San Remo n’a réussi qu’à la marge à redéployer les moyens entre les « universités riches » et les « universités pauvres« .

Dotation des formations et des centres de recherche selon les projets et les activités, mais, théoriquement aussi, selon la performance. Les habilitations et les labellisations étant accordées pour 4 ans, les réhabiltiations et les relabellisations auraient dû donner lieu à des évaluations des résultats atteints. Formellement, c’était le cas, mais les évaluations à 4 ans conduisaient rarement à la fermeture de diplômes ou de centres de recherche. De fait, le financement selon la performance n’existait pas. 

La situation change peu dans les années 80, en dépit de deux innovations fondamentales : la création du CNE en 1985 et le lancement de la politique contractuelle (contrats quadriennaux) en 1989. Le Comité National d’Evaluation (CNE) a fait des évaluations institutionnelles (de l’établissement, de la formation, de la recherche) ; celles-ci se concluaient par un rapport assorti de recommandations ; aucun lien avec le financement des universités n’était opéré. Mais, au moins, le CNE a introduit une culture de l’évaluation dans les établissements.

L’introduction de la contractualisation en 1989 (contrat quadriennaux entre l’Etat et chaque université) était assortie d’une politique d’allocation de moyens aux projets définis par l’établissement et négociés avec la « tutelle ». On entre alors réellement dans un ère de financement étatique selon les projets. Logiquement, la négociation du deuxième contrat, quatre ans plus tard, aurait dû être l’occasion d’introduire un financement selon la performance. « Vous avez eu de l’argent pour tel projet. Quels résultats avez-vous obtenus ? Vous n’avez rien fait : rendez l’argent ! ». Il n’en a rien été, les bilans des contrats, rendus par les universités, n’étaient pas réellement examinés par les experts ; ils se concentraitent sur les projets des nouveaux contrats, pour ne pas retarder leur signature (il est régulièrement arrivé que les contrats soient signés avec plus d’un an de retard).

Et vint la LOLF (2001) et son application dans les universités à partir de 2005, 2006 : les budgets de celles-ci ont dû être votés selon l’architecture LOLF : missions, programmes, actions, moyens, projets annuels de performance, indicateurs de performance (lire la chronique : « PAP du PLF de la MIRES« ). Une vraie révolution… théorique, mais qui ne fait guère encore ressentir ses effets réels dans les universités. Financement selon la performance, un serpent de mer ?

Le financement selon les projets (et non plus selon les activités récurrentes) a poursuivi son chemin dans les années les plus récentes. L’ANR (Agence Nationale de la Recherche) lance des appels à projets, les évalue et les finance. L’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur) évalue les projets des établissements dans le cadre de leur contrat quadriennal. Bref, de moins en moins de financements de base,  récurrents (un des causes du mouvement de l’hiver et du printemps 2009)  et de plus en plus de financements selon les projets.

Le financement selon la performance refait surface avec la Loi LRU d’août 2007 et le passage des universités aux responsabilités et compétences élargies (RCE). Plus de la moitié des universités seront passées aux RCE en janvier 2010. Masse salariale des fonctionnaires intégrée dans le budget, responsabilité totale de la gestion des ressources humaines, des redéploiements, des recrutements, des mobilités, des rpomotions, des primes… Pour ne pas aller dans le mur, pour ne pas exploser leurs coûts, pour éviter de graves crises financières, les universités vont être obligées d’analyser finement leurs performances et de faire des choix. Il n’est pas dit qu’elles y soient, politiquement, stratégiquement et techniquement, prêtes.

Alors, Valérie Pécresse, sans doute dubitative sur les effets réels de sa loi LRU, en remet « une couche » pour le financement selon la performance, se recadrant sur les prescriptions de la LOLF. Elle vient ainsi de prescrire aux universités de faire des enquêtes sur le devenir professionnel de leurs diplômés car la loi de finances de 2010 prescrit un projet annuel de performances (PAP) en matière d’insertion, projet doté d’un indicateur de performance d’une « stupidité rare » et sur lequel on reviendra dans une prochaine chronique (lire déjà « Insertion performante ?« .

Prochaine chronique : comment mesurer les résultats d’une activité ou d’un projet ?