1 Il est fréquent dans les travaux académiques sur l’évaluation des politiques publiques d’opposer l’approche de l’évaluation scientifique et celle des inspections ministérielles et interministérielles : celles-ci s’intéresseraient davantage à la vérification de l’application des procédures et des politiques décidées et seraient moins bien armées pour évaluer objectivement leurs performances.
2 Ce jugement, qui comporte sa part de vérité, mérite néanmoins d’être quelque peu nuancé, à la lumière de l’expérience récente [1] d’une inspection particulière, l’Inspection générale des finances qui consacre aujourd’hui l’essentiel de ses forces de travail à l’évaluation des performances publiques, sous des formes diverses.
3 L’Inspection générale des finances a dû en conséquence faire évoluer ses méthodes et son organisation. Si ses travaux présentent d’incontestables limites par rapport aux canons de l’évaluation idéale, ces limites sont assez largement partagées et interrogent la démarche évaluative elle-même et l’usage qui peut en être pratiqué.
L’évaluation des performances est devenue une pratique centrale pour l’Inspection générale des Finances
L’évaluation des performances publiques est devenue le métier prédominant de l’Inspection générale des finances en quelques années
4
Traditionnellement, une petite centaine d’inspecteurs et inspecteurs généraux travaillent à l’Inspection générale des finances (IGF) sur différents types de missions :
- missions de vérification de services ou d’organismes qui sont centrées sur l’examen approfondi de la régularité de la gestion des ordonnateurs et des comptables publics ;
- missions d’audit de structures publiques (administrations, établissements publics) qui ont pour objectif essentiel d’en contrôler le fonctionnement et en améliorer l’efficacité ;
- missions d’enquête qui portent sur les sujets les plus divers et prennent en compte, le cas échéant, les pratiques en usage à l’étranger ;
- missions d’assistance enfin, qui sont centrées sur l’élaboration ou la mise en œuvre d’un projet et réalisées en appui d’une administration ou d’un organisme ; sous cette dernière rubrique sont également classées la mise à disposition de rapporteurs au sein de commissions de réflexion stratégique (commission Attali ou commission sur la mesure du pouvoir d’achat par exemple en 2007).
5 En 2007 et 2008, les forces d’enquête de l’Inspection ont été mobilisées à plus de 80 % sur deux chantiers de réforme de l’État, pilotés par la direction générale de la modernisation de l’État, à savoir la dernière vague des audits de modernisation jusqu’en juin 2007 puis l’exercice de révision générale des politiques publiques (RGPP) entre septembre 2007 et avril 2008 : l’IGF a participé à vingt et un pôles de la RGPP et dirigé quatorze d’entre eux.
Ce métier s’exerce pour une part non négligeable dans le domaine social
6 La plupart des missions réalisées par le service de l’Inspection générale des finances s’effectuent à la demande des ministres chargés de l’Économie, des Finances et du Budget, plus rarement à la demande du Premier ministre ou d’autres autorités (comme le Parlement, ou les collectivités territoriales, ainsi que le statut de l’IGF l’autorise dès lors que le ministre des Finances en est d’accord). Elles sont cependant loin de concerner les sujets relevant de la seule responsabilité du ministère de l’Économie et des Finances : les deux tiers des lettres de missions de l’IGF au cours des cinq dernières années ont été signées par d’autres ministres que les seuls ministres chargés du Budget et de l’Économie. Ce constat consacre le caractère interministériel de l’IGF.
7 C’est ainsi qu’en 2006, l’IGF a consacré 17 % de ses forces de travail à des missions réalisées dans le secteur de la santé, des affaires sociales et du logement. En 2008 elle a participé à tous les pôles de la RGPP concernant le domaine social et dirigé l’un d’entre eux (sur la politique de l’emploi et de la formation professionnelle).
8 La liste des travaux publiés à la suite des missions réalisées dans le domaine social au cours des années récentes manifeste leur diversité et leur forte croissance en 2006 et 2007 [2].
9 La plupart de ces missions ont concerné l’efficacité de la gestion de certaines allocations (allocation aux adultes handicapés, allocation spécifique de solidarité, allocation de parent isolé, prime pour l’emploi, aides personnelles au logement, etc.) ou de procédures spécifiques (gestion de la taxe d’apprentissage, pilotage des dépenses hospitalières) ou encore d’importants chantiers de modernisation (dossier médical personnalisé).
10 D’autres missions ont contribué à évaluer ex post l’efficacité de politiques publiques, telles que la politique du logement social dans les DOM ou celle des centres d’hébergement ou des ateliers et chantiers d’insertion, mais aussi à étudier ex ante les effets de politiques alternatives sur des sujets comme le revenu de solidarité active (RSA), ou la création d’une taxe nutritionnelle.
11 Certaines de ces missions n’ont pas eu pour objectif direct d’apprécier les performances de l’action publique mais ont pu contribuer à la construction des outils nécessaires à cette évaluation (mission sur les méthodes statistiques d’estimation du chômage) ou à la problématique de cadrage de l’action publique de l’État et à la révision de ses modalités : c’est le cas notamment de la mission sur l’impact de la décentralisation sur les administrations sociales de l’État ou de la mission sur la gestion pluriannuelle des finances publiques.
Ces travaux se sont appuyés sur les modes d’intervention traditionnels de l’IGF
12 Ces missions se sont appuyées sur les compétences traditionnelles de l’IGF, qui constituent en quelque sorte ses « avantages compétitifs », à savoir :
- la maîtrise des techniques comptables, budgétaires, fiscales et financières ; ce métier prédispose particulièrement l’Inspection au maniement et au contrôle des données quantitatives, qui permettent d’objectiver les performances et d’analyser le coût-efficacité des politiques publiques sur la base de données budgétaires et comptables robustes ; le caractère récurrent et général des problèmes de financement de l’action publique a conféré depuis fort longtemps à l’IGF un regard transversal, particulièrement utile à l’évaluation des missions interministérielles, telles que les appréhende la LOLF ;
- un pouvoir d’investigation très large sur pièces et sur place à l’égard de tous les organismes qui bénéficient de concours publics ou de prélèvements obligatoires ; depuis sa création, l’IGF connaît la distance qui peut séparer la définition au sommet d’une politique et sa mise en œuvre sur le terrain et les problèmes soulevés par l’articulation des échelles de décision ; elle a appris à identifier les raisons multiples, pour lesquelles des orientations centrales peuvent rester inopérantes car inadaptées au milieu dans lequel elles s’appliquent ;
- des délais d’investigation relativement brefs : les délais d’intervention et de mobilisation de l’IGF (deux à quatre mois en moyenne entre le début d’une mission et la remise de ses conclusions) [3] permettent au décideur de disposer d’un diagnostic très rapide, qu’il ne peut espérer obtenir dans les mêmes conditions, pour des raisons diverses [4], de la part d’autres acteurs (laboratoire universitaire, cabinet de consultants, ou encore Cour des comptes) : la proximité de l’IGF par rapport aux décideurs centraux et sa réactivité en font un acteur plus particulièrement spécialisé dans l’évaluation à but opérationnel rapide [5] ;
- des ressources humaines diversifiées, permettant de mobiliser simultanément les compétences généralistes et le regard « neuf » de jeunes fonctionnaires directement issus de l’ENA ou effectuant leur première mobilité statutaire et le regard plus expérimenté et spécialisé de fonctionnaires plus anciens, ayant connu une carrière diversifiée dans les secteurs public ou privé.
Une « révolution silencieuse » de ses méthodes et de son organisation s’est néanmoins peu à peu opérée au cours de ces années
13 Pour exercer plus efficacement ce métier d’évaluation des performances et développer ce faisant ses fonctions de conseil stratégique auprès des décideurs, l’Inspection a dû néanmoins apprendre à travailler autrement.
Des ressources humaines diversifiées
14 Il lui a fallu, en premier lieu, diversifier encore davantage les ressources humaines auxquelles elle pouvait faire appel : le métier financier n’est pas le métier d’économiste, ni a fortiori celui d’un ingénieur ou d’un manager, et encore moins celui d’un sociologue des organisations ou des comportements. Tous ces métiers sont néanmoins nécessaires à l’appréciation des performances, dont l’approche est par définition pluridisciplinaire. Plusieurs voies concourant à cet objectif ont été utilisées :
- une réforme statutaire, intervenue en 2006, a permis à l’Inspection d’élargir considérablement son propre vivier de recrutement : l’élargissement du tour extérieur et l’accroissement des accueils en détachements, le recours à des contractuels ou stagiaires ont permis à l’IGF de s’adjoindre le concours d’économistes reconnus, d’ingénieurs aux profils diversifiés, de fonctionnaires de terrain et de nombreux étudiants en fin d’études (50 % des effectifs actuels de l’Inspection ne sont pas issus de l’ENA, le tiers n’appartient pas au corps de l’IGF) ;
- dans le cadre de la RGPP, l’IGF a appris à travailler avec des consultants extérieurs, qui lui ont apporté des connaissances précieuses sur l’accompagnement des changements et le management opérationnel des projets ;
- enfin les missions conjointes avec d’autres corps de contrôle disposant de profils de compétences complémentaires se sont poursuivies ; ainsi, 90 % des missions de l’IGF dans le secteur social ont été réalisées dans des équipes mixtes associant l’Inspection générale des affaires sociales (IGAS) et parfois d’autres inspections ministérielles (comme le Conseil général des ponts et chaussées (CGPC) ou le Conseil général des technologies de l’information (CGTI) ou encore l’Inspection générale de l’administration).
Un pôle de gestion des connaissances
15 Il lui a fallu, en second lieu, mieux capitaliser les connaissances sur les différents pans de l’action publique et mettre en place un « pôle de gestion des connaissances ». Évaluer utilement, c’est d’abord mobiliser les savoirs constitués sur cette politique le plus rapidement et le plus largement possible en intégrant les diverses facettes d’un problème. À l’heure d’Internet, la veille est à la fois facilitée et vertigineuse.
16 Un renforcement du pôle documentaire de l’IGF et de ses outils a été mis en œuvre, mais surtout, les inspecteurs généraux ont été chargés d’animer et de synthétiser cette veille, en devenant les « référents » des politiques menées par les différents départements ministériels ou des différents métiers administratifs (politique immobilière, politique de la fonction publique, politique d’achats publics, etc.). Cette relative spécialisation est allée de pair avec une intensification des échanges internes et permet l’intégration de points de vue plus diversifiés dans la programmation, le déroulement et le suivi des missions.
Diffusion des travaux de l’IGF
17 Enfin, depuis trois ou quatre ans, les travaux de l’IGF ont connu une plus large diffusion. La confidentialité des travaux de l’IGF a été longtemps sa marque de fabrique : l’Inspection travaillait pour l’information des ministres chargés de l’Économie et du Budget ainsi que de leurs principaux collaborateurs et pour eux seuls. L’IGF n’intervient toujours qu’avec l’accord des ministres, à qui seuls appartient la décision de diffusion ou de publication d’un rapport de l’Inspection. Mais ceux-ci ont progressivement changé de doctrine, considérant que la publication de certains rapports de l’IGF pouvait contribuer utilement au débat sur ces réformes et à l’adhésion à ces réformes.
18 Ces rapports publics, une fois mis en ligne, peuvent vivre leur propre vie et être appropriés, voire repris à leur compte par d’autres acteurs que les seules administrations, qu’il s’agisse des parlementaires, des collectivités territoriales, des organisations représentatives ou des associations de simples citoyens. Les travaux de l’Inspection sont entrés plus largement dans le débat public : le contenu de ces rapports est devenu plus bref, plus factuel, parfois moins critique. Une nouvelle forme d’efficacité en a résulté.
Les limites que présentent ces travaux par rapport aux canons académiques de l’évaluation interrogent la démarche évaluative elle-même
Les canons académiques de l’évaluation
19 À l’aube des années 1990, le Conseil scientifique de l’évaluation avait défini assez clairement les caractéristiques et la méthodologie de l’évaluation des politiques publiques qu’il préconisait dans son « petit guide de l’évaluation des politiques publiques ». Cette conception doctrinale, largement inspirée des pratiques anglo-saxonnes, a connu des applications diverses et successives, qui n’ont pas toutes été des succès ; elle a néanmoins suscité en France un foisonnement d’initiatives et une acculturation progressive de l’approche évaluative, dont les divers articles de cette revue témoignent. Aujourd’hui, le terme d’évaluation a été consacré par un article de la LOLF (article 57) qui confère aux commissions de l’Assemblée nationale et du Sénat un rôle central dans ce domaine.
20 Les termes de performances et d’évaluation continuent néanmoins à être des mots « attrape-tout » qui recouvrent des réalités diversifiées et complexes.
21 La définition, la construction et le suivi d’indicateurs de performances et de résultats mobilisent une énergie considérable de la part des administrations sans que, pour autant, des liens directs entre ces indicateurs et les moyens mis en œuvre apparaissent toujours évidents, ni leurs évolutions au cours du temps toujours interprétables aisément : les progrès dans l’appréhension des « performances publiques » demeurent progressifs si l’on en croit les rapports des gestionnaires ou des autorités de contrôle.
22
Chacun peut aujourd’hui se targuer d’évaluer les performances de l’action publique ou tenter de le faire, sans pour autant parvenir à atteindre tous les canons académiques souhaitables, à savoir la combinaison des éléments suivants :
- une approche scientifique pluridisciplinaire, intégrant les connaissances de l’économie, de la sociologie ainsi que celles des mécanismes de régulation budgétaires, financiers, fiscaux ou juridiques pour apprécier les effets d’une politique publique ;
- une approche transversale, permettant d’appréhender les effets concomitants et l’interaction des divers échelons géographiques de décision, des acteurs publics et privés et des comportements des bénéficiaires finaux de ces politiques ;
- une approche opérationnelle, visant par la mutualisation de la connaissance du jeu des acteurs et des effets produits, à proposer des alternatives plus efficaces aux décideurs dans des délais rapides ;
- une approche indépendante, assurant une garantie d’objectivité et de neutralité du diagnostic et des propositions ;
- une approche participative, permettant d’établir un consensus entre les différents acteurs d’accord sur les moyens d’atteindre les objectifs visés et de mettre les attentes des citoyens ou usagers au cœur de l’action publique ;
- une approche citoyenne, les rapports d’évaluation étant appelés à être systématiquement publiés pour alimenter le débat public.
Une démarche d’évaluation qui connaît des limites par rapport aux canons d’une évaluation idéale
23 Deux limites principales peuvent paraître entacher l’objectivité, la neutralité et l’efficacité des travaux réalisés par l’Inspection : son rattachement direct aux ministres chargés de l’Économie et des Comptes publics ; l’extrême brièveté de ses travaux qui ne lui permet pas toujours d’apporter les réponses les plus complètes et les plus consensuelles aux questions posées.
Le rattachement direct de l’IGF aux ministres chargés de l’Économie et des Comptes publics
24 Quel que soit son caractère interministériel et généraliste, la déontologie de ses membres, la rigueur de ses méthodes et la diversité des origines disciplinaires de ses cadres, l’IGF est un service rattaché aux ministres chargés de l’Économie, des Finances (et aujourd’hui, de l’emploi). Son plan de charge et l’objet précis de ses missions sont définis en accord avec les cabinets des ministres. Sa première « clientèle » est constituée par les directions du ministère. L’IGF n’est pas une autorité indépendante [6].
25 Il n’est guère surprenant dans ces conditions, que l’angle privilégié et « naturel » des travaux de l’IGF soit celui de l’approche économique et financière. C’est le métier de base pour lequel elle est sollicitée et est amenée à intervenir. Avoir une approche financière ou économique ne signifie pas au demeurant avoir une approche strictement et systématiquement comptable et budgétaire. La partie « économie », « industrie » ou « emploi » du MINEFE pèse aujourd’hui sur l’agenda et les missions de l’IGF au moins autant que la partie « comptes publics » et tend à s’accroître. La « teinture » budgétaire n’est pas toujours la couleur prédominante des rapports de l’IGF.
26 La signature d’un rapport par une inspection ministérielle ou interministérielle intégrera cependant nécessairement la vision du ministère auquel il est rattaché et se hasardera rarement sur la voie de l’hétérodoxie la plus complète : ce constat concerne autant l’IGF que ses consœurs. De fait, nombre de rapports de l’IGF sont reçus par l’opinion ou par les organismes audités comme l’expression de la « voix de Bercy » dans un débat [7].
27 L’intégration de la dimension économique et financière représente à vrai dire autant la valeur ajoutée de l’Inspection que sa limite. Que vaudrait l’évaluation d’une politique publique, si elle n’intégrait pas cette dimension, plus d’actualité aujourd’hui que jamais, notamment dans le domaine social ? L’Inspection est certes loin d’être la seule à pouvoir le faire et la concurrence ne saurait sur ce point être assez développée, mais d’une façon générale on lui reconnaît une certaine compétence pour le faire avec rigueur et objectivité. Les chiffres qu’elle produit sont rarement contestés.
28 Il reste que sa culture la prédispose moins à appréhender et manier des approches plus qualitatives et qu’il lui est parfois difficile de dépasser le stade strictement quantitatif et procédural de l’évaluation, qu’il est plus problématique d’objectiver.
29 Par ailleurs, le rattachement de l’IGF au ministère des Finances et au seul pouvoir exécutif de l’État ne lui permet pas d’intervenir avec les mêmes pouvoirs d’investigation dans l’évaluation des politiques publiques locales, sauf accord de la collectivité locale concernée et du ministre des Finances. À l’heure de la décentralisation, alors que les moyens d’intervention de l’État dans le domaine social sont très largement partagés avec les collectivités territoriales, cet aspect constitue une importante limite et rend particulièrement délicate l’appréciation des performances des politiques de l’État, dont les effets territoriaux ne peuvent qu’être fortement diversifiés.
L’extrême brièveté de ses travaux
30 L’extrême brièveté de ses travaux est un avantage comparatif de l’IGF pour les décideurs, on l’a vu. Elle permet que le décideur qui lance l’évaluation soit encore le plus souvent aux commandes quand les résultats de cette évaluation sont produits et en exploite les conclusions. L’enlisement bien connu des procédures conduites sous l’égide du Conseil scientifique de l’évaluation ou du Conseil national de l’évaluation peut être ainsi évité.
31
Mais cette rapidité entache parfois l’approfondissement du diagnostic et des propositions par les conséquences qu’elle entraîne :
- l’IGF peut, dans ses enquêtes d’évaluation, recueillir le point de vue des acteurs concernés par une politique publique ; elle peut plus difficilement prendre le temps de fabriquer le consensus entre ces acteurs, comme cela a pu se faire au sein de certaines instances d’évaluation, moyennant des délais sensiblement plus longs ;
- elle peut, dans les délais impartis, mobiliser l’information disponible, procéder à la mise en forme de ces données, à leur validation ; elle ne peut évaluer les politiques publiques pour lesquelles les indicateurs d’efficacité n’existent pas ou apparaissent approximatifs ; elle est alors obligée de suggérer d’en construire d’autres ou d’en améliorer la robustesse mais ne peut contribuer à les construire [8] ;
- l’IGF peut mobiliser les connaissances scientifiques disponibles : elle n’est pas armée pour en discuter les fondements, ni pour produire des connaissances scientifiques nouvelles présentant les garanties d’une démarche scientifique : elle ne peut, comme le ferait une équipe universitaire, modéliser les informations auxquelles elle a accès de façon plus sophistiquée, ni tester la validité de ces modèles : ni ses délais, ni ses compétences, ni ses procédures ne le lui permettent [9].
32 La méthode revient toujours, peu ou prou, à substituer l’analyse d’objectifs intermédiaires par rapport aux objectifs finaux, parce qu’il est plus aisé d’estimer l’impact sur les premiers que sur les seconds. Apprécier les effets « finaux » suppose, sauf à se contenter d’anecdotes ou de grossières corrélations, à mener des travaux approfondis qui prennent, en général, quelques mois. On pourra juger, par exemple, assez rapidement de la détaxation des heures supplémentaires en mesurant le nombre d’heures détaxées, mais pas l’impact sur la production des entreprises concernées, encore moins sur l’emploi global ou le revenu des ménages.
33 La solution serait de faire en sorte que les études sur les effets finaux soient disponibles avant le lancement de l’évaluation. C’est pourquoi, il peut paraître important de favoriser des études académiques d’évaluation, qui n’auraient pas vocation à remplacer l’évaluation administrative, mais qui pourraient lui servir de matériau.
Ces limites ne sont pas fondamentalement différentes de celles d’autres acteurs de l’évaluation et apparaissent constitutives de toute démarche évaluative
34 La difficulté d’intégrer dans un diagnostic d’autres approches, d’autres méthodologies n’est pas propre à l’Inspection générale des finances et est rencontrée par tous les acteurs de l’évaluation.
35 L’universitaire, qui aura passé sa vie à mettre en lumière telle ou telle théorie sur les incitations économiques dans le domaine sanitaire ou sur le fonctionnement du paritarisme ou encore sur l’exclusion sociale, n’aura pas toujours la plus grande facilité intellectuelle à admettre les enseignements d’autres approches disciplinaires ou le discours moins formalisé et plus qualitatif de l’association d’usagers ou des bénéficiaires eux-mêmes. Le cabinet de conseil, qui n’aura jamais conseillé que des entreprises, ne comprendra pas aisément la totalité des règles dites et non dites du fonctionnement de l’administration. L’ONG, l’association d’usagers, la fédération d’organismes professionnels, les collectivités territoriales pourront, certes, se prononcer sur l’efficacité de telle ou telle procédure publique de leur point de vue, mais ce point de vue n’intégrera pas nécessairement toutes les données du problème.
36 Un temps très important était, de fait, passé dans les instances d’évaluation lancées sous l’égide du Conseil national d’évaluation, à l’apprentissage d’un vocabulaire commun, d’une écoute mutuelle et d’une remise en cause des jugements a priori de chacun et notamment des administrations centrales. Un temps un peu moins important est consacré à cet aspect des choses dans les missions d’inspection conjointes : ce temps est cependant très productif, sans que ses résultats puissent néanmoins se résumer aux quatre points d’une présentation Powerpoint ou d’un communiqué de presse, ni être nécessairement immédiatement appropriables par le politique ou l’opinion par le biais d’un rapport. Pour déplacer le point de vue des uns et des autres, il faut le temps du dialogue et de la pédagogie.
37 L’« esprit de clocher » n’est pas propre aux inspections ministérielles. Le millefeuille institutionnel, qui caractérise la territorialisation de l’action publique en France, alimente bien des débats et des controverses locales et nationales et ne facilite pas toujours l’identification par le citoyen des « vrais responsables », des vrais financeurs, de la disparité des situations et de la réalité des changements qu’on lui a promis.
38 Certaines collectivités se sont attachées à développer une évaluation externe des politiques qu’elles menaient (à l’aide de laboratoires universitaires ou de cabinets d’étude, souvent sous l’égide des procédures d’évaluation européennes sur les fonds structurels) mais cet effort de transparence manque parfois d’exhaustivité et de continuité et demeure plus souvent l’exception que la règle : nombre d’observatoires locaux meurent avec la disparition de la scène des élus qui les ont créés ou des financements à l’origine de leur création. Cet effort est rarement partagé avec l’État : le principe de libre administration des collectivités territoriales ne facilite pas toujours le partage des informations « sensibles » et les regards croisés des uns et des autres sur les effets cumulés de leurs politiques sont rares, sinon sous l’égide du Parlement.
39 L’idée d’une totale neutralité de l’évaluateur est une idée théorique, qui n’a jamais vraiment cours. La satisfaction du commanditaire de l’évaluation est une dimension importante dans la mise au point des éléments de diagnostic et des recommandations, tout autant que celle de l’évaluateur lui-même : jamais un cabinet de conseil ou d’audit ne hasardera son chiffre d’affaires ou sa réputation pour soutenir un diagnostic qui ne convienne radicalement pas à son client ; jamais un universitaire ne consacrera du temps à une évaluation qui ne soit pas directement utile à ses travaux de recherche, au positionnement de son équipe et à sa notoriété. Il faut bien de l’abnégation à un commanditaire, quel qu’il soit, pour s’entendre dire qu’il a fait fausse route et qu’il doit revoir les objectifs ou les modalités de son action, car ceux-ci sont inappropriés : l’évaluateur peut critiquer les prédécesseurs, les autres acteurs, les autres structures, proposer des changements sur ces points ; il veillera en revanche à fournir un diagnostic nuancé et mesuré, s’il identifie une erreur de pilotage dans les objectifs. L’évaluateur, autre que le Parlement, s’interroge rarement sur l’opportunité même d’un projet et la pertinence de ses objectifs : il aura tendance à focaliser son analyse sur la pertinence et l’adaptation des modalités mises en œuvre.
40 Tous les évaluateurs se débattent avec les indicateurs : rares sont ceux qui les estiment robustes et suffisants ; l’appréciation de la « satisfaction » de l’usager se heurte à de multiples difficultés, quand le « prix » d’une prestation publique rend mal compte de toutes ses dimensions. Comment mesurer dans les politiques sociales les effets d’une simplification des guichets, de la qualité des soins, de la correction de la trajectoire personnelle d’un exclu ? Les approches strictement chiffrées ont nécessairement leurs limites. À partir de là, où peut se situer l’objectivité ?
41 Les commanditaires étant pluriels, les contextes étant mouvants et diversifiés, les effets pas toujours directement mesurables, il n’y a rien d’étonnant à ce que les formes d’évaluation soient également multiples tout comme leurs enseignements complexes. Une évaluation n’est jamais qu’un travail de mise en forme de l’information, parmi d’autres, qui conduit, par son existence même, à faire évoluer les perceptions des acteurs et leurs pratiques. Mais il ne saurait prétendre à plus, ni être utilisé pour plus.
Ce constat conduit à s’interroger sur le bon usage de l’évaluation
42 Bien entendu, toutes les méthodes qui peuvent contribuer à se rapprocher de l’idéal fixé par le Conseil scientifique de l’évaluation, doivent être promues et développées dans la mesure où elles peuvent l’être, mais elles ne pourront jamais être appliquées que dans un certain contexte et aboutir à des résultats relatifs, qui conditionnent l’usage qui pourra en être fait.
43
L’IGF (tout comme d’autres inspections administratives) pourrait ainsi s’efforcer d’adapter ses méthodes d’intervention pour intégrer davantage les préconisations du Conseil scientifique d’évaluation, par diverses initiatives :
- s’adjoindre le concours d’universitaires, issus de disciplines qu’elle connaît moins bien, dans la conduite de ses travaux ou leur validation [10] ;
- développer ses interventions pour le compte de tiers, notamment le Parlement ou les collectivités territoriales, en leur présentant des offres de service et acquérir ainsi une connaissance plus approfondie des approches territoriales ;
- envisager sur certaines missions un temps d’enquête plus long, permettant d’associer des groupes d’acteurs à l’affinement du diagnostic et des propositions.
44 L’important est que la culture et le débat sur la performance progressent, que ces initiatives puissent être mises en réseau et portées à la connaissance de tous (ce qui n’est pas toujours le cas, encore qu’Internet ait considérablement fait évoluer les choses) et que les « bonnes pratiques » puissent être identifiées, mutualisées et exploitées tant par le Parlement que par le Gouvernement, ce qui ne leur interdit pas de lancer directement, le cas échéant, certaines évaluations pour faire avancer les projets qui leur paraissent prioritaires et sensibiliser l’opinion sur l’intérêt de certaines réformes.
45 C’est en tous les cas, le parti qu’ont pris depuis longtemps les États-Unis, notamment de deux manières complémentaires qui méritent d’être évoquées, l’une visant à évaluer les performances des programmes fédéraux sur une base homogène, partagée et formalisée, l’autre visant à promouvoir un développement des pratiques d’évaluation les plus diversifiées dans la sphère académique.
46 En premier lieu, le gouvernement fédéral américain a dégagé, depuis 2002, des moyens importants pour développer le Program assessment rating tool (PART) [11] : le PART est un questionnaire permettant de noter de façon synthétique la qualité respective des programmes fédéraux et pouvant être utilisé de façon simple (sur feuille excel) tant par les parlementaires, que par les services gestionnaires pour l’autoévaluation ou encore par les services budgétaires des ministères. Pour 20 %, les questions (binaires et précises) ont pour objet de déterminer si l’objectif du programme est clair et bien défini ; pour 10 %, ces questions portent sur la pertinence des outils et indicateurs de la planification stratégique, pour 20 %, sur la qualité de gestion du programme (y compris financière), pour 50 % sur les résultats dont les programmes peuvent rendre compte avec exactitude et constance. Les scores numériques résultant des réponses données aux 25 questions posées s’étagent entre 0 et 100 ; au-dessus de 85, un programme est « très efficace », entre 70 et 84, il est « efficace » ; il est jugé inefficace en dessous de la note 49. L’homogénéité du questionnaire permet de repérer les progrès réalisés d’année en année et les différents programmes entre eux. On est là dans une démarche à la fois pragmatique et formalisée, partagée par tous les acteurs.
47 Par ailleurs, la loi portant réforme du Welfare en 1996 (PRWORA) a prévu un dispositif financier de grande ampleur, permettant aux divers acteurs d’engager librement des évaluations de l’application de la loi, évaluations toutes consultables sur un site internet [12]. Cette démarche permet d’alimenter la recherche universitaire sur la gestion publique et d’alimenter tant la réflexion des administrations que les initiatives parlementaires et l’expression citoyenne.
48 On est assez loin d’une conception pyramidale de l’évaluation des performances publiques, telle qu’elle se dessine dans la LOLF et de la conception française actuelle du contrôle budgétaire. Cette conception voudrait qu’à un ou deux objectifs, stables dans le temps et clairement assignés à une politique par des représentants élus, correspondent des moyens parfaitement ciblés et programmables dans le temps ainsi que des responsabilités clairement identifiées une fois pour toutes. Cette conception quelque peu « balistique » [13] et planificatrice de l’action publique n’est peut-être plus tout à fait adaptée à la société plus complexe, plus décentralisée, plus réactive et mieux éduquée qui est la nôtre.
49 L’évaluation n’est qu’un mode parmi d’autres d’expression des connaissances et des opinions sur l’efficacité publique, probablement plus étayé que d’autres lorsqu’elle s’inspire des recommandations du Conseil scientifique de l’évaluation.
50 Elle doit être utilisée et développée comme telle, sans être exclusive de formes plus traditionnelles de débat public, de modalités plus confidentielles de contrôle ou d’audit, ni de modes plus rapides et plus opérationnels de prise des décisions.
Rapports publiés de l’Inspection générale des finances, concernant le domaine des politiques sociales (période 2004-2008)
Année 2004
51 IGF, IGAS, IGE (Inspection générale de l’environnement) : Application de la loi du 1er juillet 1998 relative au renforcement de la veille et du contrôle sanitaire.
52 IGF, IGAS : L’assurance de responsabilité médicale.
Année 2005
53 IGF, IGAS : La collecte de la taxe d’apprentissage.
54 IGF, IGAS : Le pilotage des dépenses hospitalières.
55 IGF, IGAS : La situation financière des centres d’hébergement.
Année 2006
56 IGF, IGAS : L’allocation aux adultes handicapés.
57 IGF, IGAS : La gestion de l’allocation spécifique de solidarité.
58 IGF, CGPC, IGA : La politique du logement social outre-mer.
59 IGF, IGAS, IGA : L’impact socioéconomique des exonérations de charges spécifiques à l’outre-mer.
60 IGF, IGAS : La situation des ateliers et chantiers d’insertion.
61 IGF, IGAS : La gestion de l’allocation de parent isolé.
62 IGF, IGAS, CGPC : La rationalisation de la gestion des aides personnelles au logement.
63 IGF, IGAS : L’aide médicale d’État.
64 IGF, IGAS : Les agences régionales d’hospitalisation et le pilotage des dépenses hospitalières.
Année 2007
65 IGF : Audit de modernisation de la gestion de la prime pour l’emploi.
66 IGF, IGAS, IGA : L’impact de la décentralisation sur les administrations d’État – Affaires sociales.
67 IGF : La gestion pluriannuelle des finances publiques.
68 IGF : Les achats publics socialement responsables.
69 IGF, IGAS, CGTI (Conseil général des technologies de l’information) : Le dossier médical personnalisé.
70 IGF : Les méthodes statistiques d’estimation du chômage.
71 IGF : Rapport de la Commission sur la mesure du pouvoir d’achat.
Année 2008
72 IGF : Les services à la personne : bilan et perspectives.
73 IGF, IGAS : La pertinence et la faisabilité d’une taxation nutritionnelle.
74 IGF : La mise en place du revenu de solidarité active (2e volet).
Notes
-
[*]
Inspectrice générale des finances.
-
[1]
Cet article analyse la situation en octobre 2008, date à laquelle la rédaction a sollicité cette contribution.
-
[2]
Cf. bibliographie en annexe. Tous les travaux de l’IGF ne sont pas publiés, la décision de publication relevant de la responsabilité des ministres. Les travaux publiés sont mis en ligne sur le site http://www.igf.minefi.gouv.fr et sont également consultables sur la bibliothèque des rapports publics de La Documentation française.
-
[3]
Délais assez analogues à ceux des autres corps d’inspection.
-
[4]
Tenant aux délais d’appel aux candidatures pour les uns, aux coûts induits pour les autres ou encore aux modalités particulières de programmation et d’intervention de la Cour et des chambres régionales des comptes.
-
[5]
Ces qualités de rapidité des inspections ministérielles et interministérielles n’ont pas échappé à l’époque au Conseil scientifique de l’évaluation ni au Conseil national de l’évaluation qui ont fait souvent appel à ces services pour établir les éléments initiaux de diagnostic dont les instances d’évaluation pouvaient avoir besoin.
-
[6]
À supposer que de telles autorités puissent exister vraiment, la carrière antérieure ou postérieure de leurs membres les plaçant à l’abri de toute pression.
-
[7]
Cette perception est d’autant plus vive que l’opinion n’a connaissance que des rapports publiés avec l’accord des ministres, qui ont de faibles probabilités d’exprimer une opinion radicalement divergente par rapport à celle de leurs administrations, même si elle est parfois sensiblement plus nuancée, du fait du caractère généralement conjoint des missions. Dans bien des cas au demeurant, le travail réalisé au sein d’une inspection conjointe permettra de rapprocher les positions des différents ministères sur une question, de façon plus approfondie qu’en réunion interministérielle et de dégager un consensus sur certains points, utile aux décideurs.
-
[8]
Cas rencontré notamment dans l’enquête des ateliers et chantiers d’insertion : les statistiques disponibles sont apparues anciennes, moyennement fiables, partiellement inadaptées et inexploitables pour apprécier l’efficacité comparée des diverses associations dans le retour vers l’emploi.
-
[9]
Ce point est apparu particulièrement bloquant dans la mission sur la taxe nutritionnelle : la mission conjointe n’a pu établir de modélisation des comportements des consommateurs par rapport à la variation des prix alimentaires et n’a pu que recommander que de telles modélisations soient mises en place par les autorités scientifiques compétentes pour le faire.
-
[10]
Il pourrait, par exemple, se révéler utile et novateur de constituer des comités de pilotage scientifiques auprès du Service, que celui-ci pourrait associer à la conduite de travaux plus approfondis d’évaluation ex post ou ex ante.
-
[11]
Sur le détail de ce programme voir : http://www.whitehouse.gov/omb/expectmore/summary/10000186.2002.html
- [12]
-
[13]
Qui voudrait qu’il n’y ait qu’une cible, une seule armée, disposant de la liberté d’utilisation de ses armes et un seul résultat, décidant du sort de la guerre.
