La statistique publique pour répondre aux besoins de connaissance des acteurs économiques et sociaux

4« L’information économique et sociale est un facteur de base de la démocratie ». Cette idée, chère à Claude Gruson, directeur général de l’INSEE dans les années 1960, a déterminé mon entrée à l’Insee quelques années plus tard [2]. À l’époque les travaux du Plan combinaient toutes les informations disponibles dans des commissions qui rassemblaient l’ensemble des acteurs d’un domaine pour débattre des orientations à prendre ; ayant fait des prévisions de consommation détaillées par produits, j’ai participé à diverses commissions sectorielles (comme celle du Textile-Habillement, ou celle de l’Automobile) où les acteurs en présence aux intérêts divers sinon divergents se saisissaient volontiers des chiffres pour asseoir leurs arguments. Le chiffre devenait l’arbitre de leurs différends, et la jeune statisticienne était prise à témoin pour trancher, passant de la posture de témoin à celle de juge-arbitre, avec le poids de l’argument chiffré.

5Ces commissions orientaient également les travaux statistiques, en signalant les besoins d’information nécessaire pour mieux comprendre le fonctionnement social et éclairer les décisions publiques. Ainsi le programme d’enquêtes auprès des ménages a-t-il été inclus et financé dans les priorités stratégiques du VI^e Plan : structuré autour de deux enquêtes annuelles à portée générale (emploi, d’une part, budget – conditions de vie, d’autre part), complété d’enquêtes thématiques périodiques, il avait l’objectif de couvrir tous les aspects des conditions de vie dans un cycle de dix ans (logement tous les trois ans puis cinq ans ; santé tous les dix ans, etc.).

6Cette fonction d’intermédiation entre la demande d’information des acteurs sociaux et les programmes statistiques est désormais jouée par le Conseil national de l’information statistique (CNIS), dans une version plus passive, en l’absence de l’interaction dynamique des parties prenantes autour d’une même question sociale à traiter ensemble. Depuis deux ans, quelques controverses (sur la mesure du chômage ou sur la mesure de la discrimination et les statistiques ethniques) ont réanimé des débats au sein du CNIS, mais ce débat reste, par nature, focalisé sur l’aspect de la mesure et ne s’inscrit pas dans la dynamique d’un débat stratégique sur les grandes options économiques et politiques.

De l’aide à la décision au jugement public : la magistrature du chiffre

7Quand les chiffres de la statistique publique se manifestent dans l’espace public, ils deviennent des arguments du débat : la hausse des prix, le chiffre du chômage, le taux de croissance du PIB ; leur annonce est un moment où l’action publique est « jugée » par un indicateur conjoncturel. Le chiffre devient juge de la qualité de la politique menée. Combien d’hommes politiques (ou de femmes plus récemment) n’ont-ils pas craint tous les mois la publication du taux de croissance du chômage, de l’indice des prix, de l’indicateur trimestriel de croissance du PIB ? La presse et l’opinion publique utilisant ces indices comme une évaluation de leur politique.

8Car évaluer c’est porter une appréciation (un jugement de valeur) sur l’action publique. Or le chiffre en soi n’est pas seul juge de la qualité d’une politique, contrairement à une idée très répandue qui veut donner à la statistique « officielle » et réputée neutre et impartiale la qualité d’une « magistrature du chiffre ».

9Cette omnipotence du chiffre a été dénoncée sur deux registres :

10•?L’énoncé d’un taux de croissance ne préjuge pas ce que l’on en pense ; encore faudrait-il être d’accord sur les objectifs de la politique : la croissance économique est-elle une fin en soi ? Mesure-t-elle le bien être de la population ? Et qui en décide ?

11•?Le chiffre ne mesure que ce qui est mesurable. Dans la période de croissance de l’après-guerre, le taux de croissance du PIB était devenu le juge suprême, l’arbitre ultime, en dépit de ses limites. L’opinion publique après 1968 l’a remis en cause, en demandant à la statistique de porter plus d’attention aux phénomènes non mesurés par l’échange marchand, qu’ils soient de natures économiques, sociaux ou environnementaux.

Comment améliorer l’expertise ?

12La complexité des phénomènes sociaux s’accorde mal des seules mesures monétaires mobilisées dans les comptes économiques. L’analyse des faits économiques s’est restreinte à ceux des seuls faits mesurables (Malthus, 1820 ; Pigou, 1934). Devant la critique faite au PIB de ne pas être un indicateur de bien-être, au cours des années 1970, les experts ont tenté de la dépasser dans quatre directions (Blum-Girardeau, 1971) :

• construire et suivre d’autres indicateurs : des indicateurs sociaux qui s’ajoutent à ceux de la Rationalisation des choix budgétaires (RCB) alors en vogue – aujourd’hui les indicateurs de développement humains du PNUD tentent d’y répondre (Meda, 1999 ; Viveret, 2003 ; Gadrey, Jany-Catrice, 2005) ; c’est la commande passée au rapport Stiglitz (2009) ;
• publier un « état de la société française » : un document de synthèse qui serait le pendant social et complet des comptes nationaux : ce fut « Données sociales », complété ensuite par « Portrait social » ;
• enrichir ces comptes nationaux de comptes sectoriels (logement, santé, culture, tourisme…) qui contiendraient des indicateurs non monétaires : nombre de lits d’hôpitaux, de logements, mobilité sociale, etc. : ce furent les comptes dits « satellites » de la protection sociale, du logement, de la santé… ; et les compléter par des comptes de patrimoine (Benedetti et al., 1981).
• expérimenter diverses façons de valoriser les phénomènes non marchands (ressources naturelles, travail domestique) (Chadeau, Fouquet, 1981). La quantification du travail domestique a contribué à changer le regard que la société portait alors sur les activités domestiques jusque-là cantonnées dans un univers féminin invisible, et ce, en dépit de revendications fortes (Fouquet, 2001 ; Fouquet, Measson, 2009).

13Comme dans la quantification du travail domestique, il s’agit de rendre visibles et calculables des objets et des faits sociaux invisibles, et absents des grands arbitrages. Le travail des experts est de les objectiver pour leur donner une place visible et reconnue dans l’espace de décision pour sortir de l’indécidable. Comme dans la démarche parallèle de la RCB, les experts qui détiennent le savoir, améliorent leurs outils pour orienter la décision publique.

14Ces quatre orientations procèdent toutes d’une même posture : elles visent à conforter la vision surplombante de la technostructure par le discours « supposé sachant » de l’expert (top down). Or les réflexions sur la gouvernance de mondes complexes, avec de multiples acteurs, aux intérêts multiples et imbriqués, amène à reconsidérer la notion d’intérêt général (Rosanvallon, 2006) pour lui préférer celle de bien commun, qui ne se décrète pas du haut, mais se construit avec les acteurs (bottom up). C’est la posture de l’évaluation des politiques publiques.

Un risque majeur et répandu : la confusion entre constat et jugement

19L’usage d’indicateurs ne suffit pas à apprécier la valeur de la politique menée. Constater n’est pas évaluer : un même constat peut donner lieu à des jugements de valeur bien différents selon le point de vue de l’observateur. Imaginons qu’on observe par exemple 5 % de lits vacants dans un établissement d’hébergement de personnes âgées : est-ce beaucoup ? Trop ? Ou trop peu ? Pour le directeur financier de l’établissement, soucieux de maximiser les recettes, cela sera toujours trop ; pour les responsables politiques du développement de l’hébergement temporaire, cela ne sera pas suffisant pour gérer les aléas de la demande ; pour le personnel surchargé, cela sera encore trop peu, etc. Chacun porte sur le même constat une appréciation différente qui dépend du point de vue professionnel de chacun.

20Or il est fréquent d’omettre l’étape qui permet de passer du constat au jugement.

21Le rôle de l’expert est de fournir les éléments du constat : le coût du chômeur évité, l’impact des 35 heures sur la croissance et l’emploi, pour citer des exemples qui font débat. Les hypothèses de calcul de différents experts peuvent varier, les méthodes d’estimation aussi. Une confusion s’installe dans le débat d’experts quand certains affirment avoir évalué le dispositif alors qu’ils ont seulement estimé la valeur d’un paramètre d’un modèle. « Estimer la valeur », c’est bien « évaluer », mais quelle valeur a-t-on estimé : le paramètre d’un modèle ? ou la pertinence de la politique ? Or le raccourci est fréquent : quand ce modèle économétrique cherche à « estimer la valeur du coût du chômeur évité par un dispositif public », l’économètre va parfois (souvent) dire, par abus de langage, qu’il a « évalué le dispositif ». Or il n’en a estimé qu’une seule dimension, le coût. Il n’a pas considéré d’autres aspects qui pourraient être aussi importants selon d’autres points de vue : le maintien du revenu ou de la dignité pour le bénéficiaire par exemple, ou le point de vue de l’entreprise qui l’a embauché, ou le point de vue du politique qui a l’œil rivé sur le nombre de chômeurs, etc. Parler alors d’évaluation du dispositif est un abus de langage ; l’évaluation du dispositif devrait prendre en compte tous ces aspects et les porter au débat, de même que les hypothèses du modèle.

22Avant d’être reconnue comme un constat, l’estimation tirée d’un calcul économétrique à partir d’hypothèses, mérite d’être discutée : le choix des hypothèses, la méthode retenue, influent sur le résultat. Ce débat mérite d’être organisé, voire public, pour permettre une avancée collective : aucun résultat de calcul n’est faux a priori, par contre son domaine de validité dépend du choix des hypothèses ; le jugement que chacun en tire ne peut les ignorer, car les hypothèses implicites des uns ne sont pas forcément celles des autres, et relèvent des préférences (valeurs morales, éthiques, politiques…).

23Le débat permet de faire progresser collectivement la connaissance et la justesse du constat. C’est ensuite à partir de ce constat partagé ou nuancé de la connaissance des hypothèses que chacune des parties prenantes peut porter un jugement ou apprécier la pertinence du dispositif, selon son propre point de vue et ses « valeurs ». L’évaluation finale tiendra compte de ces différents points de vue, laissant au politique le soin de décider en toute connaissance de cause (Jacot et al., 2007).

Performance et évaluation

24La « culture du résultat », portée par la LOLF, ou par le discours gouvernemental récent, amorce un changement culturel profond. Si l’on en suivait la portée jusqu’au but ultime, il s’agirait de passer des indicateurs de suivi des réalisations (l’activité des services) à un pilotage de l’action publique par les résultats (les conséquences de ces réalisations sur la société, à court terme, ou ses impacts, attendus ou inattendus, à moyen terme). Pour l’instant, dans le meilleur des cas, la LOLF se limite à la performance (suivi de l’activité et de ses réalisations, rapportée au coût).

25Passer du suivi de l’activité du service à l’étude de ses résultats et impacts, ce serait passer du contrôle de gestion (pilotage opérationnel) à l’évaluation. L’évaluation analyse ce que ne peut pas produire à lui seul le système de suivi, notamment les conditions de la mise en œuvre, en particulier celles qui sont nécessaires à l’atteinte des résultats, et en fournissant à ce propos des indicateurs d’alerte. Elle complète le travail d’analyse des données de suivi en fournissant une vision de moyen terme qui intègre le contexte socioéconomique et politico-institutionnels (Zucker, 2002).

26Un autre écueil, c’est la confusion entre certification et évaluation. La loi 2002-2 du 2 janvier 2002 rénovant l’action sociale et médicosociale a institué l’obligation pour les établissements sociaux et médicosociaux de procéder à une évaluation interne et externe périodique. L’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médicosociaux (ANESM), créée dans le but d’accompagner la mise en œuvre de ces évaluations par des recommandations et des échanges de pratique, a bien du mal à dissocier démarche qualité, certification de procédures et évaluation proprement dite (qui suppose de partir du projet d’établissement et d’analyser avec les agents tant sa mise en œuvre que sa pertinence et sa cohérence avec les objectifs de la loi, dans une démarche collective d’amélioration de l’action).

27Dépassant la simple mesure de l’efficacité (écart entre objectifs et résultats) et de l’efficience (au meilleur rapport coût/ résultats) à laquelle se limite souvent l’analyse de la performance d’une organisation, l’évaluation de l’action publique (organisations, dispositifs, programmes ou politiques publiques) vise à en apprécier la pertinence (comparaison entre impacts et besoins sociétaux auxquels l’action voulait répondre) (SFE, 2009). Elle apporte des éléments de connaissance que ne donnent pas les seuls indicateurs de suivi, en analysant l’enchaînement des causes qui ont amené aux résultats observés et en appréciant l’imputabilité des résultats.

Le pilotage par les indicateurs : la dictature du chiffre

28Bien souvent, des indicateurs mis en place pour suivre l’activité d’un service deviennent des objectifs en soi ; confondant réalisation du service (son activité quotidienne) et résultats de l’action. Les effets pervers en sont que seul sera suivi ce qui est dans l’indicateur, au mépris de l’aspect systémique d’un programme ou d’une politique. On passerait de la magistrature du chiffre, à la dictature du quantitatif ; le pilotage par les indicateurs a été maintes fois critiqué (Brunetière, 2006 ; Hood, 2007 ; Perret, 2006 [4]).

29L’indicateur éclaire une portion de la réalité comme le réverbère son cône de lumière : le risque est de ne chercher ses clés que sous le réverbère, de ne suivre que les effets visibles d’un dispositif au mépris des grands effets cachés dans l’ombre [5]. Mesurer la performance d’un hôpital par l’indicateur du taux de mortalité des patients, illustre l’effet pervers d’une vision simpliste de la réalité qui pourrait se limiter à un chiffre : pour être bien « noté » sur cet indicateur, il suffit de refuser d’admettre à l’hôpital les patients les plus malades. Une batterie d’indicateurs est déjà plus raisonnable mais plus complexe à décrypter.

30Évaluer suppose d’analyser l’enchaînement des causes qui font varier les indicateurs. Il peut y avoir désaccord sur l’interprétation de la variation de l’indicateur. En matière de sécurité routière, par exemple, une hausse du nombre de contraventions données pour excès de vitesse, peut être considérée comme positive (la police a bien travaillé), ou comme négative (il y a encore trop de gens qui font des excès de vitesse). Dans le premier cas, l’indicateur est considéré du point de vue de l’activité des services ; dans le second l’indicateur s’intéresse à l’impact sur les comportements.

31La construction des indicateurs de la LOLF a été l’occasion de commencer à quantifier objectifs et résultats par des indicateurs, diffusant un zeste de culture du chiffre (et du contrôle de gestion, avant celle de l’évaluation) dans les administrations jusque-là peu concernées par la statistique. Mais on est encore loin de l’évaluation (Brunetière, 2006 ; Perret, 2006). Comprendre l’enchaînement des causes dans un apprentissage collectif pour améliorer l’action publique, ne se résume pas à suivre des indicateurs.

Les atouts

36La collecte d’information est devenue plus facile et plus accessible. Les outils bureautiques permettent aux opérateurs gestionnaires de construire et suivre des indicateurs d’activité, et de mesurer les réalisations annuelles de leur action. Ils n’ont plus besoin de faire appel au service statistique pour savoir plusieurs mois plus tard, quels ont été leurs réalisations (comme le nombre de conventions de contrats aidés signées), et leurs résultats (le nombre de chômeurs embauchés).

37Cette reprise en main des données de suivi par les organismes gestionnaires de dispositifs se généralise avec la LOLF qui oblige à mettre en place un contrôle de gestion. C’est un atout pour l’évaluation dans la mesure où un système d’information est déjà en place. C’est une difficulté pour les services statistiques ministériels (SSM) qui doivent se repositionner pour ne pas apparaître concurrents sur les données de suivi en publiant avec quelques mois de retard des chiffres différents (car redressés) de ceux plus rapides donnés par le contrôle de gestion.

38La valeur ajoutée du service statistique ministériel (SSM) est d’apporter sa compétence pour la mesure des résultats, au-delà des réalisations. Par exemple, au-delà du comptage du nombre de contrats aidés placés par les opérateurs (mesure de réalisations), il s’agira de repérer qui sont les personnes aidées réparties selon certains critères (sexe, âge, parcours antérieur), soit par comptage prévu à l’origine (ce qui suppose une bonne collaboration au moment de la mise en place du dispositif), soit par enquêtes spécifiques sur un échantillon de bénéficiaires. Il est très difficile de faire comprendre aux responsables de dispositifs qu’une statistique redressée est meilleure qu’une donnée administrative prétendument exhaustive mais aléatoirement incomplète…

39Dans ce nouveau contexte, où les données de suivi sont produites par les opérateurs gestionnaires, les enquêtes dites « en population générale » nécessaires à l’évaluation des impacts restent du ressort du système statistique (enquêtes panel auprès des bénéficiaires d’emplois aidés, sortants du RMI, santé-invalidité-handicap, etc.). Les échantillons de ces enquêtes peuvent être renforcés sur certaines aires géographiques à la demande de collectivités locales. Encore faut-il que les échéances des uns et des autres coïncident.

40Pour évaluer leurs politiques, certains départements font déjà réaliser des enquêtes auprès de leurs bénéficiaires pour en apprécier les résultats, voire même les impacts des dispositifs dont ils sont chargés. Ainsi le conseil général du Val-d’Oise a-t-il fait réaliser une enquête quantitative et qualitative auprès des bénéficiaires du RMI pour suivre leur parcours et connaître leur avis sur les offres d’insertion apportées par le conseil général. Dans le Val-de-Marne, le conseil général a mis en place une mission d’information et d’évaluation sur les « actions d’insertion », et une autre sur le logement d’urgence (Nouailles, 2009) ; la direction de la prévention sociale a également mis en place une recherche – action avec un laboratoire universitaire pour « objectiver » le travail social de prévention dans les quartiers et pouvoir ensuite en évaluer les résultats, etc. Autre exemple : le conseil général des Bouches-du-Rhône a initié une évaluation du RMI, etc. On pourrait multiplier les exemples d’initiatives locales qui relèvent, certes, le plus souvent des plus gros départements. Mais ces initiatives restent peu diffusées, peu connues et peu comparables.

Sortir de la confusion des langues : la coordination par les nomenclatures et les systèmes d’information

41La diffusion des outils bureautiques et le besoin de chaque service de suivre son activité et de se doter d’indicateurs, génèrent quantité de façons de coder les faits sociaux. On se retrouve avec la décentralisation dans la situation de la statistique des préfets de 1802. Hormis les nomenclatures d’activité économique gérées par l’INSEE, les « remontées d’information » qui permettaient de produire de la statistique nationale deviennent souvent impossibles faute de s’entendre sur les façons de compter.

42Mais ne faut-il pas changer de posture ? La décision publique étant décentralisée, les besoins d’information au niveau central ne sont plus les mêmes.

43Le rôle imparti à l’Insee – et plus généralement au système statistique public – dans son décret fondateur, de coordonnateur des nomenclatures, pourrait devenir un rôle de coordonnateur des systèmes d’information dans une construction collégiale. C’est le pari réussi de la CNSA pour les maisons départementales du handicap (MDPH) dans une concertation longue et récurrente assortie d’expérimentations. La statistique publique ne peut plus méconnaître les systèmes d’information d’où sortent désormais bien des statistiques.

44Le caractère « décentralisé » du Système statistique public avec les services statistiques ministériels est un atout. Les statisticiens publics ne devraient-ils pas devenir aussi des spécialistes des systèmes d’information [6], dans le respect de la nouvelle Constitution qui fait de la France non plus une république jacobine, héritière en droite ligne de la souveraineté monarchique, mais une « république décentralisée », où l’autorité publique est partagée entre les divers niveaux de collectivités ?