1Dans son article « Des politiques publiques aux programmes : l’évaluation sauvée par la LOLF ? Les enseignements de la politique de la ville », Renaud Epstein porte un jugement très critique sur les orientations actuelles en matière d’évaluation des politiques publiques, notamment en ce qui concerne la politique de la ville prise ici comme exemple. Il réalise pour cela une lecture croisée de trois approches : un rappel historique sur l’évaluation de la politique de la ville et les débats auxquels elle a conduit depuis son origine, d’une part, une analyse des évolutions introduites en matière de suivi et d’évaluation de programmes par la loi organique relative aux lois de finances du 1^er août 2001 dite LOLF et par la loi du 1^er août 2003 d’orientation et de programmation pour la ville et la rénovation urbaine dite « loi Borloo », d’autre part, et enfin une lecture des conditions de mise en œuvre du programme national de rénovation urbaine (PNRU).

2De ce matériau, l’auteur tire un constat sévère concluant que l’on assiste à une « régression évaluative », marquée notamment par une « conception technocratique de l’évaluation », au détriment d’une conception démocratique « formant un jugement collectif afin de nourrir le débat public ».

3Il évoque ainsi une réduction des ambitions : l’évaluation de programmes délimités dans leurs objectifs, finalités et modes de mise en œuvre tendant à se substituer à une évaluation plus globale de politiques publiques prises dans leur ensemble.

4Au-delà des appréciations portées par l’auteur sur tel ou tel aspect de la politique de la ville et des évaluations qui ont, ou non, été mises en œuvre, ou sur l’hypothèse avancée d’un lien entre la qualité scientifique d’une évaluation, son apport à la qualité du débat démocratique, et ses effets en retour sur la mise en œuvre des politiques, cet article prend position sur une question qui constitue la trame de fond de ce numéro de la RFAS : quelles sont les finalités de l’évaluation ? C’est cette position que nous souhaiterions discuter dans cette contribution.

5Tout d’abord l’auteur met en avant un idéal, l’évaluation « démocratique », au nom duquel mesurer les effets d’actions déterminées ne pourrait constituer qu’un apport mineur : « Si l’on adopte une conception technocratique de l’évaluation, considérant que l’exercice vise justement à reconnaître les effets propres d’une politique publique (Deleau et al., 1986), il convient de souligner la cohérence et le succès de la réforme opérée en 2003. En revanche, si l’on privilégie une conception plus démocratique de l’évaluation, lui conférant la charge « d’accroître la qualité de la vie démocratique » en formant un jugement collectif sur la valeur d’une politique publique afin de nourrir le débat public (Viveret, 1989), il faut convenir que les avancées sont bien maigres ».

6Ensuite, compte tenu de sa vision d’une évaluation globale de la politique de la ville, il considère comme secondaires les approches plus délimitées, s’attachant concrètement à des territoires ou des programmes donnés.

7Enfin, il critique la tentative de la loi Borloo de 2003 de préciser les finalités de la politique de la ville et d’en évaluer la réalisation au travers d’une batterie d’indicateurs suivis annuellement par l’Observatoire national des zones urbaines sensibles (ONZUS) considérant qu’elle prend les moyens pour les fins : « Tout, dans la loi Borloo, a été fait pour rendre la politique de la ville évaluable, au point d’inverser les rapports entre la politique de la ville et son évaluation : les outils de l’évaluation n’ont pas été construits en fonction des objectifs impartis à cette politique ; au contraire, ce sont les enjeux et les objectifs de cette politique publique qui ont été redéfinis en fonction de l’exigence de mesure des résultats et des instruments administratifs disponibles pour ce faire. »

8Ce sont ces trois thèses que nous souhaiterions rapidement discuter ici, au nom d’une conception pragmatique de l’évaluation basée sur ses usages administratifs et sociaux. L’enjeu d’une démarche évaluative n’est pas l’évaluation pour elle-même et la recherche de sa conformité par rapport à des canons définis par ailleurs ; il est avant tout d’améliorer l’action publique, dont elle n’est jamais qu’un moyen.

9Dans cette optique, le fait de s’attacher à mieux évaluer des programmes d’actions délimités concourant à une politique publique donnée, fait partie intégrante de l’évaluation de cette politique et en est une composante indispensable. A contrario, privilégier l’approche globale d’une politique, sans s’intéresser aux programmes d’actions qui la constituent peut faire perdre de vue le fait qu’au-delà de principes généraux rarement univoques, une politique publique s’exprime en pratique par un ensemble d’actions menées en son nom [1]. Ainsi, loin d’opposer l’évaluation de programmes à celle de politiques, il faut considérer que cette dernière, qui n’est jamais achevée, se dessine progressivement à partir d’un ensemble d’approches diversifiées, dont elle essaie de faire une synthèse. Loin d’être quantités négligeables, celles-ci sont même le cœur de la démarche évaluative, le véritable problème étant, alors, celui de l’organisation et du pilotage plutôt que le caractère plus ou moins scientifique ou démocratique de la démarche : comment faire en sorte que les travaux engagés permettent d’approcher, de façon suffisamment cohérente, les principales questions évaluatives auxquelles on cherche à répondre ?

10Une démarche évaluative pragmatique et progressive commencera donc par s’attacher à mieux connaître et comprendre les conditions de mise en œuvre et les effets d’actions déterminées, de manière à en améliorer les résultats par rapport aux finalités poursuivies. Et c’est bien parce que cette première étape, peu noble parce qu’elle s’apparente à un simple suivi, est souvent négligée, que l’on a du mal à consolider des jugements plus globaux. Il n’est qu’à se rapporter aux nombreux constats de carence de l’information disponible portés ces dernières années par les évaluations « généralistes » pour se le rappeler.

11La politique de la ville est difficilement réductible à un ensemble totalement cohérent, une sorte de cathédrale gothique dont chacune des parties ne prendrait sens que par rapport à la structure d’ensemble. Elle doit plutôt être vue comme un assemblage mobile d’éléments ayant leur propre finalité, en grande partie indépendants, au-delà de leur contribution à une politique d’ensemble dont ils sont une des composantes. En termes d’évaluation, cela veut dire que l’évaluation de chacune des composantes, en vue de son amélioration, a une utilité propre indépendamment de sa contribution éventuelle à une politique plus globale.

12Ainsi, la politique de la ville repose aujourd’hui sur un ensemble d’options, ou de programmes, en grande partie détachables les uns des autres :

• elle s’incarne sur des territoires délimités, des « quartiers » déterminés à l’intérieur de certaines communes ou agglomérations, formant ce qu’il est convenu d’appeler la « géographie prioritaire de la politique de la ville » ;
• elle est menée dans le cadre de contrats pluriannuels passés entre des communes ou regroupements de communes et l’État, auxquels s’ajoutent en général d’autres partenaires (conseil général, CAF…) ; les contrats actuels, signés début 2007, s’achèvent en principe fin 2010 ; il y a actuellement environ 500 « contrats urbains de cohésion sociale » regroupant 2500 « quartiers prioritaires » ;
• sur chacun des territoires concernés par un contrat, est décidée une programmation coordonnée d’un ensemble d’actions conduites par les signataires sur la base d’une analyse préalable des difficultés propres du territoire, mais aussi de ses atouts et des caractéristiques et potentialités de l’ensemble urbain dans lequel il s’insère ; ce programme doit donner lieu à évaluation ;
• ces programmes comprennent pour l’essentiel des actions dites de « droit commun », c’est-à-dire correspondant aux domaines propres de responsabilité de chacun des signataires du contrat, mais avec une déclinaison particulière, ou supplémentaire, sur ces territoires, à l’image des actions conduites en matière d’éducation dans les zones d’éducation prioritaires (ZEP), même si celles-ci obéissent à une géographie particulière ; pour l’État, cela recouvre les actions financées par les crédits de chacun des ministères, pour la commune, le conseil général, la CAF, le service public de l’emploi… celles correspondant à leurs domaines de compétence ;
• ces actions de « droit commun » visent en principe à mobiliser sur les quartiers concernés un peu plus de moyens, ou à mettre en œuvre des actions complémentaires par rapport à celles menées au même titre sur le reste du territoire ; pour ce faire, les communes concernées peuvent recevoir une dotation spécifique, la « dotation de solidarité urbaine », venant abonder leur dotation générale de fonctionnement ;
• les actions de droit commun sont complétées par des programmes spécifiques, additionnels, financés à l’aide de crédits particuliers et conduits principalement par deux agences spécialisées, l’Agence nationale pour la rénovation urbaine (ANRU) pour la rénovation urbaine, l’Agence nationale pour la cohésion sociale et l’égalité des chances (Acsé) pour les actions en direction des habitants ;
• au niveau national est mise en place une « boîte à outils » de programmes d’actions particuliers, répondant à des modes d’intervention relativement standardisés et s’appuyant en général sur des enveloppes financières spécifiques ; ces programmes sont conduits dans certains cas par différents ministères sur leurs propres moyens (par exemple, le « contrat d’autonomie » en direction des jeunes en matière d’emploi), soit par l’ANRU pour le programme national de rénovation urbaine (PNRU), soit par l’Acsé qui pilote pour sa part une quarantaine de programmes particuliers (réussite éducative, médiation sociale – adultes relais, ville – vie – vacances, parrainage en matière d’emploi, aide à la création d’entreprises…).

• s’interroger sur la géographie prioritaire : cela a-t-il un sens de concentrer certaines actions sur certains territoires ? Si oui, comment les identifier et les définir ? Faut-il une géographie très resserrée sur quelques territoires en grande difficulté, ou faut-il adopter une définition plus large, intégrant des territoires en risque de décrochage ? Faut-il rester intangible sur la notion de « quartier » ou ne convient-il pas de réserver un traitement particulier à certains territoires plus larges (Seine-Saint-Denis, ex-bassin minier du Nord…) ? Dans ce cadre-là, est-on encore dans une politique de la ville ou parle-t-on plutôt d’aménagement du territoire ? Comment faire évoluer cette géographie prioritaire au cours du temps, sachant que les différents territoires peuvent connaître des évolutions contrastées, favorables ou défavorables ?
• s’interroger sur le processus de contractualisation : la question posée par ces territoires ne renvoie-t-elle pas aux responsabilités propres des communes et des autres collectivités locales, l’État ayant principalement à veiller, dans ce domaine, à réduire les inégalités entre communes en matière de ressources fiscales ? A contrario, l’État ne devrait-il pas être plus directif, en assortissant son intervention d’obligations pesant en parallèle sur les collectivités concernées ? La grande liberté laissée dans le cadre de chaque territoire à la définition des priorités des programmes d’actions ne devrait-elle pas être plus encadrée, en distinguant des « figures libres » et des « figures imposées » ?
• la complémentarité entre programmes additionnels ou spécifiques et actions de droit commun conduites par chacun des échelons de la puissance publique (État et collectivités locales) conduit-elle réellement à un renforcement des moyens sur ces territoires ou n’assiste-t-on pas à un effet de substitution, dans un contexte de contrainte forte sur les finances publiques ? n’y aurait-il pas des effets de doublonnement entre programmes concurrents, d’une part, et des sujets non traités, d’autre part ?
• pour chacun des programmes thématiques, notamment ceux faisant partie de la « boîte à outils » nationale, il convient, d’une part, d’analyser leurs modalités de mise en œuvre sur chacun des territoires en identifiant les situations pouvant servir d’exemple et les erreurs à ne pas commettre et, d’autre part, d’en évaluer les effets par rapport aux résultats attendus ;
• enfin, la politique d’ensemble se concrétise en pratique par l’ensemble des programmes d’actions concertées conduits dans le cadre de chacun des 500 contrats passés au niveau local ; une dialectique complexe doit ainsi être construite entre évaluations locales et évaluation nationale : le bilan national est la résultante, à un moment donné, d’interventions menées au niveau local dont les résultats peuvent être très contrastés selon les contextes locaux, et les actions conduites ; un enjeu important de l’évaluation doit être ainsi de fournir aux acteurs locaux, qui sont ceux qui conduisent réellement la politique, les moyens d’identifier, chacun pour ce qui le concerne, dans les actions conduites par leurs homologues dans d’autres territoires celles qui pourraient leur permettre d’améliorer leur propre intervention.

13Il faut aussi, au-delà de leurs objectifs administratifs, souligner l’importance des usages sociaux de tels programmes d’évaluation, que Renaud Epstein considère pourtant comme mineurs [2]. Ils constituent des moments et des modalités d’interrogation sur la pertinence et l’efficacité des actions conduites, qui participent activement, quoique de manière diffuse, de la mobilisation et de la coordination des différents acteurs d’une politique publique requérant l’action d’un très grand nombre d’intervenants (État, collectivités, associations, etc.).

14Nous ne pourrions terminer ce rapide tour d’horizon, sans aborder une question se situant en amont de l’évaluation de la politique de la ville, parce qu’elle en est au fondement : l’idée qu’il faut concentrer une forme d’action publique sur certains territoires cumulant un ensemble de difficultés. On peut penser en effet que les difficultés exacerbées de certains de nos territoires trouvent principalement leur origine dans des processus plus généraux de différenciation sociale et spatiale à l’intérieur du pays, cette concentration de difficultés étant en quelque sorte un double en miroir de la concentration de richesses et de pouvoirs sur d’autres territoires. Dans cette optique, l’essentiel de la politique à conduire visera soit le renforcement de politiques générales (développement de l’emploi et de l’activité économique, éducation et lutte contre l’échec scolaire, lutte contre l’exclusion…), d’une part, soit l’inflexion de processus sociaux alimentant cette ségrégation sociale et spatiale, d’autre part.

15C’est en pratique ce qui est fait dans les politiques mises en œuvre, un premier volet thématique visant à renforcer les politiques générales en direction des habitants sur ces territoires, un deuxième volet, dans lequel s’inscrit en particulier le PNRU, visant à jouer sur le deuxième facteur. Mais, même si le deuxième volet, qui est le plus difficile parce qu’il s’attache à des processus de fond à l’œuvre dans notre société, n’atteint pas tous les résultats attendus, cela n’invalide pas pour autant la nécessité de conduire des actions renforcées en direction des habitants de ces quartiers. Dit différemment, les limites rencontrées dans l’inflexion des comportements collectifs, dans et hors des quartiers, n’invalident pas pour autant la nécessité d’intervenir sur leurs conséquences individuelles. Avoir du mal à changer l’image de certains quartiers n’interdit pas d’aider ses habitants en matière de formation, d’accès à l’emploi, d’éducation, de santé, d’une part, ou d’intervenir, d’autre part, en matière de prévention et de lutte contre les discriminations, ou encore de prévention de la délinquance.

16En termes d’évaluation, cela veut dire qu’il est tout aussi important d’évaluer les actions particulières menées sur des programmes thématiques déterminés, de manière à en améliorer l’effet au bénéfice des habitants concernés, que d’apprécier de manière globale l’inflexion éventuelle de tendances lourdes tendant à stigmatiser certains territoires et leurs habitants.

17C’est dans ce contexte que l’on peut donner une appréciation différente de celle de Renaud Epstein sur les apports de la loi du 1^er août 2003 en matière d’évaluation de la politique de la ville.

18En fixant des objectifs, organisés autour de sept entrées principales (réduire les écarts avec les autres villes ou quartiers ; réduire les disparités territoriales et améliorer l’accès à l’emploi ; améliorer l’habitat en l’environnement urbain ; développer la prévention et l’accès aux soins ; améliorer la réussite scolaire ; sécurité et tranquillité publiques ; mobiliser les services publics), et en identifiant des indicateurs pour en apprécier la réalisation, la loi propose une grille permettant de contourner une difficulté que pose, depuis le début, l’évaluation de la politique de la ville, et que souligne à juste titre Renaud Epstein : « Les évaluateurs ont buté sur la difficulté d’identifier ce qui, dans les évolutions observées, pouvait être imputé en propre à une politique additionnelle dont les interventions viennent s’ajouter à celles développées par les différentes politiques sectorielles dans les mêmes territoires. »

19Le « détour » ainsi proposé par la loi, n’a pas pour objectif d’évaluer les effets propres de la politique de la ville, mais d’essayer de suivre si, parmi les difficultés ayant justifié le fait que l’on focalise des interventions spécifiques sur certains territoires déterminés, on observe, au moins sur certaines d’entre elles, des améliorations. Le point important en la matière, que connaissent bien les statisticiens habitués à publier à date fixe des indicateurs déterminés, qu’ils soient bons ou mauvais, est l’obligation faite au Gouvernement de présenter tous les ans au Parlement, « au plus tard à l’ouverture de la session ordinaire, un rapport annuel détaillé sur l’évolution des zones urbaines sensibles et des zones franches urbaines, lequel donne lieu à un débat d’orientation devant chacune des deux assemblées » [3]. C’est ainsi que le rapport annuel de l’ONZUS, fournit tous les ans les résultats de cette analyse, qui sont repris largement dans les différents médias. On ne peut considérer qu’il correspond à lui seul, à l’évaluation démocratique telle que définie par Renaud Epstein, il fournit cependant des éléments pouvant être repris et discutés par tous.

20L’auteur s’appuie d’ailleurs sur les travaux de cet observatoire pour proposer un jugement sur les effets de la politique de la ville qui ressemble de beaucoup à une évaluation synthétique : « la politique de la ville n’est pas parvenue à améliorer la situation socioéconomique de ces quartiers, où réside 8 % de la population française. Au contraire, la dynamique d’accroissement des écarts territoriaux s’est prolongée sans discontinuer, sous l’effet d’une concentration croissante des populations peu qualifiées, pauvres, précaires et issues de l’immigration » ; « l’objectif national de réduction des écarts défini par le législateur en 2003 n’a pas été atteint, ce qui s’explique, en grande partie, par l’importance des mobilités résidentielles des habitants des ZUS : l’analyse détaillée des profils des entrants et des sortants établie par l’ONZUS en 2005 montre que les populations les plus fragiles ont tendance à rester dans ces quartiers alors que les trajectoires sociales ascendantes s’accompagnent souvent d’un déménagement hors des ZUS ». Ce constat, qui montre un décalage entre la situation des territoires, et celle d’une partie de leurs habitants, loin de fermer la question sur la politique de la ville, ouvre au contraire des interrogations nouvelles en matière d’évaluation, les trajectoires des habitants, ou du moins de certains d’entre eux, dans et hors des quartiers, pouvant connaître une dynamique différente de celles des quartiers concernés. Par ailleurs, et les données recueillies par l’ONZUS devraient maintenant le permettre, l’approche nationale en termes de moyennes privilégiée aujourd’hui, qui consiste à traiter les quartiers dans leur ensemble, mériterait d’être complétée par des analyses de leur diversité, notamment en termes de trajectoires : identifier des quartiers dont la situation s’améliore, ou a contrario dont elle se dégrade, peut être beaucoup plus riche d’enseignements, notamment pour les acteurs locaux.

21On l’aura compris à la lecture de cette contribution, notre point de vue est que l’évaluation prend son sens, avant tout, par les usages qui en sont faits, tant au niveau national qu’au niveau local pour une politique aussi ambitieuse et déconcentrée que la politique de la ville. Si le débat sur le caractère plus ou moins « scientifique » ou « démocratique » de l’évaluation est nécessaire, il doit se nourrir d’une véritable sociologie de l’évaluation, tenant compte de ses acteurs et des usages administratifs et sociaux s’y rattachant. Cela suppose de reconnaître la dimension profondément pragmatique et procédurale de sa pratique.