1 En 2007 et 2008, le revenu de solidarité active (RSA) a fait l’objet d’une expérimentation dans trente-quatre départements français. Ce dispositif de lutte contre la pauvreté a, ensuite, été généralisé en juillet 2009 et s’est substitué au revenu minimum d’insertion (RMI) et à l’allocation parent isolé (API). Le RSA permet aux ménages de cumuler revenu d’activité et revenu d’assistance selon un barème préétabli permettant de garantir que chaque heure travaillée augmente le revenu du ménage. Il est assorti de mesures d’accompagnement afin de favoriser l’insertion économique et sociale des allocataires. Différentes définitions de barèmes et plusieurs formules d’accompagnement ont été testées par les départements expérimentateurs. En pratique, les départements ont défini une zone test, ou zone expérimentale, pour laquelle la nouvelle formule a été proposée à l’ensemble des allocataires. L’évaluation de la réforme a consisté à suivre dans le temps plusieurs indicateurs de référence, tel que le taux de retour à l’emploi des bénéficiaires de la réforme ou encore le revenu du ménage, en comparant la situation de la zone expérimentale avec celle d’une zone témoin.
2 À la demande du Comité d’évaluation national de l’expérimentation du RSA, nous avons construit [1] et mis en œuvre une méthodologie permettant de définir des zones témoins dans chaque département expérimentateur du RSA. Ces territoires témoins sont sélectionnés de façon à fournir le contrefactuel le plus satisfaisant pour l’évaluation des zones tests, compte tenu des limites inhérentes aux statistiques locales sur les comportements de retour à l’emploi des allocataires du RMI et dans le délai assez court qui était celui de la phase préparatoire de l’expérimentation.
3
La démarche de sélection des zones témoins comporte trois étapes :
- première étape, pour un département donné, on établit une liste de zones témoins candidates dont les caractéristiques sociodémographiques sont comparables à celle de la zone test, notamment du point de vue de la taille (population, nombre d’allocataires du RMI), de la densité de population ou de la situation administrative (cantons, commissions locales d’insertion (CLIs), unités territoriales d’action sociale (UTAS), circonscriptions d’action sociale (CAS), etc.) ;
- deuxième étape, on effectue le classement parmi toutes ces zones candidates de celles qui présentent le plus de proximité vis-à-vis de la zone test du point de vue des chances d’entrer en intéressement, estimées en mobilisant les données administratives de la CNAF (cf. annexe). Pour cela, on reconstitue chaque semestre les taux d’entrée en intéressement à l’échelle des zones tests et témoins de juin 2002 à juin 2007 en neutralisant les effets des caractéristiques observables dans le fichier des populations des allocataires de façon à isoler, le plus précisément possible, les dynamiques locales du retour à l’emploi ;
- troisième étape, les zones témoins sont proposées aux départements expérimentateurs qui peuvent faire des contre-propositions argumentées, en cas de désaccord.
Méthode
4 Évaluer une politique publique suppose, le plus souvent, de pouvoir suivre un indicateur de performance, par exemple le taux de retour à l’emploi des allocataires du RMI, avant et après la mise en œuvre de la politique. Cela suppose aussi de pouvoir comparer cette évolution à celle qui aurait eu lieu en l’absence de politique. Pour y parvenir, on a recours à des populations témoins qui sont sélectionnées de façon à reproduire le comportement de la population test en l’absence de politique.
5 Dans le cadre d’une expérience contrôlée, les groupes tests et les groupes témoins sont sélectionnés par tirage au sort. On évalue les effets d’un médicament en comparant l’état de santé d’un groupe test à celui d’un groupe témoin à qui on a administré un placebo. Le tirage aléatoire est la méthode la plus appropriée pour se prononcer sur l’efficacité d’un traitement.
6 L’expérimentation du RSA ne relève pas du registre de l’expérience contrôlée. Ni la liste des départements expérimentateurs, ni le périmètre des zones tests dans chaque département, ni la liste des allocataires du RSA n’ont été choisis au hasard. Aucun département n’a accepté d’effectuer un tirage au sort des zones tests du RSA ni, a fortiori, des bénéficiaires de la nouvelle allocation. Les départements, qui sont les véritables pilotes du RMI depuis la loi de décentralisation de décembre 2003, ont défini le périmètre des zones tests sur la base d’une sélection raisonnée, en appliquant des critères et selon des contraintes qui leur sont propres. À l’intérieur de ces zones, tous les allocataires du RMI bénéficient du RSA. En outre, les modalités du RSA, qu’il s’agisse du barème de l’incitation monétaire relativement à l’intéressement, donnée en cas de retour à l’emploi, ou du contenu de l’accompagnement renforcé des allocataires, peuvent varier selon les départements.
7 Dès lors, l’expérimentation du RSA s’inscrit dans le registre des quasi-expériences. Chaque département réalise une expérience naturelle qui est, au niveau national, répétée plus de trente fois, selon des modalités qui varient à la marge. On est bien dans la situation la plus courante de l’évaluation des politiques publiques où les bénéficiaires de la politique ne font pas l’objet d’un tirage au sort. La définition des zones témoins a été adaptée en conséquence.
8 Si, du strict point de vue de la qualité et de la fiabilité de l’expérience, on peut regretter l’absence de tirage au sort des zones et des ménages allocataires du RSA dans la phase d’expérimentation, on doit également souligner qu’aucune politique publique menée en France dans le domaine de l’emploi ou de l’insertion n’a, à notre connaissance, fait jusqu’ici l’objet d’un protocole d’évaluation aussi rigoureux que celui mis en œuvre pour l’expérimentation du RSA. L’évaluation a été véritablement imbriquée dans l’expérimentation et a accompagné toutes les étapes de la montée en charge des dispositifs tests dans les départements. Elle a associé de façon étroite les conseils généraux, l’administration économique et sociale et des chercheurs en économie et en sociologie spécialistes de l’évaluation des politiques sociales. Cette combinaison de bon sens reste tout à fait exceptionnelle dans la pratique de l’évaluation des politiques publiques en France. Les trois approches de l’évaluation, celle qui est interne et locale, celle qui est nationale et menée par l’administration économique et celle qui est de portée académique et scientifique, relèvent le plus souvent de trois domaines étanches. De ce point de vue, on peut dire que l’évaluation de l’expérimentation a, aussi, été une véritable expérimentation de l’évaluation.
Contrôler les biais de sélection des zones expérimentales
9 Plusieurs biais sont susceptibles d’intervenir dans le choix des zones tests par les départements et doivent être pris en compte dans la sélection des zones témoins. Un département peut avoir choisi une zone favorable au retour à l’emploi en termes de dynamisme des créations d’emploi et de structure de la demande de travail. Un autre département peut retenir une zone présentant des dynamiques d’acteurs locaux favorables et/ou des dispositifs particuliers : contrat urbain de cohésion sociale (CUCS), zone franche urbaine (ZFU), maison de l’emploi… Les départements ont mentionné dans les dossiers de candidatures au RSA, de façon presque systématique, qu’ils se sont appuyés sur « un réseau d’acteurs de qualité ». Il est donc probable que les zones témoins aient des caractéristiques spécifiques qui facilitent le retour à l’emploi des allocataires du RSA. Ce biais éventuel doit être pris en compte dans la définition des zones témoins au risque de fausser l’expérimentation. Dès lors, un tirage aléatoire simple des allocataires non éligibles au RSA au sein de chaque département n’est pas susceptible de fournir un contrefactuel satisfaisant. Il en va de même d’un tirage aléatoire simple des zones témoins. C’est pourquoi les zones témoins doivent être choisies, elles aussi, sur la base d’une sélection raisonnée.
10 En retenant les zones témoins à l’intérieur des départements, on s’assure que l’ensemble des variables dont les effets se produisent au niveau du département ou à un niveau supérieur sont sans effet sur l’évaluation. La proximité géographique des deux zones peut être aussi utilisée comme un moyen de contrôle (cf. Card, Krueger, 1994, 2000). Certes, il existe un biais potentiel lié à la mobilité des non-traités. Mais ce biais est contrôlé dans l’expérimentation du RSA où est appliquée une condition d’ancienneté de résidence pour bénéficier du traitement. Il existe, cependant, quelques cas où le choix de la zone témoin ne peut manifestement être effectué à l’intérieur du département. Ces cas se présentent tant dans la première vague de l’expérimentation que dans la seconde [2] lorsque la zone test englobe une métropole départementale atypique par sa taille ou sa situation géographique, sans qu’une unité urbaine comparable puisse être trouvée dans le département.
Diversité des périmétries des zones expérimentales et exclusion des zonages infracommunaux
11 Une première difficulté est que les zones tests retenues par les départements sont de nature et de taille très diverses : quartiers de ville, communes, cantons, communautés d’agglomération, arrondissements, CLIs, UTAS, maisons de la solidarité, circonscriptions d’action sociale et même, départements tout entiers. Près d’une quinzaine de périmétries différentes ont été, au total, retenues par les départements
12 Ces zonages correspondent le plus souvent à des regroupements de communes, et parfois à un niveau infracommunal. C’est le cas en Loire-Atlantique (Nantes), en Ille-et-Vilaine (Rennes) et dans l’Oise (Creil). Dans le cas d’une définition infracommunale, il est, en pratique, impossible de construire des indicateurs statistiques sur le retour à l’emploi des allocataires du RMI. Nous mobilisons, en effet, les fichiers nationaux de la CNAF qui ne contiennent ni les codes îlot, ni les codes IRIS. Les fichiers anonymisés de la CNAF ne permettent donc pas de localiser les allocataires au sein des communes. Les fichiers nationaux exhaustifs sur lesquels nous travaillons pour toutes les autres zones témoins, ne peuvent donc pas être utilisés lorsque les zones tests sont à l’intérieur des limites communales.
13 Certes, les variables îlots et IRIS figurent dans les fichiers de certaines CAF (plus des quatre cinquièmes). Il est donc possible de mobiliser une extraction des fichiers des CAF concernées. Dans leur version anonymisée, ces fichiers contiennent un numéro d’allocataire et son code îlot ou son code IRIS, plus les autres variables de gestion qui sont nécessaires pour construire les indicateurs locaux. Il est essentiel également que cet îlotage soit effectué de façon régulière dans le fichier (au moins une fois par an) et qu’il y ait une certaine ancienneté (idéalement, il faudrait que le fichier soit îloté au moins depuis décembre 2003, en tout cas, pas plus tard que décembre 2004). Il faut, en outre, que les zones tests aient été définies sur des périmètres géographiques correspondant exactement à des îlots ou des IRIS. Si tout ou partie d’une zone est à l’intérieur d’un îlot, il n’est pas possible de construire des indicateurs sur cette zone avec les fichiers anonymisés des CAF.
14 Toutes ces conditions sont assez restrictives et il est apparu préférable, pour des raisons de disponibilité de l’information statistique, de ne pas définir des zones tests et témoins à l’intérieur des communes. Pour des raisons analogues, il est apparu nécessaire de formuler les recommandations suivantes :
- éviter des territoires de trop petite taille : les zones tests proposées par les départements doivent être d’une taille suffisante pour réunir un nombre d’allocataires significatif. On peut retenir comme ordre de grandeur, une taille d’au moins 10 000 habitants pour chaque zone test, ou encore, d’au moins 300 allocataires du RMI ou de l’API ;
- éviter des zones qui sont très atypiques dans le département : il est nécessaire de trouver des territoires témoins qui ressemblent aux zones tests. On doit pouvoir, en quelque sorte, « répliquer » le territoire à l’intérieur du département, lui trouver des équivalents. Il est donc préférable que les zones tests n’occupent pas une position singulière dans le département. Par exemple, il faut éviter de choisir le plus grand centre urbain qui n’aurait aucun équivalent ailleurs dans le département ;
- définir les zones conformes au code officiel géographique 2007 : pour des raisons qui leur sont propres, chaque département utilise ses propres subdivisions territoriales sans qu’il y ait toujours d’équivalent dans d’autres départements. Il est, évidemment, nécessaire que les choix de territoires puissent être exprimés dans un alphabet commun. Pour cela, il est préférable que chaque département expérimentateur présente la zone test sous forme d’une liste de communes conformes à la définition du code officiel géographique 2007 [3]. Dans le cas où le département retient un zonage de type CLI (ou équivalent), il lui a été demandé d’adresser au comité un fichier avec la liste de toutes les CLIs (ou équivalent) du département avec les communes correspondantes et leurs codes géographiques en respectant le code officiel 2007.
Principes de sélection des zones témoins
15 Nous avons retenu un principe d’identité de formes administratives entre les zones tests et témoins. Si le département a choisi une CLI test, on cherchera le témoin dans les CLIs restantes du département. S’il a retenu une CAS, on cherche une CAS témoin, etc. Ce faisant, nos zones témoins sont toujours des ensembles compacts de communes, ce qui permet de simplifier leur sélection et facilite la lisibilité des zones pour l’évaluation interne.
16 Pour s’assurer de ces ressemblances entre les zones tests et les zones témoins, on mobilise des indicateurs qui renseignent sur les déterminants du retour à l’emploi et la structure des zones. Il est, en effet, important de définir des zones témoins dont les caractéristiques sont proches de celles des zones tests pour l’ensemble des variables qui peuvent influencer les chances de retour à l’emploi au sortir du RMI/RSA :
17
•?À cette fin, on peut mobiliser des indicateurs a priori, i. e. qui renseignent sur les déterminants du retour à l’emploi, et en particulier :
- des situations proches en termes de taille (population, nombre d’allocataires du RMI), de densité de population (urbain-rural), ou de situation administrative (identité de forme CLI, UTAS, CAS, etc.) ;
- des dynamiques d’emploi et de demande de travail comparables dans les deux zones ;
- des réseaux d’acteurs comparables ou des « effets territoires » comparables.
18 Nous avons retenu une pluralité d’indicateurs, a priori et a posteriori, pour se prononcer sur la ressemblance des zones témoins aux zones tests.
19 On souhaite des proximités entre zones témoins et zones tests sur une base dynamique. Il ne s’agit pas seulement de privilégier des ressemblances à un moment donné du temps, juste avant l’expérience. Il s’agit, aussi, de privilégier des ressemblances dans les trajectoires des deux zones sur plusieurs mois avant la mise en œuvre de l’expérience. Parmi les indicateurs que l’on privilégie, on peut mobiliser des indices de stock (taux de RMI, taux de chômage, demandeurs d’emploi en fin de mois – DEFM –) ou des indicateurs de flux (chances de sortir du RMI et/ou celles de sortir du chômage, durée de chômage, ancienneté de RMI). On préfère ces derniers qui contiennent une information plus adaptée au suivi des trajectoires des allocataires. C’est pourquoi le choix des zones témoins s’appuie sur une analyse des trajectoires des allocataires avant l’expérimentation et mobilise des indicateurs territoriaux de flux.
Mise en œuvre de ces principes : une méthode en deux étapes
20 Compte tenu de ces principes généraux, nous avons retenu une démarche en deux étapes. En premier lieu, on sélectionne des zones témoins candidates de même forme que celles de la zone test. En second lieu, on sélectionne dans toutes ces zones candidates, celles dont les difficultés de sortir du RMI sont les plus proches de la zone test.
21 Première étape : pour un département donné, on établit tout d’abord une liste de zones témoins candidates qui ont des caractéristiques sociodémographiques comparables à celle de la zone test, notamment du point de vue de la taille (population, nombre de cantons, nombre d’allocataires du RMI), de la densité de population (urbain-rural), ou de la situation administrative (identité de forme CLI, UTAS, CAS, etc.).
22 Deuxième étape : on choisit parmi toutes ces zones candidates, celle qui présente la plus grande proximité vis-à-vis de la zone test du point de vue des chances d’entrer en intéressement, estimées en mobilisant les données administratives de la CNAF. Pour cela, on reconstitue des séries de taux d’entrée en intéressement afin de comparer le dynamisme des zones vis-à-vis de l’accès à l’emploi des futurs allocataires du RSA. Cela suppose de mobiliser des indicateurs de flux estimés sur données communales. À cette fin, nous mobilisons une analyse des stocks semestriels d’allocataires du RMI. Nous estimons des effets locaux (sur les périmètres des zones témoins et tests) en neutralisant les effets de composition des deux cohortes (par âge, sexe, etc.) selon la méthode proposée par le groupe SOLSTICE du Centre d’études de l’emploi (Duguet et al., 2006, 2007). Ces effets locaux, appelés « taux nets d’entrée en intéressement », permettent de capturer les dynamismes locaux et sont mesurés sur longue période (de 2001 à 2007). Nous estimons, dans chaque département, ces taux nets d’entrée en intéressement pour toutes les zones témoins candidates et pour les zones tests. Enfin, nous retenons, dans chaque département, la zone témoin qui présente le taux d’entrée en intéressement le plus proche de celui de la zone test.
Un exemple d’application
23 L’objet de cette section est d’illustrer le contenu de notre démarche à partir d’un exemple. Parmi les trente-quatre études départementales que nous avons réalisées, nous en avons retenu une qui peut être qualifiée de standard ou de médiane [4]. Elle reflète, selon nous, la moyenne des observations. Pour l’étape 1, nous avons retenu le cas du Calvados. Pour l’étape 2, le cas exemplaire est celui du Rhône.
Étape 1 : sélection des zones témoins candidates sur des indicateurs de stocks
24 Le département du Calvados a choisi comme zone expérimentale un ensemble de 101 communes correspondant à la commission locale d’insertion (CLI) du Pays d’Auge-Nord. Ceci représente 14 % des 705 communes du département qui sont regroupées en neuf commissions locales d’insertion. Le choix d’un territoire de commission locale d’insertion correspond à une situation administrative donnée. Nous retenons donc des zones témoins ayant elles aussi la forme de CLI.
25 L’ensemble des témoins potentiels ainsi constitué représente 604 communes regroupées en huit CLIs : Caen Est, Caen Ouest, Caen Ville, CLI du Bessin, CLI du Bocage, CLI du Pays d’Auge-Sud, CLI du Pré Bocage et Falaise et CLI d’Hérouville Couronne. On dégage, alors, parmi cet ensemble de témoins potentiels les zones témoins candidates qui constituent sur la base d’indicateurs a priori des contrefactuels satisfaisants. Les relations de proximité entre la zone test et les différentes zones témoins potentielles sont établies par comparaison des multiples caractéristiques des zones, en mobilisant la distance euclidienne normée.
26
L’analyse des similarités des zones tests et témoins est basée sur sept critères équipondérés :
-
d’une part, des critères de taille et de structure :
- la taille de la zone (selon le recensement de 1999) ;
- le nombre de foyers allocataires du RMI (au 31/12/2000) ;
- la densité de la zone (selon le recensement de 1999) ;
- le tissu urbain : zonage en aires urbaines INSEE : parts de la population résidant dans des pôles urbains, l’espace rural et les communes périurbaines ;
-
d’autre part, des critères renseignant sur le dynamisme du marché du travail :
- le taux de Rmistes dans la population : rapport entre le nombre d’adultes des foyers allocataires (au 31/12/2000) et la population de la zone âgée de 25 ans à 64 ans en 1999 ;
- le taux d’activité (TA99 : celui si est le rapport de la population active de 15 à 64 ans sur la population de 15 à 64 ans) ;
- le taux de chômage (selon le recensement de 1999).
Comparaison des caractéristiques de la CLI du Pays d’Auge Nord et des CLIs témoins potentielles
Comparaison des caractéristiques de la CLI du Pays d’Auge Nord et des CLIs témoins potentielles
Zones témoins candidates retenues à l’issu de la première étape
Zones témoins candidates retenues à l’issu de la première étape
27 On a choisi de retenir sept CLIs non expérimentatrices du département du Calvados comme zones témoins potentielles de la CLI du Pays d’Auge-Nord : Caen Est, Caen Ouest, CLI du Bessin, CLI du Bocage, CLI du Pays d’Auge-Sud, CLI du Pré Bocage et Falaise et CLI d’Hérouville Couronne. En effet, seule la CLI de Caen Ville se révèle beaucoup plus urbaine que la zone test et présente, de plus, des caractéristiques du marché du travail très différentes avec des taux de chômage (en 1999) et de Rmistes sensiblement plus élevés.
Étape 2 : sélection des zones sur des indicateurs de flux
28 On s’intéresse désormais plus spécifiquement aux trajectoires des allocataires du RMI dans chacune des zones tests et des zones témoins candidates. Pour cela on mobilise une nouvelle source statistique, les fichiers administratifs du RMI qui sont ceux de la CNAF. Dans le cadre de l’évaluation, il est important que, pour chaque zone test, la zone témoin retenue présente le même profil temporel d’évolution des allocataires du RMI vers l’emploi afin que les évolutions futures entre les deux zones, observées après l’introduction du RSA, puissent être imputées au nouveau dispositif.
29 L’indicateur retenu est le seul permettant de renseigner sur les évolutions vers l’emploi des allocataires du RMI à un niveau géographique fin. Il s’agit des taux d’entrée en intéressement (cf. encadré et annexe).
Encadré : Le dispositif d’intéressement
Ce mécanisme a fait l’objet de nombreuses réformes depuis la création du RMI en 1988. Jusqu’en 1998, le cumul du RMI et des revenus de l’emploi était partiel pendant 750 heures travaillées, soit un peu plus de dix-neuf semaines ou quatre mois et demi à temps plein, qui suivaient le début de l’activité : le montant de l’allocation n’était réduit que de 50 % du revenu perçu au lieu de 100 %. Au-delà de ces 750 heures, il n’y avait plus de cumul, la totalité du revenu du travail venant en déduction de l’allocation du RMI. Ces règles ont été modifiées par la loi d’orientation du 29 juillet 1998 puis par le décret du 16 novembre 2001 relatif aux modalités de cumul de certains minima sociaux avec des revenus d’activités et enfin par la loi du 23 mars 2006 relative au retour à l’emploi. Désormais, durant une première période de trois mois, le bénéficiaire cumule intégralement l’allocation RMI et son revenu d’activité. Puis, pendant les neuf mois suivants, l’allocataire bénéficie soit d’un intéressement proportionnel (reprises d’emploi de moins de 78 heures), soit d’une prime forfaitaire (reprises d’emploi de 78 heures ou plus).
Les fichiers FILEAS et BENETRIM permettent de distinguer quatre types d’intéressement : intéressement de cas général, contrats aidés (contrats emploi solidarité, et contrats d’avenir), intéressement lié à une création d’entreprise et prolongement de la phase d’intéressement suite à une décision préfectorale. Par définition, ce dernier type d’intéressement est situé hors du champ de notre étude.
L’annexe décrit la manière dont ont été calculés les taux d’entrée en intéressement à partir des données de la CNAF.
30 Néanmoins, la simple mesure des entrées en intéressement à partir des fichiers de la CNAF ne renseigne qu’imparfaitement sur les dynamismes locaux. En effet, cette mesure agrège à la fois des effets imputables aux localités du département et d’autres effets qui sont eux attribuables à la composition de la population qui se montre plus ou moins favorable dans chacune des zones aux entrées en intéressement. Elle n’offre ainsi qu’une représentation déformée des dynamiques de la demande d’emploi et des acteurs locaux. Pour isoler les effets des dynamiques locales, il faut donc contrôler ces effets de composition et mesurer les effets locaux « toutes choses égales par ailleurs ».
31 La mesure des effets locaux « toutes choses égales par ailleurs » se déroule en deux temps.
32
Dans un premier temps, on estime des modèles logistiques multinomiaux qui permettent de modéliser les situations alternatives dans lesquelles peuvent se trouver les allocataires du RMI observés à une date donnée au bout d’un an. Celles-ci sont, au travers des fichiers de la CNAF, au nombre de trois :
- entrer en intéressement avant douze mois ;
- sortir du RMI sans passer par l’intéressement avant douze mois (attrition) ;
- ne pas sortir du RMI.
33 Pour qu’une zone témoin candidate fournisse un contrefactuel satisfaisant d’une zone test, il importe que cette mesure des dynamismes locaux ait, plus qu’un niveau comparable, une évolution temporelle comparable à celle de la zone test considérée. Dans le cas contraire, les évolutions observées lors de l’expérimentation du RSA ne pourront ni être imputées au dispositif ni à des dynamiques de zones qui sont a priori divergentes. Nous estimons, dans chaque département, des taux nets d’entrée en intéressement à douze mois sur la période de juin 2001 à juin 2007 pour toutes les zones tests et les zones témoins candidates. On suit des stocks d’allocataires sur douze mois de façon semestrielle. Ainsi les allocataires inscrits au 30 juin 2001 sont suivis jusqu’au 30 juin 2002, les allocataires inscrits au 31 décembre 2001 jusqu’au 31 décembre 2002 et ainsi de suite jusqu’au 30 juin 2007. On a également calculé les variations annuelles des taux nets obtenus années après années (de juin 2001 à juin 2002, de décembre 2001 à décembre 2002) afin de neutraliser de possibles effets de saisonnalité. Les résultats figurent dans les graphiques 1 à 6 du rapport de recherche (Goujard, L’Horty, 2008).
34 Le département du Rhône a choisi comme zone expérimentale un ensemble de 174 communes correspondant à trois commissions locales d’insertion : la CLI de Givors (32 communes), la CLI de Tarare (69 communes) et la CLI de Villefranche-sur-Saône (73 communes) [5]. Ceci représente 60 % des 293 communes du département qui sont regroupées en quinze commissions locales d’insertion dont quatre sont infracommunales et couvrent le territoire de Lyon.
35 Premièrement, pour la commission locale d’insertion de Givors (CLI 13), les tests effectués [6] conduisent à considérer la CLI 9 comme un contrefactuel satisfaisant, puis la CLI 7 et enfin la CLI 14.
36 Deuxièmement, pour la CLI de Tarare (CLI 5), les zones non expérimentatrices qui se révèlent être des contrefactuels satisfaisants sont la CLI 9, puis la CLI 7 et la CLI 11. Troisièmement, pour la CLI de Villefranche-sur-Saône (CLI 15), la CLI 14 apparaît comme le meilleur contrefactuel suivi des CLIs 7 et 12.
37 Pour chacune des CLIs expérimentatrices, les variations annuelles des entrées en intéressement des zones contrefactuels proposées apparaissent très proches de celles des zones tests. Cela est illustré dans le cas de la CLI de Givors dans le graphique 1 et confirmé par une régression simple dans le tableau 3. Ceci semble s’expliquer par les variations proches de l’ensemble des zones du département alors que les structures des différentes zones paraissaient relativement différentes au niveau des indicateurs a priori.
Taux nets d’entrée en intéressement pour la CLI de Givors (CLI 13) et les zones témoins candidates
Taux nets d’entrée en intéressement pour la CLI de Givors (CLI 13) et les zones témoins candidates
Lecture : Les taux d’entrée en intéressement ont été évalués au niveau de chaque UTAS à l’aide d’estimations économétriques de modèles Logit multinomiaux à effets fixes locaux. Les « taux nets » sont établis en calculant les taux d’entrée en intéressement que la localité aurait si ses demandeurs d’emploi avaient la même structure que celle du département du Rhône (en neutralisant les différences des caractéristiques individuelles).Régression des variations annuelles des taux nets d’entrée en intéressement pour la CLI de Givors (CLI 13) et les CLIs témoins
Régression des variations annuelles des taux nets d’entrée en intéressement pour la CLI de Givors (CLI 13) et les CLIs témoins
38
Finalement, dans le cas du département du Rhône, pour le choix des zones témoins des Commissions Locales d’Insertion de Givors, Tarare et Villefranche-sur-Saône, les analyses menées sur les caractéristiques physiques des zones et le dynamisme des entrées en intéressement des allocataires du RMI amène à privilégier les zones témoins suivantes :
- pour la CLI de Givors (CLI 13) : d’abord la CLI 9, puis la CLI 7 et enfin la CLI 14 ;
- pour la CLI de Tarare (CLI 5) : d’abord la CLI 9, puis la CLI 7 et enfin la CLI 11 ;
- pour la CLI de Villefranche-sur-Saône (CLI 15) : d’abord la CLI 14, puis la CLI 7 et enfin la CLI 12.
Un bilan de la sélection des zones témoins
39 Notre procédure de sélection des zones témoins a été adoptée par le comité national d’évaluation de l’expérimentation du RSA avant d’être mise en œuvre dans les trente-quatre départements expérimentateurs. Pour chacun de ces départements, une étude spécifique a été réalisée. Comme certains départements ont proposé plusieurs zones tests (jusqu’à trois zones par département), on atteint un total de cinquante et une zones tests. Les études spécifiques ont donc eu pour finalité de proposer aux départements cinquante et un classements de zones témoins en appliquant la démarche en deux étapes qui vient d’être décrite dans les deux chapitres précédents.
40 Pour ces cinquante et un classements, les départements ont retenu le premier choix proposé dans quarante cas. Ils ont préféré un autre choix dans onze cas ce qui a entraîné une nouvelle expertise. Parmi ces onze cas, il y a eu quatre cas où les départements ont validé une proposition qui n’était pas classée en premier et un cas isolé où le département a fait d’autres propositions. Ces contre-propositions ont été étudiées et ont été jugées effectivement préférables à la proposition initiale compte tenu des nouveaux arguments pris en considération. Au final, les zones témoins satisfont à la fois les contraintes de qualité qui sont celles arrêtées pour l’évaluation nationale et les contraintes spécifiques des départements pour l’évaluation interne.
Des périmètres très variés pour les zones tests
41 Les zones tests retenues par les départements sont de nature et de taille très diverses. Sur les quinze départements de la vague 1, on dénombre treize types de zonage différents : CLI, canton, quartier, arrondissement, UTAS, maison de la solidarité, circonscription d’action sociale, territoire, et combinaison de ces zonages. En pratique, ces zonages correspondent à des regroupements de communes et parfois à un niveau infracommunal. Dans ce cas, il est en pratique impossible de construire des indicateurs statistiques sur le retour à l’emploi des allocataires du RMI avec les fichiers nationaux de la CNAF, qui ne contiennent ni les codes îlots, ni les codes IRIS. Nous n’avons pas eu d’autre possibilité que de retirer les parties infracommunales des zones tests pour la définition des zones témoins.
42 La vague 2 a confirmé et même renforcé la diversité constatée dans la vague 1. Deux nouveaux découpages territoriaux sont apparus. Il s’agit du département dans son ensemble qui a été retenu comme zone test à trois reprises (Creuse, Haute-Corse et Mayenne). Il s’agit aussi de la communauté d’agglomérations qui a été retenue à deux reprises (Doubs et Seine-Maritime). Au total, quinze types de zonages différents ont été utilisés par les trente-quatre départements expérimentateurs du RSA.
43 On peut regrouper ces zonages en trois grands ensembles. Une petite minorité de départements (6/34 = 18 %) a constitué un zonage ad hoc qui ne correspond à aucune périmétrie existante. Une plus grande minorité a eu recours à un découpage administratif existant de dimension nationale (9/34 = 26 %). Une majorité a utilisé un découpage départemental de l’action sociale, de type commission locale d’insertion ou unité territoriale d’action sociale (19/34 = 56 %).
44 La procédure de sélection en deux étapes a été mise en œuvre dans les trente-quatre départements conformément à ce qui a été décrit dans la section précédente. Il n’y a eu que deux exceptions à la procédure pour les départements de la deuxième vague. Tout d’abord, comme la Dordogne a retenu pour zone test des petites communes et des cantons, il y avait un très grand nombre de témoins possibles et nous avons donc choisi de tester directement des propositions de zones témoins du département. En second lieu, la Seine-Saint-Denis a choisi un ensemble compact de six communes. Là aussi, il existait un très grand nombre de témoins possibles. Mais dans ce cas précis, le département n’a pas formulé de proposition de zone témoin. Nous avons alors élaboré des zones témoins sur la base d’un balayage raisonné, du nord au sud du département. Puis, nous avons testé les zones ainsi constituées sur la base de la méthodologie mise en œuvre dans tous les autres départements. Conformément aux demandes du comité d’évaluation, c’est un classement de zones qui a été proposé à chaque département.
Réactions des départements et contre-propositions
45 La dernière étape de la sélection est une itération avec les départements qui acceptent le classement ou fournissant des arguments complémentaires ce qui entraîne un nouvel examen. Les cinquante et une propositions de zones témoins et les trente-quatre documents qui les détaillaient ont donc été envoyés aux départements qui ont réagi, en général dans les trois semaines qui ont suivi l’envoi. Vingt-deux propositions de premier choix ont été acceptées directement par les départements et cinq propositions ont été discutées et ont fait l’objet d’une contre-expertise. Pour l’essentiel, les demandes de contre-expertise étaient fondées soit par le fait de donner du poids dans la sélection aux résultats de l’étape 1, soit de tester des regroupements de témoins. Les contre-expertises ont permis de valider les contre-propositions dans cinq cas sur les six. Au terme de ces itérations, la liste des témoins a été arrêtée par le comité d’évaluation et une table de passage a ensuite été réalisée pour les administrations (DARES, DREES, CNAF).
46 Le nombre limité de refus du premier choix, associé à la qualité des arguments avancés par les conseils généraux en cas de refus, suggère que la procédure itérative qui a été retenue par le comité d’évaluation a effectivement permis d’aboutir à une sélection des zones témoins qui satisfait à la fois les contraintes nationales et départementales.
Qualité des témoins
47 On peut vérifier la qualité des témoins en détaillant les variations du nombre d’allocataires du RMI au niveau national entre l’ensemble des zones tests et témoins puis pour chaque département et chaque zone test et témoin de juin 2001 à juillet 2007. Les évolutions des entrées et sorties du RMI ainsi que les entrées en intéressement avant contrôle des caractéristiques observables des allocataires n’ont pas été mobilisées dans la définition des zones témoins et permettent de mesurer la qualité du contrefactuel national et des contrefactuels départementaux obtenus.
48 Le graphique 2 présente les évolutions des nombres d’allocataires du RMI de l’ensemble des zones tests et témoins sur la période 2005-2007. Les zones témoins contrefactuelles de plusieurs zones tests sont affectées d’un poids proportionnel au nombre de zones tests correspondantes. Par exemple, les allocataires du RMI des communes de la CLI de Mauguio dans l’Hérault (34) qui sont contrefactuels du département de Haute-Corse (2B) et des communes des CLIs de Mèze Frontignan et de Pignan dans l’Hérault sont comptabilisés trois fois. Les différentes zones sont également pondérées par leurs nombres de foyers allocataires du RMI. Au niveau national, les évolutions des taux d’entrée ou de sortie du RMI du groupe des zones tests et du groupe des zones témoins sur un semestre ou trimestre donné sont généralement très proches.
Évolution des taux d’entrée et de sortie du RMI
Évolution des taux d’entrée et de sortie du RMI
Champ : Ensemble des allocataires du RMI des zones tests et témoins.Lecture : Entre fin juin 2001 et fin décembre 2001, le nombre d’entrées au RMI dans l’ensemble des zones tests correspondait à 18,8 % du stock en début de période et le nombre de sorties à 19,4 %. Dans l’ensemble des zones témoins, le taux d’entrée était de 19,3 % et le taux de sortie de 20,2 %. À partir de 2005, les taux mesurés sont trimestriels.
49 Ce constat est robuste. Lorsque les différentes zones tests et témoins ne sont pas pondérées par leurs nombres d’allocataires et que l’on accorde la même importance aux expérimentations menées, par exemple, à Marseille et dans la zone test rurale de Dordogne (24), on observe globalement des évolutions similaires. Les taux d’entrée et de sortie du RMI des deux ensembles de zones varient de façon similaire sur l’ensemble de la période. Spécifiquement, les évolutions annuelles des taux de sortie trimestriels du RMI sur la période 2005-2007 sont très proches entre les deux groupes de zones. L’écart absolu maximal entre les évolutions annuelles des taux de sortie trimestriels des zones tests et témoins est de 0,7 % sur la période. Entre le second semestre 2006 et le second semestre 2007, l’écart mesuré est de - 0,04 %. L’écart absolu moyen entre les évolutions annuelles des taux de sortie trimestriels est de 0,35 % (2,1 %/6).
50 Le critère de l’écart absolu moyen est exigeant pour deux raisons. Premièrement, les taux comparés sont des taux trimestriels par nature plus volatils que les taux d’entrée en intéressement sur une année qui avaient été retenus pour le choix des zones témoins. Deuxièmement, les valeurs absolues des écarts annuels de croissance de zone test à zone témoin s’additionnent de trimestres en trimestres. Par exemple, une croissance plus forte du taux de sortie du RMI de la zone test par rapport à la zone témoin entre les premiers trimestres 2005 et 2006 n’est pas, avec ce critère, compensée par une croissance plus faible du taux de sortie du RMI de la zone test par rapport à la zone témoin entre les seconds trimestres 2005 et 2006. Des comparaisons sur des intervalles de temps supérieurs au trimestre obtiendraient nécessairement des résultats meilleurs.
51 Dans le détail, on constate que la taille des zones apparaît comme un critère important de la qualité des contrefactuels. Elle pourrait cependant ne pas avoir un effet linéairement favorable car deux effets opposés jouent : d’une part, la taille d’une zone permet d’obtenir des estimations des sorties du RMI de meilleure qualité, d’autre part, les zones de grandes tailles présentent moins de zones témoins potentielles à l’intérieur d’un même département ce qui contraint le choix de la zone témoin. Cependant, dans les analyses menées sur les taux d’entrée en intéressement ou les taux de sortie du RMI, le premier effet (favorable) l’emporte car la taille tend aussi à homogénéiser les zones comparées en termes de composition observable de la population des allocataires du RMI.
52 Il y a bien similarité au niveau national entre zone test et zone témoin, et hétérogénéité de quelques situations locales pour l’évolution des entrées en intéressement. Au niveau national, l’ensemble des zones témoins s’avère être un contrefactuel satisfaisant de l’ensemble des zones tests, même si, au niveau départemental ou pour une zone test donnée, les évolutions des zones témoins peuvent différer des territoires tests.
53 La définition des zones témoins de l’expérimentation du RSA a ainsi permis de reconstruire de façon artificielle des zones contrefactuels permettant d’évaluer les effets de la réforme dans les meilleures conditions possibles. Cela a fourni la pierre angulaire des travaux du comité national d’évaluation des expérimentations du RSA qui ont débouché sur la production de son rapport final en mai 2009. Avec le recul, on peut porter un jugement contrasté sur le protocole qui a été retenu pour cette évaluation. D’un côté, on doit souligner le caractère tout à fait original et assez exemplaire de la démarche qui a consisté en un travail collectif associant des conseils généraux, véritables pilotes de l’expérimentation, les services de l’État et des administrations économiques et sociales, la CNAF et des économistes et sociologues experts du champ. À notre connaissance, un tel travail d’évaluation expérimentale reste sans précédent dans l’histoire des réformes sociales en France. D’un autre côté, il est clair que la décision de généraliser le RSA, rendue publique durant l’été 2008, a été prise à mi-chemin de l’évaluation, débutée fin 2007, sans que les résultats des expérimentations ne soient encore connus. L’évaluation des expérimentations n’a guère été utile à la décision de généralisation.
Définition des taux d’entrée en intéressement à partir des fichiers de la CNAF, FILEAS et BENETRIM
54 Le nombre de foyers allocataires du RMI a été calculé comme le nombre de foyers allocataires ayant un droit ouvert au RMI dans la zone qu’ils soient ou non en intéressement. Le tableau ci-dessous détaille l’ensemble des flux calculés entre chaque fichier de la CNAF à une fréquence soit semestrielle soit trimestrielle.
55 Les entrants au RMI correspondent au flux :
57 Les sortants du RMI correspondent eux au flux :
Transitions observées des allocataires du RMI
Transitions observées des allocataires du RMI
59 Dans le tableau, les transitions (2) et (3) + (4) correspondent à celles modélisées dans la mesure du calcul des taux nets d’entrée en intéressement des allocataires du RMI, c’est-à-dire après contrôle des caractéristiques observables des allocataires.
60 La somme (A) t = (1) t + (2) t + (3) t + (4) t correspond au stock d’allocataires du RMI sans intéressement en début de trimestre ou semestre.
61 La somme (B) t = (1i) t + (2i) t + (3i) t + (4i) t correspond au stock d’allocataires du RMI en intéressement en début de trimestre ou semestre.
62 Les indicateurs de taux de sortie et d’entrée au RMI sur une période t sont donnés par :
64 Un autre indicateur est le taux d’entrée en intéressement sur la période :
66 Il est également possible de définir un taux d’entrée en intéressement par :
68 En pratique, ce second indicateur est très proche du précédant.
69 On a, ensuite, recalculé les variations annuelles correspondant aux différents taux définis :
71 où n est égal à 2 dans le cas des fichiers semestriels et 4 dans le cas des fichiers trimestriels.
72 Dans le cas de l’agrégation des zones tests ou témoins au niveau national ou départemental, il est possible de pondérer, ou non, ces indicateurs par le nombre de foyers allocataires du RMI des différentes zones. Les indicateurs calculés dans cet article sont pondérés.
73 Pour mesurer les écarts des évolutions annuelles entre zones tests et témoins, on a ensuite calculé des écarts absolus moyens sur différentes périodes.
Notes
-
[*]
Antoine Goujard : doctorant en économie à la London School of Economics and Political Science.
-
[**]
Yannick L’Horty : professeur d’économie à l’université d’Évry-Val-d’Essonne.
-
[1]
Cet article est issu d’une recherche réalisée pour le compte du Comité national d’évaluation des expérimentations du RSA, dans le cadre d’une convention de recherche avec le Haut Commissariat aux solidarités actives contre la pauvreté et d’une convention de mise à disposition de données avec la CNAF. Il a bénéficié du suivi et des remarques de Marie-Odile Simon, chargée de l’évaluation au sein du Haut Commissariat aux solidarités actives contre la pauvreté, ainsi que des observations des membres du Comité national et des représentants des 34 conseils généraux qui ont été destinataires des parties départementales de ce travail.
-
[2]
Les départements qui ont débuté leur expérimentation dès la fin 2007 constituent la première vague. Ceux qui l’ont débuté début 2008 constituent la deuxième vague.
- [3]
-
[4]
Le lecteur intéressé par le détail des études départementales pourra se reporter à notre rapport de recherche (Goujard et L’Horty, 2008).
-
[5]
La CLI de Givors correspond à la CLI 13, la CLI de Tarare à la CLI 5 et la CLI de Villefranche-sur-Saône à la CLI 15. Dans la suite de ce document, les CLIs non expérimentatrices sont désignées par leurs numéros, leurs noms n’étant pas renseignés dans les listes transmises par le conseil général.
-
[6]
Des régressions ont été effectuées sur les croissances annuelles des taux nets d’entrée en intéressement. Pour évaluer la qualité des ajustements, on a privilégié le critère RMSE qui donne la distance euclidienne entre les variations des taux de la zone test et celles de la zone témoin.
