1Dans un contexte de crise universitaire et de défiance croissante du monde scientifique à l’égard de réformes qui prétendent mettre l’évaluation au cœur du pilotage des politiques de la recherche, il n’est pas inutile de rappeler les espoirs qu’avait fait naître l’émergence de l’évaluation des politiques publiques chez de nombreux chercheurs il y a quelques années. Cette pratique située au croisement de la recherche et de l’action publique apparaissait alors comme une opportunité pour les sciences sociales, lesquelles allaient être à même de faire la preuve de leur utilité sociale, en éclairant le débat public et en contribuant à améliorer l’efficacité des politiques publiques.
2Suivant la définition donnée par le Conseil scientifique de l’évaluation (1996), l’évaluation vise à mesurer, ou du moins à apprécier le plus objectivement possible (en se conformant aux exigences de la méthode scientifique), les effets de la politique considérée sur la société et les logiques de son fonctionnement. Au-delà de la mesure des effets, l’évaluation cherche à aider les parties prenantes d’une politique donnée à porter un jugement de valeur sur cette politique. Enfin, elle a pour ambition de contribuer à l’amélioration de la politique évaluée, l’éclairage apporté aux différents protagonistes devant faciliter la rétroaction. L’évaluation correspond donc à une tentative d’intégration des sciences sociales dans les processus de décision politique et dans la conduite de l’action publique, qui amène les chercheurs impliqués à renoncer à leur revendication traditionnelle d’autonomie vis-à-vis du politique : les connaissances produites à l’occasion d’une évaluation le sont dans un cadre borné par les questions et valeurs de référence d’un commanditaire politique, qui doivent être prises en compte explicitement et a priori par les chercheurs (quitte à les discuter ou les reformuler) ; plus encore, ceux-ci doivent accepter que leurs travaux soient instrumentalisés par les acteurs de la politique étudiée. L’engagement de nombreux sociologues et politistes, y compris les plus critiques, dans l’aventure évaluative au cours des années 1980 et 1990 n’en est que plus notable (Corcuff, 1993).
- 1 Le colloque international sur l’évaluation des politiques publiques organisé en décembre 1983 par l (...)
- 2 On reprend ici un certain nombre de points développés plus longuement dans Epstein (2007).
3On se propose ici de revenir sur cette aventure longue d’un quart de siècle1, pour esquisser un bilan sommaire d’une pratique qui avait l’ambition de renouveler les formes du dialogue entre acteurs publics et chercheurs. On s’appuie pour ce faire sur l’exemple de l’évaluation de la politique de la ville, qui pour être singulier n’en est pas moins heuristique. Car la politique de la ville occupe une place particulière dans l’histoire de l’évaluation des politiques publiques françaises. Elle a servi de terrain privilégié pour l’expérimentation des premières démarches évaluatives dans les années 1980, puis de cheval de Troie pour la diffusion de cette pratique dans les appareils administratifs au cours de la décennie suivante. Depuis le début des années 1990, elle figure parmi les principales animatrices du marché de l’évaluation. Si l’on additionne l’ensemble des évaluations conduites aux niveaux national, régional et local, le bilan est impressionnant, avec plus de 300 rapports qui s’accumulent dans les placards administratifs. La lecture de ces centaines de rapports renseigne moins sur la politique de la ville que sur l’évaluation des politiques publiques et son évolution, donnant à voir un écart grandissant entre la théorie et la pratique évaluative ; dans le même temps, elle met en évidence la diversité des usages de l’évaluation, qui ont varié au fil du temps2.
- 3 La politique de la ville existe, sous cette appellation, depuis mai 1989, mais son histoire avait d (...)
4L’évaluation de la politique de la ville s’est amorcée avant qu’on ne parle d’évaluation des politiques publiques ou de politique de la ville3. Dès 1979, les conventions « Habitat et vie sociale », procédure expérimentale qui a préfiguré la politique de développement social des quartiers (DSQ), ont fait l’objet de premières tentatives d’évaluation locale. L’expérience a été renouvelée dans plusieurs dizaines de quartiers visés par le DSQ dans la deuxième moitié des années 1980, avant d’être prolongée par une évaluation nationale, conduite au sein d’un groupe du Commissariat général du Plan (Levy, 1988).
5Cette administration de mission, qui a longtemps été le principal espace d’intégration de la recherche en sciences sociales aux activités de gouvernement, a alors trouvé dans la politique de la ville un terrain d’application des réflexions théoriques sur l’évaluation qu’elle avait développées au cours des années précédentes (Deleau et al., 1986). L’évaluation nationale de la politique de développement social des quartiers s’est appuyée sur seize monographies – dont quatre portaient sur des « sites témoins » qui n’avaient pas bénéficié du DSQ –, réalisées par des experts autour d’une grille commune : l’historique des opérations, la stratégie retenue, l’affichage de la politique de DSQ, les actions emblématiques et le coût de l’opération. Il s’agissait donc avant tout de rendre compte de la mise en œuvre d’une politique qui s’inventait sur le terrain, et non de mesurer ses effets ou son impact. Le rapport d’évaluation ne se contentait cependant pas de décrire les opérations de DSQ. Il portait un jugement sur la politique menée, jugement très positif insistant sur le caractère novateur et l’apport de la logique expérimentale qui guidait le DSQ, tant sur le registre opérationnel (réalisations) que sur celui des modes opératoires (procédure partenariale).
- 4 À moins que ce ne soit l’inverse, voir Tissot (2007).
6La légitimation ainsi apportée à une politique bricolée par une alliance hétéroclite d’élus locaux, de fonctionnaires marginaux et de chercheurs militants4 a ouvert la voie à sa pérennisation dans les années 1990. On ne peut cependant conclure au succès de la rétroaction évaluative : si le rapport du Plan a effectivement validé la logique expérimentale du DSQ, il l’a fait sous condition, en soulignant que sa fertilité et sa productivité auraient été menacées par une extension vers un grand nombre de sites. Cette condition n’a visiblement pas été entendue, la poursuite du développement social des quartiers au cours du Xe Plan (1989-1993) s’accompagnant d’un triplement du nombre de quartiers bénéficiant de cette politique. Ainsi, les évaluations conduites sur un mode expérimental au cours des années 1980 ont servi à légitimer une pratique elle aussi expérimentale, légitimation qui a rendu possible sa pérennisation et son expansion territoriale.
7En 1990, François Mitterrand a érigé la politique de la ville au rang de priorité nationale. Peu de temps après avoir été nommé ministre d’État, chargé de la politique de la ville, Michel Delebarre a installé un Comité national d’évaluation chargé, sous la présidence de Jean-Michel Belorgey, « d’apprécier le contenu, les conditions de mise en œuvre et les effets de cette politique, au regard des objectifs qu’elle poursuit ». Cette évaluation interministérielle a donné lieu à la mise en place d’un lourd dispositif, supposé à la fois garantir sa scientificité et créer les conditions de l’appropriation et de la diffusion de ses résultats : un Comité national d’évaluation créé sous l’égide du Conseil national des villes (instance de concertation et de proposition rattachée au Premier ministre) réunissait des élus, des chercheurs, des hauts fonctionnaires et des représentants de la société civile ; s’y est ajouté un groupe inter-administratif d’évaluation chargé de faciliter les relations avec les services de l’État, ainsi qu’un groupe scientifique d’animation réunissant dans un séminaire régulier tous les chercheurs et consultants travaillant pour le Comité, autour de ses rapporteurs.
8Disposant d’importants moyens d’études, ce Comité a commandé une trentaine de recherches à des équipes universitaires et des bureaux d’études. Cette vague de commandes a ouvert la voie à d’importants progrès sur le plan de la connaissance des quartiers visés par la politique de la ville, des processus à l’origine de leurs difficultés et surtout des modalités de l’intervention publique en leur direction. L’évaluation des politiques publiques n’est pas cependant qu’une activité cognitive, elle est aussi normative et instrumentale. Sur ces deux derniers plans, le dispositif mis en place a vite montré ses limites.
- 5 Pour une analyse détaillée de l’expérience du Comité national d’évaluation de la politique de la vi (...)
9L’avancée de cette évaluation interministérielle a été contrariée par de fortes tensions entre les différentes parties prenantes de la démarche : tension entre administrations, entre les différentes instances constituées pour l’évaluation, entre le président et les rapporteurs, entre les chercheurs impliqués5. Les membres du Comité national ne sont jamais parvenus à s’accorder sur la nature et les finalités mêmes de la politique de la ville : certains considéraient qu’il s’agissait d’une politique substitutive, venant traiter les territoires et les populations laissés pour compte par les politiques sectorielles ; d’autres défendaient l’idée d’une politique incitative, visant à transformer ces politiques afin qu’elles parviennent à résorber les situations d’exclusion et à en prévenir l’apparition. Faute d’accord sur ce point, le passage des connaissances produites à un jugement partagé sur la valeur de la politique de la ville était impossible.
10L’évaluation n’a d’ailleurs pas débouché sur un simple rapport, mais sur deux publications concurrentes. Tout d’abord, à l’approche des élections législatives de 1993, Jean-Michel Belorgey a rédigé en toute hâte un rapport (1993), mais celui-ci n’a pas été formellement validé par le Comité d’évaluation. S’y est ajouté L’État animateur, essai publié peu de temps après par les rapporteurs dudit Comité, Jacques Donzelot et Philippe Estèbe (1994). L’existence de deux textes tirant des conclusions fort éloignées des travaux du Comité prouve l’échec du pari évaluatif, consistant dans la production d’un jugement collectif sur la politique considérée dans un premier temps, pour organiser une rétroaction sur celle-ci dans un second temps. L’évaluation a d’autant moins pesé sur les décisions politiques que cette démarche initiée et pilotée par des élus socialistes s’est conclue au moment de l’alternance gouvernementale de 1993, ce qui n’a pas contribué favorablement à la réception des propositions formulées par le président du Comité. On n’en trouve d’ailleurs aucune trace dans le mandat de négociation adressé aux préfets en 1993 pour l’élaboration des contrats de ville du XIe Plan, qui ont pris la suite des conventions de DSQ.
11Si la lourde démarche d’évaluation interministérielle a pesé sur la politique de la ville, c’est par des voies détournées. Le rapport du président du Comité a connu le destin obscur de la plupart des rapports administratifs. Il en a été autrement de l’essai rédigé par ses rapporteurs. Cet ouvrage à succès, dans lequel les auteurs énonçaient un projet politique réformateur plus qu’ils ne développaient une analyse de la mise en œuvre de la politique de la ville, a profondément marqué les acteurs de cette politique. Jusqu’à la fin des années 1990, il était difficile de conduire un entretien avec l’un d’entre eux, du chef de projet de quartier aux responsables nationaux, sans qu’il ne reprenne le discours de L’État animateur, érigeant la politique de la ville en levier d’une modernisation d’ensemble de l’action publique.
12Les responsables nationaux de la politique de la ville semblent avoir pris acte de l’échec de l’évaluation nationale, en renvoyant aux responsables locaux de la politique de la ville (aux maires et aux préfets) la responsabilité de son évaluation à partir de 1994. L’incitation nationale à l’évaluation locale s’est appuyée sur une enveloppe financière conséquente et sur la diffusion d’un guide méthodologique pour l’évaluation des contrats de ville (Délégation interministérielle à la ville, 1995). Reprenant les recommandations du Conseil scientifique de l’évaluation, ce guide insistait sur la nécessité d’un travail préalable de clarification de la chaîne d’intentions, au-delà de ce qui avait été fait dans la phase de négociation locale des contrats. Les conventions établies localement avaient – à de rares exceptions près – laissé dans le flou la stratégie retenue pour lutter contre les processus d’exclusion sociale et spatiale, se contentant d’un rappel des grands objectifs de la politique de la ville et des objectifs spécifiques des différents dispositifs qui la composent. L’évaluation est dès lors apparue comme un levier pour mobiliser les acteurs locaux dans un débat sur les hypothèses et les objectifs implicites en fonction desquels s’organisait la participation de chacun à un projet collectif, ce qui devait conditionner en retour la pertinence des questionnements évaluatifs et des indicateurs mobilisés pour y répondre.
- 6 Pour une analyse approfondie de ces rapports d’évaluation, voir Kirszbaum (1998) et Estèbe et Epste (...)
13Ce renvoi vers le local a indéniablement contribué au développement de la pratique évaluative dans les administrations déconcentrées et les collectivités territoriales : plus de la moitié des contrats de ville ont fait l’objet d’une évaluation intermédiaire ou finale entre 1994 et 1999. Mais ce succès quantitatif a été contrebalancé par un bilan nettement plus mitigé sur le plan qualitatif. Rares sont les évaluations dont la conduite a été structurée par un référentiel d’évaluation explicitant et modélisant les liens de causalité supposés entre les données du problème à résoudre, les objectifs visés par les responsables politiques, les réalisations prévues, les effets et l’impact qui en sont attendus6. Faute d’un travail préalable de clarification des intentions publiques, puis de formulation d’un jeu d’hypothèses nécessaire pour structurer un programme d’enquêtes et en exploiter les résultats, la grande majorité des démarches évaluatives se sont réduites à la juxtaposition de tableaux de bord bricolés à partir des rares statistiques infracommunales disponibles et d’audits organisationnels, traitant la dimension procédurale de la politique de la ville sans interroger ses finalités et ses réalisations.
14Les évaluations n’ont donc qu’exceptionnellement abouti à des jugements argumentés sur la pertinence, la cohérence, l’efficacité et l’impact de la politique menée. Symptomatiquement, de nombreux rapports se concluent par une critique du flou des objectifs du contrat de ville, lequel limiterait sa dimension évaluable. On trouve bien, dans certains rapports d’évaluation, des jugements sur la valeur de la politique de la ville, mais ces avis, aussi tranchés que faiblement étayés, sont ceux des consultants qui les ont formulés et ils n’engagent en rien les décideurs locaux. Quant aux vertus démocratiques de l’évaluation, force est de constater qu’elles sont loin d’être évidentes : les rapports d’évaluation ont rarement été débattus, et leur publicisation a été quasi nulle.
- 7 Circulaire du ministre délégué à la Ville du 13 novembre 2000, relative à l’évaluation des contrats (...)
15La mise en place d’une nouvelle génération de contrats de ville en 2000 s’est néanmoins accompagnée de la réaffirmation d’une forte ambition en matière d’évaluation, présentée comme « un impératif d’efficacité et une exigence démocratique »7. Un Comité national d’évaluation de la politique de la ville a été installé en janvier 2002 et un nouveau guide méthodologique de l’évaluation des contrats de ville a été diffusé par la DIV quelques mois plus tard. La déconvenue a été à la hauteur de l’ambition affichée. Le Comité national ne s’est réuni qu’à deux reprises, et il n’a eu aucune production propre. S’agissant des évaluations locales, le bilan est comparable à celui de la génération précédente. À mi-parcours, plus de la moitié des contrats de ville 2000-2006 avaient fait l’objet d’une évaluation. Mais ces évaluations locales reproduisaient les travers méthodologiques (et déontologiques) observés quelques années plus tôt, quand elles ne les amplifiaient pas (Kirszbaum et Epstein, 2005).
- 8 C’est notamment le cas de l’évaluation régionale conduite à la fin des années 1990 en Île-de-France (...)
16À défaut d’avoir suscité des évaluations dignes de cette appellation, l’incitation nationale à l’évaluation locale a contribué à l’institutionnalisation de cette pratique. Les vagues répétées d’évaluation des contrats de ville ont fait émerger un marché d’assistance à maîtrise d’ouvrage dans ce domaine, sur lequel se sont positionnés des cabinets d’audits, des bureaux d’études ainsi que divers consultants. Les chercheurs, en première ligne jusque-là dans la conduite des évaluations, ont rapidement été supplantés par ces nouveaux entrants qui ont su proposer des offres clés en main aux décideurs locaux. L’indigence des rapports produits par ces experts ne signifie pas que les évaluations aient été inutiles. Elles ont souvent eu une fonction pédagogique (Spenlehauer et Warin, 2000), suscitant des dynamiques d’apprentissage collectif qui ont facilité la mise en œuvre d’une politique impliquant de multiples institutions. Dans certains sites, elles ont mis en place des tableaux de bord agrégeant les données statistiques et de gestion disponibles, palliant les carences d’un appareil statistique national qui est structuré pour répondre aux besoins de connaissances de l’État et non à ceux des pouvoirs locaux (Desrosières, 1993). De manière plus frappante, l’évaluation est parvenue à faire émerger des scènes de débat local sur les enjeux, les objectifs et les réalisations de la politique de la ville, qui ont permis d’infléchir la politique menée8.
17Quelques mois après avoir été nommé ministre délégué à la Ville et à la Rénovation urbaine dans le premier gouvernement de Jean-Pierre Raffarin, Jean-Louis Borloo a demandé à ses services d’établir une synthèse des évaluations à mi-parcours des contrats de ville 2000-2006. Après avoir réuni les rapports disponibles et tenté de les exploiter, la Délégation interministérielle à la ville a dû reconnaître qu’elle était dans l’incapacité de répondre à la demande ministérielle. À son corps défendant, elle a ainsi validé l’analyse développée par les magistrats de la Cour des comptes dans le rapport particulier sur la politique de la ville qu’ils avaient publié en 2002 : cette politique serait marquée par des tares conceptuelles qui empêcheraient son évaluation. Pour la rendre possible, les hauts magistrats rappelaient les demandes qu’ils avaient déjà formulées dans leur rapport annuel en 1995 : clarification des objectifs ; déclinaison de ces objectifs dans des indicateurs de résultats ; identification plus précise des programmes y contribuant et des moyens qui leur sont consacrés ; amélioration des systèmes statistiques d’observation des quartiers. Autant de demandes auxquelles la loi d’orientation et de programmation pour la politique de la ville et la rénovation urbaine du 1er août 2003 (dite loi Borloo) a répondu.
- 9 Plusieurs lois ont prolongé le Programme national de rénovation urbaine jusqu’en 2013.
18Tout, dans la loi Borloo, a été fait pour rendre la politique de la ville évaluable. Les outils de l’évaluation n’ont pas été construits en fonction des objectifs impartis à cette politique ; au contraire, ce sont les enjeux et les objectifs de cette politique publique qui ont été redéfinis en fonction de l’exigence de mesure des résultats et des instruments administratifs disponibles pour ce faire. Les cibles et les objectifs de la politique de la ville qui étaient jusque-là définis par les acteurs locaux le sont désormais par le législateur. Formulés en termes d’écarts entre les 751 zones urbaines sensibles (ZUS) et l’ensemble du territoire national, ces objectifs sont déclinés dans une batterie de 65 indicateurs quantitatifs réunis dans l’annexe I de la loi. Cette opération de clarification s’est prolongée sur le plan des moyens. L’incertitude qui prévalait jusque-là quant aux ressources dévolues à la politique de la ville a laissé place à un système bien plus lisible, avec la création d’une Agence nationale pour la rénovation urbaine (ANRU) mutualisant l’ensemble des apports financiers de l’État, du 1 % logement, de la Caisse des dépôts et du mouvement HLM. Enfin, la loi Borloo a créé un Observatoire national des zones urbaines sensibles (ONZUS), chargé de « mesurer l’évolution des inégalités sociales et des écarts de développement dans chacune des zones urbaines sensibles, suivre la mise en œuvre des politiques publiques conduites en leur faveur, mesurer les moyens spécifiques mis en œuvre et en évaluer les effets par rapport aux objectifs et aux indicateurs de résultats » définis par le législateur. L’édifice évaluatif a été parachevé un an plus tard, avec l’institution d’un Comité d’évaluation et de suivi au sein de l’ANRU. Deux des membres dudit comité ont par la suite rejoint le gouvernement (Fadela Amara, nommée secrétaire d’État chargée de la politique de la ville en 2007, suivie par le président du Comité, Yazid Sabeg, devenu commissaire à la diversité et à l’égalité des chances en 2008), ce qui semblait créer les conditions d’une rétroaction évaluative. Cinq ans après le vote de la loi Borloo, dont les programmes devaient prendre fin en 20089, les promesses évaluatives ont-elles été tenues ?
- 10 Les bases théoriques et les méthodes de l’évaluation économétrique des politiques de développement (...)
19L’amélioration des systèmes d’observation à laquelle s’est attelé l’ONZUS, en lien avec l’ensemble des organismes de la statistique publique, a indéniablement fait progresser la connaissance des quartiers visés par la politique de la ville et de leurs dynamiques, ainsi que des moyens mobilisés par cette politique. Les progrès de l’observation semblaient ainsi ouvrir la voie à des avancées substantielles de l’évaluation nationale de la politique de la ville, en rendant possible, par des analyses économétriques, la mesure de l’efficacité de ses différents programmes10.
20Si la loi Borloo a créé les conditions de possibilité d’une mesure des effets et de l’impact des programmes de la politique de la ville, ces conditions ne sont visiblement pas suffisantes pour que ces programmes fassent effectivement l’objet d’une évaluation. Les responsables de l’ONZUS ont jusqu’à présent fait preuve d’une grande prudence, s’interdisant de prolonger leurs analyses statistiques par un jugement sur la valeur des différents programmes de la politique de la ville. Le Comité d’évaluation et de suivi de l’ANRU a été plus audacieux, publiant plusieurs avis et rapports critiques sur les moyens dévolus à la rénovation urbaine ou sur les conditions de pilotage du programme, mais qui n’apportent aucun élément sur son efficacité et son impact. Ce déficit, d’autant plus notable que la réforme opérée en 2003 avait été justifiée par l’impératif d’évaluation, n’a pas empêché les responsables de la politique de la ville de célébrer la réussite du Programme national de rénovation urbaine (PNRU) et les parlementaires de voter à trois reprises la prolongation de cet ambitieux programme qui prévoyait la démolition et la reconstruction de 250 000 logements sociaux, pour un coût total estimé à 42 milliards d’euros.
- 11 À l’exception des travaux réalisés dans le cadre du Comité national d’évaluation du début des année (...)
- 12 S’agissant des ZEP, voir Bénabou et al. (2004).
21L’évaluation des politiques publiques devait organiser la rencontre entre sciences sociales et action publique, pour faire bénéficier cette dernière des lumières de la première. Dans le cas de la politique de la ville, la rencontre a bien eu lieu, mais aucune des parties n’en a tiré un grand bénéfice. Les très nombreuses réorientations de cette politique ont été opérées sans lien avec les résultats des évaluations et les connaissances les plus décisives produites sur la politique de la ville ne l’ont pas été à l’occasion d’évaluations11. À titre d’exemple, seules trois évaluations locales (soit 1 % de celles menées au cours des dix dernières années) ont cherché – sans y parvenir de manière satisfaisante – à vérifier si la politique de la ville avait effectivement produit un effet de discrimination positive territoriale, conformément à l’objectif réaffirmé avec constance dans le cadre de cette politique. Ce sont des travaux académiques ou d’inspection administrative conduits hors du cadre évaluatif qui ont cherché à mesurer les moyens supplémentaires consacrés aux territoires défavorisés, pour montrer que leur faiblesse ne permettait pas de compenser l’inéquitable distribution des moyens des politiques de droit commun (Fourcade et al., 2005)12.
22Que l’on adopte une conception technocratique de l’évaluation, considérant que l’exercice vise à reconnaître les effets propres d’une politique (Deleau et al., 1986) ou une conception plus démocratique conférant à l’évaluation la charge d’éclairer le débat public (Viveret, 1989), l’échec de l’évaluation de la politique de la ville est patent. À défaut d’avoir fait la preuve de son utilité sociale, l’évaluation a été utile pour les acteurs de la politique de la ville. Elle a d’abord légitimé cette politique expérimentale portée par des acteurs marginaux dans le système politico-administratif, contribuant ainsi à sa pérennisation. Elle a ensuite servi de cadre à l’énonciation de cette politique, fournissant à ses porteurs nationaux et locaux des ressources cognitives et/ou discursives mobilisables vis-à-vis de leurs partenaires pour les inciter à s’engager dans des projets dont ils se tenaient souvent à l’écart. Enfin, elle a contribué à l’amélioration des systèmes d’observation territoriale et de suivi des politiques menées. Le bilan n’est donc pas totalement négatif, mais il est singulièrement limité en regard des espoirs suscités par le développement d’une pratique qui devait transformer les relations entre le savant et le politique.
Flux RSS
