Vous êtes ici : Ressources Développement Durable / Evaluation / Enjeux /
Mise à Jour : 21 juillet 2014
A+ A- imp envoyer add rss Twitter F

Retour sur l’atelier d’échange de mars 2010 organisé par le Cerdd en partenariat avec la ville de Valenciennes

Publié par Julie Nicolas, le 06/30/2010

Évaluation de l’action publique locale au regard du DD


L’évaluation est présentée comme une dimension essentielle d’une démarche de progrès, en particulier de développement durable. Le Cadre de référence national, par exemple, en fait l’un de ses cinq éléments essentiels de méthode. Pourtant, la définition d’un dispositif d’évaluation et d’une méthode, comme leur mise en œuvre, restent rares dans les Agendas 21 locaux.

Le Cerdd a organisé en octobre 2008 un forum régional sur ce sujet, qui a abouti à la publication d’un Manifeste pour l’évaluation au regard du développement durable en juin 2009, fournissant un argumentaire à destination des élus et des directions des collectivités, pour aider à convaincre.

Sollicité par la ville de Valenciennes sur le sujet de l’évaluation du développement durable, le Cerdd a proposé l’organisation d’un atelier d’échange sur ce thème, permettant de réunir plusieurs collectivités. De fait, outre la mobilisation forte de la ville de Valenciennes, représentée par son adjoint au DD M. Bernard Brouillet, mais également son Directeur général des services M. Jean Ouachée et plusieurs directeurs et chefs de services de la ville, les villes de Tourcoing, Béthune, Bailleul, Saint Pol sur Ternoise, ainsi que le Syndicat Intercommunal d’Assainissement de Valenciennes (SIAV – premier syndicat intercommunal à se doter d’un A21) et des représentants de l’État en région (DREAL, DDT) ont participé à cette rencontre.

L’objectif de l’atelier était de proposer un retour d’expérience sur la démarche d’évaluation au regard du développement durable initiée par la Communauté Urbaine de Dunkerque, et d’informer les collectivités présentes du chantier engagé par le Bureau des Territoires, au sein du Ministère en charge du Développement Durable (MEEDDM) sur le sujet de l’évaluation des agendas 21 locaux. Il s’agissait également de se pencher sur les aspects de méthode et d’opérationnalité. Comment organiser ce travail, la méthode, définir les objectifs de l’exercice évaluatif ? Les questions sont nombreuses ; l’atelier devait permettre, sinon de répondre à toutes, du moins de réduire leur nombre et d’offrir des perspectives pour la mise en œuvre.

L’évaluation reste une dimension encore rare et expérimentale dans les A21L

M. Brouillet a ouvert cet atelier en présentant la situation de la ville de Valenciennes vis-à-vis du DD. Valenciennes fait partie des collectivités pionnières, ayant élaboré un A21L dès 1998. Aujourd’hui, la municipalité et les services disposent de deux documents directeurs pour l’action : le programme du Maire et l’Agenda 21, qui a obtenu la « reconnaissance » du Ministère de l’écologie et du développement durable lors du premier appel à reconnaissance de février 2007.

Mme Yveline Lepillet, responsable du service développement durable, poursuit les présentations de la démarche locale en soulignant l’évaluation du premier plan d’action menée en 2003, et l’évaluation à mi-parcours du second plan d’action au premier semestre 2008. Celle-ci, réalisée par un cabinet d’audit a porté un regard sur sa pertinence au regard des besoins du territoire, sa cohérence avec les différentes politiques et planifications locales et vis-à-vis de la Stratégie Nationale de DD. Néanmoins la ville cherche aujourd’hui à engager une évaluation qui pourrait nourrir l’élaboration d’un troisième plan d’action.

Parmi les collectivités présentes, plusieurs ont défini leur stratégie locale de DD, d’autres sont en cours de réflexion sur cette même question de l’évaluation ; par exemple, M. Jean-Jacques Tieberghien, directeur du DD de la ville de Tourcoing (dont l’A21 a également été reconnu par le ministère en novembre 2007), explique que l’A21 Tourquenois est désormais bien consolidé et que la direction souhaite également conduire une évaluation de celui-ci.

L’évaluation des politiques publiques et le développement durable : des approches et des finalités diverses

En introduction-cadrage de l’atelier, il est rappelé les principales perspectives de l’évaluation du développement durable :

  • Évaluation du développement durable du territoire : approche qui cherche à établir l’impact ou la contribution du territoire au projet global de développement durable. En NPDC, on peut citer la démarche « Indicateurs 21 » du Conseil régional, initiée en 2003, qui produit notamment des indicateurs synthétiques sur le territoire régional (Empreinte écologique, IDH, Indice de santé sociale, etc.) Cf. une présentation de la démarche dans la Note de la D2DPE n°27, publiée en octobre 2009. Cf. également la publication du Cerdd « Des indicateurs pour donner du sens au développement durable » de 2007 ;
  • Évaluation de la politique ou de la stratégie locale de DD (Agenda 21...) : On se situe dans une perspective d’évaluation plus classique, regardant la politique ou le projet en termes de pertinence, de cohérence, d’efficience (résultats / moyens engagés) et d’efficacité (résultats / objectifs). Néanmoins, la proposition d’un référentiel national pour l’évaluation des agendas 21 locaux, présentée dans l’atelier, renouvelle quelque peu cette perspective ;
  • Évaluation au regard du DD des différentes politiques publiques menées : il s’agit d’intégrer les principes et enjeux du DD dans la méthode d’évaluation en élaborant de nouveaux critères et indicateurs. L’expérience dunkerquoise, initiée en 2003 et présentée dans cet atelier, est exemplaire de cette perspective.

Le champs de l’évaluation des politiques publiques recouvre lui-même plusieurs types (évaluations ex ante, in itinere, ex post) et différentes finalités, que l’on peut chercher à combiner :

  • l’amélioration continue des pratiques et capitalisation – on parle d’évaluation managériale ;
  • clarifier les enjeux et trouver des accords entre les partenaires de l’action publique (décideurs, acteurs, bénéficiaires / publics) – c’est l’évaluation pluraliste ; pour rendre compte aux citoyens. Il s’agit alors de produire une information claire, complète et lisible (transparence), support de négociation entre partenaires de l’action publique et ses publics – c’est l’évaluation démocratique.

La combinaison de ces différentes finalités est présente, à des degrés divers, dans les deux interventions principales de cet atelier.

La CU de Dunkerque et l’expérience ambitieuse d’une évaluation des politiques publiques au regard du DD

La présentation de l’expérience de la CU de Dunkerque Grand Littoral en matière d’évaluation au regard du développement durable des politiques publiques de l’institution a ainsi été présentée par Mme Mathilde Vanderrusten, responsable de la mission stratégie de la CUD, et M. Pierre Roger, chargé de mission évaluation au sein de la mission stratégie 1 . L’expérience acquise aujourd’hui a permis d’en mesurer les apports pour la décision, mais aussi au-delà pour les finalités des missions des services ; l’intervention a également permis aux personnes présentes de bénéficier de l’identification des freins et des écueils à éviter pour favoriser le plein déploiement d’un tel dispositif d’évaluation.

Mathilde Vanderrusten présente le contexte de son territoire : première CU volontaire dès 1969, la CUD compte aujourd’hui 200 000 habitants sur son territoire de 18 communes. En 2000, la CUD a décidé de faire du DD le fil rouge de son projet d’agglomération (2000-2015), et du contrat d’agglomération 2000-2006, document directeur unique qui intègre le contrat de ville et le Grand projet de Ville. Ce contrat d’agglomération est l’agenda 21 de la CUD. Autre particularité, le Conseil de développement ajoute « durable » à son intitulé lors de son installation en 2002. La volonté politique était de ne pas se contenter de déclaratif mais de bien évaluer la mise en œuvre, et donc de se doter d’outils spécifiques. La proposition de la CUD était de s’engager dans une co-production de la méthode avec les acteurs du territoire (80 ont participé à ces travaux pendant l’année 2002).

Le postulat méthodologique de ce chantier est que « l’évaluation n’a de sens que par rapport aux objectifs que se fixent collectivement les acteurs du territoires ». Autrement dit, l’objectif n’est pas de comparer un état ou une « performance » de la politique de DD avec d’autres collectivités, territoires, mais de s’inscrire dans une évaluation en fonction d’axes de progrès, d’évolution. La méthode a permis de construire collectivement plusieurs produits :

  • une méthode partagée
  • des outils d’évaluation

La méthode est fondée sur la participation de l’ensemble des acteurs concernés par telle ou telle action ou politique (services, usager, partenaires...) ainsi que sur des questionnement intégrant les quatre dimensions du développement durable (gouvernance, économie plurielle, environnement, cohésion sociale) définis avec Extra-Muros consultants. La méthode vise la production collective d’objectifs et leur priorisation, ainsi que des indicateurs de progrès compris et validés par tous.

Les outils développés :

  • Une grille de questionnement (« pense-bête » du DD pour chaque projet ou action...)
  • Un jeu « quizz-test » comme support de sensibilisation ludique des agents et partenaires
  • Des « cercles de qualité » (auquel était adjoint dans un premier temps un « schéma de progrès »), adaptables à toutes les politiques et projets de services.
  • 24 indicateurs du DD de la CUD... qui n’ont jamais été validés politiquement (la double difficulté pour les élus viendrait d’une réticence à assumer un indicateur ne relevant pas de leur seule responsabilité, ainsi que des résultats parfois médiocre).

La méthode et les outils ont été testé à l’interne (2 services, une mission) et à l’externe (ENACT) en 2003 et 2004, puis la généralisation a été engagée à partir de mars 2005, au moment où la CUD souhaitait passer des contrats d’objectifs pour les services... avec beaucoup d’indicateurs. Les services expérimentateurs ont décidé de conserver la méthode testée et de la proposer aux autres. Malgré l’investissement fort de certains service, la généralisation a été très inégale et a perdu de son souffle notamment par manque de portage politique et hiérarchique.

Quelle analyse rétrospective et enseignements de cette expérience ?

Les plus-values stratégiques attendues de cette méthode d’évaluation étaient de deux ordres :

  • accompagner la CUD dans l’évolution de ses responsabilités vis-à-vis du territoire (notamment par la compétence aménagement du territoire et la nécessaire coordination des politiques publiques)
  • accompagner l’évolution de son organisation et de ses compétences (animation des politiques publiques, pilotage par projet, transversalité)

Mathilde Vanderrusten identifie également plusieurs conditions à réunir pour avancer dans une démarche d’évaluation au regard du DD :

  • s’appuyer sur la nécessaire participation des partenaires
  • se préparer à affronter des contradictions (entre différents objectifs de politiques publiques par exemple) à résoudre (ou à accepter)
  • s’assurer un portage politique et hiérarchique clair
  • prendre en compte le temps de la démarche.

Pour autant, au-delà de l’échec de l’appropriation généralisée de ce dispositif, son élaboration et ses années de test ont considérablement favorisé l’acculturation au DD, ses principes et enjeux. Ainsi, pour le projet communautaire 2008-2014, la question de l’évaluation a été introduite dès l’amont, et ce projet, déposé en décembre 2009 est construit selon une approche par enjeux, et plus par services ou compétences, qui intègrent totalement la problématique du DD.

Si celle-ci est bien portée politiquement, l’évaluation ne l’est par contre toujours pas réellement. Les échanges qui suivent cette intervention tournent pour beaucoup d’entre eux autour de la question de l’implication du Conseil de développement, qui pourrait être un lieu de partage et de mise en débat de l’évaluation avec les acteurs locaux, voir en être le porteur... à condition qu’il ne soit pas qu’un conseil de développement... économique !

Vers un référentiel national pour l’évaluation stratégique des A21 et autres projets territoriaux de DD

La seconde intervention de cet atelier était consacrée à la présentation du projet en cours d’élaboration d’un « Référentiel national pour l’évaluation des A21 ». Mme Céline Braillon, du Bureau des territoires (CGDD-MEEDDM) a accepté de venir présenter ce dispositif dont l’élaboration a été menée avec un groupe de collectivités de différents niveaux (région, département, intercommunalités et communes de différentes tailles) en 2008, puis testé par un second groupe de collectivités volontaires en 2009 et tout début 2010. Ce dispositif s’adosse au Cadre de référence des projets territoriaux de DD (dont les A21L) qui a été élaboré en 2006 par le Comité national A21, auquel participent des associations de collectivités, des association de promotion du DD et différentes administrations et qui est présidé par le Délégué Interministériel au DD.

Ce Cadre de référence, jusqu ’à présent soutenu par une circulaire de la Ministre en charge du DD datant de 2006, est repris dans la Loi portant engagement national pour l’environnement (ou Loi Grenelle 2). Le projet de Référentiel national pour l’évaluation des A21L, a été élaboré également en lien direct avec des collectivités : 16, de toutes tailles (de la région à la petite commune rurale) ont travaillé sur l’esprit, la forme et le fond d’une version expérimentale de ce référentiel pour l’évaluation des A21L éditée en mars 2009. 17 autres collectivités se sont portées volontaires pour tester cet outil. Parmi elles, le Conseil général de Gironde, la ville de Pessac et la petite commune de Mélé en Ille et Vilaine, dont on peut retrouver le témoignage dans les actes du séminaire annuel du Cerdd en 2009.

Les collectivités du premier groupe avaient ciblé leurs attentes : « une base – langage et objectifs communs – pour construire leur propre système d’évaluation », autrement dit : « un tronc commun d’indicateurs ainsi que quelques éléments théoriques et méthodologiques sur l’évaluation ».

L’outil co-construit (avec divers acteurs ressource également : Société Française de l’Evaluation, l’association ETD, l’ANRU, le CERTU, etc.) comporte ainsi une première partie textuelle pédagogique et voulant donner envie de s’engager dans la démarche d’évaluation ; la seconde partie, la plus importante en volume, est organisée selon les 5 finalités du Cadre de référence et ses 5 éléments de méthode. Des tableaux proposent des questions évaluatives « qui permettent de s’interroger sur ce que le projet territorial de DD cherche à faire changer ou à améliorer », ainsi que des indicateurs, d’état et de suivi, « qui permettent de se donner un état zéro, des objectifs stratégiques à suivre, et nourriront l’évaluation ».

Mme Braillon a développé plusieurs exemples : ainsi pour la finalité « épanouissement de tous », plusieurs questions évaluatives sont posées, par exemple :

  • Le projet territorial permet-il une amélioration de la qualité de vie,vers un mode de vie durable, perceptible par les habitants ? (dispositifs de suivi, satisfaction des besoins essentiels, accessibilité aux services publics)
  • Le projet prépare-t-il des conditions de vie durables pour tous, à long terme (rénovation de l’habitat, logement pour tous, santé environnement, culture du risque ...) ?

et des indicateurs sont proposés (à choisir par les collectivités s’ils ont du sens sur leur territoire, par rapport à leur taille ou leurs compétences), par exemple :

  • Appréciation par les habitants de la possibilité d’adopter un mode de vie durable sur le territoire
  • Part et diversité des habitants ayant bénéficié d’une action culturelle soutenue par la collectivité
  • Indicateur de développement humain local

Enfin, une troisième et dernière partie sera constituée de fiches techniques sur les indicateurs proposés et d’autres annexes comme des retours d’expérience des collectivités test.

Suite aux retours des collectivités qui ont testé l’outil, deux jours de travaux réunissant les deux groupes de collectivités et auxquels le Cerdd a participé, ont été organisé au MEEDDM les 22 et 23 mars 2010. Plusieurs propositions d’évolution du dispositif ont été discutées (choix des indicateurs stratégiques, mode d’exposition pour rendre les tableaux plus lisibles, travail sur la réalisation d’un « 4 pages » présentant l’outil et ses apports de manière simple et synthétique pour les élus et la hiérarchie des collectivités...). La version finale du Référentiel national pour l’évaluation des A21L devrait être éditée pour décembre 2010. Les collectivités pourront alors s’en saisir librement.

Antoine Goxe, Cerdd

1Ce travail a été présenté dans une publication spécifique : Hélène Combe, 2003, Voyage en terre d’évaluation. L’expédition dunkerquoise, édité par la CUD et Extra-Muros avec le soutien de la DIREN NPDC et de la Caisse des Dépôts et Consignations. Voir aussi la présentation faite par Jean-Blaise Picheral, alors chargé de mission stratégie de la CUD, in Les usages de l’évaluation, cahier du CERTU n°7, janvier 2004, à télécharger sur le site du CERTU