FEVRIER 2019 CETTE PUBLICATION A ÉTÉ PRODUITE À LA DEMANDE DE L’AGENCE DES ÉTATS-UNIS POUR LE DÉVELOPPEMENT INTERNATIONAL. ELLE A ETE PREPAREE DE MANIERE INDEPENDANTE PAR SADIO COULIBALY, DANIEL COPELAND, SAFYATOU DIALLO, ABDOULAYE FAYE ET ALY TOUNKARA DE MANAGEMENT SYSTEMS INTERNATIONAL, UNE ENTREPRISE DE TETRA TECH, POUR LE PROJET DE SUIVI ET D'ÉVALUATION DE L’USAID / SENEGAL. ASSAINISSEMENT, CHANGEMENT DE COMPORTEMENT ET EAU POUR LE SÉNÉGAL (ACCES) EVALUATION DE PERFORMANCE A MI-PARCOURS ii i EVALUATION DE PERFORMANCE A MI￾PARCOURS DE L’ACTIVITE ACCES Février 2019 Contracted under AID-685-C-15-00003 USAID/Senegal Mission-Wide Monitoring and Evaluation Project (MEP) AVERTISSEMENT L’élaboration de ce rapport est rendue possible grâce au soutien du peuple américain par l’intermédiaire de l’Agence des Etats-Unis pour le Développement International (USAID). Le contenu de cette étude /de ce rapport /du site web relève de la responsabilité exclusive du contractant et ne reflète pas nécessairement les opinions de l'USAID ou du Gouvernement des États-Unis. ii TABLES DES MATIERES ACRONYMES.........................................................................................................III RESUME EXECUTIF .............................................................................................. 1 I. BUT DE L’EVALUATION ET QUESTIONS D’EVALUATION.................. 10 I.I. BUT DE L’EVALUATION .............................................................................................................................. 10 I.2. QUESTIONS D’EVALUATION................................................................................................................... 10 II. CONTEXTE DE L’ACTIVITE......................................................................... 11 II.1. L’EAU, L’ASSAINISSEMENT ET L’HYGIENE (WASH) AU SENEGAL............................................. 11 II.2. ACCES SENEGAL.......................................................................................................................................... 12 III. METHODES D’EVALUATION ET LIMITES............................................... 12 III.1. METHODOLOGIE DE COLLECTE DE DONNEES ET ANALYSE................................................. 12 III.2. LIMITES............................................................................................................................................................ 15 IV. CONSTATATIONS ET CONCLUSIONS................................................... 15 IV.1. QUESTION D’EVALUATION 1 : PERFORMANCE ........................................................................... 15 IV.2 QUESTION D’EVALUATION 2 : VALEUR AJOUTEE........................................................................ 25 IV.3. QUESTION D’EVALUATION 3: DURABILITE.................................................................................... 31 IV.4. QUESTION D’EVALUATION 4 : RESSOURCES ................................................................................ 36 V. RECOMMANDATIONS.................................................................................. 40 ANNEX I: FINDINGS AND CONCLUSIONS MATRIX ................................. 44 ANNEX II: RECOMMENDATIONS MATRIX .................................................. 52 ANNEX III: EVALUATION STATEMENT OF WORK ................................... 74 ANNEX IV: DESK REVIEW ................................................................................ 85 ANNEX V: DATA COLLECTION INSTRUMENTS...................................... 101 ANNEX VI: SOURCES OF INFORMATION .................................................. 123 ANNEX VII: DISCLOSURE OF CONFLICTS OF INTEREST ..................... 126 ANNEX VIII: WORK PLAN .............................................................................. 129 ANNEX IX: ACCES COMMUNES AND VILLAGES..................................... 152 ANNEX X: COMPLETE INTERVIEW LIST ................................................... 159 ANNEX XI: COMPLETE FOCUS GROUP LIST............................................ 172 ANNEX XII: LIST OF INTERVIEW CODES .................................................. 173 ANNEX XIII: MARKETPLACE CONNECTIONS.......................................... 174 ANNEX XIV: RECOMMENDATIONS FROM THE FIELD........................... 177 ANNEX XV: REFERENCE FOR ADS CHAPTER 201 ................................... 181 iii ACRONYMES ACCES Assainissement, Changement de Comportement et Eau pour le Sénégal ACRA Association des coopératives rurales en Afrique et en Amérique latine (Associazione di Cooperazione Rurale in Africa e America Latina) ADEMAS Agence pour le Développement du Marketing Social AMELP Activity Monitoring, Evaluation and Learning Plan AMS Association des Maires du Sénégal ARD Agence Régionale de Développement ASUFOR Association des Usagers des Forages BRH Brigade Régionale d’Hygiène CFA Communauté Financière Africaine ATPC Assainissement Total Piloté par la Communauté CMS Crédit Mutuel du Sénégal COP Chief of Party CRS Catholic Relief Services RSE Responsabilité Sociale des Entreprises CSV Comité de Suivi Villageois DA Direction de l'Assainissement DCOP Deputy Chief of Party DGPRE Direction de la Gestion et de la Planification des Ressources en Eau DH Direction de l’Hydraulique DLV Double Latrine Ventilée DRH Division Régionale de l’Hydraulique EGO Economic Growth Office QE Question d’Evaluation UE Union Européenne GOLD Gouvernance pour le Développement Local (Governance for Local Development) GdS Gouvernement du Sénégal iv JICA Agence Japonaise de coopération internationale (Japan International Cooperation Agency) LV Latrine Ventilée OMD Objectifs du Millénaire pour le Développement MHA Ministère de l’Hydraulique et de l’Assainissement MSI Management Systems International MUS Services d’eau à usage multiple (Multiple Use Water Service) NRCE Natural Resources Consulting Engineers, Inc. FDAL Fin de la Défécation à l’Air Libre OFOR Office des Forages Ruraux OMS Organisation Mondiale de la Santé PEPAM Programme d'Eau Potable et d'Assainissement du Millénaire PSI Population Services International SENWASH USAID/Senegal Water, Sanitation and Hygiene SILC Communautés d’Epargne et de Prêts Internes (Savings and Internal Lending Community) SNAR Stratégie Nationale de l’Assainissement Rural au Sénégal SNH Service National de l'Hygiène SRA Service Régional de l’Assainissement TCM Toilette à Chasse Manuelle UNICEF United Nations Children’s Fund USAID U.S. Agency for International Development WASH Water, Sanitation, and Hygiene WASHPaLs Water, Sanitation and Hygiene Partnerships and Learning for Sustainability RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 1 RESUME EXECUTIF Ce rapport fait un résumé des résultats de l'évaluation de performance à mi-parcours de l'Activité Assainissement, Changement de comportement et Eau pour le Sénégal (ACCES) depuis son démarrage jusqu'en décembre 2018. Il présente les constatations et conclusions issues de la revue documentaire et de la recherche sur le terrain mais également les recommandations élaborées conjointement avec les principales parties prenantes, en vue d’améliorer les performances de l’Activité. BUT DE L’EVALUATION Le but de cette évaluation de performance est de déterminer dans quelle mesure ACCES est en train d’atteindre les objectifs escomptés, à mi-parcours de sa période de mise en œuvre et de faire des recommandations sur les approches et la gestion pour les dernières années de l’Activité. Les conclusions de l’évaluation seront utilisées pour : (1) contribuer à un apprentissage qui aura un effet positif sur la mise en œuvre des activités ; (2) fournir des enseignements qui peuvent être partagés avec d'autres activités sur l'eau, l'assainissement et l'hygiène (WASH1) au Sénégal et dans le monde entier ; et (3) fournir des rétroactions opportunes qui éclaireront la conception des activités futures de l'USAID/Sénégal. Le public visé par cette évaluation est principalement l’équipe WASH de l’USAID/Sénégal au sein du Bureau croissance économique. Elle pourrait intéresser également le Ministère de l’Hydraulique et de l’Assainissement (MHA) du Sénégal et le Département Eau et Assainissement de l’USAID/Washington. CONTEXTE DE L’ACTIVITE La finalité globale de l’Activité ACCES, qui utilise une approche basée sur le marché et des programmes de changement de comportement, est d’accroître de manière significative l’accès durable à des services améliorés d’approvisionnement en eau et assainissement et l’adoption de pratiques d’hygiène dans les communautés ciblées. Son objectif est d'améliorer les résultats en matière de santé et de nutrition, en particulier chez les femmes et les enfants. L'Activité met en œuvre cette approche dans les régions de Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda et Matam. Les objectifs d’ACCES sont alignés à ceux de la Stratégie Nationale de l'Assainissement Rural au Sénégal (SNAR) du Gouvernement du Sénégal (GdS), adoptée en 2016, qui vise à promouvoir « une approche axée sur la demande, encourageant le secteur privé à entrer dans le marché et tester de nouveaux mécanismes de financement pour augmenter le pouvoir d'achat des ménages2 ». La SNAR est la première stratégie WASH du GdS qui prône une transition vers une approche basée sur le marché. MODELE ET METHODES D’EVALUATION La méthodologie d’évaluation comportait trois phases, à savoir une revue des documents pertinents, une collecte de données sur le terrain et une analyse de données qualitatives. L’équipe d’évaluation a recueilli des données à Dakar et dans trois des six régions cibles d’ACCES - Matam, Kédougou et Ziguinchor3. L'équipe d'évaluation a visité trois communes à Matam, quatre communes à Ziguinchor et quatre communes à Kédougou. Au total, l’équipe d’évaluation a mené 89 entretiens avec des informateurs clés, 17 interviews de groupe et 12 groupes de 1 Eau, Assainissement et Hygiène. Nous conserverons l’acronyme anglais WASH puisque ce terme est usité en Français et revient souvent dans les annexes du présent Rapport. 2 Projet Appraisal Document (PAD), p. 6. 3 L’équipe d’évaluation a également mené un entretien à Tambacounda. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 2 discussion (Focus Group). Au total 121 participants appartenant à diverses catégories ont été interviewés4. Les femmes représentaient 44% des personnes interrogées et 63% des participants aux groupes de discussion. Enfin, la phase d'analyse de la recherche comportait deux étapes : une analyse interprétative quotidienne sur le terrain, et une analyse de contenu et une triangulation des preuves une fois les données collectées. CONSTATATIONS ET CONCLUSIONS QUESTION D’EVALUATION 1 : PERFORMANCE Dans quelle mesure l’Activité d’ACCES est-elle performante ? Qu'est-ce qui fonctionne et qu'est-ce qui ne fonctionne pas et pourquoi ? ACCES performe bien dans certains domaines et de façon médiocre dans d’autres. L'Activité excelle dans la réalisation de ses objectifs dans le domaine de l’eau et de l'assainissement total piloté par la communauté (ATPC). ACCES a dépassé la cible fixée de 30 000 personnes ayant accès à des sources d'eau améliorées à la fin de l’Activité. Par ailleurs, 66 des 76 villages ciblés (87%) ont été déclarés exempts de défécation à l'air libre. L'Activité a mis au point plusieurs innovations ayant entraîné la réduction des prix des latrines et l’amélioration de leur qualité. En collaboration avec le Crédit Mutuel du Sénégal (CMS), ACCES a également appuyé des groupements de femmes à obtenir du crédit pour la construction de latrines. ACCES a créé 67 communautés d'épargne et de prêts internes (SILC) et d'autres groupes pour faciliter les prêts informels. L’Activité est peu performante lorsqu’on évalue les ventes de latrines et la mise en place d’une approche basée sur le marché. L'Activité n'a pas répondu aux attentes concernant la création de la demande en produits WASH et les ventes de latrines, en raison notamment de l'attrition des acteurs du marché, du manque d'options de financement pour les particuliers et du manque de moules en ciment pour satisfaire la demande du marché. L'objectif global de vente de latrines de l'Activité est fixé à 13 363 « toilettes et latrines améliorées construites / achetées par les ménages bénéficiaires ». A la date du 21 décembre 2018, seules 1 211 latrines avaient été vendues, soit 9% de l'objectif de vente, alors que l’Activité a dépassé plus de 50% de son temps de mise en œuvre. En outre, les taux d'attrition parmi les fournisseurs de services sont élevés dans les régions visitées par l'équipe d'évaluation. Au total, 712 entrepreneurs avaient été formés sur une grande variété de sujets, dont l’accès au crédit. A Matam, sur les 112 maçons et entrepreneurs formés sur les techniques de construction de latrines par ACCES, seuls 12 (11%) sont toujours en activité. En outre, le CMS n'a accordé qu'un seul prêt à un entrepreneur individuel. Enfin, ACCES a acheté 47 moules en acier pour la fabrication de buses en ciment, mais n’en a prêté que 14 à des entrepreneurs et à des maçons, malgré la pénurie générale de moules dans ses zones d’intervention. ACCES n'a pas encore développé de plan pour motiver les entrepreneurs à acheter leurs propres moules ou pour en transférer la production aux acteurs du marché. Parmi les principales forces de l’Activité, on note l’engagement du staff d’ACCES pour l’atteinte des objectifs de l’Activité, en particulier en ce qui concerne l’ATPC et l’accès à l’eau, ainsi que l’innovation technique globale qui les accompagne, et leur expertise dans le secteur de l’assainissement. ACCES explore de nombreuses opportunités pour augmenter les ventes de latrines, notamment : (1) des accords avec les municipalités pour financer la construction de latrines pour les ménages pauvres ; (2) la possibilité de mobiliser des fonds de la diaspora pour acheter des latrines pour leurs communautés d'origine ; et (3) l'élaboration d'accords pour la responsabilité sociale des entreprises (RSE). De plus, les experts en assainissement de l’Activité ont mis au point des moules en ciment qui réduisent le temps et les coûts de construction des latrines. Ils importent également des SatoPans du Nigéria, 4 Voir listes complètes en annexes X et XI RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 3 un produit qui réduit les odeurs et les mouches dans les latrines et qui ne nécessite pas beaucoup d’eau. Enfin, la gamme de latrines personnalisées proposée par ACCES offre un éventail de prix aux potentiels clients. Les faiblesses d’ACCES résultent principalement d’un environnement difficile, d’un manque d’orientation stratégique durant les premières années de l’Activité et de problèmes de coordination. ACCES met en œuvre une approche de l'assainissement basée sur le marché dans des zones géographiques où le Gouvernement du Sénégal, la Banque Mondiale (BM) et l'Union européenne (UE) continuent à fournir des subventions à l'assainissement - jusqu'à 90% - directement aux ménages. Ces deux modèles sont en conflit là où ils se chevauchent et sont difficiles à séparer géographiquement, comme en témoigne la détérioration de la relation entre ACCES et Gret, une activité de construction de latrines financée par l'UE. En outre, la recherche d'une orientation stratégique axée sur le marché au cours des deux premières années de l’Activité a retardé la conception de la campagne de marketing et de communication, la mise en place de mécanismes de réponse à la demande tels que la formation d'un nombre suffisant d'entrepreneurs, de maçons et d'agents commerciaux et la croissance des ventes de latrines. Enfin, ACCES est mis en œuvre par un consortium composé de NRCE (contractant principal), Catholic Relief Services (CRS), Caritas5, Population Services International (PSI), l’Agence pour le développement du marketing social (ADEMAS), MWH Global et IMPAQ International. Le manque de coordination depuis le début de l’Activité entre les membres du consortium a eu un impact négatif sur le rendement, les membres se comportant comme s’il s’agissait de plusieurs Activités distinctes plutôt qu’une seule Activité unifiée. Parmi les conséquences du manque de coordination on note : (1) un manque de contrôle du contractant principal sur les ressources sur le terrain ; (2) une incohérence administrative des politiques sur les indemnités journalières (perdiems) et les déplacements ; (3) la prise de décision intéressée, y compris l'incapacité de partager des locaux et le fait de travailler à contre-courant ; et (4) des problèmes de qualité des données dus à un manque de personnel de suivi-évaluation (S&E). Il existe des opportunités pour capter la demande supplémentaire des clients pour les produits et services WASH. Il peut encore y avoir une demande non satisfaite de latrines ; 38% (456) de toutes les ventes de latrines ont été réalisées au cours du dernier trimestre de 2018. ACCES pourrait également saisir l'opportunité de fournir des crédits à davantage de groupes de personnes ; l'utilisation de ce mécanisme de financement ayant considérablement augmenté au fil du temps. Enfin, l'utilisation de SatoPans peut être une opportunité permettant à l'Activité à se différencier de la concurrence. Les menaces qui pèsent sur le programme sont importantes et, si elles ne sont pas atténuées, peuvent entraîner l’échec de l’Activité. L’insuffisance du nombre de maçons et d’entrepreneurs pour satisfaire la demande, le manque de moules en acier et de matériel, le manque de crédit pour l’achat de moules en acier supplémentaires et l’attrition persistante des fournisseurs de services menacent la croissance des ventes de latrines. En outre, d'autres partenaires techniques et financiers ont des activités de subvention en cours, et celles-ci sont toutes susceptibles de détruire le marché de WASH si les zones d'intervention ne sont pas minutieusement dissociées. QUESTION D’EVALUATION 2 : VALEUR AJOUTEE Quelle est la valeur ajoutée de ACCES dans les quatre domaines : (a)génération d’une demande en produits et services WASH ; (b) accroissement de la fourniture de produits et services WASH basés sur le marché ; c) amélioration de la fourniture et de la gestion de systèmes d'approvisionnement en eau à usages multiples ; d) amélioration de l'environnement favorable pour la fourniture équitable de systèmes WASH de qualité? L'Activité ACCES a ajouté de la valeur à ces quatre domaines de production de différentes manières. ACCES a eu plus de succès dans les activités d'ATPC et de changement de comportement et moins dans le développement du 5 Caritas a quitté le consortium en 2018. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 4 marché de l'assainissement. Toutefois, il faut noter qu’ACCES est un des pionniers du développement du marché de l’assainissement au Sénégal. LA DEMANDE GENEREE. ACCES a amélioré les comportements en matière d'assainissement dans les zones ciblées, créé des synergies avec les activités du Gouvernement du Sénégal et d'autres partenaires techniques et financiers, réduit les coûts des latrines et commencé à utiliser le crédit pour stimuler la demande de services d'assainissement. C'est la première fois que le CMS accorde des prêts pour améliorer l'assainissement des ménages. Traditionnellement, les institutions financières accordaient des crédits uniquement pour le développement d'activités génératrices de revenus. Malgré ces améliorations, la demande de produits et services basés sur le marché reste faible en raison du manque d'activité significative sur le marché de WASH. La faiblesse de la demande tient en grande partie à la nouveauté de l'approche fondée sur le marché, à la coexistence de projets qui accordent des subventions, à une perception globalement peu enthousiaste de l'approche de marché par rapport à la solution subventionnée et aux moyens financiers limités de la population cible. FOURNITURE DE SERVICES FONDEE SUR LE MARCHE. ACCES a développé un marché nouveau et fragile en eau et assainissement (WASH), créé de nouvelles connexions entre les acteurs du marché et amélioré les capacités techniques des acteurs du marché. Certains de ces acteurs du marché ont un fort potentiel pour gagner de l'argent (producteurs de buses en ciment et entrepreneurs) alors que d’autres ont plus de difficultés à en gagner (maçons et agents commerciaux). En outre, la majorité des clients interrogés sont satisfaits de la construction de latrines. Malgré des efforts considérables pour mettre en œuvre un modèle de marché difficile, la fourniture de produits et services WASH reste limitée en raison des faibles revenus de la population, de l’existence de projets de subventions en cours et de la nécessité d’un engagement à plus long terme. FOURNITURE ET GESTION DE SERVICES D’EAU A USAGE MULTIPLE (MUS). Les infrastructures hydrauliques sont en voie d'achèvement (huit structures sur neuf ont été achevées) et 23 plans MUS détaillés ont été finalisés et partagés avec les collectivités locales. Cependant, sans un partenaire technique et financier et un partenaire de mise en œuvre dévoués, les plans sont peu utiles ; ACCES n'étant pas contractuellement obligé de les mettre en œuvre. UN ENVIRONNEMENT FAVORABLE POUR UNE MISE EN ŒUVRE EQUITABLE. Les femmes se voient offrir des opportunités sur le marché WASH en tant que prestataires de services et clientes de produits et services qui aident intrinsèquement les femmes et les enfants. Les systèmes d’épargne et de crédit en particulier ont été un moyen de responsabiliser les femmes pour l’achat de latrines. ACCES a organisé 67 SILC dans les six régions d'intervention avec 1 863 membres, dont seulement 183 hommes. De plus, la collaboration d’ACCES avec les services techniques nationaux (fonctionnaires ayant des rôles techniques) et les collectivités locales a permis d’améliorer l’environnement qui favorise le développement du marché et la prestation de services d’assainissement. ACCES a signé six accords au niveau national avec l’Association des maires du Sénégal (AMS), la Direction de l’assainissement (DA), le Service national de l’hygiène (SNH), la Direction de l’hydraulique (DH), la Direction de la gestion et de la planification des ressources en eau (DGPRE) et l’Office des Forages Ruraux (OFOR). Au niveau local, l’Activité collabore avec la Brigade Régionale d’Hygiène (BRH) et le Service Régional de l’Assainissement (SRA) pour la certification des villages ayant mis fin à la défécation à l’air libre. QUESTION D’EVALUATION 3 : DURABILITE Quels types d'institutions faut-il pour assurer la durabilité d'un marché d’’eau et assainissement (WASH) dans les communautés ciblées ? On a besoin des acteurs du marché, des agences gouvernementales locales et nationales et des partenaires techniques et financiers pour assurer la durabilité du marché de WASH dans les communautés RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 5 ciblées. Les entrepreneurs, les maçons et les distributeurs de matériel fournissent les matériaux et l'expertise nécessaires à la construction de latrines. De plus, les agents commerciaux sont essentiels car ils génèrent une demande pour la vente de latrines. Il est également essentiel d’avoir un importateur / distributeur de SatoPan pour en assurer l’approvisionnement sur les marchés locaux. Les institutions financières sont également indispensables car elles donnent accès au financement des latrines. Les institutions locales et nationales peuvent également améliorer les perspectives de durabilité du marché. Les Mairies offrent un niveau élevé de coordination et de confiance pour soutenir le marché. Au niveau national, le personnel d’ACCES constate une forte collaboration avec le MHA, le DA et l’OFOR. Enfin, les partenaires techniques et financiers sont essentiels à la durabilité du marché car ils apportent la formation, les capitaux et les ressources humaines nécessaires à son développement. ACCES réalise des investissements positifs sur le marché grâce à la coopération avec les structures gouvernementales et à la formation nécessaire pour susciter l'adhésion et acquérir les compétences requises pour créer un marché viable. Cette Activité forme des maçons, des entrepreneurs et des agents commerciaux aux techniques de construction, de gestion et de marketing, et fournit également des frais de déplacement, des indemnités journalières et des frais d’hébergement pour que les représentants du Gouvernement assistent à ses événements et effectuent des visites de contrôle des infrastructures hydrauliques et des latrines. Cependant, les subventions cachées affectent la viabilité à long terme du marché de WASH. ACCES fournit un soutien matériel et financier à des acteurs du marché qui le soutiennent artificiellement, ce qui peut être utile à la croissance et au développement à court terme, mais nuit à la durabilité à long terme. QUESTION D’EVALUATION 4 : RESSOURCES Quelles sont les ressources sous-utilisées par le projet et de quelles autres ressources a-t-il besoin pour atteindre ses objectifs à la fin de l’activité ? Quelle est la combinaison idéale de ressources pour que le projet atteigne ses objectifs ? Les ressources les plus sous-utilisées par ACCES sont le Gouvernement du Sénégal, la plateforme WASH locale et les outils de communication et de marketing. Malgré de bonnes relations, les services techniques du Gouvernement estiment qu'ACCES ne les utilise pas pleinement. En outre, la plateforme WASH est une opportunité pour ACCES d’améliorer la visibilité des activités et peut contribuer à améliorer la coopération entre les partenaires techniques et financiers et le Gouvernement dans les régions où elle opère. Cependant, les plateformes WASH ne sont pas dynamiques au niveau local. En outre, les campagnes de sensibilisation du public ne sont pas appuyées par des outils visuels (dépliants, affiches, etc.) et il existe peu de panneaux publicitaires et d'affiches marketing des latrines Sagal pour promouvoir les activités d’ACCES. Parmi les ressources supplémentaires requises, on peut noter les ressources humaines et logistiques, telles que le personnel de suivi-évaluation et les véhicules, qui sont nécessaires de toute urgence pour que l’Activité atteigne les résultats attendus. L'un des problèmes principaux est le manque de personnel technique pour vérifier la qualité des latrines construites par ACCES. Par exemple, en décembre 2018, seuls deux techniciens étaient utilisés pour vérifier la qualité des latrines construites, ce qui a entraîné des retards en matière de mise en œuvre et de vérification. En outre, on manque de personnel de suivi-évaluation, nécessaire pour suivre les données quotidiennes collectées dans les régions d'intervention. Dans son organigramme, ACCES n’a pas défini un poste de coordonnateur chargé de coordonner toutes les activités et ressources d’ACCES au niveau régional, pour tous les membres du personnel dans la région, quel que soit le partenaire du consortium qui les rémunère. En outre, le projet dispose d’un nombre insuffisant de véhicules dans les zones d'intervention. Enfin, selon le rapport WASHPaLs (Water, Sanitation and Hygiene Partnerships and Learning for Sustainability) intitulé « Scaling Market-Based Sanitation », publié en juin 2018 pour USAID, le temps est un élément essentiel du succès des approches d'assainissement basées sur le marché. Le rapport indique que : « Les changements dans le système de marché de l'assainissement peuvent prendre du temps, mais les interventions d’assainissement basé sur le RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 6 marché peuvent prendre leur essor si les partenaires techniques et financiers restent investis et flexibles sur des horizons de financement de plus de cinq ans. » Une recherche internationale montre que, pour atteindre 10 fois ce chiffre, le marché devrait probablement exister pendant au moins six à huit ans. Cependant, la plupart de ces activités couronnées de succès se situent en dehors du contexte ouest-africain et on ne devrait donc pas trop s’appuyer dessus pour la prise de décision. RECOMMANDATIONS L’équipe d’évaluation a organisé un atelier sur les recommandations avec le personnel d’ACCES et de l’USAID pour élaborer conjointement des recommandations pratiques et applicables, axées sur l’élaboration de solutions concrètes répondant aux constatations de cette évaluation. L'atelier a abouti à plus de 50 recommandations dont la mise en œuvre a été confiée à des parties prenantes désignées. La matrice de recommandations figure à l'annexe II. Les recommandations sont résumées ci-dessous. POUR ACCES STRATEGIE • Finaliser et valider le document de stratégie marketing d’ACCES actuellement en cours d'élaboration. • Poursuivre la mise en œuvre de la stratégie commerciale actuelle. • Mener des discussions de groupe et des réflexions sur la manière de réduire l'attrition des acteurs du marché et les motiver à fournir des services de qualité pour la construction d'infrastructures d'assainissement. • Centraliser et regrouper les commandes de latrines avec des entrepreneurs expérimentés et des maçons qualifiés pour tenter d'améliorer les marges bénéficiaires, réduire les coûts liés aux livraisons de matériaux de chantier et rationaliser la construction. • Explorer la possibilité de subventionner les entrepreneurs et les maçons pour l'achat de matériaux de construction afin de stimuler l'installation de latrines et de constituer un fonds de roulement. • Continuer à préparer les entrepreneurs à intégrer le marketing dans leurs activités, notamment en versant des commissions et des bonus aux agents commerciaux pour la vente à domicile. • Soutenir et développer la capacité des entrepreneurs à acheter et utiliser des moules en acier pour la production de buses. • S’il convient de continuer à encourager l'utilisation des moules et des briques en béton pour la construction de latrines, ACCES ne devrait pas décourager d'autres moyens plus variés de construction des latrines selon les méthodes et les matériaux locaux. • Encourager les maçons et les entrepreneurs à créer des réseaux pour améliorer la réactivité en période de forte demande de la construction de latrines. • Identifier un distributeur national de SatoPans disposant de capitaux suffisants pour financer l'importation des SatoPans du Nigéria et leur distribution dans de petits magasins périurbains et ruraux à travers le pays. COORDINATION • Uniformiser les politiques et procédures administratives, de sécurité et de reporting au sein de tous les partenaires du consortium. Organiser un atelier de développement de l’esprit d'équipe pour tous les partenaires du consortium afin de créer des liens et renforcer ces changements. • Regrouper tous les chefs de composantes d’ACCES dans le Bureau d’ACCES à Dakar. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 7 • Avoir un bureau ACCES par région avec tout le personnel de terrain. • Organiser des réunions de coordination mensuelles entre les équipes de terrain et la direction basée à Dakar. • Organiser des réunions de coordination trimestrielles entre les équipes de zone de projet et la direction basée à Dakar. FINANCEMENT • Continuer à rechercher d’autres institutions financières en plus du CMS pour fournir des prêts aux clients et entrepreneurs du marché de l'assainissement. • Lancer et développer l'offre de crédit pour les ménages individuels par le biais de partenariats avec des institutions financières. • Explorer la possibilité d’élargir le programme de prêts de l’ASUFOR à un plus grand nombre de SILC et à d’autres groupes. • Poursuivre l’appui aux municipalités dans l’élaboration de plans de mobilisation de ressources financières en collaboration avec le Programme de gouvernance pour le développement local de l’USAID (USAID / GOLD). • Développer la collaboration avec d'autres projets tels que l’USAID/GOLD, l’USAID/KAWOLOR et l’Association des coopératives rurales en Afrique et en Amérique latine (ACRA) pour le financement de certains volets MUS (renforcement de capacités, gouvernance) dans les plans d'investissement annuels. • Utiliser les plateformes WASH existantes au niveau local pour faire le plaidoyer sur le financement des MUS. • Organiser un atelier avec l'USAID et d'autres acteurs pour identifier des moyens concrets de financement des plans MUS après la clôture du projet. SUIVI • Renforcer le suivi des travaux sur le terrain pour veiller à ce que toutes les latrines et structures en eau soient construites ou réparées conformément aux spécifications requises. • Impliquer le personnel d'ACCES dans le recouvrement des fonds restants dans le contrat signé entre l'entrepreneur / le maçon et les ménages. COMMUNICATION • Finaliser et mettre en œuvre la campagne de communication / marketing des latrines Sagal, planifiée de longue date, pour accélérer les ventes et créer une reconnaissance de la marque, notamment au moyen d'affiches et d'émissions de radio. • Systématiser l'utilisation de supports visuels clairs et utiles dans toutes les activités de sensibilisation. Assurer leur utilisation dans les ATPC et les formations des maçons et entrepreneurs. • Engager une agence pour suivre la mise en œuvre des campagnes de communication / marketing. • Améliorer la distribution de supports de communication dans les espaces visibles dans les zones de mise en œuvre d’ACCES, notamment des bâches, des banderoles et des Kakemonos. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 8 RENFORCEMENT DE CAPACITES • Développer des modules de formation plus pratiques sur les BDS afin de réduire l'accent mis sur les aspects théoriques et de mettre davantage l'accent sur les solutions commerciales pratiques. Envisager un coaching pour les anciens participants aux formations sur les BDS. • Fournir aux maçons un guide écrit détaillé pour la construction de latrines avec des images pour standardiser la qualité de la construction des latrines. COLLABORATION • Suivre la mise en œuvre des activités convenues dans les protocoles d'accord avec les entités gouvernementales locales et veiller à l'achèvement de toutes les activités. • Partager le rapport annuel d’ACCES avec les services techniques gouvernementaux et les Maires dans chaque région. • Promouvoir, et éventuellement organiser sous l’égide du gouverneur et des services techniques, des réunions régulières des plateformes régionales WASH. • Encourager le cofinancement des activités de la plateforme WASH entre les partenaires techniques et financiers et les entités gouvernementales. • Encourager l'élaboration d'un plan de travail annuel pour guider et responsabiliser les partenaires quant au maintien des plateformes régionales WASH. RESSOURCES HUMAINES ET LOGISTIQUES • Etudier la possibilité de recruter un spécialiste en communication de projet et optimiser l'utilisation du personnel de suivi et évaluation existant. • Collaborer avec l'USAID pour la réaffectation à ACCES des ressources logistiques tels que les véhicules de projets clôturés ou en cours de clôture. • Désigner un membre du personnel d'ACCES par région comme Coordonnateur régional, dont le rôle est d'harmoniser la logistique et l'utilisation des ressources entre tous les membres du personnel du consortium régional, de représenter les intérêts du projet dans son ensemble et d'approfondir les relations avec les entités gouvernementales. • Entamer des discussions avec l'USAID sur une éventuelle extension du projet. Examiner minutieusement la littérature existante et faire appel à des experts du marché de l'assainissement pour aider à déterminer suffisamment de lignes directrices en matière de vulgarisation qui renforceront les chances de réussite des objectifs du projet. POUR L’USAID • Collaborer avec la DA pour l’élaboration d'un cadre opérationnel pour les partenaires techniques dans lequel les projets basés sur les subventions ciblent principalement les populations les plus vulnérables dans les zones relevant de leur compétence géographique, tandis que les projets basés sur le marché ciblent principalement les personnes ayant les moyens de payer pour l’acquisition des latrines. • Continuer à travailler avec la DA pour savoir où d'autres projets sont en cours de mise en œuvre et résoudre, dans la mesure du possible, tout problème de chevauchement géographique ou démographique. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 9 POUR LE DA/MHA • Mettre en œuvre la campagne de communication 4C, une campagne de communication nationale créée pour soutenir les approches de marché de la SNAR et d’ACCES. • Encourager les partenaires techniques et financiers à réorienter les subventions vers le quintile le plus pauvre de la population, plutôt que de suivre un modèle plus traditionnel de subvention généralisée dans une zone géographique ciblée. Cela pourrait réduire le chevauchement entre les approches subventionnées et celles fondées sur le marché lorsque l’on ne peut complétement éviter que les zones géographiques n’abritent des projets contradictoires. • Encourager la collaboration entre les partenaires techniques et financiers, ACCES et le Gouvernement du Sénégal pour harmoniser les approches futures en matière d'assainissement et prévenir ainsi les conflits entre modèles concurrents. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 10 I. BUT DE L’EVALUATION ET QUESTIONS D’EVALUATION I.I. BUT DE L’EVALUATION L’Activité Assainissement, Changement de Comportement et Eau pour le Sénégal de l’USAID/Sénégal (ACCES) fait partie du portefeuille de l’USAID / Sénégal relatif à l’eau, l’assainissement et l’hygiène (SENWASH). L’objectif général de l’Activité est d’accroître de manière significative l’accès durable à des services améliorés d’approvisionnement en eau et d’assainissement et l’adoption de pratiques d’hygiène dans les communautés ciblées, ce qui devrait ensuite améliorer les résultats en matière de santé et de nutrition, en particulier chez les femmes et les enfants. L’Activité utilise une approche innovante axée sur le marché et la formation au changement de comportement dans six régions : Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda et Matam. Les buts de cette évaluation de performance à mi-parcours sont (1) de déterminer dans quelle mesure ACCES est en train d’atteindre les objectifs visés à mi-parcours de sa période de mise en œuvre et de faire des recommandations sur les approches et la gestion pour les dernières années de l’activité, (2) contribuer à un apprentissage qui aura un effet positif sur la mise en œuvre de l’activité, (3) fournir des enseignements qui peuvent être partagés avec d'autres activités sur l'eau, l'assainissement et l'hygiène (WASH) au Sénégal et dans le monde entier; et (4) fournir des rétroactions opportunes qui éclaireront la conception des activités futures de l'USAID / Sénégal. L’équipe d’évaluation a étudié dans quelle mesure l’activité avait atteint ses objectifs et déterminé si d’autres facteurs exogènes avaient eu une incidence sur des réalisations, facteurs qui n’avaient pas été prévus par l’USAID/Sénégal et ACCES. Ce rapport d'évaluation fournit des conclusions et des recommandations spécifiques pour soutenir le maintien de la dynamique et améliorer la mise en œuvre et la durabilité de l'Activité. L’évaluation est destinée à soutenir la mise en œuvre d’activités futures et d’éventuelles activités de suivi. Le public cible est principalement l’équipe WASH du Bureau de la croissance économique de l’USAID/Sénégal. On note également parmi les autres principales parties prenantes intéressées : le Ministère de l’Hydraulique et de l’Assainissement (MHA) du Sénégal et le Bureau de l’eau et de l’assainissement de l’USAID/Washington. I.2. QUESTIONS D’EVALUATION 1. Performance : Dans quelle mesure l’Activité d’ACCES est-elle performante ? Qu'est-ce qui fonctionne et qu'est-ce qui ne fonctionne pas et pourquoi ? 2. Valeur ajoutée : Quelle est la valeur ajoutée d’ACCES dans les quatre domaines, notamment : a. Génération d’une demande de produits et services WASH ? b. Augmentation de la fourniture de produits et services WASH basés sur le marché ? c. Amélioration de la fourniture et de la gestion de systèmes d'eau à usages multiples ? d. Amélioration de l'environnement favorable pour la fourniture équitable de systèmes WASH de qualité ? L'activité ACCES a quatre missions principales pour fournir et maintenir des services WASH aux personnes constamment mal desservies au Sénégal. Il s’agit de : ● Réalisation 1: Générer une demande pour les produits et services WASH. ● Réalisation 2: Augmenter la fourniture de produits et services WASH basée sur le marché. ● Réalisation 3: Améliorer la fourniture et la gestion de services d'eau à usages multiples (MUS). ● Réalisation 4: Améliorer l'environnement propice à une fourniture équitable de services WASH. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 11 3. Durabilité : Quels types d'institutions faut-il pour assurer la durabilité du marché WASH dans les communautés ? 4. Ressources : Quelles sont les ressources sous-utilisées par le projet et de quelles autres ressources a-t-il besoin pour atteindre ses objectifs à la fin de l'activité ? II. CONTEXTE DE L’ACTIVITE II.1. L’EAU, L’ASSAINISSEMENT ET L’HYGIENE (WASH) AU SENEGAL Selon les estimations de l'Organisation mondiale de la santé (OMS), un approvisionnement en eau insalubre, l'insuffisance de l’assainissement et les mauvaises conditions d'hygiène contribuent à plus de 88% des maladies diarrhéiques dans le monde. Ces dernières années, la mortalité due à la diarrhée a fortement diminué, en partie grâce à l'utilisation accrue de la thérapie par réhydratation orale, ainsi qu’à la mise au point de nouveaux vaccins contre le rotavirus et le choléra. Cependant, les maladies diarrhéiques restent la deuxième cause de mortalité chez les enfants de moins de 5 ans, faisant chaque année près de 1,87 million de morts chez les enfants. Plus de 50 agents pathogènes connus présents dans les excréments humains et animaux provoquent des maladies diarrhéiques pouvant entraîner la malnutrition, des troubles cognitifs et des maladies chroniques à long terme. La propagation primaire de ces agents se fait par ingestion, soit directement par des mains contaminées, soit indirectement par l’eau contaminée, le sol, les ustensiles, les aliments ou les mouches. Les mauvaises pratiques d'hygiène et l'accès limité à l'assainissement et à l'eau potable sont les principaux facteurs responsables de la diarrhée. Au Sénégal, on estime que les maladies diarrhéiques sont responsables de 7% des décès chez les enfants de moins de cinq ans. En 2016, le Gouvernement du Sénégal a adopté une stratégie globale appelée Stratégie Nationale de l'Assainissement Rural au Sénégal (SNAR), qui vise à améliorer les systèmes d'approvisionnement en eau, d'assainissement et d'hygiène dans les régions les plus mal desservies du pays. Cela marque un changement important par rapport à la méthode de subvention des latrines qui avait cours dans le passé. Une des facettes de cette nouvelle approche consiste à « promouvoir une approche axée sur la demande, en encourageant le secteur privé à entrer dans le marché et en testant de nouveaux mécanismes de financement pour accroître le pouvoir d’achat des ménages) » 6. C’était la première fois que le Gouvernement préconisait une transition vers une approche axée sur le marché, et la stratégie doit faire face à des défis importants qui minent le développement du marché. Parmi les problèmes clés qui entravent le développement d'une approche d'assainissement basée sur le marché au Sénégal, on note le faible développement du secteur privé, une faible capacité de gouvernance et de gestion et des politiques qui ne soutiennent pas pleinement la durabilité du marché. En dépit de ces obstacles, le Gouvernement du Sénégal a fait d’énormes progrès en ce qui concerne l’accès à l’eau potable et aux services d’assainissement. Le Sénégal était sur le point d'atteindre les objectifs du Millénaire pour le développement (OMD) de 2015 consistant à réduire de moitié le nombre de personnes n’ayant pas un accès durable à l'eau potable et aux infrastructures d'assainissement de base. Cependant, si le Sénégal a atteint les objectifs en matière d'eau et d'assainissement dans les zones urbaines, les taux d'accès dans les zones rurales restent en dessous des objectifs. En outre, les progrès dans la réalisation d'un accès durable à l'eau (59% de la population a un accès durable) dépassent les objectifs par contre les cibles ne sont pas atteintes en matière d'assainissement (seulement 39% de la population a accès aux infrastructures d'assainissement de base). Ces statistiques nationales masquent également des disparités entre les régions, où les niveaux d'accès varient considérablement. En dépit des investissements importants de l'USAID/Sénégal, d'autres partenaires techniques et financiers et du Gouvernement du 6 WASH PAD, p. 6. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 12 Sénégal pour fournir un accès à l'eau et à l'assainissement et pour promouvoir les pratiques d'hygiène, il reste encore beaucoup à faire pour améliorer la durabilité de l'accès, la qualité du service et les taux de couverture globaux. II.2. ACCES SENEGAL L’Activité ACCES relève de l’objectif de développement n°1 de l’USAID/Sénégal depuis 2014, objectif qui soutient la SNAR et qui est spécifiquement lié à la création d’une demande de services WASH et à la promotion de la fourniture de services d’assainissement par le secteur privé. Sur le plan géographique, ACCES polarise les régions du sud et de l’est du Sénégal et cherche à créer des synergies avec l’initiative Feed the Future de l’USAID et des programmes pour la démocratie, les droits de l’homme, la gouvernance et la paix et la santé. Elle cible les zones du Sénégal où la couverture en eau et assainissement est la plus faible, en concentrant ses efforts sur 50 communes de six régions ciblées : Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda et Matam. Les activités d’ACCES sont mises en œuvre par un consortium dirigé par Natural Resources Consulting Engineers Inc. (NRCE), principal contractant. Les autres membres du consortium sont Catholic Relief Services (CRS), Caritas, Population Services International (PSI), l’Agence pour le Développement du Marketing Social (ADEMAS), MWH Global et IMPAQ International. ACCES travaille en étroite collaboration avec le Gouvernement du Sénégal pour fournir des services d’eau assainissement et hygiène (WASH) à plus de 500 000 personnes mal desservies. L’Activité vise les objectifs suivants : • Réduction de 50% des taux de défécation à l'air libre dans les six régions ciblées ; • Accès à des toilettes améliorées pour 200 000 personnes (en utilisant la définition du Programme conjoint de suivi OMS/UNICEF) ; • Création de 50 entreprises intervenant dans la promotion des produits WASH ; • Accès à un approvisionnement en eau amélioré pour 30 000 personnes (en utilisant la définition du Programme conjoint de suivi OMS/UNICEF); • Formation en matière d’exploitation et de gestion durables des services d’approvisionnement en eau pour 350 prestataires de services dans le domaine de l’eau ; • Existence d’un plan d'action pour les services d'eau à usage multiple (MUS) au niveau 50 collectivités locales (municipalités). III. METHODES D’EVALUATION ET LIMITES III.1. METHODOLOGIE DE COLLECTE DE DONNEES ET ANALYSE La méthodologie d’évaluation comprend trois phases : une revue approfondie de la documentation sur ACCES, une vaste collecte de données sur le terrain et une analyse de données qualitatives. PHASE 1 : REVUE DOCUMENTAIRE Avant le démarrage du travail de terrain, l’équipe d’évaluation a procédé à une revue documentaire de plus de 50 documents clés d’ACCES et en a extrait des données pertinentes pour l’évaluation. L’équipe d’évaluation a posé RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 13 plusieurs séries de questions de clarification supplémentaires à ACCES, à la fois après la revue documentaire et tout au long de l’évaluation. Les résultats de la revue documentaire figurent à l'annexe IV. PHASE 2 : RECHERCHE QUALITATIVE SUR LE TERRAIN Les principales méthodes de collecte de données qualitatives ont consisté en des entretiens avec des informateurs clés, des entretiens de groupe et des groupes de discussion (Focus Group). L’équipe d’évaluation a recueilli des données à Dakar et dans trois des six régions couvertes par ACCES : Matam, Kédougou et Ziguinchor7. L'équipe d'évaluation a visité quatre communes à Ziguinchor et quatre communes à Kédougou et trois communes à Matam. Au total, l’équipe d’évaluation a mené 89 entretiens avec des informateurs clés, 17 entretiens de groupe et 12 groupes de discussion avec 121 participants appartenant à diverses catégories, notamment: le personnel d’ACCES, de l’USAID / Sénégal, d’autres Activités financées par l’USAID / Sénégal, du Gouvernement du Sénégal, l’Association des Usagers de forages (ASUFOR), du Crédit mutuel du Sénégal (CMS), d’autres programmes financés par des partenaires techniques et financiers, des agents commerciaux, des clients et des prestataires de services. Les femmes représentaient 44% des personnes interrogées et 63% des participants aux groupes de discussion. On retrouve ci￾dessous une carte matérialisant les zones visitées durant le travail de terrain et un tableau récapitulatif de la collecte de données sur le terrain. Les annexes X et XI fournissent des détails complets sur tous les interviews et groupes de discussion menés. 7 L’équipe d’évaluation a mené un entretien à Tambacounda. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 14 Tableau : Résumé complet de la collecte des données Catégorie # d’entretiens individuels # d’entretiens de Groupe # de Groupes de discussion % de femmes interviewées % de femmes dans les groupes de discussion Personnel d’ACCES 19 4 - 11 (33%) - USAID/Sénégal 6 1 - - - Autres activités de l’USAID 1 1 - 2 (50%) - Gouvernement du Sénégal 16 7 - 1 (3%) - ASUFOR 1 - - 1 (100%) - Programmes financés par les partenaires techniques et financiers 3 1 - - - Clients – Approche marché 9 1 4 8 (62%) 10 (50%) Clients – Groupements féminins d’épargne et de crédit 1 - 2 1 (100%) 36 (100%) Clients –Bénéficiaires de l’eau 3 - 1 1 (33%) 8 (100%) Clients –Bénéficiaires des ATPC 5 1 5 3 (38%) 23 (57%) Fournisseurs de services – Entrepreneurs 3 - - 1 (33%) - Fournisseurs de services – Maçons 7 - - - - Fournisseurs de services – Quincailleries 1 - - - - Agents commerciaux 11 - - 8 (73%) - Crédit Mutuel du Sénégal 3 1 - - - TOTAL 89 17 12 37 (44%) 77 (63%) PHASE 3: ANALYSE La phase d'analyse de la recherche comportait deux étapes : une analyse interprétative quotidienne sur le terrain et une analyse du contenu et une triangulation des preuves après la collecte des données. ANALYSE INTERPRETATIVE QUOTIDIENNE. A la fin de chaque journée de travail sur le terrain, les membres de l’équipe d’évaluation examinaient leurs notes d’entretien ou leurs enregistrements et documentaient ce qu’ils considéraient comme étant les informations et idées les plus importantes tirées de la recherche menée ce jour-là. Cette approche a permis à l’équipe de mettre en commun leurs idées et leur compréhension tirées des entretiens, en tenant pleinement compte du contexte de la discussion. A la fin de chaque semaine de travail sur le terrain, l’équipe d’évaluation examinait les éléments de preuve recueillis afin d’identifier les lacunes éventuelles en matière de données et les moyens de les passer en revue et de les approfondir. L'équipe d'évaluation a résumé les observations en catégories conceptuelles, les a réévaluées au fur et à mesure de la poursuite du travail sur le terrain et les a progressivement liées à d'autres catégories conceptuelles. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 15 ANALYSE DU CONTENU ET TRIANGULATION DES PREUVES. L’équipe d’évaluation a utilisé une approche d’analyse du contenu, la plus courante pour extraire des modèles à partir de données qualitatives, pour identifier les thèmes et tendances propres à chaque Question d’Evaluation (QE) et mieux comprendre le sens des déclarations et le contexte dans lequel elles avaient été faites. L’équipe a examiné les notes rédigées au cours de la phase d’analyse interprétative quotidienne, ainsi que les transcriptions des entretiens, afin de sortir les tendances des données et d’établir les principales constatations. L’équipe d’évaluation a rassemblé les données recueillies auprès de toutes les sources pour trouver les principales zones de convergence et de consensus parmi les personnes interrogées. On a utilisé les domaines de forte convergence pour élaborer la Matrice des constatations et conclusions (Annexe I), qui établit un lien direct entre les constatations et les conclusions tirées de l’évaluation. III.2. LIMITES L’équipe d’évaluation a identifié trois limites que l’USAID / Sénégal devrait connaître et a élaboré les stratégies d’atténuation énumérées ci-dessous pour garantir des normes d’évaluation élevées. 1. EVALUATION DE LA DURABILITE. Etant donné que la durabilité des initiatives ne peut être vérifiée qu'ex post, les méthodes proposées pour évaluer la durabilité utilisent des facteurs qui contribuent théoriquement à la durabilité. La réponse à la QE 3 décrit la probabilité de durabilité sur la base des preuves rassemblées par l'équipe d'évaluation. 2. BIAIS DE REPONSE. Les informateurs clés constituaient la principale source d'informations pour répondre à toutes les questions de l'évaluation. Bien que l'équipe d'évaluation ait triangulé autant de données que possible, les données des entretiens sont sujettes à des biais cognitifs, notamment des biais de rappel. L'équipe d'évaluation a veillé à la validité et à la fiabilité des constatations à travers une triangulation systématique des interviews et sources documentaires, ainsi qu'une sélection appropriée d'un éventail de parties prenantes d'ACCES aux niveaux national, régional et communal. Cette approche permet de réduire les risques de biais au cours de la recherche. 3. ECHANTILLON NON-REPRESENTATIF. En raison des contraintes de temps pour la réalisation de cette évaluation, on n’a pas pu constituer un échantillon représentatif des villages d'intervention d’ACCES. Cependant, l’évaluation a atténué ce phénomène en sélectionnant des régions et communes couvrant une superficie importante de la zone d’intervention d’ACCES. IV. CONSTATATIONS ET CONCLUSIONS IV.1. QUESTION D’EVALUATION 1 : PERFORMANCE Dans quelle mesure l’Activité ACCES est-elle performante ? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas ? Et pourquoi ? IV.1.1. QE1 CONSTATATIONS ACCES fonctionne bien dans certains domaines et de façon médiocre dans d’autres. En général, l’Activité excelle dans la réalisation de ses objectifs en matière d’eau et dans le domaine de l’assainissement total piloté par la communauté (ATPC), en développant des innovations qui permettent de réduire les prix des latrines et d’en améliorer la qualité, en octroyant des crédits aux groupes par le biais du Crédit Mutuel du Sénégal (CMS) et en s’engageant à atteindre les objectifs de l’Activité à travers des approches créatives. L’Activité est peu performante lorsqu’il s’agit d’évaluer les ventes de latrines et d’élaborer une approche de marché en raison du taux élevé de déperdition d’acteurs de marché, du RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 16 manque de crédits formels aux particuliers, de l’absence passée et actuelle d’une stratégie de projet cohérente et des problèmes de coordination entre les partenaires de l’activité. L’analyse suivante détaille six dimensions de la performance d’ACCES, à savoir : (1) les résultats les plus significatifs obtenus par l’Activité ; (2) les aspects où les résultats ont été les plus limités ; (3) les principales forces et (4) les principales faiblesses de l'Activité ; (5) les opportunités que l'activité devrait explorer de façon plus poussée et (6) les menaces pouvant entraîner l’échec de l’Activité. IV.1.1.1. LES RESULTATS LES PLUS SIGNIFICATIFS Les objectifs liés aux ATPC / ODF (défécation à l’air libre), l’amélioration de la qualité des latrines et la réduction des prix, ainsi que l’accès au crédit pour les groupes sont les résultats les plus significatifs de l’activité. ACCES A L’EAU ET ATPC ACCES a atteint ses objectifs en termes d'accès à l'eau. L’Activité a déjà dépassé la cible de fin d’activité fixé à 30 000 personnes ayant accès à des sources d’eau améliorées, principalement à travers des réparations presque terminées sur neuf ouvrages d’eau à Agnam Civol, Dabia à Matam8. En outre, ACCES a réalisé 23 plans de services d'eau à usage multiple (MUS), ce qui représente 61% des plans à terminer avant la fin de l'Activité. ACCES a partagé ces plans avec les maires et les responsables des collectivités régionales. Enfin, ACCES se prépare pour la construction de quatre systèmes d’approvisionnement en eau commencés dans le cadre du Programme d'Eau Potable et d'Assainissement du Millénaire (PEPAM) de l’USAID, mais qui n’avaient jamais été achevés. L'Activité a déjà signé des contrats avec les entreprises sélectionnées pour finaliser les travaux. ACCES est également en train de réaliser ses objectifs pour l’ATPC. Soixante-six des 76 villages ciblés (87%) ont été déclarés exempts de défécation à l'air libre grâce à des activités de sensibilisation et à la construction par les populations elles-mêmes9 de latrines améliorées. ACCES a également amélioré la surveillance afin de garantir le respect du statut ODF en collaboration avec la Brigade Régionale d’Hygiène (BRH). QUALITE ET PRIX DES LATRINES QUALITE DES LATRINES. ACCES a amélioré la qualité de la construction des latrines et a apporté plusieurs modifications pour mieux satisfaire la clientèle en se concentrant sur la rétroaction des clients et en testant de nouvelles versions de latrines par le biais d'un processus de conception centrée sur l'homme. Lors des entretiens, les clients se sont dit satisfaits des latrines car ils n'ont plus besoin de les vider tous les ans, ce qui leur permet d'économiser de l'argent. Les personnes interrogées ont également noté une réduction des odeurs, des 8 L’équipe d’évaluation n’a pas vérifié l’achèvement des neuf ouvrages hydrauliques, s’appuyant sur des données autodéclarées d’ACCES et sur des entretiens avec ACCES et l’USAID. L’équipe a visité une infrastructure hydraulique à Koussanar (Tambacounda) et a découvert que le générateur de secours, les commandes électriques et le disjoncteur du forage ne fonctionnaient pas correctement. Cette constatation a été confirmée par une visite du site ACCES le 23 janvier 2019. L’équipe d’évaluation a bien compris que le forage fonctionnait conformément aux spécifications (avec SENELEC en tant que principal fournisseur d’énergie), mais ces réparations sont nécessaires pour que le forage continue de fonctionner en cas de coupure de courant. (Visite du site et entretien à Koussanar, contrat Flex : annexe A, p. 2). 9 Il s’agit d’une initiative prise par les populations des villages ATPC pour construire elles-mêmes des latrines améliorées, qui ne suivent pas nécessairement le modèle de latrines proposé par ACCES. «Cette année, je n'ai entendu personne dire que son enfant avait contracté le paludisme. Ceci est dû aux formations sur le Set-Setal [nettoyage public] que nous avons données dans le village et à la propreté de nos latrines. Depuis que le projet existe, nous avons appris à prendre soin de nos toilettes. » (ATPC02) «Les latrines ACCES sont plus durables, confortables et de qualité garantie par rapport aux latrines d’avant, nous fermions simplement les fosses lorsqu’elles étaient pleines.» (MA10) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 17 mouches et des moustiques par rapport aux modèles précédents. En général, les personnes interrogées étaient satisfaites du temps de construction des latrines : les maçons terminent la construction en un à deux jours pour une latrine ventilée (LV) et quatre à sept jours pour les toilettes à chasse manuelle (ou TCM), plus coûteuses et plus solides. PRIX DES LATRINES. ACCES a également réduit le prix des latrines. Là encore, ACCES a utilisé le modèle centré sur l’homme pour apporter des modifications qui réduisent les prix sans compromettre la qualité. Les réductions de prix ont rendu les latrines ACCES plus attrayantes pour les clients. L’une des modalités les plus importantes pour permettre à ACCES de réduire les coûts c’est la conception d’une gamme de produits personnalisables adaptés à plusieurs niveaux de prix, permettant aux clients de mettre à niveau les latrines de base en améliorant progressivement les infrastructures au fil du temps. Il s’agit, par exemple, de la construction d'une fosse initiale, puis d'une superstructure, puis d'une seconde fosse si nécessaire. Les prix des trois principaux choix de latrines - la LV, la double latrine ventilée, et la TCM - varient entre environ 25 000 (44 USD) et 231 500 FCFA (selon les communes et les régions). Si l’on se base sur l’analyse documentaire d’ACCES, le coût des TCM de l’Activité s’élève en moyenne à 166 156 FCFA (288 USD), contre 285 000 FCFA (494 USD) avant ACCES, ce qui représente une économie importante (42%) pour les consommateurs. 10 CREDIT DE GROUPE FORMEL ET INFORMEL ACCES a facilité l’octroi de crédit formel et informel à des groupes de clients, leur permettant d’acheter des latrines sans avoir à payer 100% du coût à l’avance.11 ACCES travaille avec le CMS pour fournir des crédits formels à des groupes de clients, ce qui est avantageux car le risque financier est mutualisé entre les membres du groupe. Selon le personnel d’ACCES et du CMS, c’est la première fois qu’une institution financière accorde des prêts pour la construction de latrines. Les prêts formels par l'intermédiaire du CMS ont fourni des fonds à 101 membres de sept communautés d'épargne et de prêts internes (SILC). Par exemple, à Bokidiawé (Matam), le CMS a fourni à 10 groupes, représentant chacun 10 femmes, des prêts d'une valeur de 690 000 FCFA (1 198 USD) par groupe. En plus de recevoir des prêts formels, les SILC et d’autres groupes ont la capacité de prêter de manière interne et informelle aux membres. ACCES a créé 67 SILC et d’autres groupes pour faciliter les prêts informels, ce qui représente 40% (482) de toutes les latrines ACCES achetées jusqu’en novembre 2018. Enfin, ACCES a facilité avec succès un prêt formel du CMS à un entrepreneur basé à Kafountine, Ziguinchor, qui a reçu 2,5 millions de FCFA (4 347 USD) pour développer son activité de fabrication de buses en ciment et de construction latrines. 10 Tableau Excel sur les Prix des Latrines d’ACCES, Banque mondiale 2015 et courriel de confirmation de Fatou Dieng, spécialiste du S&E ACCES. 11Le crédit formel est défini comme tout prêt d'une institution financière agréée, telle que le CMS. Le crédit informel est défini comme tout prêt d'une organisation sans licence, comme un système communautaire d’épargne et de crédit (SILC) ou l’ASUFOR. Plusieurs raisons sous-jacentes expliquant la faible croissance des ventes de latrines échappent au contrôle d’ACCES. Premièrement, le public n’a pas encore été pleinement sensibilisé au changement de paradigme en cours qui s’éloigne des latrines subventionnées au profit d’une approche axée sur le marché, ce qui a conduit à une perception négative du modèle de marché. Certaines personnes ne sont toujours pas disposées à payer pour un service qu'elles recevaient (et dans certains cas reçoivent toujours) gratuitement. Deuxièmement, une partie de la population n’a pas encore fait de l’assainissement une priorité au même niveau que d’autres besoins de base comme l’alimentation et les soins de santé. Cette population ne fait pas le lien entre une infrastructure d'assainissement améliorée et une amélioration du bien-être. Enfin, une partie de la population n’a toujours pas les moyens financiers d’acheter des latrines et n’est donc pas en mesure de donner la priorité à l’assainissement pour sa famille. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 18 IV.1.1.2. LES RESULTATS LES PLUS LIMITES L'Activité n'a pas répondu aux attentes concernant la création de la demande et la fourniture de services d'assainissement, comme en témoigne le faible nombre de ventes de latrines, en raison notamment de l'attrition des acteurs du marché, du manque d'options de financement pour les particuliers et du manque de moules en ciment pour satisfaire la demande du marché. 12 LES VENTES DE LATRINES ACCES n’a pas atteint ses objectifs de vente de latrines et n’a pas été à la hauteur des attentes de l’USAID durant la première moitié de vie de l’Activité. L’objectif global de l’Activité de vente de latrines est de 13 363 « toilettes et latrines améliorées construites / achetées par les ménages bénéficiaires », ce qui représente 150 000 personnes (en supposant 11 personnes par ménage). A la date du 21 décembre 2018, seules 1 211 latrines ont été vendues (9% de l'objectif total de l'Activité), alors que ACCES a dépassé 50% de sa durée d’exécution. Trente-huit pour cent de toutes les ventes ont été réalisées au cours du dernier trimestre (d'octobre à décembre 2018), ce qui met en évidence la lenteur avec laquelle cet indicateur a été atteint du début de l'activité jusqu'en septembre 2018. ATTRITION Il y a de forts taux d'attrition chez les prestataires de services - maçons, entrepreneurs et propriétaires de quincaillerie - qui fournissent des latrines à la population, ainsi que chez les agents commerciaux qui convainquent les clients de les acheter. Les entretiens avec le personnel d’ACCES, les prestataires de services et les clients indiquent une insuffisance de la demande pour que la plupart des prestataires de services gagnent suffisamment d’argent pour continuer à travailler avec ACCES. Les marges bénéficiaires des latrines sont étroites pour la plupart des acteurs du marché. Ces pressions financières poussent les prestataires de services à cesser de fournir des services ayant trait aux latrines. L'attrition des prestataires de services constitue une perte pour l'activité en raison des investissements importants réalisés dans leur recrutement et leur formation. Les taux d'attrition parmi les prestataires de services sont élevés dans les régions visitées par l'équipe d'évaluation. Par exemple, sur 112 maçons et entrepreneurs formés par ACCES à Matam, seuls 12 (11%) sont toujours en activité. A Kédougou, la situation est similaire : 85 entrepreneurs formés mais seuls 5 encore en activité. La situation est comparable en ce qui concerne les agents commerciaux : sur les 32 premiers embauchés par ACCES (appelés agents commerciaux de « première génération ») pour des contrats de trois mois expirant de mai à août 2018, seuls six travaillent encore. Les autres ont abandonné faute d'incitations financières, ou ont été licenciés parce qu'ils n’atteignaient pas leurs objectifs de vente. L'Activité a cherché à remédier à cette situation. En octobre / novembre 2018, ACCES a embauché 38 nouveaux agents commerciaux (la « deuxième génération ») en plus des six autres de la première génération et a pris davantage de mesures pour les inciter à atteindre leurs objectifs de vente sur une période de six mois. 13 Cependant, on n’a pas encore vu les résultats de cette nouvelle mesure d’incitation 12 Bien que les attentes de l'USAID et d'ACCES concernant le développement du marché n'aient pas été satisfaites, la littérature technique sur les marchés de l'assainissement note que le développement du marché prend généralement plus de temps que les deux années et demie, à mi-parcours d’un projet de cinq ans, date à laquelle l'USAID a planifié cette évaluation. La dimension temps en tant que facteur crucial du développement du marché est examinée plus en détail dans la dernière section de ce rapport. 13 Les agents commerciaux de la première génération recevaient une indemnité de transport de 15 000 CFA et un bonus de 2 500 CFA par latrine vendue. Pour la deuxième génération, chaque agent commercial gagne 60 000 FCFA pour trois latrines vendues. De plus, les agents commerciaux reçoivent un bonus partagé de 80 000 FCFA lorsqu'ils atteignent leurs objectifs de vente. Le bonus est distribué proportionnellement en fonction des ventes de chaque agent. «J'ai remarqué qu'il n'y avait pas assez de commandes. Si c'était le contraire, j'aurais pu essayer; mais vu qu’il n'y a pas assez de commandes, c'est pourquoi j'ai pris du recul » (SP05). RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 19 LES CREDITS INDIVIDUELS FORMELS Le CMS ne fournit pas encore de crédit aux clients individuels pour l’achat de latrines pour trois raisons. Premièrement, au début du mois de décembre 2018, ACCES et le CMS n’avaient pas signé de protocole d’accord pour établir la relation officielle nécessaire pour faciliter l’approbation des prêts14. Deuxièmement, le CMS craint que les particuliers ne remboursent pas les prêts, car beaucoup n’ont pas d’activités génératrices de revenus suffisants pour assurer le remboursement des prêts (ou ne peuvent pas en prouver l’existence). Troisièmement, ACCES n'a pas fourni au CMS de garantie institutionnelle15 pour couvrir les paiements en cas de défaut. Enfin, le CMS n’a octroyé qu’un seul prêt à un entrepreneur individuel sur les 712 personnes formées par ACCES en développement des entreprises (gestion, comptabilité, etc.). Cela peut être dû au fait que les conditions de prêt du CMS exigent un dépôt initial de 20% et un cosignataire ou une garantie physique couvrant 80% de la valeur du prêt, ce qui est une exigence que la plupart des individus ne peuvent pas remplir. (L'entrepreneur qui a bénéficié du prêt était sociétaire du CMS depuis des années). 16 MOULES EN ACIER ET BUSES EN CIMENT Enfin, le nombre de moules en acier utilisés pour la fabrication des buses de ciment, innovation essentielle pour réduire à la fois la quantité de ciment et le temps nécessaire à la construction de latrines, est insuffisant pour répondre à la demande actuelle et future des clients. ACCES a acheté 47 moules en acier, mais n'en a prêté que 14 à des entrepreneurs et des maçons, ce qui représente une moyenne de 2,3 moules par région. De plus, la répartition des moules entre les régions n'est pas optimale. Dans certaines régions, les maçons n’ont pas accès aux moules ou doivent se les partager, alors qu’il y a un maçon de Bandafassi qui n’utilise pas les moules qu’il a reçus de l’Activité. IV.1. I.3. PRINCIPALES FORCES Outre les résultats les plus significatifs identifiés ci-dessus, parmi les principaux atouts de l’activité on note l’engagement des responsables d’ACCES à atteindre son objectif, notamment en ce qui concerne l’ATPC et l’accès à l’eau, ainsi que son innovation technique globale et son expertise dans le secteur de l’assainissement. ENGAGEMENT POUR LA REUSSITE DE L’ACTIVITE ET STRATEGIES INNOVANTES Selon le personnel de l’Activité, l’USAID et les représentants du Gouvernement, l’équipe d’ACCES est déterminée à atteindre les objectifs fixés. Leur engagement est plus clair dans les zones où l’Activité est sur le point d’atteindre ou de dépasser ses objectifs contractuels, notamment l’accès à l’eau (réparations des réseaux de distribution d’eau et construction d’infrastructures hydrauliques), l’ATPC et l’élaboration de plans MUS. 14 L'équipe d'évaluation comprend qu'ACCES et le CMS ont signé un protocole d'accord couvrant toutes les régions à la fin du mois de décembre 2018. 15 Une garantie institutionnelle est considérée comme l’engagement de la part d’une partie de se porter responsable d’un titre de créance en cas de défaillance de l’emprunteur. La garantie peut être limitée ou illimitée. 16 Il peut y avoir de bonnes raisons de ne pas accorder de prêts aux entrepreneurs. Selon le rapport WASHPaLs (Partenariats sur l’eau, l’assainissement et l’hygiène et l’apprentissage pour la durabilité), « le financement des entreprises dans le secteur de l’assainissement est relativement nouveau. Par conséquent, il existe peu d’informations sur l’opérationnalité de ce système ou sur l’accessibilité et l’utilisation de ce système pour les entrepreneurs des secteurs formel et informel dans le cadre de leurs activités d'assainissement (Trémolet 2012 ; Sijbesma et al. 2008). En outre, ce système n'a pas encore été appliqué à grande échelle et sa nouveauté signifie que sa durabilité est encore incertaine. “Scaling Market-Based Sanitation.” WASHPaLs project, Juin 2018, p.10. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 20 En outre, l'équipe ACCES est disposée à essayer de nouvelles initiatives innovantes pour atteindre les objectifs de l'Activité. ACCES explore de nombreuses possibilités pour augmenter les ventes de latrines, notamment: (1) des accords avec les municipalités pour qu’elles consacrent un financement à la construction de latrines pour les ménages les plus pauvres17; (2) étudier la possibilité de mobiliser des fonds de la diaspora pour acheter des latrines pour leurs communautés d'origine; et (3) l'élaboration d'accords de responsabilité sociale des entreprises (RSE) avec les sociétés minières afin de construire des latrines pour leurs employés. Ces initiatives en sont à leurs débuts mais peuvent prendre de l’ampleur. INNOVATION TECHNIQUE ET EXPERTISE EN ASSAINISSEMENT ACCES a apporté plusieurs innovations considérables aux latrines, en introduisant des technologies et des modifications de conception qui en améliorent la fonctionnalité, rehaussent l'expérience de l’utilisateur et réduisent les coûts et le temps de construction. Parmi les autres améliorations, les experts en assainissement de l’Activité ont mis au point des moules en acier (une technologie issue d’une autre Activité WASH au Bénin) pour la production de buses en ciment qui réduisent le temps et les coûts de construction des latrines. Ils ont également importé des SatoPans du Nigéria, un produit qui, selon ACCES et certains clients, réduit les odeurs de latrine et les mouches et ne nécessite pas beaucoup d’eau pour faire fonctionner la chasse d'eau18. Enfin, les options de latrines personnalisées d’ACCES offrent un éventail de prix aux potentiels clients. IV.1. I.4. PRINCIPALES FAIBLESSES Les faiblesses d’ACCES résultent principalement d’un environnement difficile, de l’absence de vision stratégique au début du projet et de problèmes de coordination. ENVIRONNEMENT OPERATIONNEL Plusieurs facteurs indépendants de la volonté d’ACCES compliquent les interventions de l’Activités et rendent le développement du marché WASH plus difficile à réaliser. Premièrement, ACCES met en œuvre une approche de l'assainissement basée sur le marché (un modèle de subvention du côté de l'offre) dans des zones géographiques où le Gouvernement du Sénégal, la Banque mondiale (BM) et l'Union européenne (UE) continuent de fournir des subventions à l'assainissement, pouvant atteindre 90%, directement aux ménages (modèles de subvention du côté de la demande) 19. Alors que le Gouvernement considère qu'il s'agit d'une période de transition dont l'objectif ultime est d'éliminer complètement les subventions accordées aux clients, il s'est avéré impossible que ces deux modèles cohabitent dans les mêmes zones géographiques, car l'économie des ménages oblige les clients à opter pour des latrines gratuites au lieu de les acheter. 20 Concrètement, on ne peut avoir un marché fonctionnel pour les produits et services WASH que là où les latrines sont achetées et vendues en fonction des forces de l'offre et de la demande. 17 La mairie de Kafountine a financé la construction de 22 latrines pour les ménages les plus vulnérables de la commune. 18 ACCES a fourni des prototypes de SatoPans à certains entrepreneurs et maçons. Ces prototypes ont servi de modèle aux clients à des fins de marketing. Les entrepreneurs interrogés ont trouvé que c’était facile à installer par rapport aux modèles traditionnels. Certains maçons avaient reçu des commandes SatoPan qu'ils ne pouvaient pas honorer car les SatoPans n'étaient pas encore arrivés du Nigéria. Certains clients ont également reçu des SatoPans parce qu’une petite cargaison était arrivée du Nigéria. Bien qu'aucun client ne les ait désignés par leur nom, ils ont toutefois noté que les SatoPans réduisaient les odeurs et les mouches et étaient faciles à nettoyer lors de l'observation de leurs latrines par l'équipe d'évaluation. 19 Le SNAR préconise une approche progressive sur trois ans, dans laquelle il y aurait un « abandon progressif de la subvention (approche projet) au profit de la subvention de l’offre (l'approche du marché)», ainsi qu'un appel à «la hausse progressive et significative de la contribution du secteur privé dans le financement de l'ouvrage d'assainissement (de 0 FCFA présentement à 135 000 FCFA à partir de 2022). ” 20 « Les subventions peuvent également supplanter d'autres sources de financement telles que le crédit, les ménages préférant peut-être attendre d'obtenir des toilettes gratuitement plutôt que de les payer eux-mêmes (Mehta et Knapp 2004 ; Evans et Trémolet 2009). " Projet «Partenariats pour l'eau, l'assainissement et l'hygiène et l'apprentissage pour le développement durable (WASHPaL)», juin 2018, p. 33 RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 21 Certaines personnes interrogées doutent que cette transition du marché soit vraiment en cours, comme l’a déclaré un membre du personnel d’ACCES : « Soyons honnêtes, nous ne sommes pas actuellement dans un pays qui va vers une approche de marché. » (A14). Deuxièmement, ACCES intervient dans les régions les plus pauvres du Sénégal, où de nombreuses communautés, notamment celles des zones rurales, mais aussi des communes de Matam et d’autres régions, pratiquent toujours la défécation en plein air. A Matam, par exemple, 42% des ménages pratiquent la défécation en plein air. Vendre des latrines dans ce contexte est un défi, car la population n'est pas habituée au produit vendu.21 ORIENTATION STRATEGIQUE DE DEVELOPPEMENT DU MARCHE Dès son lancement, ACCES n’avait pas l’orientation stratégique requise pour développer un marché robuste de l’assainissement à partir de zéro. Cela a conduit à un processus de tâtonnements pendant deux années au cours desquelles la direction d'ACCES n'a pas mis en œuvre de stratégie cohérente axée sur le marché. Bien que ce processus d’apprentissage ait été utile et qu’il fonde l’approche actuelle du marché, les dirigeants d’ACCES n’ont pas été en mesure de développer un marché naissant au cours de ces premières années, car l’Activité cherchait une orientation stratégique. Par exemple, l’Activité visait initialement à développer un marché de l’assainissement dans les zones rurales pauvres, mais elle a trouvé que la densité de population était trop faible pour soutenir un marché robuste et que les ménages n’avaient pas les moyens d’acheter les latrines vendues par ACCES. Une des raisons pour lesquelles ACCES a tenté de commercialiser des produits dépassant les moyens des clients ruraux, c’est parce que l’Activité voulait respecter les normes strictes (et probablement irréalistes) du Gouvernement pour la construction de latrines. L’Activité a également révisé les technologies du catalogue PEPAM tout en développant de nouvelles technologies (moins coûteuses). Malgré cela, l'Activité admet qu'une analyse de marché approfondie au début aurait permis d'économiser du temps et des efforts pour basculer vers des marchés périurbains avec une densité de population plus élevée et une capacité plus importante d’acheter les latrines. ACCES a opté pour une approche de marché qui intègre bon nombre de leçons apprises au cours des deux premières années du projet22, mais le manque d’activités significatives sur le marché reste un obstacle que le projet doit surmonter pour prouver l’efficacité de cette stratégie. L’absence d’orientation stratégique d’ACCES dès la phase initiale a retardé le développement du marché, et les répercussions se font sentir aujourd’hui. L'activité a perdu un temps précieux qu'elle aurait pu utiliser de manière plus productive. Par exemple, le retard dans le déploiement de la campagne de marketing et de communication de Sagal, le retard dans l’élaboration de mécanismes de réponse à la demande, comme la formation d’un nombre suffisant d’entrepreneurs, de maçons et d’agents de vente, et la lente croissance des ventes de latrines sont tous dus au temps perdu dans le tâtonnement initial. COORDINATION AU SEIN D’ACCES ACCES souffre d’un manque de coordination depuis le début de l’activité, les membres du consortium se comportant plutôt comme s’il s’agissait d’activités distinctes plutôt que d’une seule activité unifiée. En effet, chacun des sept partenaires du consortium - Natural Resources Consulting Engineers Inc. (NRCE), Catholic Relief Services (CRS), Caritas23, Population Services International (PSI), Agence de développement du marketing social (ADEMAS), MWH 21 Rapport initial ACCES, p. 32. 22 Le choix d'aller dans les zones rurales avec l'ATPC était délibéré car l'approche existait déjà ; en ce qui concerne le marché, l’activité a conduit le développement de produits et la sélection des communes, ce qui a pris plus de temps que prévu. L'erreur des deux premières années a été de cibler la vente et la construction de latrines, l'objectif étant la préparation et le développement du marché pendant la première. 23 Caritas a été retirée du consortium à la mi-2018. «Nous avons passé beaucoup de temps, presque deux ans, à identifier les communes d'intervention, ce qui a pu influer sur le délai de mise en œuvre.» (A19) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 22 Global et IMPAQ International - a des rôles et des responsabilités distincts sans structure de gestion unifiée pour coordonner le travail. Comme l’a dit une personne interrogée, la coordination entre les partenaires d’ACCES exigeait de « naviguer entre des petits fiefs. » (U05). En outre, les réunions de planification susceptibles de résoudre certains de ces obstacles sont rares. Certains membres du consortium ont noté l'absence de réunions hebdomadaires entre les bureaux régionaux et les responsables d'activités. Au lieu de cela, le Chef de Projet (COP) et son adjoint (DCOP) se réunissent tous les deux mois avec les régions de l’Est et du Sud. Le déficit de coordination a quatre conséquences négatives distinctes pour l’activité : 1. L’ABSENCE DE CONTRÔLE DU CONTRACTANT PRINCIPAL SUR LES RESSOURCES DU TERRAIN. En raison de la manière dont les responsabilités et les ressources sont réparties entre les partenaires du consortium, NRCE maintient une faible présence sur le terrain, tandis que CRS et ADEMAS ont une présence importante. Malgré le rôle de NRCE en tant que contractant principal, la répartition inégale des ressources et du personnel sur le terrain réduit sa capacité à décider de la façon dont les ressources sont utilisées au quotidien. 2. INCOHERENCE ADMINISTRATIVE. Chaque sous-contractant a ses propres directives en matière de ressources humaines et de finances, ce qui créé des désaccords entre le personnel et un éclatement des activités. Par exemple, chaque sous-contractant applique une politique d'indemnités journalières distincte et les taux payés au personnel d'ACCES en déplacement sur le terrain diffèrent en fonction de la politique du membre du consortium auquel ils appartiennent. Cela créé un certain désarroi parmi le personnel du consortium. 3. PRISE DE DECISIONS INTERESSEES. Parfois, les membres mettent les intérêts de leur organisation en premier, aux dépens du consortium, ce qui fait que l’on obtient des résultats sous-optimaux. Par exemple, PSI et CRS ne pouvaient pas partager leurs locaux et travailler de façon séparée en raison de divergences d'opinions politiques24. Autre exemple, le staff de Caritas travaillait comme membres du personnel d’ACCES quelques mois seulement après avoir fini de travailler sur une activité de latrines subventionnées dans la même zone géographique, ce qui a compromis les efforts d’ACCES. 4. PROBLEMES DE QUALITE DES DONNEES. Pendant les deux premières années de l'activité, chaque membre du consortium suivait les données de ses propres indicateurs sans un référentiel unifié pour la collecte de données. IMPAQ, le partenaire de S&E du consortium, n’a pas pu convaincre les autres membres du consortium de communiquer les données des indicateurs de manière centralisée. 25 Cela a entraîné des problèmes de cohérence des données et il y a eu au moins une réunion avec l'USAID / Sénégal au cours de laquelle IMPAQ et CRS ne s’étaient pas mis d'accord sur le pourcentage de réalisation de certains indicateurs. Cela s'est amélioré depuis que l'équipe a lancé SurveyCTO, une plateforme mobile de collecte de données, en mars 2018. IV.1. I.5. OPPORTUNITES ET MENACES Il existe des opportunités de capter une demande supplémentaire des produits et services WASH de la part des clients. Les menaces qui pèsent sur le programme sont importantes (utilisation par les concurrents de subventions liées à la demande et déficit de demande) et, si elles ne sont pas atténuées, elles peuvent entraîner l'échec de l'activité. 24 PSI et CRS ont des points de vue différents sur la contraception. CRS, en tant qu'organisation catholique, ne soutient pas l'utilisation de contraceptifs. 25 Cela s'explique notamment par le fait que les membres principaux de l'équipe de S&E de l'IMPAQ se trouvaient aux États-Unis et étaient uniquement chargés de mener les évaluations initiales, mi-parcours et finale. L’équipe IMPAQ a développé SurveyCTO Presque 2 ans après que l’Activité ait démarré, quand le besoin d’un système de suivi unifié est devenu plus apparent. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 23 OPPORTUNITES POSSIBILITE D’UNE DEMANDE NON SATISFAITE. ACCES pourra peut-être exploiter la demande non satisfaite de latrines. Les discussions de groupe et la documentation d'ACCES montrent que la population est disposée à acheter des latrines et que 38% (456) de toutes les ventes de latrines avaient été réalisées au cours du dernier trimestre 2018. Ces données laissent présager une hausse potentielle de la demande. POSSIBILITE DE CROISSANCE DES CREDITS. ACCES pourrait également voir un accroissement du recours au crédit dans les mois et les années à venir. Les données sont prometteuses à cet égard : 117 latrines (10%) ont été achetées avec un crédit formel fourni à des groupes depuis le début de l’activité et 482 (40%) avec un crédit informel fourni par des systèmes d’épargne et de crédit, des groupes de femmes et d’autres groupes. Aucun groupe n'a fait défaut sur ses prêts. En outre, selon les agents d’ACCES et du CMS interrogés, ACCES et le CMS ont signé un protocole d'accord couvrant les six régions d'activité, et l'USAID / Sénégal envisage de garantir des prêts pour inciter le CMS et d'autres à fournir davantage de prêts. L’allègement des modalités d’accès aux prêts et l’amélioration des conditions de remboursement permettront d’accroître la demande de latrines. L’INNOVATION DES SATOPAN. Enfin, la disponibilité de SatoPans peut être une opportunité pour l’activité de se différencier de la concurrence, en particulier des activités subventionnées. Les SatoPans peuvent améliorer l’attractivité de l’achat de latrines, ce qui pourrait générer une demande supplémentaire. MENACES REPONSE A LA DEMANDE. Le personnel d’ACCES, l’USAID / Sénégal et les fournisseurs de services ont indiqué les quatre défis suivants qui pourraient limiter la réactivité et la durabilité de l’Activité : 1. Manque de maçons et d’entrepreneurs disposant de la capacité financière suffisante pour construire eux￾mêmes des latrines après la fermeture de l’activité. 2. Manque de matériaux (principalement des moules en acier et du matériel), coûts trop élevés des matériaux et coûts de transport élevés. 3. Manque de crédit pour acheter des moules en acier afin de produire des buses en ciment. 4. Attrition des acteurs du marché causée par une faible demande et des bénéfices faibles. ACTIVITES SUBVENTIONNEES OU CONCURRENTES. L’existence d’activités subventionnées à Tambacounda, Kédougou, Sédhiou et Kolda menace l’approche naissante de marché. La Banque mondiale, l'UE et l'Agence japonaise de coopération internationale (JICA) mènent actuellement des activités de subvention axées sur la demande, toutes susceptibles de détruire le marché de WASH si l’on ne procède pas à une séparation minutieuse des zones d'intervention. 26 LA DISTRIBUTION DE SATOPAN. Le processus d'achat et de distribution de SatoPans peut devenir un goulot d'étranglement pour l'approche de marché d’ACCES. Ceux-ci sont fabriqués au Nigéria, ce pays détient la licence de production actuelle. ACCES a commandé un conteneur de SatoPans qui est arrivé au Sénégal le 6 janvier 2019, après un retard important. ACCES doit trouver un grossiste pour importer des SatoPans et développer un réseau de distribution. 26 Les plateformes WASH pourraient servir d'outils pour aider à résoudre la question des contradictions entre zones d’intervention parmi des bailleurs ayant des stratégies concurrentes. La plate-forme nationale a pour objet de discuter de questions stratégiques telles que la réforme des politiques, tandis que les questions opérationnelles sont débattues au niveau régional. La question des plateformes est abordée plus en détail plus loin dans ce rapport. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 24 FAIBLESSE DES MOYENS FINANCIERS DES CLIENTS. Enfin, les participants aux groupes de discussion et les personnes interrogées ont souligné la faiblesse des moyens financiers dont disposent les ménages pour acheter des latrines, ce qui peut indiquer que la hausse actuelle de la demande de latrines est temporaire. Comme l’a déclaré un client d’ACCES : « la population veut adhérer, mais elle n’a pas les moyens nécessaires ». (MA09). IV.1.2. EQ1 CONCLUSIONS REALISATIONS. ACCES est en train d’atteindre le statut FDAL, les objectifs dans le domaine de l’eau et les plans MUS. Le programme a excellé dans le développement d'innovations visant à réduire les coûts des latrines et à fournir des solutions d'assainissement améliorées aux clients. L’accès au crédit formel et informel est l’une des réalisations phares de cette activité, car c’est l’une des premières fois dans l’histoire de l’assainissement au Sénégal qu’une institution financière accepte de fournir du crédit pour la construction de latrines. En outre, l'utilisation du crédit pour l'achat de latrines montre des signes de croissance au cours des deux derniers trimestres. Le protocole d'accord signé récemment entre ACCES et le CMS montre que le crédit formel jouera probablement un rôle encore plus important dans la fourniture de prêts WASH aux clients. On pourra essayer le crédit aux entrepreneurs à l’avenir, mais les informations sur l’efficacité de cette approche sont limitées et n’ont pas été appliquées à grande échelle sur d’autres marchés de l’assainissement. Parmi les autres signes de croissance future du crédit figurent une éventuelle garantie institutionnelle pour les défauts de paiement, ainsi qu'une incitation à octroyer des crédits à d'autres groupes communautaires, aucun prêt formel octroyé par le CMS à des groupes n'ayant été mis en défaut. DEFIS. Malgré ces succès et ces indicateurs positifs, il reste des défis à relever. Plus important encore, les attentes et les objectifs de l'USAID et d'ACCES concernant les ventes de latrines ne se sont pas concrétisées, principalement en raison de la mise au point tardive d'une stratégie de marché. Du côté positif, ces premières tentatives infructueuses de développement du marché ont créé des opportunités d’apprentissage qui ont éclairé la stratégie actuelle, qui semble aller dans la bonne direction. DEFIS INTERNES. Il est important de prendre en compte les obstacles internes à l'Activité elle-même. Premièrement, le manque persistant de coordination des activités entrave la mise en œuvre de la vision stratégique de l'activité. Alors que ACCES est destiné à s’appuyer sur les expériences et points forts des membres individuels au service d’un objectif commun, ceux-ci ont en réalité poursuivi des objectifs de façon relativement isolée, au détriment de l’Activité dans son ensemble. Deuxièmement, le crédit formel aux particuliers est limité par l’absence d’une garantie financée par l’activité, ce qui complique la tâche des institutions financières dans l’octroi des prêts aux particuliers. Troisièmement, le placement et l’utilisation des moules en acier d’ACCES ne sont pas fait de façon optimale, car toutes les moules disponibles n’ont pas été distribué aux entrepreneurs, et le nombre de moules est insuffisant dans certaines zones, alors qu’elles restent inutilisées dans d’autres. ACCES pourrait ne pas être en mesure de répondre à une forte augmentation de la demande en latrines, ce qui créerait un goulot d'étranglement du côté de l'offre de latrines. Si la demande augmente, il est possible que l’on n’ait pas suffisamment de moules en ciment pour répondre à la demande et que les acteurs du marché ne soient pas en nombre suffisant pour construire des latrines à temps. LES DEFIS QUI RELEVENT DE LA GESTION DE L’ACTIVITE. Bien que les menaces extérieures à l’activité fassent légion, certaines relèvent de la gestion de l’activité et peuvent être traitées facilement. Les SatoPans sont arrivés au Sénégal le 6 janvier 2019 en provenance du Nigéria après un retard considérable, mais rien ne garantit qu'une autre commande de SatoPans va arriver dans le futur. C'est un risque pour l'activité. Si un autre envoi de SatoPans n'arrivait pas ou faisait l’objet de retards importants, la demande de SatoPans va baisser et, par conséquent, moins de latrines seront construites. En outre, malgré les investissements réalisés par ACCES pour former des agents commerciaux, des maçons et des entrepreneurs, la majorité d’entre eux ne s’activent plus dans la vente ou la construction de latrines car leur activité n’est pas rentable. La structure des incitations pour les agents commerciaux RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 25 de première génération a été la principale cause d'attrition, car la commission qu'ils recevaient n'était pas assez importante pour poursuivre la collaboration avec l'Activité. Cela continue d’être une perte importante pour l’Activité. Enfin, l'environnement d'exploitation actuel constitue un obstacle au succès du marché de WASH. Les partenaires techniques et financiers continuent d'appliquer à la fois une approche de marché et une approche subventionnée de l'assainissement, ce qui a inévitablement conduit à une confrontation entre partenaires techniques et financiers qui tentent de cibler la même population en utilisant deux stratégies incompatibles. Les activités subventionnées sont susceptibles d'étouffer le marché naissant de WASH créé par ACCES. LA DEMANDE EN LATRINES. Le défi lié à la baisse de la demande en latrines reste hors du contrôle de l’activité, mais doit être pris en compte et il faut élaborer des plans d’urgence pour y remédier. Bien que certains signes indiquent que la demande en latrines va augmenter, ACCES doit également reconnaître que le revenu des ménages est faible dans de nombreuses zones ciblées par l’Activité. Les communautés peuvent ne pas disposer des fonds nécessaires pour acheter les latrines, en particulier avant les récoltes, lorsque les économies sont au plus bas, et les entrepreneurs craignent de passer des contrats avec des ménages qui ne seraient pas en mesure de les rembourser une fois les latrines construites. Les faibles revenus dans les communautés ciblées et le manque de confiance des entrepreneurs envers les ménages en ce qui concerne le paiement constituent une menace pour un marché WASH sain. IV.2 QUESTION D’EVALUATION 2 : VALEUR AJOUTEE Quelle est la valeur ajoutée de ACCES dans les quatre domaines de production : (a) génération d’une demande en produits et services WASH ; (b) accroissement de la fourniture de produits et services WASH basée sur le marché ; c) amélioration de la fourniture et de la gestion de systèmes d'approvisionnement en eau à usages multiples ; d) amélioration de l'environnement favorable pour la fourniture équitable de systèmes WASH de qualité ? IV.2.I. QE2 CONSTATATIONS L'activité ACCES a ajouté de la valeur à ces quatre domaines d'intervention de différentes manières. ACCES a eu plus de succès dans les activités d'ATPC et de changement de comportement et moins dans le développement du marché de l'assainissement. ACCES est l’un des pionniers du développement du marché de l’assainissement au Sénégal. IV.2.1.1. GENERATION D’UNE DEMANDE DE PRODUITS ET SERVICES DE WASH ACCES a amélioré les comportements en matière d'assainissement dans les zones ciblées, créé des synergies avec les activités du Gouvernement et d'autres acteurs, réduit les coûts des latrines et introduit le recours au crédit pour stimuler la demande de services d'assainissement. Cependant, il reste encore à susciter la demande de produits et services axés sur le marché en raison du manque d'activité significative sur le marché de WASH, d'un environnement opérationnel difficile et de l’absence d’une stratégie claire. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 26 CHANGEMENTS DE COMPORTEMENTS ET STATUT FDAL Selon le personnel d'ACCES, les bénéficiaires de l'ATPC et les données issues de la revue documentaire et de l'USAID / Sénégal, ACCES est en train d’atteindre ses objectifs en ce qui concerne l'ATPC. Sur les 76 villages ciblés, 66 ont été déclarés FDAL (ayant mis fin à la défécation à l'air libre), ce qui signifie que les populations ne défèquent plus à l’air libre. Les participants aux groupes de discussion et les entretiens avec les clients dans les villages, où l’ATPC est mis en œuvre, ont fait ressortir d'autres changements de comportement positifs. Par exemple, dans la majorité des villages visités, les « Set-Settal », ou séances de nettoyage publiques, ont lieu périodiquement dans des lieux publics comme les marchés, les mosquées et les trottoirs. La plupart des personnes interrogées notent qu’il y a moins de cas de diarrhée signalés en raison de la multiplication des toilettes, de l'amélioration des pratiques d'hygiène et de l'utilisation d'Aquatabs et de l'eau de Javel. Avant l'activité d’ACCES, les personnes interrogées étaient habituées à la défécation en plein air car elles ne disposaient pas de latrines à la maison. ACCES a fait appel à des promoteurs communautaires responsables de l'organisation de séances de sensibilisation, de conférences et de visites à domicile, ce qui a permis à la population de prendre conscience de l'importance de l'assainissement pour améliorer son bien￾être. ACCES a également mis en place des comités de suivi villageois (CSV) pour suivre les changements de comportement. Malgré ces succès, les participants aux groupes de discussion et les personnes interrogées ont constaté un manque d'outils de communication (images ou affiches) lors des séances de sensibilisation, des causeries et des visites à domicile, ainsi que le manque de dynamisme de certains CSV. Les contrats des promoteurs communautaires ont pris fin à compter de décembre 2018, et de nouveaux contrats sont en cours d’élaboration. REDUCTION DU PRIX DES LATRINES ACCES a réussi à réduire le coût des latrines. Cela a été rendu possible grâce à l'utilisation de matériaux locaux, permettant aux clients de personnaliser leurs latrines et d'utiliser des moules de ciment au lieu de briques. (Voir la Question d'évaluation 1 pour plus de détails). CREDIT FORMEL ET INFORMEL Selon l'USAID / Sénégal, les clients et les données issues de la revue documentaire, le crédit est un élément vital de la croissance d'un marché WASH, car il offre aux particuliers la possibilité de contracter un prêt pour l'achat de latrines. 27 ACCES a commencé récemment à fournir des prêts à ses clients et entrepreneurs, mais à ce jour, 10% de toutes les latrines ont été acquises avec un crédit formel et 40% avec un crédit informel. Bien que le crédit ne soit pas une panacée pour les ventes de latrines et que le risque de défaut de paiement soit réel, on n’a eu de défaut de paiement sur aucun prêt pour l'assainissement et la littérature consacrée au marché de l'assainissement indique clairement que le crédit est essentiel au développement de ce marché. C'est la première fois que le CMS accorde des prêts pour améliorer l'assainissement des ménages. Traditionnellement, les institutions financières accordaient des crédits uniquement pour développer des activités génératrices de revenus. (Voir la Question d'évaluation 1 pour plus de détails.) 27 « Les capitaux, destinés principalement à la fourniture de crédit aux clients et aux entrepreneurs, peuvent aider à accroître la profondeur des marchés de l'assainissement. » et « le crédit peut jouer un rôle essentiel dans de nombreuses solutions basées sur le marché ». « Développer l'assainissement basé sur le marché ». Scaling Market-Based Sanitation.” Water, Sanitation and Hygiene Partnerships and Learning for Sustainability (WASHPaLs) project, juin 2018, p. 45, p 2. « D'un point de vue économique, les choses se sont améliorées. Parce qu'avant, les gens avaient la diarrhée et des maux d'estomac. Chaque jour, nous étions à l'hôpital et nous dépensions de l'argent pour prendre soin de nous-mêmes, des enfants ou d'un être cher. Mais maintenant, depuis que les latrines ont été installées, il y a une amélioration. » (MA12) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 27 IV.2.1.2. ACCROISSEMENT DE LA FOURNITURE DE PRODUITS ET SERVICES DE WASH AXES SUR LE MARCHÉ ACCES a développé un marché nouveau et fragile de WASH et amélioré la capacité technique des différents acteurs du marché. Beaucoup d'efforts ont été déployés pour mettre en œuvre un modèle de marché difficile, mais la durabilité est précaire compte tenu des subventions en cours, des faibles niveaux de revenus (en particulier dans les zones rurales) et de la nécessité d'un engagement à plus long terme. CONNEXIONS SUR LE MARCHÉ Selon le personnel d’ACCES et les prestataires de services, l’activité a fourni des services de WASH dans des zones où il y avait peu de latrines. La création d'un marché est un objectif ambitieux qui n'a pas encore été atteint. L'analyse du marché de WASH élaborée par l'équipe d'évaluation indique qu'ACCES a créé de nouveaux liens entre les acteurs du marché. Certains de ces acteurs ont un fort potentiel de gagner de l'argent (par exemple, les producteurs de buses en ciment et les entrepreneurs) et certains ont eu plus de difficultés à gagner de l'argent (par exemple, les maçons et les agents commerciaux). Le graphique ci-dessous montre les liens que l’Activité a tissés dans l’espoir de créer, développer et pérenniser le marché de WASH. Chacune des connexions est décrite plus en détail à l'annexe XIII. «Je pense que nous avons eu un impact significatif sur le développement du marché de l'assainissement dans les six régions où nous sommes présents. Nous sommes partis de zéro.” (A14) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 28 Graphique : Marché et connexions institutionnelles d’ACCES RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 29 CAPACITE TECHNIQUE ET FOURNITURE DE SERVICES La qualité et la diversité des latrines développées par ACCES est un résultat clé de l'activité. La majorité des personnes interrogées sont satisfaites des latrines construites par les entrepreneurs et les maçons. Les participants aux groupes de discussion ont noté que les latrines construites avant ACCES s’effondraient chaque année pendant la saison des pluies, obligeant les gens à en creuser de nouvelles. Avec les produits ACCES, les personnes interrogées notent que les latrines sont durables, réduisent les odeurs et se vident plus facilement que les modèles précédents. Cependant, certains clients se sont plaints de la qualité du travail, mais ils ont toujours la certitude que ces latrines sont meilleures que les modèles précédents et ils sont généralement satisfaits. Parmi les motifs de plaintes on note l'absence de tuyaux d'aération, les fuites d'eau à partir des éviers installés, des difficultés à fermer les portes, la faible profondeur des fosses et la présence de mouches. L'activité ACCES a organisé des sessions de formation pour 712 maçons et entrepreneurs dans les six régions d'intervention. La formation visa à améliorer leurs compétences et à fournir de meilleurs services. Les apprenants sont généralement satisfaits de la qualité de la formation, mais certains maçons ont déclaré que les cours sur les services de développement des entreprises étaient trop théoriques et manquaient d’aspect pratique. IV.2.1.3. AMELIORATION DE LA FOURNITURE ET DE LA GESTION DES SYSTÈMES D'EAU À USAGES MULTIPLES Les infrastructures hydrauliques sont en voie d'achèvement et 23 plans MUS détaillés ont été finalisés et partagés avec les collectivités locales. Cependant, sans un bailleur de fonds et une entité dédiée pour la mise en œuvre, ils sont peu utiles. EAU ET PLANS MUS La revue documentaire et le travail de terrain ont révélé qu'ACCES avait achevé 8 des 9 réparations sur des infrastructures d'approvisionnement en eau et mis au point 23 plans MUS. Selon les représentants du Gouvernement et le personnel d’ACCES, l’Activité est chargée de la conception (mais pas de la mise en œuvre) des plans MUS. Par conséquent, l'activité ACCES ne mettra pas en œuvre ces plans. La mise en œuvre des activités liées à l’eau et prévues dans les plans n’est pas financée par un autre bailleur de fonds ou par la communauté locale. Les plans expirent au bout de 10 ans. Comme le dit un employé d’ACCES, ce sont les membres de la communauté « qui doivent identifier des partenaires financiers potentiels. Je pense que c'est une réelle faiblesse dans la conception de l'activité car nous leur donnons ces plans et puis c'est tout. ». (A11) IV.2.1.4. AMÉLIORATION DE L'ENVIRONNEMENT PERMETTANT LA MISE EN ŒUVRE ÉQUITABLE DE SYSTÈMES WASH DE QUALITÉ Les femmes se voient offrir des opportunités sur le marché WASH en tant que prestataires de services et clientes de produits et services qui, par nature, aident les femmes et les enfants. Les systèmes communautaires d’épargne et de crédit en particulier ont été un moyen de responsabiliser les femmes pour l’achat de latrines. De plus, les synergies avec le Gouvernement ont permis d’améliorer l’environnement favorable à ACCES. FEMMES ET SYSTEMES D’EPARGNE ET DE CREDIT «Nous avons été formés et nous connaissons maintenant les techniques de construction des nouveaux types de latrines apportés par ACCES. Ces latrines sont de meilleure qualité que les latrines traditionnelles que nous avions l'habitude de construire. C’est pourquoi j’ai vraiment apprécié ce projet. " (SP06) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 30 Les activités d’ACCES ont touché un nombre important de femmes. ACCES a organisé 67 systèmes d’épargne et de crédit dans les six régions d'intervention, avec un total de 1 863 membres, dont seulement 183 hommes. Sept de ces SILC, comptant 101 membres au total, ont reçu 6 358 750 FCFA (11 097 USD) de financement pour des latrines. En outre, le pourcentage de femmes bénéficiaires des latrines d’ACCES est légèrement supérieur au taux global de femmes chefs de ménage. D'après la revue documentaire, 26% des clients d'ACCES sont des femmes, dont 103 avaient reçu un crédit formel et 79 avaient reçu un crédit informel. Bien que le taux de prêts consentis aux femmes ne soit pas comparable à celui des hommes, il est important de placer ce pourcentage dans un contexte social plus large : au Sénégal, une minorité de femmes sont chefs de ménage (22%). 28 Les observations et les entretiens menés par l’équipe d’évaluation montrent également que les femmes participent au marché de WASH en tant que prestataires de services. Beaucoup d’agents commerciaux sont des femmes, mais l'équipe d'évaluation n'a rencontré aucune femme dans le domaine de la maçonnerie. Dans la culture sénégalaise, la maçonnerie est un métier réservé aux hommes. Les groupes de discussion et les entretiens avec les clients confirment que les activités d’ACCES sont destinées aux femmes et aux enfants. Les femmes bénéficient de façon disproportionnée du marché WASH, car l'assainissement et l'hygiène liés à la préparation des aliments, au bain, au nettoyage et à la récupération de l'eau jouent font partie des rôles traditionnellement dévolu à la femme dans le ménage. SYNERGIES AVEC LES ENTITES GOUVERNEMENTALES Selon la revue documentaire et les entretiens menés avec des entités gouvernementales au niveau régional et national, ACCES collabore avec les services techniques nationaux (responsables gouvernementaux dotés de rôles techniques) et les administrations locales. Six accords ont été signés au niveau national avec l'Association des maires du Sénégal (AMS), la Direction de l'assainissement (DA), le Service national d'hygiène (SNH), la Direction de l'hydraulique (DH), la Direction de la gestion et de la planification des ressources en eau (DGPRE) et l’Office des forages ruraux (OFOR). Au niveau national, des réunions de coordination périodiques ont lieu avec la DA afin de discuter de l'harmonisation des interventions entre les activités fondées sur les subventions et les activités fondées sur le marché. En outre, au niveau local, l’équipe d’évaluation a noté que le projet travaillait étroitement avec le BRH et le Service régional de l’assainissement (SRA) pour la certification FDAL des villages. De même, ACCES a soumis les plans MUS finalisés à la DH et à l'Agence régionale de développement (ARD) pour examen. Selon les entretiens, certains services techniques estiment que leur participation aux activités d’ACCES est limitée. L’ARD et la DRH n’ont été que légèrement impliquées dans l’élaboration des plans MUS. Par exemple, l'ARD de Matam aurait préféré qu'ACCES les accompagne dans l'élaboration de plans de développement communautaire mettant l'accent sur le WASH plutôt que de créer un nouveau plan. La DRH aurait également souhaité une plus grande implication dans le suivi des infrastructures hydrauliques réparées par ACCES. ACCES collabore également avec les mairies, qui servent de points d’entrée avant toute intervention au niveau municipal. ACCES organise des réunions avec les maires pour les informer des activités qu’ACCES souhaite mettre en œuvre et reçoit leur soutien et leur adhésion. ACCES et les maires ont sélectionné conjointement les villages d'intervention. En collaboration avec l’activité GOLD de l’USAID/Sénégal, ACCES a renforcé la capacité des commissions techniques chargées des services WASH dans certaines mairies. La collaboration entre GOLD et ACCES porte sur trois domaines: (1) la rédaction de brochures didactiques sur l’hydraulique rurale, l’une d’elles étant en cours d’utilisation et l’autre sur l’assainissement en cours d’achèvement et qui servira à informer les autorités locales sur les réformes dans le domaine du WASH en cours; (2) le renforcement des capacités, la formation et 28 Agence Nationale de Statistique et de Démographie, 2013. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 31 l’encadrement en matière de WASH et de gouvernance de l'eau; et (3) la mobilisation du financement du WASH pour les communautés locales. IV.2.2. QE2 CONCLUSIONS ACCES ajoute de la valeur aux quatre domaines de production. Les activités d’ATPC comme la sensibilisation, les discussions et les visites à domicile ont contribué à l’obtention du statut FDAL dans 66 villages. Il n'y avait pas de marché WASH significatif au Sénégal avant ACCES. Il s’agit d’une approche nouvelle et ambitieuse conçue par l’USAID pour s’intégrer dans la transition en matière d’assainissement en cours opérée par le Gouvernement du Sénégal. ACCES a pu fournir certains services, même à petite échelle, à diverses communautés à travers le pays. La capacité des clients à choisir parmi une gamme de latrines et à ajouter des fonctionnalités, dans l’immédiat ou dans le futur, est très attrayante du point de vue du consommateur. ACCES a développé un marché WASH naissant et fragile et amélioré les capacités techniques de divers acteurs du marché. Cependant, la demande de produits et services axés sur le marché n'a pas encore été réalisée en raison du manque d'activité significative sur le marché de WASH. L'analyse du marché de WASH montre des liens complexes et significatifs entre les acteurs du marché, chacun ayant sa propre raison, basée sur le profit, pour continuer à participer au marché WASH. Certains de ces acteurs ont de fortes motivations économiques pour rester sur le marché, tandis que d'autres ont des motivations plus faibles. Dans le secteur de l’eau, ACCES a élaboré 23 plans MUS, mais n’a pas l’obligation contractuelle de mettre en œuvre les plans au nom des communautés et n’est pas non plus tenu de rechercher des partenaires techniques et financiers potentiels pour financer ces plans. Sans bailleur de fonds et partenaire de mise en œuvre, les ressources utilisées pour créer ces plans auront peut-être été dépensées en vain. Enfin, ACCES a créé des synergies avec les entités gouvernementales et GOLD. L’activité gagnerait à renforcer la collaboration avec ces entités pour assurer la durabilité de ses actions. Les femmes jouent un rôle important dans le fonctionnement du marché WASH, à la fois en tant que prestataires de services et clientes. Toutefois, en tant qu’individus, les femmes ne représentent que le quart des clients d’ACCES. Les systèmes d’épargne et de crédit pourraient constituer la meilleure alternative pour accroître la participation des femmes au marché de WASH, 90% des membres des systèmes de crédit et d’épargne étant des femmes. Les entretiens ont montré que les femmes bénéficiaient de façon disproportionnée du marché WASH, car l'assainissement et l'hygiène liés à la préparation des aliments, au bain, au nettoyage et à la récupération de l'eau font partie des rôles traditionnellement dévolu à la femme dans le ménage. Les femmes interrogées ont mis en exergue les améliorations apportées au niveau de l'assainissement des habitations, de l'hygiène et de la santé de leurs enfants. IV.3. QUESTION D’EVALUATION 3 : DURABILITE29 Quels types d'institutions faut-il pour assurer la durabilité d'un marché d’’eau et assainissement (WASH) dans les communautés ciblées ? IV.3.1. QE3 CONSTATATIONS L’implication des acteurs du marché, du Gouvernement du Sénégal et des partenaires techniques et financiers est essentielle pour assurer la durabilité du marché WASH dans les communautés ciblées. De plus, les subventions génératrices de distorsion nuisent à la durabilité à long terme du marché de WASH. ACCES fournit aux acteurs du marché une aide matérielle et financière qui renforce artificiellement le marché, ce qui peut être utile à la croissance 29 La durabilité des initiatives ne peut être vérifiée qu’ex post, ce qui limite la portée de cette évaluation des performances aux facteurs qui, en théorie, contribueraient à la durabilité des activités du projet. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 32 et au développement à court terme, mais nuit à la durabilité à long terme. ACCES investit sur le marché à travers la coopération avec des organismes gouvernementaux et la formation pour amener l’engagement et les compétences nécessaires à la création d’un marché durable. Enfin, les autres partenaires techniques et financiers, en particulier ceux qui fournissent des latrines subventionnées, constituent une menace importante pour la durabilité du marché. IV.3.1.1. ACTEURS DU MARCHE Les acteurs du marché - entrepreneurs, maçons, distributeurs de matériaux et institutions financières - sont essentiels pour la durabilité du marché WASH, car ce sont eux qui fournissent les services qui permettent au marché de fonctionner. ENTREPRENEURS, MACONS ET DISTRIBUTEURS DE MATÉRIAUX. Ils fournissent les matériaux et l'expertise nécessaires à la construction de latrines. Cependant, ces acteurs ne peuvent fournir des services que si chacun d’entre eux réalise un profit. Pour certains maçons, le coût combiné des matériaux, du transport et de la main-d'œuvre supplémentaire est trop élevé et ne compense pas le coût d'installation des latrines. Par exemple, un entrepreneur et producteur de buses en ciment à Kafountine, Ziguinchor, vendait aux maçons des moules à 50 000 CFA (87 USD), mais ce prix est récemment passé à 60 000 CFA (105 USD). Il peut réaliser un bénéfice d'environ 14 000 FCFA (25 USD), tandis que le maçon qui a acheté ces moules aura perdu environ 3 200 CFA (5,60 USD) dans la vente de latrines en raison de cette augmentation des coûts. Un maçon a indiqué qu'il avait cessé de travailler avec cet entrepreneur parce qu'il perdait de l'argent. Ce n'est pas une tendance isolée ; d'autres maçons ont cessé de s’activer dans la vente de latrines car ils peuvent gagner plus d'argent sur la construction de routes ou de bâtiments. AGENTS COMMERCIAUX. Ces acteurs sont essentiels au développement du marché car ce sont eux qui génèrent la demande pour la vente de latrines. ACCES recrute de nouveaux agents de vente et les encourage à atteindre leurs objectifs de vente. Les agents de vente génèrent la demande nécessaire au bon fonctionnement des fournisseurs de services. Les agents commerciaux, les fournisseurs de services et ACCES ont noté que l’activité offrait une gamme de subventions de facilitation, notamment la formation et la rémunération des agents commerciaux. L'espoir est que les fournisseurs de services deviennent suffisamment robustes pour assumer ces rôles sans aide extérieure, mais ACCES n'a pas encore de stratégie en place pour éliminer progressivement son soutien. IMPORTATEURS / DISTRIBUTEURS DE SATOPAN. Ce sont des acteurs essentiels pour assurer la fourniture de SatoPans aux marchés locaux. Cependant, selon le personnel de l'USAID / Sénégal et d'ACCES, le mécanisme de livraison de SatoPan n'est pas durable. L’activité joue actuellement le rôle d’acteur du marché en tant qu’importateur et distributeur de SatoPan. En outre, la chaîne d'approvisionnement est fragile car le SatoPan n'est pas d'origine locale ; c’est un produit importé du Nigeria. ACCES n'a pas encore identifié de grand distributeur ou un réseau de petits distributeurs du secteur privé pouvant adéquatement assumer ce rôle une fois l'Activité terminée. INSTITUTIONS FINANCIERES. L'accès au crédit est essentiel pour la durabilité du marché. Selon l'USAID / Sénégal, le personnel d'ACCES et le CMS, des prêts WASH sont fournis à des groupes par le CMS. Cependant, ces prêts ne sont pas octroyés à des clients individuels car l’institution estime que ces prêts ne présenteront pas de conditions de risque acceptables. ACCES n'a pas encore trouvé le moyen d'encourager le CMS, ni aucune autre institution financière, à fournir des prêts à des clients individuels comme prévu initialement. IV.3.1.2. GOUVERNEMENT DU SENEGAL Le GdS peut améliorer les perspectives de durabilité du marché avec des agences locales et nationales investies pour le succès des approches de développement et appuyant la transition du marché de l’assainissement de la SNAR. Les «Nous devons veiller à ce que certains acteurs clés du marché soient en place avant… la fin du projet.» (A03) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 33 relations d’ACCES avec les entités gouvernementales sont variables, mais dans certains cas, une collaboration étroite a permis d’obtenir des résultats positifs. AU NIVEAU LOCAL. Les relations entre ACCES et les entités locales sont mitigées. Il semble qu’il y ait des relations plus étroites avec de hauts niveaux de coordination et de confiance avec les Municipalités, alors que certains interlocuteurs au niveau gouvernemental comme la Direction Régionale de l’hydraulique (DRH) et avec la DRA ont indiqué que les interactions avec le personnel d’ACCES étaient limitées. La BRH et la SRA ont collaboré de façon étroite avec ACCES pour les formations sur l’ATPC, mais elles n’ont pas été pleinement impliquées dans l’approche du marché. Il est important de noter qu’ACCES et les associations d’utilisateurs de forages ruraux (ASUFOR) ont collaboré pour créer une demande et financer la construction de latrines à Ziguinchor, où un Coordonnateur de l’ASUFOR joue également le rôle d’agent commercial d’ACCES. Cette fusion de responsabilités a été utile et l’activité a construit plusieurs latrines à la suite de cette étroite collaboration. Enfin, selon l’USAID / Sénégal et le personnel d’ACCES, les Mairies se sont associées à ACCES pour acheter des latrines distribuées aux ménages les plus pauvres de la communauté. Par exemple, grâce à la collaboration ACCES, le maire de Kafountine est devenu un ambassadeur de l'accès aux latrines et a acheté 22 latrines au tarif du marché pour les ménages nécessiteux. AU NIVEAU NATIONAL. Au niveau national, les membres du personnel d’ACCES ont mis en exergue leur étroite collaboration avec le Ministère de l’Hydraulique et de l’Assainissement (MHA), la DA et l’OFOR. ACCES organise des réunions périodiques avec la DA pour discuter de l'harmonisation des interventions WASH. Avec l’OFOR, ACCES soutient la réhabilitation des forages et fournit une assistance technique pour l’achat de biens et de services. En outre, ACCES collabore avec le Service national d’Education et d’Information pour la santé (SNEIPS) pourl’utilisation du service téléphonique du ministère de la Santé pour la promotion des activités WASH. Cette hotline est mentionnée dans les outils de communication d'ACCES, et des données sur les clients potentiels provenant d'appels téléphoniques dans les zones ACCES seront disponibles pour le suivi. En retour, ACCES a aidé la SNEIPS à financer l’achat d’un serveur, d’un téléviseur, d’un logiciel de traitement de données et le recrutement d’un téléopérateur. Enfin, ACCES a signé un protocole d’accord avec le SNH et formé environ 90 de ses agents à l’approche commerciale d’ACCES. IV.3.1.3. PARTENAIRES TECHNIQUES ET FINANCIERS Les partenaires techniques et financiers en tant qu'investisseurs sont essentiels à la durabilité du marché, car ils apportent la formation, les capitaux et les ressources humaines nécessaires à son développement. Cependant, cet équilibre est délicat à atteindre, car des investissements judicieux peuvent devenir des obstacles au développement des marchés s’ils ne sont pas progressivement éliminés. Bien que cela ne soit pas essentiel au fonctionnement d’un marché WASH, la collaboration entre ACCES et GOLD s’est révélée relativement fructueuse, avec notamment une amélioration des connaissances des élus sur la gouvernance de l’eau et la mobilisation des ressources pour le financement du WASH. Il est difficile d’identifier dans quelle mesure cette synergie a amélioré la durabilité du marché de WASH (voir QE2 pour plus d'informations). IV.3.1.4. LES SUBVENTIONS GENERATRICES DE DISTORSIONS Pour garantir la durabilité, il faudra en fin de compte supprimer les subventions génératrices de distorsions, qui sont des protections pour les acteurs du marché, susceptibles de faire échouer le marché à long terme. Une personne interrogée au sein de l'USAID / Sénégal a déclaré que, même s’il est vrai qu’une « marée montante peut soulever tous les bateaux », l'activité a parfois tenté de soulever les bateaux sans faire monter la marée d’abord, ce qui est impossible. (U02). «La municipalité a un rôle… faciliter la construction de latrines pour les ménages les plus vulnérables.» (A14) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 34 AGENTS COMMERCIAUX Bien que les coûts des latrines ne soient pas subventionnés, plusieurs acteurs et fonctions du côté de l'offre sont subventionnés par ACCES pour combler les lacunes du marché à court terme, mais si ces subventions ne sont pas progressivement supprimées, elles peuvent fausser le marché et causer des dommages à long terme. Les agents commerciaux bénéficient des subventions génératrices de distorsions versées par ACCES. Les entretiens avec les agents commerciaux et le personnel d'ACCES ont révélé qu'avant novembre 2018, ACCES leur versait une allocation de transport mensuelle de 15 000 FCFA (26 USD) et un bonus de 2 500 FCFA (4,37 USD) par latrine vendue. Les contrats de vente de deuxième génération signés au dernier trimestre de 2018 offrent des incitations plus lucratives : un bonus mensuel de 60 000 FCFA (105 USD) après la vente d'au moins trois latrines et un bonus de 80 000 FCFA (140 USD) à répartir entre les membres de l'équipe de vente s’ils atteignent des objectifs de vente prédéterminés. Par exemple, si une commerciale vendait six latrines en un mois, elle recevrait à la fois un bonus de 60 000 FCFA (car elle aurait vendu au moins trois latrines) et une partie du bonus d'équipe de 80 000 CFA si l'équipe atteignait ses objectifs de vente pour ce mois. Même avec cette généreuse subvention, les agents commerciaux continuent d’exprimer leur préoccupation face aux coûts de transport élevés et au faible volume des ventes. Un agent commercial a déclaré : « Nous aimerions nous rendre dans les villages mais nous n’avons aucun moyen de transport. » (SA04). ACCES n'a pas actuellement de plan en place pour transférer le coût de ces paiements incitatifs aux acteurs du marché. ENTREPRENEURS Les entrepreneurs sont également bénéficiaires de ces subventions. Selon des entretiens avec le personnel d’ACCES et des entrepreneurs, des moules en acier d’une valeur de 250 000 FCFA chacun (433 dollars), destinés à la production de buses en ciment, ont été prêtés à des entrepreneurs, afin qu’ils puissent reprendre l’activité à l’avenir. Sur les 47 moules en acier achetés par l'activité, 14 ont été prêtés à des entrepreneurs triés sur le volet et choisis par l'Activité. Seul un entrepreneur de Kafountine, dans la région de Ziguinchor, a acheté des moules avec son propre capital. ACCES n'a pas encore de plan en place pour motiver les entrepreneurs à acheter leurs propres moules ou pour en transférer la production aux acteurs du marché. ACCES est en train d’élaborer une stratégie pour vendre ces moules aux entrepreneurs, mais aucun plan concret n'a été mis en œuvre. IV.3.1.5. INVESTISSEMENTS Les investissements se distinguent des subventions génératrices de distorsion car ce sont des fonds dédiés à l'amélioration des perspectives de durabilité à long terme. Il faudrait encourager les investissements sur les acteurs du marché et les pouvoirs publics pour renforcer les capacités et l’appropriation avant la clôture de l’Activité. FORMATION ACCES investit dans la formation des acteurs du marché pour améliorer les perspectives de durabilité. Selon ACCES et les prestataires de services, l'activité forme des maçons, des entrepreneurs et des agents commerciaux aux techniques de construction, de gestion et de marketing. Malgré certaines plaintes de clients, la formation a permis d’améliorer la qualité générale de la construction de latrines et la plupart des clients sont satisfaits. Comme nous l’avons indiqué, les niveaux d'attrition de tous les acteurs du marché sont élevés, ce qui signifie qu'un pourcentage important du capital consacré à la formation est gaspillé, car beaucoup ne poursuivent pas leur activité après la formation. Un maçon a raconté que 10 maçons avaient été formés pendant cinq jours mais qu'un seul d'entre eux construit actuellement des latrines. “We give them [the steel molds] for free to support them, to show them the way.” (A20) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 35 GOUVERNEMENT DU SENEGAL Le personnel d’ACCES prend également en charge les frais de voyage, les indemnités journalières et l’hébergement pour permettre aux représentants du Gouvernement d’assister aux événements d’ACCES et de visiter les infrastructures d’eau et les latrines. Le personnel d’ACCES indique qu’il s’agit d’un moyen pour l’Activité d’investir dans les relations avec le gouvernement. Une fois que l’Activité sera clôturée, le Gouvernement devra assumer le coût de la visite des sites et ces visites risquent de devenir moins fréquentes.30 L’investissement d’ACCES envers le gouvernement a pour objectif plus large de former une alliance avec celui-ci pour défendre la transition vers une approche de marché et protéger les activités fondées sur le marché de l’empiétement de celles subventionnées. Le personnel d’ACCES estime que des entités gouvernementales aux niveaux national et régional, telles que le DA et la BRH, pourraient être les ambassadeurs de l’activité et que ces efforts avaient porté leurs fruits récemment. Comme l'a expliqué un membre du personnel d'ACCES, le concept de l'approche de marché a fait un déclic récemment avec une visite des agents du Gouvernement sur une activité d'ACCES en fin 2018, qui pourrait porter ses fruits à l'avenir lorsque les entités gouvernementales se pencheront sur le cadre de politique qui régit la transition du marché de l'assainissement. IV.3.1.6. SUVENTIONS D’AUTRES PARTENAIRES TECHNIQUES ET FINANCIERS Les subventions d'autres partenaires techniques et financiers ne doivent pas menacer le marché. Les subventions extérieures vont totalement à l’encontre de la promotion de la durabilité. ACCES ET L’UNION EUROPEENNE (UE) Les entretiens avec le personnel d’ACCES et les partenaires techniques et financiers montrent que la présence de subventions provenant d’autres activités a posé problème. A titre illustratif, le Gret à Tambacounda, financée par l’UE, a été mises en concurrence et constitue une activité de marché qui subventionne également les services WASH. 31 Selon l'UE, l'intervention est entièrement conforme à la politique de la SNAR. Ils comprennent qu'une subvention n'est pas durable et que le secteur doit à terme développer des mécanismes de marché. ACCES a dû prendre des mesures pour mettre fin aux contradictions entre programmes et se retirer de certaines zones d'exploitation où le GRET intervient également pour atténuer la concurrence entre les différentes approches. Cette décision a limité l'expansion géographique de l'Activité. En dépit de l'arbitrage engagé par la DA pour aider à réduire les chevauchements géographiques, le GRET estime que les équipes de terrain d'ACCES ont délibérément violé les accords de séparation géographique, aggravant ainsi des relations déjà tendues. IV.3.2. QE3 CONCLUSIONS Les acteurs du marché, le Gouvernement et les partenaires techniques et financiers sont tous essentiels à la durabilité du marché de WASH. Les collectivités locales ont le rôle le plus direct, en tant que client institutionnel du marché. Elles pourraient au final constituer une part importante des acheteurs de latrines et pourraient réellement contribuer à stimuler la croissance du marché naissant. 30 Un employé d’ACCES a averti que cette coopération avait une utilité limitée et émis des doutes sur la possibilité d’obtenir des résultats durables. 31 L’UE a dépensé 27 millions d’euros pour financer la construction de 70 000 latrines dans quatre régions, à savoir : 1) EAA (Sédhiou), 2) World Vision (Kolda), 3) Whitewater (Tambacounda) et 4) le Gret (Tambacounda). Selon l'UE, l'intervention est pleinement conforme à la politique et à la stratégie de la SNAR. L'objectif de 70 000 latrines construites représente cinq fois le nombre de latrines qu'ACCES devrait construire d'ici la fin du contrat (13 636). Cela donne un aperçu de l'ampleur de l'intervention subventionnée. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 36 Les partenaires techniques et financiers sont essentiels car ils peuvent soutenir le marché, si nécessaire, après la clôture de l’Activité ACCES. Ils peuvent également aider à soutenir le marché en n'introduisant pas de subventions dans les zones où le marché fonctionne. Cependant, la plupart des partenaires techniques et financiers continuent à subventionner le marché de WASH, menaçant ainsi la pérennité de l'activité, car les clients pourraient ne plus acheter des latrines qu'ils pourraient recevoir gratuitement. Il n’existe pas de stratégie claire pour réconcilier les deux approches d’une manière qui leur permette de travailler simultanément dans la même zone géographique. Cela a pour effet négatif de limiter le marché potentiel des deux activités et de réduire les chances d'atteindre les objectifs établis en matière d'indicateurs. Enfin, des conflits futurs avec d'autres programmes peuvent être inévitables si les entrepreneurs ACCES sont libres d'opérer où les clients souhaitent acheter leurs latrines. Par conséquent, ACCES pourrait ne pas être en mesure de contrôler les limites de son expansion géographique, en particulier si le marché se développe et que les entrepreneurs, déterminés à réaliser des bénéfices, étendent leur portée à de nouveaux domaines. Le marché n'est pas durable à l'heure actuelle, car dans un marché durable n'y aurait aucun acteur ou fonction subventionné nécessitant un financement ou une expertise externe pour soutenir son fonctionnement. ACCES est lui-même un partenaire technique et financier qui utilise essentiellement des subventions pour faciliter le marché (payer les agents commerciaux, emprunter des moules à buses en ciment). On soutient que ces fonds sont essentiels à la croissance du marché au cours des prochaines années. Alors que le débat au sein d'ACCES et de l'USAID / Sénégal porte sur la mesure dans laquelle l'activité devrait sous-tendre les acteurs du marché, il est clair que le marché ne sera pas durable si ACCES ne s’abstient pas de fournir ces coûts de facilitation avant la clôture de l'activité. Les investissements dans la formation des acteurs du marché et des pouvoirs publics peuvent contribuer à maintenir le marché après la clôture de l'activité et à améliorer la qualité des latrines, ce qui stimulera davantage la demande. Le Gouvernement peut améliorer le cadre réglementaire actuel et défendre le modèle de marché. Cependant, la formation n'est pas une solution miracle pour résoudre les problèmes de durabilité, car le taux d'attrition des acteurs du marché bénéficiaires d'une formation continue d'être élevé. IV.4. QUESTION D’EVALUATION 4 : RESSOURCES Quelles sont les ressources sous-utilisées par le projet et de quelles autres ressources a-t-il besoin pour atteindre ses objectifs à la fin de l’activité ? Quelle est la combinaison idéale de ressources pour que le projet atteigne ses objectifs ? IV.4.1. QE4 CONSTATATIONS L’analyse des données recueillies montre que le Gouvernement du Sénégal, la plateforme WASH locale et les outils de communication sont les ressources les plus sous-utilisées d’ACCES. En revanche, il faut de toute urgence des ressources humaines et logistiques supplémentaires, telles que du personnel de suivi et des véhicules, pour que l'activité atteigne les résultats escomptés. IV.4.1.1. DES RESSOURCES SOUS-UTILISEES Le Gouvernement du Sénégal, la plateforme WASH locale et les outils de communication sont des ressources sous￾utilisées. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 37 GOUVERNMENT DU SENEGAL Comme nous l’avons indiqué aux QE2 et QE3, ACCES collabore avec les services techniques nationaux et les autorités locales pour identifier les villages d'intervention et mettre en œuvre des activités. Cependant, cinq des neuf maires interrogés ont critiqué le manque de partage d'informations et souhaiteraient recevoir davantage de rapports et d’informations, même si peu de collectivités locales disposent de ressources suffisantes pour aider ACCES à atteindre ses objectifs. Selon des représentants du Gouvernement, il y a une politique en place pour soutenir le WASH et mettre en œuvre des améliorations. Malgré de bonnes relations, les services techniques estiment qu’ACCES ne les utilise pas suffisamment. Par exemple, ACCES n'a pas signé d'accord formel avec l'ARD de Matam et celle-ci n'a pas une idée précise des activités qui pourraient être mises en œuvre ensemble. LA PLATEFORME WASH La plateforme WASH est une entité créée dans certaines régions pour harmoniser les interventions de WASH. Elle est présidée par le Gouverneur de région et les services techniques. Cette plateforme locale est soutenue par des partenaires techniques et financiers tels que la JICA. Selon les services techniques, la plateforme WASH est une opportunité pour ACCES d’améliorer la visibilité des activités et peut contribuer à améliorer la coopération entre les partenaires techniques et financiers et le Gouvernement dans les régions où elle opère. Cependant, les plateformes WASH ne sont pas dynamiques au niveau local. A Matam, par exemple, la plateforme avait développé un plan d’action qui n’a jamais été mis en œuvre. OUTILS DE MARKETING & COMMUNICATION Selon les participants aux groupes de discussion, les campagnes de sensibilisation du public ne sont pas appuyées par des outils visuels (dépliants, affiches, etc.), ce qui confirme les observations. Il existe peu de panneaux Sagal. L'équipe d'évaluation a vu un panneau à Kafountine pendant le travail sur le terrain et de nombreuses brochures au bureau régional d'ACCES à Kédougou. Alors que ACCES a terminé la campagne caravane et radio, la phase de suivi des communications et du marketing est retardée, ce qui peut expliquer le manque de matériel visuel. Le personnel d’ACCES a attribué ce retard à la lenteur de l’approbation des outils de communication par l’USAID. ACCES a soumis ces outils pour approbation en mars 2018 et l'USAID les a approuvés au cours du premier trimestre de l'exercice 2019. IV.4.1.2. RESSOURCES ADDITIONNELLES REQUISES L'activité a besoin de personnel et de ressources physiques et logistiques supplémentaires pour pouvoir répondre aux augmentations de la demande future. Il est essentiel d’avoir du personnel supplémentaire pour superviser et rendre visite aux acteurs du marché et surveiller l'achèvement des latrines, ainsi que des véhicules partagés par tous les membres du consortium. PERSONNEL DE SUIVI ET PERSONNEL TECHNIQUE Au cours d'entretiens, le personnel de l'USAID/Sénégal, des responsables gouvernementaux et des agents commerciaux ont relevé le manque de personnel technique pour mettre en œuvre les activités d’ACCES. Les entretiens avec le personnel d'ACCES ont révélé que jusqu'en décembre 2018, seuls deux techniciens étaient « La relation de confiance que nous avons pu établir entre nous - les services techniques, les populations bénéficiaires - est positive. C'est vraiment une réalisation magnifique, même si l'aspect institutionnel était un peu problématique. » (A18) « Les outils sont arrivés un peu tard. Le projet avait déjà connu deux années d’exécution avant que les outils de communication ne soient mis à la disposition des agents de terrain. » (A18) “Nous sommes une équipe incomplète. Nous n'avons pas de technicien. Actuellement, contrairement aux autres régions, nous n’avons pas d’animateurs. » (A21) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 38 disponibles pour vérifier la qualité des latrines construites32. L'un est basé à Tambacounda et a en charge Tambacounda, Kédougou et Matam. L'autre technicien est à Ziguinchor et couvre Ziguinchor, Kolda et Sédhiou. Le manque de personnel pour surveiller la construction des latrines entraîne un retard dans la mise en œuvre, car les techniciens passent la plupart de leur temps à voyager au lieu de garantir la qualité de la construction des latrines. ACCES est conscient de ce goulot d'étranglement et est en train de recruter deux autres techniciens qui seront chargés du suivi technique de la construction des latrines. Ces techniciens supplémentaires sont nécessaires et ACCES a indiqué qu’il recrutait du personnel supplémentaire sur le terrain pour combler cette lacune. Les entretiens et les notes de synthèse issues de la revue documentaire montrent que lors de la première année de mise en œuvre d’ACCES, la Responsable du suivi et évaluation était basée aux États-Unis et ne venait pas au Sénégal pour effectuer des visites sur site. ACCES a recruté une spécialiste en suivi et évaluation à Dakar pour gérer SurveyCTO, une application de collecte de données utilisant des téléphones ou des tablettes Android qui a été adoptée par l’Activité en mars 2018. Elle est également responsable des activités de genre et elle est assistée par un autre spécialiste en suivi et évaluation basé à Tambacounda. L’introduction de SurveyCTO a considérablement amélioré la qualité des données collectées. Cependant, avec seulement deux membres du personnel de S&E basés au Sénégal (l'un ayant également des responsabilités non liées au S&E), il existe un manque de personnel qualifié pour surveiller et assurer la qualité des données collectées quotidiennement dans les régions d'intervention. L'équipe d'évaluation a également noté l’absence de coordonnateurs régionaux ayant pour mission de coordonner toutes les activités d’ACCES au niveau régional pour l'ensemble du personnel de la région, sans tenir compte des partenaires du consortium qui paient leurs salaires. Cela est important car le travail sur le terrain et les demandes sont généralement segmentés par les partenaires du consortium (ADEMAS, CRS, etc.) et l'unité des efforts est minime. Par exemple, pour organiser ses visites de terrain, l’équipe d’évaluation devait travailler avec chaque membre du consortium séparément pour faciliter la collecte de données et programmer des entretiens, au lieu d’une communication directe avec l’ensemble de l’équipe régionale d’ACCES. Enfin, l’équipe d’évaluation a constaté qu’il y avait deux Coachs en affaire par région et deux agents commerciaux par commune. Le rôle du coach en affaire est de motiver les agents commerciaux à atteindre les objectifs de vente établis et à renforcer les capacités des maçons et entrepreneurs en renforçant leurs compétences en gestion financière et en gestion d’entreprise. Les entretiens ont montré qu’il est peut-être insuffisant d’avoir deux coachs par région et deux agents commerciaux par commune pour atteindre les objectifs de vente à la fin de l'activité. RESSOURCES LOGISTIQUES Les entretiens menés avec le personnel local d’ACCES ont révélé que l’absence d’une logistique de terrain directement détenue et gérée par NRCE est une faiblesse importante de l’activité qui en entrave la mise en œuvre. Par exemple, c’est CRS, et non le projet ACCES dans son ensemble, qui possède et finance les véhicules disponibles sur le terrain. Certains membres du personnel de l’ADEMAS se sont plaints de l’impossibilité d’obtenir la permission d’utiliser ces véhicules pour se rendre sur le terrain. À Ziguinchor, l'activité ne dispose que d'un seul véhicule pour faciliter les activités quotidiennes de neuf membres du personnel. Selon les entretiens avec ACCES, le personnel a la possibilité de louer des véhicules supplémentaires ou d’en emprunter auprès d’autres activités de CRS. Parmi les autres ressources logistiques citées pour les besoins pressants figurent les vidéo 32 L'équipe d'évaluation comprend qu'ACCES a recruté du personnel supplémentaire après décembre 2018. Ce recrutement ne rentre pas dans la période de performance évaluée dans le présent rapport et ce constat reste donc valable. « Nous n'avons qu'un seul véhicule à Ziguinchor. Si nous devons nous déplacer en même temps, Cela pose problème. La logistique nous cause du souci du fait que nous louons tout le temps pour effectuer les missions dans certaines zones. » (A19) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 39 projecteurs, les connexions Internet et les motos. Ce manque de logistique limite la présence du personnel local sur le terrain. FACTEUR TEMPS Diverses personnes interrogées, principalement des membres d'ACCES, ont estimé également qu'il serait utile de disposer de plus de temps pour développer un marché WASH autonome. Ce sentiment est confirmé par une récente macroanalyse du sujet intitulée « Scaling Market-Based Sanitation » (« Mise à l’échelle de l’assainissement basé sur le marché »). Publié par le projet WASHPaLs (Partenariats sur l'eau, l'assainissement et l'hygiène et l'apprentissage pour le développement durable) en juin 2018 pour le compte de l'USAID, le rapport conclut que le temps est un élément essentiel du succès d'une approche basée sur le marché. Il indique que : « les changements dans le système de marché de l'assainissement peuvent prendre du temps, mais les interventions d’assainissement basé sur le marché peuvent prendre de l’ampleur si les partenaires techniques et financiers restent investis et flexibles sur des horizons de financement supérieurs à cinq ans » (page xi). Le document poursuit que « la plupart des exemples de succès observés dans notre (étude) ont atteint le niveau de croisière en quatre à six ans et certains ont facilité la vente de plus de 100 000 toilettes au cours de cette période (Figure 5). En outre, une étude annuelle sur les toilettes vendues lors d'interventions sélectionnées suggère que les ventes commencent à s'accélérer quatre à cinq ans après le début de l'intervention (ce qui étaye l'argument en faveur d'une prolongation du cycle de financement typique des partenaires techniques et financiers de trois à cinq ans) (Figure 3).) » (Pp. 15-16). Bien que l’objectif d’ACCES de vendre 13 636 latrines soit certainement réalisable dans la période de cinq ans que couvre l’activité, des recherches menées au niveau international montrent que, pour atteindre 10 fois ce chiffre, le marché devrait exister pendant au moins six à huit ans. Cependant, la plupart de ces activités couronnées de succès se situent en dehors du contexte ouest-africain et on ne doit donc pas trop se baser dessus pour sur la prise de décision. IV.4.2. QE4 CONCLUSIONS Le Gouvernement du Sénégal, les plateformes WASH locales et les outils de communication sont des ressources sous-utilisées. Les relations avec les entités gouvernementales telles que les mairies, le SRA, la DRH et l’ARD ne sont pas toujours codifiées et pourraient bénéficier d'une coopération plus étroite. Toutefois, les ressources «C’est une des raisons pour lesquelles les horizons des projets de cinq ans sont souvent irréalistes car c’est au bout des cinq années que vous vous vraiment vraiment à maîtriser les choses.» (A02) RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 40 gouvernementales sont limitées et l’appui qu’elles peuvent fournir sera restreint. Les plateformes locales de WASH ne sont pas fonctionnelles et les tentatives précédentes pour les relancer ont échoué. Ce type de plateforme est utile pour aider à comprendre, analyser et donner son avis sur les différentes interventions des partenaires techniques et financiers dans le secteur du WASH. Cela peut également rendre les activités d’ACCES plus durables. Enfin, les outils de communication et le marketing des autres produits manquent de visibilité, ce qui limite les informations dont disposent le public et le gouvernement sur la gamme de produits d'assainissement disponibles et sur la manière de les acquérir. Les activités de sensibilisation n'utilisent pas pleinement les outils visuels, tels que les dépliants et les affiches, ce qui peut réduire les réalisations en termes d'apprentissage. ACCES a besoin de ressources humaines, physiques et logistiques supplémentaires pour être prêt à répondre aux futures hausses de la demande. Il est encore plus important d’avoir du personnel pour l’Activité qui sera chargé de vérifier l’achèvement des latrines et de surveiller les données de terrain qui sont entrées dans SurveyCTO. Pour résoudre ces problèmes, ACCES a embauché deux techniciens supplémentaires et peut encore engager du personnel de suivi, mais il peut s’avérait nécessaire d’avoir davantage d’effectifs si la demande augmente fortement. En outre, le manque de véhicules de terrain réduit la capacité des techniciens et du personnel de S&E à suivre et vérifier la qualité des latrines construites et celle des équipes de terrain à rencontrer les entrepreneurs pour créer et renforcer des liens avec le marché. Il peut s’avérer utile d’avoir un Coordinateur régional d’ACCES, poste qui n’existe pas dans l’organigramme d’ACCES, pour mieux coordonner l’utilisation des ressources, en représentant tous les membres du consortium, et pas seulement un partenaire individuel. La présence d’un nombre plus important de coachs et d'agents commerciaux peut permettre d’améliorer les perspectives de croissance du marché en raison des ventes qui peuvent résulter de la demande stimulée par la vente en porte à porte de latrines dans les communautés locales. Enfin, le développement du marché de WASH au Sénégal peut nécessiter plus de temps que les cinq années prévues dans le contrat. V. RECOMMANDATIONS L’équipe d’évaluation a organisé un atelier sur les recommandations avec le personnel d’ACCES et de l’USAID pour élaborer conjointement des recommandations pratiques et applicables, axées sur l’élaboration de solutions concrètes répondant aux constatations de cette évaluation. L'atelier a abouti à plus de 50 recommandations dont la mise en œuvre a été confiée à des parties prenantes désignées. La matrice de recommandations figure à l'annexe II. Les recommandations sont résumées ci-dessous. POUR ACCES STRATEGIE • Finaliser et valider le document de stratégie marketing d’ACCES actuellement en cours d'élaboration. • Poursuivre la mise en œuvre de la stratégie commerciale actuelle. • Mener des discussions de groupe et des réflexions sur la manière de réduire l'attrition des acteurs du marché et les motiver à fournir des services de qualité pour la construction d'infrastructures d'assainissement. • Centraliser et regrouper les commandes de latrines avec des entrepreneurs expérimentés et des maçons qualifiés pour tenter d'améliorer les marges bénéficiaires, réduire les coûts liés aux livraisons de matériaux de chantier et rationaliser la construction. • Explorer la possibilité de subventionner les entrepreneurs et les maçons pour l'achat de matériaux de construction afin de stimuler l'installation de latrines et de constituer un fonds de roulement. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 41 • Continuer à préparer les entrepreneurs à intégrer le marketing dans leurs activités, notamment en versant des commissions et des bonus aux agents commerciaux pour la vente à domicile. • Soutenir et développer la capacité des entrepreneurs à acheter et utiliser des moules en acier pour la production de buses. • S’il convient de continuer à encourager l'utilisation des moules et des briques en béton pour la construction de latrines, ACCES ne devrait pas décourager d'autres moyens plus variés de construction des latrines selon les méthodes et les matériaux locaux. • Encourager les maçons et les entrepreneurs à créer des réseaux pour améliorer la réactivité en période de forte demande de construction de latrines. • Identifier un distributeur national de SatoPans disposant de capitaux suffisants pour financer l'importation des SatoPans du Nigéria et leur distribution dans de petits magasins périurbains et ruraux à travers le pays. COORDINATION • Uniformiser les politiques et procédures administratives, de sécurité et de reporting au sein tous les partenaires du consortium. Organiser un atelier de développement de l’esprit d'équipe pour tous les partenaires du consortium afin de créer des liens et renforcer ces changements. • Relocaliser tous les chefs de composantes d’ACCES dans le Bureau d’ACCES à Dakar. • Avoir un bureau ACCES par région avec tout le personnel de terrain. • Organiser des réunions de coordination mensuelles entre les équipes de terrain et la direction basée à Dakar. • Organiser des réunions de coordination trimestrielles entre les équipes de zone de projet et la direction basée à Dakar. FINANCEMENT • Continuer à rechercher d’autres institutions financières en plus du CMS pour fournir des prêts aux clients et entrepreneurs du marché de l'assainissement. • Lancer et développer l'offre de crédit pour les ménages individuels par le biais de partenariats avec des institutions financières. • Explorer la possibilité d’élargir le programme de prêts de l’ASUFOR à un plus grand nombre de SILC et à d’autres groupes. • Poursuivre l’appui aux municipalités dans l’élaboration de plans de mobilisation de ressources financières en collaboration avec le Programme de gouvernance pour le développement local de l’USAID (USAID / GOLD). • Développer la collaboration avec d'autres projets tels que l’USAID/GOLD, l’USAID/KAWOLOR et l’Association des coopératives rurales en Afrique et en Amérique latine (ACRA) pour le financement de certains volets MUS (renforcement de capacités, gouvernance) dans les plans d'investissement annuels. • Utiliser les existantes plateformes WASH au niveau local pour faire le plaidoyer pour le financement des MUS. • Organiser un atelier avec l'USAID et d'autres acteurs pour identifier des moyens concrets de financement des plans MUS après la clôture du projet. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 42 SUIVI • Renforcer le suivi des travaux sur le terrain pour veiller à ce que toutes les latrines et structures en eau soient construites ou réparées conformément aux spécifications requises. • Impliquer le personnel d'ACCES dans le recouvrement des fonds restants dans le contrat signé entre l'entrepreneur / le maçon et les ménages. COMMUNICATION • Finaliser et mettre en œuvre la campagne de communication / marketing des latrines Sagal, planifiée de longue date, pour accélérer les ventes et créer une reconnaissance de la marque, notamment au moyen d'affiches et d'émissions de radio. • Systématiser l'utilisation de supports visuels clairs et utiles dans toutes les activités de sensibilisation. Assurer leur utilisation dans les ATPC et les formations des maçons et entrepreneurs. • Engager une agence pour suivre la mise en œuvre des campagnes de communication / marketing. • Améliorer la distribution de supports de communication dans les espaces visibles dans les zones de mise en œuvre d’ACCES, notamment des bâches, des banderoles et des Kakemonos. RENFORCEMENT DE CAPACITES • Développer des modules de formation plus pratiques sur les BDS afin de réduire l'accent mis sur les aspects théoriques et de mettre davantage l'accent sur les solutions commerciales pratiques. Envisager un coaching pour les anciens participants des formations sur les BDS. • Fournir aux maçons un guide écrit détaillé pour la construction de latrines avec des images pour standardiser la qualité de la construction des latrines. COLLABORATION • Suivre la mise en œuvre des activités convenues dans les protocoles d'accord avec les entités gouvernementales locales et veiller à l'achèvement de toutes les activités. • Partager le rapport annuel d’ACCES avec les services techniques gouvernementaux et les Maires dans chaque région. • Promouvoir, et éventuellement organiser sous l’égide du gouverneur et des services techniques, des réunions régulières des plateformes régionales WASH. • Encourager le cofinancement des activités de la plateforme WASH entre les partenaires techniques et financiers et les entités gouvernementales. • Encourager l'élaboration d'un plan de travail annuel pour guider et responsabiliser les partenaires quant au maintien des plateformes régionales WASH. RESSOURCES HUMAINES ET LOGISTIQUES • Etudier la possibilité de recruter un spécialiste en communication de projet et optimiser l'utilisation du personnel de suivi et évaluation existant. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 43 • Collaborer avec l'USAID pour la réaffectation à ACCES des ressources logistiques tels que les véhicules de projets clôturés ou en cours de clôture. • Désigner un membre du personnel d'ACCES par région comme Coordonnateur régional, dont le rôle est d'harmoniser la logistique et l'utilisation des ressources entre tous les membres du personnel du consortium régional, de représenter les intérêts du projet dans son ensemble et d'approfondir les relations avec les entités gouvernementales. • Entamer des discussions avec l'USAID sur une éventuelle extension du projet. Examiner minutieusement la littérature existante et faire appel à des experts du marché de l'assainissement pour aider à déterminer suffisamment de lignes directrices en matière de vulgarisation qui renforceront les chances de réussite des objectifs du projet. POUR L’USAID • Collaborer avec la DA pour l’élaboration d'un cadre opérationnel pour les partenaires techniques dans lequel les projets basés sur les subventions ciblent principalement les populations les plus vulnérables dans les zones relevant de leur compétence géographique, tandis que les projets basés sur le marché ciblent principalement les personnes ayant les moyens de payer l’acquisition des latrines. • Continuer à travailler avec la DA pour comprendre où d'autres projets sont en cours de mise en œuvre et résoudre, dans la mesure du possible, tout problème de chevauchement géographique ou démographique. POUR LE DA/MHA • Mettre en œuvre la campagne de communication 4C, une campagne de communication nationale créée pour soutenir les approches de marché de la SNAR et d’ACCES. • Encourager les partenaires techniques et financiers à réorienter les subventions vers le quintile le plus pauvre de la population, plutôt que de suivre un modèle plus traditionnel de subventionnement généralisé dans une zone géographique ciblée. Cela pourrait réduire le chevauchement entre les approches subventionnées et celles fondées sur le marché lorsque l’on ne peut complétement éviter que les zones géographiques n’abritent des projets contradictoires. • Encourager la collaboration entre les partenaires techniques et financiers, ACCES et le Gouvernement du Sénégal pour harmoniser les approches futures en matière d'assainissement afin de prévenir les conflits entre modèles concurrents. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 44 ANNEX I: FINDINGS AND CONCLUSIONS MATRIX EQ Theme Sub. Findings Conclusions How well is ACCES performing? What is working, what is not working, and why? Most Significant Results Water Access and CLTS/ODF CLTS/ODF Q1.F1. According to ACCES, USAID staff and the desk review, ODF status is being achieved with the manufacture of improved toilets and completion monitored. (A03, U01) Q1.F2. ACCES PITT 2018 shows that 66 villages out of 76 triggered are declared ODF. (A05, A13, ODF certification) Water Access and MUS Plans Q1.F3. The desk review shows that the target of 30,000 individuals gaining access to improved water source exceeded. (Annual report FY18, ACCES PITT, A02, U05) Q1.F4. Government officials, ACCES staff and desk review mentioned the rehabilitation of 9 water structures in Agnam, Dabia and Koussanar. Approximately 43,000 people have access to clean water as a result of these 9 repairs. (A09, ACCES PITT and interviews, G05, site visit in Koussanar). Q1.F5. However, the evaluation team’s field visit revealed that the Koussanar borehole’s backup generator, electrical controls and circuit breaker did not function properly. This finding was confirmed by an ACCES site visit on January 23, 2019. The evaluation team understands that the borehole is operating according to specifications (with SENELEC as the primary power provider), but these repairs are necessary to ensure that the borehole continues to run in the event of a power outage. (Site visit and interview in Koussanar, Flex Contract: Appendix A, pg. 2) Q1.F6. Interviews with ACCES staff, government officials and desk review confirmed that ACCES has completed 23 MUS water plans (61%). The plans were shared with mayors and technical services. (ACCES PITT, A02, A17 U05) Q1.F7. The desk review and ACCES staff noted that ACCES is preparing for the construction of 4 water systems (reduced from 8). Engineering design work was completed, and public tender was announced. Two contracts signed with winning firms. (Annual report FY18, A11) Water access and CLTS/ODF objectives, latrine quality improvements and price reductions, and facilitation to access credit to groups have been the most significant results achieved by the project up to now. Q1.C1. ACCES is achieving Open-Defecation Free status in targeted villages, mainly as a result of CLTS training and verification. Q1.C2. Nine small water infrastructure repairs are nearly completed, and the project is on track to complete the targeted number of MUS plans. Q1.C3. Preparations are underway for construction of the four large water systems. Latrine Quality Q1.F8. Interviewees are satisfied with latrine quality because they no longer need to empty them every year, which saves them money. With new latrines, interviewees noted reductions of odors, flies and mosquitoes. The models proposed by ACCES are more sustainable compared to what existed before. (FG, MA Clients, Thionk Essyl and Niamone in Ziguinchor; FG, CLTS clients, Nénéficha in Kédougou; G03) Q1.F9. According to focus group participants and interviews with clients and services providers, construction is completed in a short period of time. Latrine construction is between 1-2 days (LV) and 4-7 days (TCM). (MA01, SP03, FG, MA Clients, Thionk Essyl, Ziguinchor) Q1.C4. Barring a few exceptions, interviewees are pleased with the quality of latrines for a variety of reasons. Some appreciate the lack of flies and odors, others appreciate the professionalism of the masons, and yet others appreciate the speed at which the latrine was constructed. The latrines are more durable, more comfortable, and easier to empty than older versions. Latrine Price Q1.F10. Human-centered design using various engineering and design tweaks led to reductions in latrine prices. Design changes have made latrines cheaper than previous versions and therefore widely appealing. (A14, A05, A21) Q1.F11. Based on the interview with ACCES staff and clients, the households have the opportunity to customize latrine infrastructure because ACCES developed a suite of latrine options and add-ons to installations (superstructure, first and second sewage pits, and other additions). ACCES developed products suitable for multiple price points, from 25,000 CFA (LV) ($44) to 231,500 CFA (TCM) ($405), with price varying between communes. (A14, A05, A21, MA13, FG SILC Niamone in Ziguinchor) Q1.C5. Using Human-Centered Design methods, ACCES developed several important innovations to reduce the cost of latrines for target households. These prices represent a significant cost savings compared to their predecessors, but these savings differ depending on region and customizable options chosen. Q1.C6. Customizable latrine infrastructure has helped to reduce prices by allowing clients to choose from various products, including simplified latrine models, at different price points. The ability to progressively improve infrastructure over time – e.g., construction of an initial pit, then a superstructure, then a RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 45 EQ Theme Sub. Findings Conclusions Q1.F12. ACCES staff, government officials and clients reported that ACCES also reduced latrine prices by working with local suppliers and local materials. Before ACCES, latrines in Matam cost 100,000 CFA ($174) on average. Now, the price is 40,000 CFA ($70) on average. (A05, G04, U03, A16, MA01, A08, A09) Q1.F13. Based on the desk review, ACCES TCM cost 166,156 CFA ($288), compared to 285,000 CFA ($494) before ACCES. This represents an average cost savings of 188,844 CFA ($206) compared to previous versions. (ACCES Latrine Price Excel Document, World Bank 2015 and confirmation email from Fatou Dieng) second pit – allows more clients to initiate basic latrine upgrades. Formal and Informal Group Credit Q1.F14. The interviews with CMS Bokidiawé revealed that this microfinance institutions provided formal loans to groups since July 2018, amounting to 690,000 CFA ($1206) per group over a 12-month repayment period. Loan repayments begin two months after groups receive the funds and the latrines are constructed. (CMS01, SP 06, FG, MA Clients, Bokidiawé, Matam) Q1.F15. According to the interviews with CMS Kafountine, ACCES staff, one entrepreneur received formal credit from CMS Kafountine out of 712 trained entrepreneurs. (CMS02, SP09, A05) Q1.F16. Focus group participants and interviews with clients and ACCES staff revealed that ACCES set up 67 SILCs, composed of 1,863 members of whom 90% are women, to facilitate the buying of latrines. For example, one MA client in Niamone received an informal loan from her SILC to buy her latrine. Informal loans are defined as loans that do not originate from formal financial institutions. (MA13, FG, SILCs Niamone, ACCES email 01/2019) Q1.F17. ACCES staff and CMS staff noted that this is the first time a financial institution has granted loans for sanitation projects. (CMS01, CMS02, CMS03, A09) Q1.F18. According to the desk review, 482 individuals, representing 40% of all latrine sales, have received informal loans through the Savings and Internal Lending Committees (SILCs) and other groups established by ACCES. (ACCES Latrine Price Excel Document, email ACCES 2019) Q1.F19. 117 (10%) latrines were purchased with formal credit provided to groups. (Desk Review) Q1.C7. A notable number of latrines (117) were purchased through formal credit from CMS to local groups. Q1.C8. A significant proportion (40%) of all latrine sales were made through informal group loans to SILC members. Q1.C9. This constitutes the first time that any group or individual has received sanitation loans from financial institutions in rural areas without guarantee funds. Most Limited Results Latrine Sales Q1.F20. Based on the desk review and the interviews with ACCES staff, the project has some overall latrine sales target (# of improved toilets and latrines constructed/purchased by beneficiary households) of 13,363 households (150,000 people). As of December, 18 2018, only 1,211 (9%) of the latrine sales objective has been achieved, while 50% of the project is over. The latrine sales indicator has been underperforming compared to USAID and project expectations. Thirty-eight percent of all sales were made during the last quarter (October-December 2018), highlighting the slow progress through September 2018. (ACCES Latrine Sales Excel Document, U05, PITT 2018, A01, A05) Q1.F21. The interviews with ACCES staff and services providers revealed that latrines were delayed due to insufficient number of masons in certain areas (e.g., in Bokidiawé, CMS granted credit to 10 women groups since August 2018, but latrines have been completed for only four groups). (SP06, A04) The project has fallen short of expectations for demand generation and the provision of sanitation services – exemplified by low latrine sales numbers – which in turn have been driven, in part, by attrition among market actors, lack of financing options for individuals, and a lack of cement rings to satisfy market demand.33 Q1.C10. USAID and ACCES expectations for latrine sales haven’t materialized, putting at risk the achievement of the most telling indicator of the health of the WASH market. Q1.C11. Even after latrines are purchased, latrine construction delays are common. This is primarily due to the lack of available masons (the majority of trained masons are frequently unavailable because they are working on more lucrative types of construction projects) and the lack of construction supplies in the local area. 33 While USAID and ACCES expectations for market development have not been met, the technical literature on sanitation markets notes that market development usually takes more time than the midpoint of a five-year project, which is when this evaluation was scheduled. The dimension of time as a crucial factor in market development is discussed more thoroughly in the final section of this matrix and in the final report. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 46 EQ Theme Sub. Findings Conclusions Q1.F22. The interviews and focus groups with clients and ACCES staff reported some dissatisfaction with masons, particularly in the delivery of materials and the slowness and incompleteness of some latrine construction. (FG, MA Clients, Thionk Essyl and Kafountine, Ziguinchor; FG, Market MA Clients, Bokidiawé, Matam) Attrition Q1.F23. The interviews with ACCES staff, service providers and clients indicated that there is not enough demand for the entrepreneur to earn enough money to make the work worthwhile. Profit margins for latrines are quite small and sometimes, masons lose money because of the high prices of materials. (A05, SA06, SP10, FG, MA Clients, Bandafassi, Kédougou) Q1.F24. ACCES staff and service providers stated that the loss of trained masons and entrepreneurs is due to a combination of low demand and slim profit margins. In total, over 712 entrepreneurs have been trained in business development (management, accounting, etc). However, the desk review revealed many trained entrepreneurs quit providing services. For example, only 12/112 (11%) masons and entrepreneurs trained by ACCES in latrine construction are still functioning in Matam. Eighty-five entrepreneurs were trained in Kédougou but only five are functional. Of the 27 masons trained in Kafountine, only 7 are active. (A04, A15, A19, ACCES email 01/2019) Q1.F25. According to the services providers and sales agents, the entrepreneur only fulfills the demand that the commercial agents create, they do not create their own demand. However, one entrepreneur in Kafountine pays sales agent when they secure clients, in addition to what ACCES is paying. (SP09, SP10) Q1.F26. Based on the interviews with sales agents and ACCES staff, the first generation of sales agents (32 individuals) was let go after their three-month contracts expired, mostly between May and August 2018. Forty-four second-generation sales agents were hired for 6 months between October/November 2018 and April/May 2019, and only 6 of those from the first generation were part of the second generation. In addition, ACCES has not yet a clear strategy to progressively transfer the marketing activity to entrepreneurs/masons, once the project ends. (A03, A04, A26, ACCES emails 01/2019, Rapport Comité de suivi technique, two 2nd generation sales agent contracts) Q1.F27. The interviews with ACCES staff, sales agents show the first generation of sales agents did not have a strong incentive to sell latrines because they were paid only on a small commission and transportation stipend. The first generation of sales agents was paid 15,000 CFA for transportation fees and 2,500 per latrine sold. The interview with ACCES staff and sales agents revealed that the second generation of payments is much more robust. (G03, SA09, SA01) Q1.C12. After job training is complete, many sales agents, entrepreneurs and masons discontinue working with ACCES in the areas in which they were trained. This is a significant loss for the project. Q1.C13. Many sales agents and masons are not sufficiently motivated to continue selling and building latrines. In a low demand market, sales agents do not have latrines to sell and masons do not have latrines to construct, so they drop out of the market. Q1.C14. For masons, sales agents and entrepreneurs, there are high opportunity and transportation costs, including the lure of more lucrative construction jobs and the high cost of material transport that eats into profits. Q1.C15. The incentive structure for first generation sales agents was the primary cause for attrition, as the commission they received was not significant enough to continue work with the project. Formal Credit to Individuals Q1.F28. ACCES staff and CMS staff reported during interviews that there is no partnership agreement or MOU signed between CMS and ACCES in the regions visited by the evaluation team. ACCES later reported that they signed a formal MOU with CMS in December 2018 covering all regions. In addition, there is no ACCES institutional guarantee in place to cover client loan defaults. Currently, if a loan is made to an entrepreneur, there is a 20% up front deposit and a co-signer or physical guarantee that covers 80% of the value of the loan. (CMS01, CMS02, CMS03, email ACCES 2019) Q1.F29. Interviews with ACCES staff, CMS staff and service providers noted that only one individual –from Kafountine, Ziguinchor–has received credit from CMS. He is an entrepreneur and was already a CMS client before ACCES began. He used the loan to purchase molds and to make concrete rings. No individual clients have been able to Q1.C16. There has been no provision of formal credit from financial institutions to individual clients, mostly because they lack a guarantee or are unable to prove that they have an income￾generating activity. As of early December 2018, none of the regions visited by the evaluation team currently have MOUs signed with CMS, the only financial institution that the project is working with to provide WASH loans.34 . Q1.C17. There is only one case of credit provision to entrepreneurs. This is mainly due to a lack of (or nascent) formal relation between ACCES and CMS, stringent financial institution 34 The evaluation team notes that an MOU with CMS covering all regions was signed in December 2018. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 47 EQ Theme Sub. Findings Conclusions receive formal loans because CMS fears that individuals will not pay back the loans, and because only one entrepreneur has received a loan there are not a lot of data to assess whether this is a wise choice. In general, CMS looks more favorably upon groups of clients because the risk is mutualized. (A01, CMS01, SP09, A05, ACCES email 01/2019) Q1.F30. Based on interviews with ACCES staff and CMS, ACCES met several financial institutions (CMS, ACEP, Microcred, Cauri Microfinance) to pitch the idea of financing sanitation products. Only CMS accepted to finance the market. Despite this, opening CMS accounts and proving an existing income-generating activity continue to be challenges to overcome for individuals to successfully receive loans. (CMS01, A04, G09) requirements, fears of no repayment, and lack of participation of other financial institutions. Cement Ring Molds Q1.F31. ACCES purchased 47 cement ring steel molds and has loaned 14 of them of them to entrepreneurs and masons. But they are insufficient compared to demand for latrines. (A01, A03, SP09, SP03, A15, ACCES email 01/2019) Q1.F32. The interviews with service providers and focus groups with clients, in certain areas, masons do not have access (or must share access) to cement ring molds, while in others, masons do not use the molds they were given. In Bandafassi, one mason says he does not use the cement ring molds he has received, preferring road construction instead because he earns more money. In addition, ACCES doesn’t have yet a transfer strategy of the molds, once the project ends (SP07, FG Clients AM Bandafassi) Q1.C18. Cement rings decrease latrine prices and speed up construction, but the lack of molds available restricts the supply of cement rings, potentially creating a bottleneck for servicing latrine construction demand. Q1.C19. ACCES’s placement and use of the steel molds may not be optimal, as they have not distributed all available molds to entrepreneurs, they are insufficient in certain areas, and remain unused in other areas. Main Strengths ODF/CLTS and MUS Q1.F33. ACCES staff, the technical services and municipalities stated that there are involved that the project since the start of activities. (BRH, SRA, UCAD, Municipalities, ARD). (G04, G08, G02, A21) Q1.F34. Interview with ACCES staff revealed that NRCE specializes in water system construction and maintenance. There is a simplicity to the task and it is being accomplished as planned. (A02, A11) The project’s main strengths include the steady completion of CLTS and water objectives, the commitment of the ACCES leadership to accomplishing the project goal and using creative tactics, and technological innovation and expertise in the sanitation approach. Q1.C20. The project is on track to complete water and CLTS objectives because of the hard-working technical team assigned to the task and the involvement of local and governmental stakeholders. Commitment to Project Success and Innovative Tactics Q1.F35. According to the project staff, USAID and government officials, ACCES leadership team is committed to accomplishing the project goal and they are willing to try new tactics. ACCES is exploring multiple innovative opportunities to boost latrine sales, including: (1) municipalities to pay for a certain number of the poorest households; possibility of diaspora funding to buy latrines for communities; banana plantations to provide latrines and then deduct their cost from workers’ salaries, and Corporate Social Responsibility (CSR) agreements with mining companies. (A02, U01, A03, G03, G04, A05, A03, A15, A16) Q1.C21. The Consortium is committed to accomplishing the project goals. They are trying hard to improve the market approach results, including a search for innovative ways to increase latrine demand to spur Q1.C22. the market. Technical Innovation and Expertise in Sanitation Q1.F36. Based on interviews with ACCES staff, USAID, ACCES has innovated to improve latrines. They developed cement ring molds (a technology adopted from another WASH project in Benin), which reduces latrine construction time and cost. They struck a deal to import SatoPans from Nigeria, a product that improves the latrine design because it does not require a lot of water for waste disposal and reduces odors. (A01, A16, A03, U01) Q1.F37. Interviews with ACCES staff and USAID show that custom latrine options include LV, DLV, TCM, single pit or dual pit. (A03, U01, A01) Q1.C23. The project has developed innovations to reduce latrine costs and provide improved sanitation solutions for clients. Significant innovations include customizable latrine options and add-ons (type of latrine, number of sewage pits, etc.); incorporating the SatoPan into latrine design; and the use of cement rings made with steel molds. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 48 EQ Theme Sub. Findings Conclusions Main Weaknesses Operating Environment Q1.F38. For the government officials and ACCES staff interviewed, ACCES is implementing the market approach without a significant transition from subsidized projects to the market approach, leaving the project in a difficult operating environment. The Stratégie Nationale de l’Assainissement Rural au Sénégal’s (SNAR) advocates for a phased approach over three years where there would be an “abandon progressif de la subvention (approche projet) au profit de la subvention de l'offre (approche marché)”, as well as a call for "la hausse progressive et significative du niveau de contribution du secteur privé dans le financement de l'ouvrage d'assainissement (de 0 FCFA présentement à 135 000 FCFA à partir de 2022).” While ACCES is proof that this transition is underway, there are subsidized projects that complicate the achievement of their objectives. (A18, A05, G07, G09, Plan d’Action SNAR mai 2019, desk review) Q1.F39. According to the desk review, interviews with sales agents, clients and focus group participants, ACCES operates in six regions among the poorest in Senegal with diverse needs. The majority of communities met have negative opinions about the market approach. (FG, SILC Niamone, SA06, SA03, MA05, CLTS 01, desk review) Q1.F40. The desk review and the interviews with government officials and ACCES staff considered that the majority of households do not have latrines and practice open-air defecation. In Matam, 43% of households in Bokidiawé, 25% in Agnam, 55% in Nabadji and 40% in Ogo did not have a latrine at the beginning of the project. (G04, A04, desk review) Q1.F41. Interviewed with World Bank and USAID mentioned the existence of subsidized projects in certain regions financed by the World Bank and European Union and implemented by the Government of Senegal. (U05, U03, DF01) Q1.F42. ACCES staff noted during the interview that the pool of entrepreneurial talent initially was nonexistent, or their capacities were very limited. It was difficult to find solid entrepreneurs in the regions. (A03, A14) ACCES’s weaknesses are primarily driven by the difficult operating environment, lack of strategic vision, coordination problems, and unresolved market development problems. Q1.C24. The operating environment has been a significant obstacle to the success of the WASH market. Donors continue to implement both a market approach and a subsidized approach to sanitation, which has inevitably led to confrontation between donors attempting to target the same population using two incompatible strategies. Most regions did not have viable market actors that were in place to respond to demand for latrine construction. Q1.C25. A majority of households in communes across ACCES’s intervention areas – both generally in rural areas but also in Matam communes like Bokidiawé, Agnam, Nabaji and Ogo – did not have any latrines at all, some did not know of the importance of latrines, and others lacked the financial means to purchase them. Strategy Q1.F43. The interviews with ACCES staff and USAID revealed that for the first two years of the project, there was no clear strategy for the market-based approach. The project did not conduct a thorough market analysis at the onset of the project. This led to strategic errors, such as a focus on rural areas, where population density was low, and the target population lacked the means to pay for latrines. They also promoted the expensive TCM product, even though the cost was too high for the majority of potential clients. It should be noted that one reason why ACCES tried to market products beyond the means of rural clients was because they wanted to follow the GOS’s high (and probably unrealistic) standards for latrine construction. They also revised the PEPAM catalogue technologies while they worked to develop new (lower￾cost) technologies. (A01, A02, A03, U02, U04, U05, A18, A19) Q1.F44. Based on the evaluation team observations and interviews with ACCES staff, the delayed deployment of Sagal, the communications and marketing campaign, the delayed development of demand response mechanisms like the training of entrepreneurs and masons, and the slow growth of latrine financing mechanisms for households contributed to weak latrine sales and the underperformance of other crucial indicators. (A18, A15, observations) Q1.C26. ACCES’s strategy for generating demand and provision of WASH products and services was developed much too slowly over the first two years of the project. The Consortium conducted trial-and-error attempts at market development, creating significant inefficiencies with time and resources. Many of these problems were resolved over the first two years of the project and there is a more coherent strategy currently in place. ACCES had difficulty articulating a strategic vision for the project, some of which has caused ripple effects to the present (e.g., delay in Sagal rollout and lack of demand response mechanisms). Coordination Within ACCES Q1.F45. The project documents and the interviews with ACESS staff and USAID indicated that the configuration of the project was too complex from the beginning. The project behaves like several separate projects instead of one unified project (PSI was in charge of the market component, CRS was focused on CLTS, NRCE was focused on engineering and infrastructure, partners were driving the design process and there were territorial issues and logistical issues). (A03, A04, A05, U04, A02, A15, A21, desk review) Q1.C27. The project suffers from a continued lack of coordination, which hinders the implementation of the strategic vision of the project. From its conception, the Consortium was intended to draw on the experiences and strengths of the individual members in the service of a common goal. In reality, the members have pursued goals in relative isolation to the detriment of the project as a whole. This dysfunction plays out in several ways large and small, including the limited sharing of resources like office space and vehicles; different administrative RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 49 EQ Theme Sub. Findings Conclusions Q1.F46. Based on the evaluation team observations and interviews with ACCES staff, each subcontractor has their own administrative and finance guide, and each subcontractor has a different per diem policy for field staff traveling away from their home base. (A04, A15, A21, observation) Q1.F47. The lack of physical and geographical coordination between subcontractors has mentioned during the interviews with ACCES staff and USAID. Examples: PSI and CRS did not co-locate in Dakar because of their differing political views35, and each Consortium partner has their own office space in Dakar; Caritas contractors were working as staff on the ACCES project at the same as they were working on a latrine subsidization project in the same geographical area. (A04, A21, U02, U05, A18) Q1.F48. Based on the interviews with the ACCES staff, data sharing problems were problematic at the start of the project. Example: IMPAQ came to a meeting with USAID with indicator numbers that didn’t match CRS numbers). The M&E team based in the USA had trouble getting the other partners in the project to report indicator data to them. This has improved since the team launched SurveyCTO in March 2018. (A06, ACCES email 01/2019) Q1.F49. The interviews with the consortium members stated that ACCES organizes two planning meetings every two months with the COP and the DCOP (one for the eastern region and one for the southern region), but it does not organize systematic weekly planning meetings. In addition, the evaluation team based on their observation noted that the role of an ACCES regional coordinator does not exist. (A25, A15, field observation, A04, A21, U02, U05, A18) procedures and per diem policies; separate management and approval structures; and identification with individual Consortium members at the expense of a project-wide ACCES identity. Q1.C28. Even though coordination is improving, planning and data sharing have suffered due to lack of collaboration among team members. Opportunities Potential Unmet Demand Q1.F50. Focus groups with clients reveal a willingness to purchase latrines. (FG CLTS Vélingara Ferlo, Matam, MA01, A03) Q1.F51. Based on the desk review, 38% (456) of all latrines purchased through the market were purchased in the past two months. (ACCES Latrine Sales Excel Document) Opportunities exist to capture additional client demand for WASH products and services. Some of these strategies are necessary preconditions for developing the market (access to credit) and others are more speculative (diaspora funding). Q1.C29. There is potential unmet demand for latrines in the areas targeted by the ACCES project. Interviewees believe that the population is interested in buying these latrines. The significant surge in demand in the past two months could be a sign that demand is increasing. The size of this demand, however, remains unknown. Credit Growth Potential Q1.F52. The desk review revealed that 117 (10%) latrines were purchased with formal credit. Even more significant are the latrines purchased with informal credit (482 latrines, or 40%) between SILCs, women’s groups and other groups. (ACCES Latrine Sales Excel Document, U01, MA06) Q1.F53. According to ACCES and CMS staff interviewed, the signing of an MOU between CMS and ACCES may be imminent, and USAID/ACCES is weighing the possibility of guaranteeing loans that default to motivate CMS and others to provide more loans. Easier access to loans and improved repayment terms will be helpful for increasing demand for latrines. (CMS01, CMS03, A16) Q1.F54. ACCES staff noted during the interviews that Institutional financing of SILCs and other groups is advantageous because more latrines can be financed at the same time. This strategy also reduces the loan risk to financial institutions and reduces their monitoring burden to ensure loan repayment. As of January 2019, no loans have gone into default. (A03, ACCES email 01/2019) Q1.C30. The use of credit to purchase latrines shows signs of growth. As ACCES signs MOUs with CMS and its regional branches, formal credit may play an even more important role in the provision of WASH loans to both clients and entrepreneurs. Other signs pointing to future credit growth include USAID and ACCES commitment to provide guarantees for loan repayment to CMS in the case of loan default, as well as a push to organize additional community groups who could benefit from latrine financing options. Additionally, no formal loans provided by CMS have gone into default. 35 PSI and CRS have differing views on contraception. CRS, as a Catholic organization, does not support the use of contraceptives. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 50 EQ Theme Sub. Findings Conclusions Other Growth Drivers Q1.F55. According to the government officials and USAID, ACCES is exploring multiple innovative opportunities to boost latrine sales, including: (1) municipalities to pay for a certain number of the poorest households; possibility of diaspora funding to buy latrines for communities; banana plantations to provide latrines and then deduct their cost from workers’ salaries, and Corporate Social Responsibility (CSR) agreements with mining companies. (A02, U01, A03, G03, G04, A05, A03, A15, A16) Q1.C31. ACCES has pursued several creative strategies to increase the growth of latrine sales, some of which have the potential to yield positive results for the project. All of these efforts are in their infancy and will need time to be fully explored. SatoPan Innovation Q1.F56. The interviewees from government officials and USAID stated that the use of SatoPans can be an opportunity for the project. It has the potential to be a market differentiator and can improve the appeal of latrine purchases, which could spur demand. (A01, U01, A05) Q1.F57. ACCES provided prototypes of SatoPans to some contractors and masons. These prototypes have been set as a model for customers for marketing purposes. Entrepreneurs interviewed found it easy to install SatoPans compared to traditional models. Some masons had SatoPan orders from clients which could not be completed because the SatoPans had not yet arrived from Nigeria. (MEP interviews with entrepreneurs) Q1.F58. Some clients also received SatoPans because of a small shipment that arrived from Nigeria. While they were not referenced by name by any clients, when the evaluation team observed their latrines the clients noted that the SatoPans did reduce odor and flies and were easily cleaned. (MEP interviews with clients) Q1.C32. The SatoPan is a significant technological innovation introduced by ACCES to Senegal. If available in the market, this technology may help ACCES reach its sales targets by creating additional demand. Threats Response to Demand Q1.F59. Interviewees from ACCES staff, USAID and service providers indicated the following as potential hurdles to effective response to latrine demand: ● Lack of knowledgeable actors (masons and entrepreneurs) with enough financial capacity to self-sufficiently construct latrines after the project closes. (U02, A05, A04, A03, A09) ● Lack of materials (mainly molds and hardware), expensive materials and transportation. (A03 A16 U05 SP04 SA03) ● Lack of credit buy steel molds for building cement rings. (SP05) ● Current low demand and low profits have caused attrition of some key market actors (A01) Threats to the program, like competition from subsidized programs and a lack of demand, are significant and, if not mitigated, can cause the project to fail. Q1.C33. There are several reasons why ACCES may not be able to respond to a sharp increase in latrine demand, creating a bottleneck in the supply of latrines. If demand increases, there may not be enough cement rings available to fulfill the demand and there may not be enough market actors to construct latrines in a timely fashion. Subsidized and/or Competing Activities Q1.F60. Interviewees from ACCES staff, donors funded projects, government officials and USAID noted that existence of subsidized projects in the same area as ACCES is a threat for the nascent market approach. The World Bank and the Japan International Cooperation Agency (JICA) have subsidized demand projects. Clients will probably choose a free latrine instead of paying for one of similar quality. (A01, DF01, U02, G11) Q1.F61. ACCES staff and GRET staff interviewed mentioned that ACCES has de-conflicted intervention zones with GRET, but that project or any future subsidized project in ACCES areas may destroy the WASH market. (A03, A17) Q1.C34. Subsidized projects, and even competing market-based projects have the potential to snuff out the nascent WASH market that ACCES has created. Without client demand, market actors will not make a profit and they will go out of business, effectively destroying the market. Competing market-based models, like the GRET project, may also threaten the viability of the ACCES project because they could compete for the same segment of the population. If not carefully de-conflicted, this could also drive down demand for ACCES’s latrine products. SatoPan Distribution Q1.F62. Interviewees from ACCES staff considered the distribution of SatoPans may pose a threat to the ACCES market approach. According to interviewees, SatoPans are only manufactured in Nigeria because they have the production license. ACCES needs to find a wholesaler to import along with a distribution network that is not currently in place. The search for a sustainable alternative is necessary. (A02, A03, A05)36 Q1.C35. SatoPan is a real innovation, and there is evidence to suggest that there is pent-up demand for latrines with SatoPans. They must be imported because Nigeria has patent on SatoPan manufacturing. ACCES is a stand-in for a national SatoPan distributor, which is unsustainable. 36 The SatoPans arrived in Dakar on January 6th, 2019. However, the project has not yet found a distributor at the national level. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 51 EQ Theme Sub. Findings Conclusions Limited Client Means Q1.F63. Participants in FG with clients and interviewees clients noted the limited financial means of the households to buy latrines. According to them, populations have highly priorities like, education, health, or agriculture. Despite the latrine price reduction, some clients denounced the high cost of latrines. (A04, MA01, FG Clients CLTS, Vélingara Ndiao, Matam, FG SILC, Hamdalaye Thiokoye, G03, SA05, G08) Q1.C36. While clients may have said that other members of the community will want to buy latrines, it is also true that household income is low in many of ACCES’s targeted areas. It was widely reported that communities may not have the funds to pay for latrines. Entrepreneurs are nervous about entering into contracts with households that may not pay them back once the latrine is built. Low incomes and entrepreneurs’ lack of trust in households to pay them is a threat to a healthy WASH market. What is the value added of ACCES in the four output areas? Value Added: Demand generated for WASH Products and Services Behavior Change and ODF Q2.F1. According to ACCES staff, Community-Led Total Sanitation (CLTS) beneficiaries and USAID, ACCES is adding value by achieving ODF Status in targeted villages, which reduces the rate at which the population defecates in the open. (A03, U01, CLTS01, A05, A13, U05) Q2.F2. Focus group participants and clients stated that ACCES has improved the behavior of the population in ODF areas. Most interviewees note that fewer cases of diarrhea have been reported due to more toilets, improved hygiene practices, and the use of Aquatabs and bleach. (FG, Clients CLTS, Bokindar, Matam, CLTS01, FG, Clients CLTS, Vélingara Ndiao, Matam, SA02) Q2.F3. Weakness Focus group participants and clients interviewed identified the lack of visual tools in awareness-raising activities, home visits and community talks as problematic for learning retention. (CLTS01, FG, Clients CLTS, Vélingara Ndiao, Matam, FG, CLTS Clients, Djindème, Ziguinchor) ACCES has improved sanitation behavior in targeted areas, created synergies with the government and other projects, reduced latrine costs and started to use credit to spur demand for sanitation services. However, the demand for market-based products and services has yet to be realized due to the lack of significant activity in the WASH market. Q2.C1. CLTS activities, like behavior change activities, have contributed to ODF status in 66 villages. Q2.C2. Testimonials include improved sanitary habits and reduced rates of diarrhea for community members, including children. Q2.C3. Awareness activities do not fully utilize visual tools, which may reduce learning outcomes. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 52 ANNEX II: RECOMMENDATIONS MATRIX Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 Q1: How well is ACCES performing? What is working, what is not working, and why? The interviews with ACCES staff and USAID revealed that for the first two years of the project, there was no clear strategy for the market-based approach. The project did not conduct a thorough market analysis at the onset of the project. This led to strategic errors, such as a focus on rural areas, where population density was low, and the target population lacked the means to pay for latrines. They also promoted the expensive TCM product, even though the cost was too high for the majority of potential clients. It should be noted that one reason why ACCES tried to market products beyond the means of rural clients was because they wanted to follow the GOS’s high (and probably unrealistic) standards for latrine construction. They also revised the PEPAM catalogue technologies while they worked to develop new (lower-cost) technologies. 1. Finaliser et valider le document de stratégie commerciale d’ACCES Beaucoup de temps et d’efforts fournis pour comprendre le marché et développer des produits adaptés. Draft de document stratégique en circulation ACCES/COP USAID/COR Fin Juin 2019 X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 53 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 Based on the desk review and the interviews with ACCES staff, the project has some overall latrine sales target (# of improved toilets and latrines constructed/purchased by beneficiary households) of 13,363 households (150,000 people). Only 1,211 (9%) of the latrine sales objective has been achieved, while 50% of the project is over. The latrine sales indicator has been underperforming compared to USAID and project expectations. Thirty-eight percent of all sales were made during the last quarter (October-December 2018), highlighting the slow progress through September 2018. 2. Continuer la mise en œuvre de la nouvelle stratégie commerciale Près de 2800 ventes actuellement, avec un sursaut dans les zones CLTS Convention avec CMS signée pour le financement des latrines ACCES/COP USAID/COR En continue X The interviews with ACCES staff and services providers revealed that Latrines were delayed due to insufficient number of masons in certain areas (e.g., in Bokidiawé, CMS granted credit to 10 women groups since August 2018, but latrines have been completed for only four groups). 3. Mener la réflexion sur comment mieux motiver les maçons afin de les maintenir dans le business de l’assainissement. Conduct a reflection with USAID to examine to which extent the MUS plans ACCES/ Marketing Advisor ACCES/ COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 54 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 implementation can be funded. 4. Centraliser toutes les commandes de latrines auprès des grands entrepreneurs solides qui vont engager les maçons formés pour exécuter les travaux. ACCES/ Marketing Advisor ACCES/ COP En continue X 5. Voir la possibilité de subventionner l’achat des matériaux de construction au moins une fois pour les entrepreneurs/maçons afin de leur permettre de se constituer un fonds de roulement. ACCES/ Marketing Advisor ACCES/ COP En continue X The interviews and focus groups with clients and ACCES staff reported some dissatisfaction with masons, particularly in the delivery of materials and the slowness and incompleteness of some latrine construction. Voir recommandation 3 The interviews and focus groups with clients and ACCES staff reported some dissatisfaction with masons, 6. Renforcer davantage le suivi des travaux sur le terrain ACCES/ Marketing Advisor COP/ ACCES En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 55 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 particularly in the delivery of materials and the slowness and incompleteness of some latrine construction. 7. Impliquer le staff de ACCES dans le recouvrement des reliquats des contrats entre l’entrepreneur/maçon et le ménage. ACCES/ Marketing Advisor COP/ ACCES En continue X The interviews with ACCES staff, service providers and clients indicated that there is not enough demand for the entrepreneur to earn enough money to make the work worthwhile. Profit margins for latrines are quite small and sometimes, masons lose money because of the high prices of materials. Voir recommandation 3 Les marges étant faible, il faut générer les volumes. ACCES staff and service providers stated that the loss of trained masons and entrepreneurs is due to a combination of low demand and slim profit margins. In total, over 712 entrepreneurs have been trained in business development (management, accounting, etc). However, the desk review revealed many trained entrepreneurs quit providing services. For example, only 12/112 (11%) masons and entrepreneurs trained in latrine construction by ACCES are still functioning in Matam. Eighty-five Voir recommandation 3 RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 56 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 entrepreneurs were trained in Kédougou but only five are functional. Of the 27 masons trained in Kafountine, only 7 are active. According to the services providers and sales agents, the entrepreneur only fulfills the demand that the commercial agents create, they do not create their own demand. However, one entrepreneur in Kafountine pays sales agent when they secure clients, in addition to what ACCES is paying. 8. Continuer à préparer les entrepreneurs à intégrer la dimension marketing dans leur activité. Dans certaines zones, les commerciaux ne sont pas plus efficaces pour vendre, ACCES/Marketing Advisor ACCES/COP En continue X Based on the interviews with sales agents and ACCES staff, the first generation of sales agents (32 individuals) was let go after their three-month contracts expired, mostly between May and August 2018. Forty￾four second-generation sales agents were hired for six months between October/November 2018 and April/May 2019, and only 6 of those from the first generation were part of the second generation. In addition, ACCES has not yet a clear strategy to progressively transfer the marketing activity to entrepreneurs/masons before the project ends. Voir recommandation 8 RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 57 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 Based on interviews with ACCES staff and CMS, ACCES met several financial institutions (CMS, ACEP, Microcred, Cauri Microfinance) to pitch the idea of financing sanitation products. Only CMS accepted to finance the market. Despite this, opening CMS accounts and proving an existing income-generating activity continue to be challenges to overcome for individuals to successfully receive loans. 9. Continuer le plaidoyer auprès d’autres institutions de microfinance afin de leur présenter les opportunités existantes dans le financement du marché de l’assainissement. Des démarches sont déjà en cours dans ce sens ACCES/ Microfinance coordinator COP/ ACCES En continue X 10. Continuer la collaboration avec WASHFIN pour l’organisation d’un mini atelier sur l’opportunité de financer les services WASH ACCES/ Microfinance coordinator COP/ ACCES Fin Avril 2019 X Interviews with ACCES staff, CMS staff and service providers noted that only one individual – from Kafountine, Ziguinchor – has received credit from CMS. He is an entrepreneur and was already a CMS client before ACCES began. He used the loan to purchase molds and to make concrete rings. No individual clients have been able to receive formal loans because CMS fears that individuals will not pay back the loans, and because only one entrepreneur has received a loan there are not a lot of data to assess whether this is a wise choice. In general, CMS looks Les entrepreneurs / maçons sont mobiles et à très haut risque pour les IMFs Une convention est signée avec CMS en décembre 2018 RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 58 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 more favorably upon groups of clients because the risk is mutualized. For the government officials and ACCES staff interviewed, ACCES is implementing the market approach without a significant transition from subsidized projects to the market approach, leaving the project in a difficult operating environment. The Stratégie Nationale de l’Assainissement Rural au Sénégal’s (SNAR) advocates for a phased approach over three years where there would be an “abandon progressif de la subvention (approche projet) au profit de la subvention de l'offre (approche marché)”, as well as a call for "la hausse progressive et significative du niveau de contribution du secteur privé dans le financement de l'ouvrage d'assainissement (de 0 FCFA présentement à 135 000 FCFA à partir de 2022).” While ACCES is proof that this transition is underway, there are subsidized projects that complicate the achievement of their objectives 11. Continue to facilitate financial access for households (via credit lines, etc.) and explore the possibility for group orders to be prefinancing (during the short-term) through ASUFORs. -Agree it was difficult. Not convinced SNAR is on the same page of a total market transition by 2025, with the acceleration period from 2018 onwards. The idea was to tip down government subsidies from 90-100% to 10-15%. This was inspired by EDS findings that some HH were purchasing their own latrines without subsidies. A “Cadre de Concertation” exists to harmonize approaches among donors and gov. -Complicated because Acces is already well advanced, so changing the strategy at this stage to back peddle would be disruptive. We could integrate hidden subsidies such as a guarantee fund, ACCES Microfinance coordinator ACCES/ COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 59 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 continuing equipment to masons, etc. to further facilitate the market. -USAID made a bold choice to go direct to market without a transition phase -Focus on the bottlenecks to unlock the possibility of the market truly taking over namely financing (access to credit, capacity of masons/entrepreneurs). -First time to truly see people who have purchased LV with full intention to add a second “fosse” when they have amassed the funds to do so. Segmentation was done well and is serving its purpose. 12. Institutional support should offer subsidies for the poorest quintile (rather DA/MHA USAID/COR En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 60 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 than traditional blanket subsidies that were by geography but not targeting need). Redirect existing subsidy-based projects to reach the most vulnerable to not overly affect the market. 13. National 4Cs communication campaign should be implemented by the government as planned to lead key messages related to new strategy (needs financing) -Seems like government level plan to transition to markets hasn’t been well communicated to the population, as there is no knowledge of this at field level. Part of this is because although they have the 4Cs communication campaign, they don’t have the budget to roll it out and have asked for donor support to do so. - ACCES has led 3 marketing level exercises (landscaping, literature reviews, etc.) to analyze the market and has made strides in DA/MHA USAID/COR En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 61 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 having DA and other government stakeholders better understand market approaches Interviewed with World Bank and USAID mentioned the existence of subsidized projects in certain regions financed by the World Bank and European Union and implemented by the Government of Senegal. 14. Work with the DA to properly target the most vulnerable in subsidy zones to ensure the different approaches do not negatively affect the nascent market -Subsidies can work in market zones if the most vulnerable are properly targeted. -Existing impact of this in Acces is limited to just one area in Tamba where the issue has been resolved. USAID/COR USAID/EGO Fin septembre X 15. Continue to work with DA to map projects, coordinate and harmonize projects working in the same zones USAID/COR USAID/EGO Fin Septembre X ACCES purchased 47 cement ring steel molds and has loaned 14 of them of them to entrepreneurs and masons. But they are insufficient compared to demand for latrines. The interviews with service providers and focus groups with clients, in certain areas, masons do not have access (or must share access) to cement ring molds, while in others, masons do not use the molds they 16. Continue to facilitate finding entrepreneurs to produce rings in mass -All communes now have molds -Rings aren’t essential to product model and this needs to be better communicated -Rings aren’t always the best choice based on a majority of other factors, so actual issues ACCES/ Marketing Advisor ACCES/COP En continue X 17. Continue to promote the cabin and not focus on rings as it does not impact the quality or price of the latrine ACCES/ Marketing Advisor ACCES/COP En continue X 18. Continue to help masons/entrepreneurs’ ACCES/ Marketing Advisor ACCES/COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 62 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 were given. In Bandafassi, one mason says he does not use the cement ring molds he has received, preferring road construction instead because he earns more money. In addition, ACCES doesn’t have yet a transfer strategy of the molds, once the project ends network to cover high demand are not as wide spread as it seems to appear to date -Hardware stores can sell already made rings to facilitate having a mass of rings available for entrepreneurs and masons to respond to latrine orders -Success stories should be promoted to share “what is working” more widely -Focus groups have occurred to dig deeper into understanding bottle necks from the mason/entrepreneur perspective -Mold costs are super high for Senegal, which is a major bottle neck for entrepreneurs purchasing them on their own -First draft on what should happen to the molds has already been 19. Help to cluster/group orders to save on delivery costs and boost available cash-flow ACCES/ Marketing Advisor ACCES/COP En continue X 20. Continue to identify aggregators who can handle larger orders ACCES/ Marketing Advisor ACCES/COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 63 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 drafted (performance based with perhaps % to contribute to cost) According to the desk review, interviews with sales agents, clients and focus group participants, ACCES operates in six regions among the poorest in Senegal with diverse needs. The majority of communities met have negative opinions about the market approach. Voir recommandation 1 -Seasonality has impact on financial capacity at different periods of the year - Communication strategy mentioned above will help resolve these misunderstandings/or negative perceptions Based on the evaluation team observations and interviews with ACCES staff, the delayed deployment of Sagal, the communications and marketing campaign, the delayed development of demand response mechanisms like the training of entrepreneurs and masons, and the slow growth of latrine financing mechanisms for households contributed to weak latrine sales and the underperformance of other crucial indicators. 21. Go full force in implementing a massive communication/marketing campaign to accelerate sales and create brand recognition for Sagal products for households and operators -First the project is market based so there aren’t the traditional USAID “project” marketing materials in the field -Communication starting NOW is good timing given that previously there would have been a risk of creating demand when all the ducks were not yet in a row on the supply and model side ACCES/ Marketing Advisor ACCES/COP Fin Septembre X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 64 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 - Have invested a lot of time and $ on communications strategy on all levels (BCC, sales agents, etc.) and creation of digital media tools, social media tools. Based on the evaluation team observations and interviews with ACCES staff, each subcontractor has their own administrative and finance guide, and each subcontractor has a different per diem policy for field staff traveling away from their home base. 22. Harmonize core policies and procedures within the project (security, Reporting, etc.). Each NGO has a right to their own policies and procedures related to per diem etc. and could create internal discrepancies at organizational level to harmonize within a project COP to validate and communicate/enforce ACCES/DCOP ACCES/COP Fin septembre X In addition, the evaluation team based on their observation noted that the role of an ACCES regional coordinator does not exist. 23. Designate one person as regional coordinator per region to be the interlocuter/project representative (COP and DCOP to create criteria and select). -Original project design included this but was removed to cover other costs -Would be disruptive at this time of the project to recruit totally new people at this stage: Is this ACCES/COP USAID/COR Fin septembre X 24. Hold team-building workshop for entire ACCES/DCOP ACCES/COP Fin septembre X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 65 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 consortium (help solidify changes, etc.) priority for resources/time? Agreement that neutral or external NRCE hire is ideal, but would have major budget implications and require additional resources Interviewees from ACCES staff considered the distribution of SatoPans may pose a threat to the ACCES market approach. According to interviewees, SatoPans are only manufactured in Nigeria because they have the production license. ACCES needs to find a wholesaler to import along with a distribution network that is not currently in place. The search for a sustainable alternative is necessary. 25. Finalize the identification of the national distributor -ACCES has been working on this and has several options lined up, Ademas is one of the potential social enterprises ACCES/COP USAID/COR Fin septembre X Q2 : What is the value added of ACCES in the four output areas: a) Demand generated for WASH Products and Services; b) Increased Market-Based Provision of WASH Products and Services; c) Improved Provision and Management of Multiple Use Water Systems; d) Improved Enabling Environment for Equitable Delivery of Quality WASH Systems The lack of physical and geographical coordination between subcontractors 26. Loger tous les responsables des outputs Beaucoup de ces recommandations sont ACCES/COP USAID/COR Done X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 66 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 has mentioned during the interviews with ACCES staff and USAID. Examples: PSI and CRS did not co￾locate in Dakar because of their differing political views, and each Consortium partner has their own office space in Dakar; Caritas contractors were working as staff on the ACCES project at the same as they were working on a latrine subsidization project in the same geographical area. The interviews with the consortium members stated that ACCES organizes two planning meetings every two months with the COP and the DCOP (one for the eastern region and one for the southern region), but it does not organize systematic weekly planning meetings. dans le bureau du projet ACCES au niveau de Dakar. en cours de mise en œuvre. 27. Loger le personnel de terrain dans les mêmes bureaux (Pas encore réglé pour Sédhiou et Kolda). ACCES/COP USAID/COR Fin Juin X 28. Identifier des coordonnateurs (parmi le personnel existant) dans chacune des régions qui vont répondre au nom de ACCES. ACCES/COP USAID/COR Fin juin X 29. Systématiser dans chaque région des réunions de coordination mensuelle. ACCES/COP USAID/COR En continue X 30. Organiser les réunions de coordination trimestrielles par zone. ACCES/COP USAID/COR En continue X Focus group participants and clients interviewed identified the lack of visual tools in awareness-raising activities, home visits and community talks as problematic for learning retention. 31. Systématiser et encourager l’utilisation des supports visuels dans toutes les activités de sensibilisation. ACCES/WASH BCC ACCES/ WASH Technical Advisor En continue X 32. Faire le suivi de l’utilisation de ces supports. ACCES/WASH BCC ACCES/ WASH Technical Advisor En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 67 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 Some service providers (masons) claim that the BDS courses are too theoretical and lack some practicality. 33. Rendre les formations BDS beaucoup plus pratiques et faire des coachings. ACCES/ Marketing Advisor ACCES/COP En continue X According to government officials and ACCES staff, ACCES is tasked with the design, but not the implementation, of the MUS plans. Therefore, the MUS plans will not be implemented by the ACCES project. The plans do not currently have funding from another donor, or from the local community, to undertake the water projects highlighted in the MUS plan. ACCES is asking the municipalities and other donor projects to provide funding for the MUS projects, but it must be noted that municipal budgets may be limited. The plans expire after ten years. 34. Continuer l’accompagnement des CT en collaboration avec GOLD, à développer des plans de mobilisation financiers. ACCES/ Institutional Development Advisor ACCES/COP En continue X 35. Développer la collaboration avec d’autres projets tels GOLD, KAWOLOR et ACRA pour le financement de certains volets MUS (renforcement de capacités, gouvernance) ACCES/ Institutional Development Advisor ACCES/COP En continue X 36. Faire le plaidoyer au niveau communal pour l’intégration des MUS dans les PAI. ACCES/ Institutional Development Advisor ACCES/COP En continue X 37. Utiliser les existantes plateformes WASH au niveau local pour faire le plaidoyer pour le financement des MUS. ACCES/ Institutional Development Advisor ACCES/COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 68 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 38. Mener la réflexion avec l’USAID pour examiner dans quelle mesure financer la mise en œuvre des plans MUS. ACCES/COP USAID/COR Fin septembre X Q3: What types of institutions are needed to ensure the sustainability of a WASH market in targeted communities? Findings on collaboration with the government are mixed. Some interviewees in the government say there is a limited interaction between ACCES staff and the DRH, while some municipalities have noted the strong coordination and trust between ACCES and the project. BRH worked with ACCES on the CLTS trainings, but they have not been involved in the market approach. ACCES staff note their strong collaboration with the MHA, DA, and OFOR, although the latter is sometimes difficult to communicate with 39. Maintenir la relation avec les entités gouvernementales. ACCES/ Coordonnateur régional ACCES/ Institutional Development Advisor En continue X 40. Faire le suivi de la mise en œuvre des MOU avec les entités gouvernementales au niveau local ACCES/ Institutional Development Advisor ACCES/COP En continue X Several local and national government interviewees discussed the lack of updated information on a regular basis that the local government entities receive from ACCES. 41. Systématiser le partage du rapport annuel avec les services techniques et les maires au niveau de chaque région. ACCES/COP ACCES/M&E En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 69 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 Q4: What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? What is the ideal mix of resources for the project to have to achieve its targets? According to the Technical Services, the WASH Platform is an opportunity for ACCES to improve project visibility and may help to harmonize interventions in the regions in which it operates. However, the WASH Platforms are not dynamic at the local level (it is functional at the national level). In Matam, for example, the development of the Platform was part of an action plan that has never been implemented. 42. Faire le plaidoyer pour la tenue régulière de réunions des plateformes WASH. ACCES/Institutional Development Advisor ACCES/DCOP En continue X 43. Encourager le co￾financement des activités de la plateforme WASH. ACCES/Institutional Development Advisor ACCES/DCOP En continue X 44. Encourager l’élaboration et la mise en œuvre d’un PTA pour les plateformes WASH. ACCES/Institutional Development Advisor ACCES/DCOP En continue X According to focus group participants and confirmed by observation, communication activities are not currently supported by visual tools. There are very few Sagal signs (the evaluation team saw one in Kafountine during fieldwork and pamphlets in the ACCES Kédougou regional office). While the caravan and media campaign (radio) have been completed, a delay is noted in communications and marketing strategy and physical marketing materials are not present. The 45. Mettre en œuvre la stratégie de communication En cours. ACCES/ WASH Technical Advisor ACCES/COP En continue X 46. Engager une agence pour le suivi de la campagne médiatique ACCES/ WASH Technical Advisor ACCES/COP Fin Septembre X 47. Fournir des supports de communication pour les différents bureaux (Dakar et dans les régions) et s’assurer de leur utilisation. ACCES/ WASH Technical Advisor ACCES/COP Fin Septembre X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 70 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 municipalities do not publicize ACCES successes to a significant extent. 48. Accélérer la dissémination des produits (Affiches, émissions radios) ACCES/ WASH Technical Advisor ACCES/COP Fin Septembre X 49. Compléter les supports de communication institutionnels ACCES/ WASH Technical Advisor ACCES/COP Fin Septembre X Interviews with the ACCES staff during the field visit reveal that there are only two technicians to check the quality of the latrines built. One is based in Tamba and is in charge of Tamba, Kédougou and Matam regions and the other in Ziguinchor and is in charge of Ziguinchor, Kolda and Sédhiou regions. ACCES is recruiting two other technicians who will be in charge of the technical follow-up of latrine infrastructure. These additional technicians are necessary 2 techniciens additionnels ont été déjà recrutés par ACCES. Interviews and desk review state that during the first year of ACCES implementation, the M&E Director was based in the USA and did not visit Senegal to conduct site visits. An M&E Specialist has since been hired to manage SurveyCTO, a high-quality data collection application using Android phones or tablets that the project adopted in March 2018. She is 50. Optimisation de l’utilisation du staff M&E existant Optimize the use of existing M&E staff. ACCES/ M&E ACCES/COP En continue X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 71 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 also responsible for gender activities. She is assisted by another M&E Specialist in Tambacounda. ACCES staff noted the lack of logistics for the field offices (only 1 vehicle available in Kédougou for field activities, no video projector, poor internet connection, one vehicle in Ziguinchor for nine people). USAID staff, Government officials and sales agents noted lack of human and logistical means limits the interventions on the ground. Additional needs for technical supervisors, ACCES regional coordinators, business coaches, sales agents, and motorbikes as a method of conveyance 51. Discuter avec USAID du transfert des moyens logistiques des projets clôturés. ACCES/ COP CRS Mi-février X According to the WASHPaLs report called “Scaling Market-Based Sanitation” published in June 2018 for USAID, time is an essential component for the success of a market-based approach. “Changes in the sanitation market system can take time, but MBS interventions can scale up if funders remain invested and flexible over longer than 5-year funding horizons.” (page xi). The 52. Discuter avec l’USAID de la possibilité d’une extension du projet de 2 ans. Begin discussions with USAID about a possible project extension for two years. ACCES/ COP ACCES/DCOP Fin septembre X RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 72 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 paper continues: “Most of the successful examples observed in our study reached scale in 4 to 6 years, and some facilitated sales of more than 100,000 toilets during that period. Further, a year-by-year study of toilets sold in selected interventions suggests that sales begin to accelerate 4 to 5 years after the initiation of the intervention (supporting the argument to extend the typical donor funding cycle of 3 to 5 years).” (page 15-16). While 13,636 latrine sales are certainly possible within five-year timeframe of the project, international research shows that in order to reach upwards of 10X that figure, the market should probably exist for at least 6-8 years. However, it must be noted that most of these successful projects are outside of the West African context and therefore should not be too heavily relied upon for decision￾making. Various individuals interviewed, mostly from ACCES, also believe that more time to develop the latrine market would be helpful to fully RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 73 Findings Recommendations Comments Person in charge of the action Person in charge of the follow￾up Deadline Level of Priority 1 2 3 realize a self-sustaining WASH market. RAPPORT D’EVALUATION A MI-PARCOURS D’ACCES 74 ANNEX III: EVALUATION STATEMENT OF WORK ASSAINISSEMENT, CHANGEMENT DE COMPORTEMET ET EAU POUR LE SENEGAL (ACCES) MIDTERM PERFORMANCE EVALUATION STATEMENT OF WORK AUGUST 2018 This publication was produced for review by the United States Agency for International Development. It was prepared by Management Systems International, a Tetra Tech Company, for the USAID/Senegal Mission-Wide Monitoring and Evaluation Project. ACCES MIDTERM EVALUATION REPORT 75 ASSAINISSEMENT, CHANGEMENT DE COMPORTEMENT ET EAU POUR LE SENEGAL (ACCES) MIDTERM PERFORMANCE EVALUATION Statement of Work Contracted under AID-685-C-15-00003 USAID/Senegal Monitoring and Evaluation Project ACCES MIDTERM EVALUATION REPORT 76 1. Statement of Work Detail USAID SOW Manager Arvil Gonzalez MEP SOW Manager Sadio Coulibaly Activity Title Assainissement, Changement de Comportement et Eau pour le Sénégal (ACCÉS) Activity Period March 16, 2016-March 15, 2021 Funding $21,967,310 Geographic Coverage Multiple regions in Senegal Task ACCÉS Midterm Performance Evaluation Task Start and End Dates November 2018-February 2019 2. Activity Description The USAID/Senegal ACCES (Assainissement, Changement de Comportement et Eau pour le Sénégal) Activity is part of USAID/Senegal’s Water, Sanitation and Hygiene (SENWASH) portfolio to comprehensively address water, sanitation and hygiene (WASH) topics. The overall goal of the Activity is to significantly increase sustainable access to improved water and sanitation services and adoption of hygiene practices in targeted communities to improve their health and nutritional status, particularly of women and children. It uses an innovative market-based approach in Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda and Matam, as outlined in the map below. ACCES MIDTERM EVALUATION REPORT 77 ACCÉS is implemented through three primary components: • Component One: Generate local demand for WASH products and services designed to significantly improve sanitation, hygiene and infant nutrition practices; • Component Two: Develop replicable and scalable business models for sustainable provision of WASH products and services; • Component Three: Develop and manage Communal Action Plans for Multiple Use Water systems. 3. Development Hypothesis and Implementation ACCÉS’s overarching goal is to significantly increase sustainable access to improved water and sanitation services and adoption of hygiene practices in targeted communities to improve their health and nutritional status, especially of women and children. The ACCÉS development hypothesis is: IF access to an improved drinking water source is improved; IF access to an improve sanitation facility is improved; and IF access to a dedicated hand washing station with soap and water present is improved, THEN sustainable access to improved water and sanitation services and adoption of hygiene practices in targeted communities in the six target regions to improve the health and nutritional status, especially of women and children will increase significantly. ACCES has four primary outputs, which are directly linked to its three components, to accomplish the overarching goal. They are: Output 1: Local demand generated for WASH products and services designed to significantly improve sanitation, hygiene and infant nutrition practices. Output 2: Replicable and scalable business models developed for sustainable WASH products and services. Output 3: Environmentally sustainable provision and management of multiple use water systems. Output 4: Responsive and accountable governance framework is operational at county government level that ensures sustainable and equitable provision of water and sanitation.37 4. Existing Performance Information Sources USAID will provide the MEP Evaluation Team with a package of background materials on the ACCÉS Activity, including: • WASH Project Appraisal Document (PAD), December 2014 • All activity quarterly reports through FY18, annual reports, annual work plans, Activity Monitoring, Evaluation and Learning Plans (AMELP) and any modifications to the AMELP • Baseline and current data collected on activity indicators • Demographic health survey (DHS) data • Ministry of Hydraulics and Water (MHA) waterpoint and sanitation data points • ACCÉS Gender Analysis 2016 37 ACCÉS Activity Monitoring Evaluation and Learning Plan (AMELP) June, 2016. ACCES MIDTERM EVALUATION REPORT 78 • Ability to pay and market studies conducted by ACCÉS and MHA All background documents will be provided to the MEP Team by October 20, 2018. 5. Task Purpose, Audience, and Intended Uses The purpose of this midterm performance evaluation is to determine how well ACCES is meeting its intended objectives half-way through its implementation period and to make recommendations on approaches and management for the final years of the activity. The evaluation team will investigate to what extent the goals of the Activity were achieved and determine if there are other exogenous factors that have impacted achievements that USAID and/or the implementing partner did not foresee. The evaluation should provide specific conclusions and recommendations to support maintaining momentum and improving implementation of the Activity, assessments, staffing responsibilities, timelines or budget allocation. The intended use of the evaluation is to support modifications to future Activity planning and targets. The audience is primarily the USAID/Senegal’s WASH team in the Economic Growth Office (EGO). Other key interested parties include Senegal’s MHA and USAID/Washington’s Office of Water and Sanitation. 6. Evaluation Questions The following principal questions will guide this evaluation: 1. How well is ACCES performing? What is working and what is not working? 2. What is the value added of ACCÉS in the four output areas; specifically: i. Demand generated for WASH products and services; ii. Increased market-based provision of WASH products and services; iii. Improved provision and management of multiple use water systems; and iv. Improved and enabling environment for equitable delivery of quality WASH systems 3. What institutions are needed to ensure the sustainability of a WASH market in targeted communities? 4. What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? 7. Gender Disaggregation and Gender Differential Effects The evaluation team will examine the way in gender is taken into account in the Activty design and implementation via the various WASH interventions. The team will review the gender analysis completed at the outset of the Activity to determine if adequate planning for gender differentiation in implementation has occurred. The evaluation team will also look for on-going gender analysis related to water and sanitation usage in terms of assessing the effectiveness of the strategies taken to address water and sanitation issues for both men and women. 8. Approach 1. DESIGN The MEP Team will conduct a Midterm Performance Evaluation of the ACCÉSS Activity. Data sources for this evaluation will include Activity documentation (see above), MHA data on water and sanitation use and interviews with USAID/Senegal EGO staff, Activity staff, MHA officials and other WASH technical and financial health partners working in Senegal. The team will also carry out site visits, dividing into two sub-teams to visit two regions each of the ACCÉS regions for a total of four regions visited. ACCES MIDTERM EVALUATION REPORT 79 This statement of work requires that the evaluation team develop and submit for approval a detailed work plan with proposed methodology prior to arrival in-country. A central part of the work plan will be the getting to answers matrix which will support the creation of the evaluation methodology based on the evaluation questions. The following is a sample of the matrix: EVALUATION QUESTIONS TYPE OF ANSWER NEEDED DATA COLLECTION METHODS DATA SOURCE(S) SAMPLING OR SELECTION CRITERIA DATA ANALYSIS METHODS  Descriptive  Comparative (normative)  Cause and Effect The evaluation team’s methodology will include • Completion of a statistical WASH data review and Activity document review prior to the arrival of expat team members in Senegal. • Community-level discussions using a most significant change approach. • At least three qualitative data collection methods to address each of the identified evaluation questions in order to triangulate data. Suggested data collection tools are: key informant interviews, group interviews and focus groups discussions. • Field visits to a targeted sample of communities within four ACCÉS regions • Use of statistical and transcript analysis software to analyze respectively the quantitative secondary data (MHA) and the qualitative interviews • Inclusion of gender and geographic location disaggregation in the data analysis. 2. DATA COLLECTION METHODS The data collection methodology to be used by the team will consist of two phases: PHASE 1: DOCUMENT REVIEW The team will review a wide range of documentation including theActivityPAD to understand better the larger-level TOC and how ACCES fits into its objectives in additional to reviewing original critical assumptions to see how these have played out since first being identified in 2014. Activity AMELPs, including any revisions or updates, quarterly reports and annual reports. Relevant studies, research and policy strategies recently implemented by other technical and financial partners (PTF) will also be included. PHASE 2: QUANTITATIVE AND QUALITATIVE FIELD RESEARCH As part of its qualitative and quantitative research, the team will find the best fit for purpose, including the following research instruments: • Quantitative analysis: Activity performance data from start of Activity to date (2016-2018) as well as MHA data on water and sanitation services as well as related market studies on ability to pay. ACCES MIDTERM EVALUATION REPORT 80 • Key informant interviews: Open questions for interviewing program stakeholders: USAID/EGO, ACCÉS senior staff and field agents as well as national, regional and local political and water authorities. • Group interviews: Targeted questions with Activity field staff and discussions with target community members. • Focus groups: Focus groups with local authorities (préfets, sous-préfets and mayors) community members and health committee members. • Other emerging methodologies may be considered. 9. Strengths and Limitations USAID’s evaluation policy states that any methodological strengths and limitations are to be communicated explicitly. The evaluation team will specifically address any limitations in the methodology and approach in its workplan, as well as limitations in the data to be used, either primary or secondary in the body of the evaluation report. 10. Deliverables The deliverables for this evaluation include: • Work Plan: Detailed work plan which will indicate methodology, data analysis, detailed calendar, and data collection tools for the elaboration of the evaluation. The work plan will be submitted to the MEP Contracting Officer’s Representative (COR) and EGO point of contact (POC) for approval prior to fieldwork. • Progress Report: A brief written report of the data collection progress made in the field covering key scheduled activities, status of completion, and constraints encountered during the data collection process. • Data Walk/Preliminary Findings Presentation: A discussion with the EGO, which may include a PowerPoint presentation, to review the preliminary findings and conclusions table and the supporting evidence and data collected. • Recommendations Workshop(s): A workshop with USAID/EGO/WASH staff and ACCÉS staff to develop, discuss, and validate the recommendations based on the findings of the evaluation. This co-generation will facilitate a clear road forward for the Activity, the AOR and EGO in terms of revisions to the Activity’s approach. • Overview of initial findings and conclusions: A PowerPoint presentation in French and English to the USAID Mission; no longer than 30 minutes leaving at least 30 minutes for full discussion and Q&A. The evaluation team will make additional presentations to key MHA officials in French and ACCÉS staff. • Draft Evaluation Report: The team will submit a draft report to the MEP COR and EGO POC who will provide consolidated comments for revision and finalization of the report ten working days following the draft submission. • Final Report: An electronic document that includes a table of contents, methodology, findings, conclusions and recommendations. The final report will be submitted in English (and later translated into French) and will include: o A 20-page report with a clear discussion of the data and evidence based on the evaluation questions, the subsequent findings prompted by analysis of the data and evidence, conclusions driven by the ACCES MIDTERM EVALUATION REPORT 81 findings, and recommendations generated from the conclusions and based on the recommendations workshop. More detailed analysis and descriptive narrative may be attached as annexes. o A one-page evaluation fact sheet highlighting target findings for decision-making. These fact sheets will respond to the question: Who needs to know what, and by when? The fact sheet(s) may be developed during report drafting, based on discussions with the evaluation team, PRM and the technical team. o A five-page executive summary that provides a brief discussion of the evaluation purpose, basic methodology, findings, conclusions, and recommendations. 11. Team Composition The evaluation team will be led by a WASH specialist knowledgeable about the current water and sanitation reforms underway in Senegal, Ms. Sadio Savané Coulibaly. Ms. Savané currently serves as the Deputy Chief of Party for the MEP Senegal and will be fully dedicated to this task as team leader. Her previous experience includes designing and managing M&E and performance measurement systems for WASH initiatives in Senegal including the Millenium Drinkable Water and Sanitation Program or Programme d'eau potable et d'assainissement du Millénaire (PEPAM) and the Wula Nafaa Program. Ms. Savané will be supported by Dan Copeland, an evaluation methodologist with ten years’ experience working in evaluations and will be responsible for ensuring that the evaluation follows a rigorous set of data collection tools and analysis. Mr. Copeland will work closely with Ms. Savané to develop narrative analysis in English with Ms. Savané working in French narrative. The evaluation team will include a Senegalese sanitation specialist and a Senegalese water specialist. The team will be supported by a MEP M&E Manager who will support administration of the evaluation and will accompany the team in the field. Two enumerators will support qualitative interviews and taking notes. All team members are required to provide a signed statement attesting that they have no conflict of interest or, as required, a statement describing any existing conflict of interest. MEP Senegal’s Technical Director, Deborah Orsini will review the findings, conclusions and recommendations matrix as well as the draft and final reports for technical quality. Dates Tasks/Deliverables Estimated LOE (in days) Team Leader Evaluation Specialist Sanitation Specialist Water Specialist Enumerators September 28, 2018 Signature of SOW October 1- 19 Recruitment of team and request for travel and rate approvals October 22- 26 Desk review and completing answering questions with secondary data 5 3 5 5 October 29 Initial phone call with EG Office 1 1 1 1 October 28- November 2 Development of workplan and tools 4 4 4 4 November 5 Submit workplan to EG Office for approval ACCES MIDTERM EVALUATION REPORT 82 Dates Tasks/Deliverables Estimated LOE (in days) Team Leader Evaluation Specialist Sanitation Specialist Water Specialist Enumerators November 9 Approval of workplan by EG Office October 22- November 9 Confirm appointments and field schedule November 10 Arrival of Evaluation Specialist to Dakar 2 November 12 Team Planning Meeting and discussion with USAID/EGO staff 1 1 1 1 November 13-16 Interviews with USAID/Senegal staff, and Dakar-based stakeholders 4 4 4 4 November 19 Train enumerators 1 1 1 1 1 November 20 Depart to regions 1 1 1 1 1 November 21-27 Regional interviews and community-based interviews with Activity field agents and health workers 6 6 6 6 6 November 28 Return from regions 1 1 1 1 1 November 29- December 4 Preliminary data analysis and development of findings, conclusions and recommendations table 5 5 4 4 2 December 5 Data walk with USAID/EG Office (initial findings and presentation) 1 1 1 1 December 6 Presentation to Mission 1 1 1 1 December 7 Presentation of initial findings with MHA 1 1 1 1 December 7 Evaluation Specialist departs Senegal 1 December 10-18 Development of draft report 7 7 5 5 December 28 Submission of draft report ACCES MIDTERM EVALUATION REPORT 83 Dates Tasks/Deliverables Estimated LOE (in days) Team Leader Evaluation Specialist Sanitation Specialist Water Specialist Enumerators January 11 Feedback from USAID on report January 14- 15 Revisions to report and develop abstract 2 2 1 1 January 25 Submission of final report and abstract Total Estimated LOE 41 42 37 37 11x2=22 12. Participation of USAID Staff and Partners It is expected that the USAID/Senegal WASH team will hold an initial call with the team leader and team members prior to their launch of developing the workplan and data collection approach and tools. Upon completion of the work plan and tool development, USAID/EGO will be expected to review and approve the work plan and tools. Once the evaluation team arrives in Dakar, EGO will be expected to provide an initial in-brief with the evaluation team during the Team Planning Meeting. As part of the evaluation, USAID/EGO staff and EGO Director and Deputy Director will be interviewed. All Activity implementing partners will be interviewed as part of this evaluation as well as their field agents. At the completion of the fieldwork, it is expected that USAID/Senegal EGO will participate in a detailed data walk of findings and conclusions as well as recommendations to support the validation of findings. Following this data walk, a presentation of findings, conclusions and recommendations will then be made to a Mission-wide audience followed by a presentation to ACCÉS and the MHA. 13. Scheduling and Logistics MEP Senegal will arrange all logistics for fieldwork. MEP Senegal (for the USAID/Senegal EGO) will request introductory communications for the evaluation team. All appointments will be made by MEP Senegal staff and team members. 14. Dissemination The focus of the dissemination of findings, conclusions and recommendation via presentation, will be done to ensure Mission-wide buy-in and validation of the findings, conclusions and recommendations. The report will be disseminated to USAID/Washington Office of Water and Sanitation. Copies of the report in French will be shared with the MHA and other PTF in the WASH sector. 15. Reporting Requirements It is expected that this report will be drafted and finalized in English and then translated into French. The report itself should not be longer than 20 pages total, excluding the Annexes. A draft evaluation report template is attached to this SOW in Annex IX, which is based on the USAID evaluation report template and guidance (http://usaidlearninglab.org/library/evaluation-report-template and How-To Note Preparing Evaluation Reports - http://usaidlearninglab.org/library/how-note- preparing-evaluation-reports). The report includes Appendix 1, which ACCES MIDTERM EVALUATION REPORT 84 is the Mandatory Reference on Evaluation. The report will be branded with the standard USAID branding requirements and will be formally submitted to the DEC upon approval. Additional copies of the final report in French will be made available to all stakeholders participating in the initial findings briefings. Copies in English will be shared with relevant USG offices. 16. Attached Reference Documents Please check all that apply below. Budget Document review matrix Results framework Response matrix Gantt chart CVs Conflict of Interest Statements USAID evaluation policy USAID evaluation report structure 17. Authorizations The undersigned hereby authorize the following items (checked below) for the Statement of Work (SOW) described above: Completion of the SOW, as described above; SOW staffing, as described above; Concurrence with Contracting Officer’s Travel Approval for the Consultant(s), requested above (if received prior to review). [COR to either sign below or indicate approval in a return email] __________________________________________ ________________ Office Director Date Contracting Officer’s Representative (COR) Date Fatou Thiam, or designate ACCES MIDTERM EVALUATION REPORT 85 ANNEX IV: DESK REVIEW N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Q1 How well is ACCES performing? What is working and what is not working, and why? En 2016, la M&E Spécialiste d’Accès était basée aux US et elle coordonnait les activités M&E à partir des US (Accès AMELP, 2016 pp. 5 and 16) “The goal of Accès is to reach at least 50,000 households in these regions and attain a 50% decrease in open defecation rates in the target households in communes of the six targeted regions. A parallel goal is to ensure that 150,000 people gain access to an improved sanitation facility (WHO+UNICEF JMP definition), and that at least 30,000 people gain access to an improved water supply. To address sustainability and to work within market mechanisms to ensure that 350 water service providers have the necessary technical and financial management skills and processes to manage water systems professionally, and that 50 local governments have an MUS Action Plan to address water needs.” - Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 6 “The activity is using an innovative blend of a CLTS and sanitation-marketing approach, which fully integrates the marketing component in the CLTS training modules used for both activity and national health workers involved in CLTS”. Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 10 The objectives of the Market MDA workshops are to identify the market failures, why is the market failing, what are the root causes of these failures, identify roles and responsibilities for addressing these failures, and developing an action plan for fostering the development of a healthy, thriving sanitation market - Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 12 •66 communautés certifiés FDAL •172,656 personnes touchées par ATPC et BCC •842 latrines vendues •9,262 personnes ayant accès à des installations sanitaires améliorées •30 entreprises proposant des latrines •9 systèmes d’eau réparés à Tambacounda et Matam •23 plans d'action MUS finalisés - Objectif de vente et de construction de latrines à Kafountine, slide 2. Achievements up to now: · Achieving open defecation free (ODF) status in 66 villages out of 76 planned for the period representing 2,331 households and 25,641 people; · Reaching 15,696 households (172,656 people) with Community-Led Total Sanitation (CLTS) and Behavior Change Communication (BCC) activities during the year; · Launching the Sagal[1] latrine direct marketing and sales resulting in 842 latrines sold, corresponding to 9,262 people gaining access to improved sanitation services; 1. M&E Specialist based in the US. 2. 31 October 2018 Update on Results (from Kafountine presentation) - these results look pretty good on paper. What are the growth prospects? 3. The targets for 2019 have been revised based on the work done so far in 2018 and have been agreed to by USAID. 4. Why have some targets (sanitation, cost reductions, hand￾washing, purchase of sanitation products after training, improved toilet construction, CLTS, water service providers trained, hotline calls average dollar value of WASH sales, MUS plans, resource mobilization plans ) fallen below targets? We understand that the model usually has a “hockey stick” growth curve...were the targets unrealistic - i.e. did they not follow this curve expectation? Were they expecting a more linear achievement? The deep question is how to spur infrastructure that reaches the most people over the next 2.5 years and makes up for the lackluster performance of these indicators in the first half of the program and, hopefully, achieve scale. ACCES MIDTERM EVALUATION REPORT 86 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries · Awarding contracts to two construction firms to build drinking-water systems on four PEPAM boreholes in Kolda and Sédhiou; · Finalizing 23 multiple use water service (MUS) action plans; · Completing small repairs on nine existing potable-water systems in Matam and Tambacounda with a total of over 40,000 beneficiaries; and, Implementing a cloud-based data management system (SurveyCTO]) to facilitate data collection in the field and improve data quality through increased verification. - FY 2018 Annual Report The ACCES targets are: 1. 50,000 households reached with CLTS and BCC activities (Where are the number of latrines facilities here?); 2. 50% decrease in the average open defecation rate of the households in the targeted communes across the targeted regions as a result of USG assistance; 3. 50 WASH businesses and/or associations have operational and financial management skills to operate more effectively; 4. Market-based enterprises offering latrine products and services in all six regions; 5. 15 activity-supported businesses in all six regions have secured financing to offer sanitation products and services; 6. 150,000 people gaining access to an improved sanitation facility; 7. 10% of those that gained access to an improved sanitation facility were in the lowest poverty quintile; 8. 38 local governments have a MUS Action Plan to address water needs; 9. 30,000 people gained access to an improved drinking water source; 10. Seven private companies contracted by OFOR to assume the transitional management of technical and commercial operations for potable water systems in the Kolda, Sédhiou and Ziguinchor regions have the necessary technical, financial and commercial management skills to provide quality delivery services. 11. 38 local governments in targeted regions are able to budget for and procure water and sanitation services; and, 12. 12 resource mobilization plans for WASH services are developed by 5 targeted communes and 7 enterprises contracted by OFOR with USG assistance. 30,000 people was target for clean water, 43,000 is actual. Sanitation is another story - target was 51,565 and actual was 6116. Why did this second major goal fall so far below the target? the numbers for “safely managed” sanitation are even further from the target. Open Defecation Free numbers are looking good, 50 areas targeted vs. 66 accomplished in FY18. Hand-washing didn’t meet the target (30% vs 50% as the target), although they have met their goal in people trained in basic hygiene practices. 25% of households use financing to purchase latrines, surprised that this # isn’t higher. ACCES has reduced their actual dollar value for services to $118.43 (target was $94), and there is a way to go before cost reduction targets are realized. ACCES MIDTERM EVALUATION REPORT 87 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Target also not reached for those who purchase sanitation products after being CLTS and other training (1.8% vs. 10% target); # of improved toilets also fell below target (2,426 target vs. 842 constructed); CLTS totals have fallen below targets; mason training and entrepreneur training numbers look good; private sector activity looks strong, finance and management training targets have been met, average dollar value of WASH sales is quite low, # of rehabilitated water systems look good, no activity on water service provider targets, resource provider and MUS have fallen below targets, numbers of people trained in climate change look good); % of women on WASH committees looks good, but not for the president or treasurer positions - PITT ACCES Excel Q2 What is the value added of ACCÉS in the four output areas; specifically: Q2a Demand generated for WASH products and services •Sur la base d’un benchmarking des projets en cours dans le cadre des OMDs jus’en 2015, la banque mondiale a commandité une étude comparative de différents projets aux fins d’optimisation des interventions des bailleurs et partenaires techniques. Cette étude a formulé les principales directives suivantes : • Adopter l’option technologique VIP munie de DLM qui offre plusieurs avantages : coût, facilité d’entretien, matériaux disponibles, disponibilité d’eau. Une attention particulièrement devra aussi être accordée à l'entretien, de maintenance et d’accès à l’eau pour assurer la durabilité des ouvrages. • Promouvoir les approches les plus incitatives pour les populations. L’approche ATPC ne peut suffire en elle￾même. Elle doit être combinée à un suivi, à un appui technique et financier des ménages pour que la prise de conscience et le changement de comportement soit suivi d’un accès aisé à un assainissement amélioré. • Poursuivre et renforcer les sous-programmes de subvention en améliorant le ciblage pour toucher les ménages les plus pauvres et vulnérables avec des interventions appropriés à leur situation socioécocnomique • Pour améliorer l’accessibilité financière des populations rurales à l’assainissement, il faut soutenir les options de financement social (paiement différé pendant les moissons, paiement par moratoire, l’intégration des services d’assainissement à la CMU et facilitation de l’accès aux crédits pour les ménages qui le souhaitent. (Rapport d’étude de l’analyse des performances des programmes d’assainissement rural au Sénégal, December 2015, Konan Christian Yao, p. xi). Les demandes de construction de latrines dans les sites CLTS sont faibles et les fournisseurs de service qu’ils n’ont pas profit avec les prix fixés ($136 à $360), Annual report FY17 p. 25 In November 2017, ACCES developed two references documents related to the integrated CLTS - SANMARK approach, as well as the standards, composition, and operating methods of the village monitoring committees. The documents were shared with the hygiene and sanitation national focal points for review and validation. Validation and dissemination of these documents was planned in November 2017 but has been repeatedly delayed due to the non-availability of the national WASH partners (DA, DH, OFOR, SNH, DGPRE). Nevertheless, this delay has had no impact on ACCES results, as the documents are being used for project implementation. - Annual Report 2018, p. 26. 5. Challenges identified include inability to achieve most sanitation-related targets, slow WASH enterprise development and a poorly functioning hotline. ACCES MIDTERM EVALUATION REPORT 88 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries ACCES was unable to meet the targeted number of sales for primarily two reasons: overly ambitious targets and slow development of WASH enterprises in many communes. ACCES faced challenges in transferring responsibility for commercial sales to enterprises after three months of implementation. Preliminary results indicate that the market needs more time to develop and generate profit margins and that enterprises, despite their improved capacity and desire to manage their sales force, need continued support and coaching in sales strategies and management. Finally, that last challenge is operationalizing the customer hotline. ACCES chose to work with MoH (SNEIPS) national communication services as it is a well-known, reliable and widely used hotline in Senegal especially in hygiene and health. The objective was to integrate their platform with Sagal latrine products and benefit from their visibility among communities. Annual Report 2018 p. 27 Expand the intervention zones enrolling new communes in all six regions. Annual Report 2018 p. 29 Key hygiene interventions are necessary to prevent transmission of fecescontaining, disease-causing pathogens include training on safe stool disposal, safe foodhandling, and hand-washing with soap (especially after contact with feces and before contact with food). Sustained, universal behavior change in these areas can reduce diarrheal disease which results in positive impacts on health and nutrition. In addition to behavior change, there is a need to increase the demand for sanitation and hygiene products and services. To achieve this, it is important to understand the determining factors that drive demand for WASH products and services. Currently, there are studies being conducted by the World Bank’s Water and Sanitation Program (WSP) and also by ACRA-CCS, a local non-governmental organization, on the willingness and capacity of rural Senegalese households to pay for sanitation products and services. These studies and others will better inform the sector and facilitate demand generation. Demand will further increase with the availability of more affordable products and services. Another important aspect of demand generation is changing from a project approach to a private sector approach where people are not beneficiaries but rather clients purchasing products and services for themselves. (Acces Contract p. 21) Implement an at-scale, demand-led CLTS or other approach to achieve and sustain ODF status, especially in the regions with the highest rate of open defecation; Conduct sanitation marketing and behavior change (BC) campaigns in all six regions; Evaluate the efficacy and cost-effectiveness of BC interventions; Support the implementation of the GOS behavior change campaign; Link WASH practices to improved nutrition in the sensitization campaigns; Coordinate with other USAID health and nutrition activities to ensure a harmonized message is communicated. (Acces Contract p. 22) Q2b Increased market￾based provision of WASH products and services Aucune subvention pour la construction et l’entretien des latrines: le secteur privé est mobilisé et accompagné; les populations ciblées sont des clients, non des bénéficiaires, qui achètent les latrines et services d’assainissement - Presentation, General Information, slide 12 95% of households interviewed that purchased Sagal latrines were satisfied with the product, 67% preferred the pour-flush model and 13% the dual off-set pit model; 6. Challenges for entrepreneurs are significant: profit margins for latrine sales continue to be very low. How can this be changed? ACCES MIDTERM EVALUATION REPORT 89 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Most of the households purchasing latrines use their personal finances and prefer to pay in two or three installments; 92% of households interviewed that purchased Sagal latrines were motivated in part, by the communication campaign; and, ·The masons and enterprise selling and building the Sagal latrines have improved their visibility in the communities, have increased their sales and developed new business relationships. - FY 2018 Annual Report, p. 21-22 The principal reasons for client dissatisfaction were the late arrival of materials, delay in latrine construction and constructing a different product than what was agreed upon initially. For example, some entrepreneurs did not construct the superstructure when a expens was ordered. The principal reasons for satisfaction was that the entrepreneur respected deadlines, had the building material available quickly and constructed the desired latrine. - FY 2018 Annual Report, p. 22 BDS incluant formation en gestion financière et opérationnelle, marketing des produits et planification ont été identifiés comme activités pouvant permettre d'accroître le nombre et la capacité des fournisseurs de service, Accès SOW p. 22 The process of identifying, selecting and training entrepreneurs is continuous and implemented throughout the targeted regions; it includes the following steps: 1. Identification of private sector actors in collaboration with regional Chambers of Commerce; this is an ongoing activity and as the activity grows and entrepreneurs gain awareness, additional entrepreneurs will be identified. 2. Assessment of entrepreneurs’ capacities to evaluate the entrepreneur personal details, qualifications, training, etc.), and the business (legal status, products/services delivered, administrative organization, logistics, finance, human resources, expertise and experience, reputation, etc.). Based on the assessment, each entrepreneur’s training needs are identified, and a plan is set-forth to be implemented during coaching. 3. Entrepreneur training in basic entrepreneurship, marketing for visibility, basic accounting principles, selling techniques, and stock management and coaching, either individually, or in small homogeneous groups with similar capacity building needs. Where appropriate, Accès will help some of the larger, better-managed businesses, to develop a business plan. · Strengths 1. Endorsement of the market development approach by trade associations who are very committed to facilitating collaboration between Accès and their members; 2. Many entrepreneurs are highly committed to the approach, and have even set up their own sales force, trained by Accès; and, 3. Entrepreneurs have used their own resources to develop prototypes and iterate latrine models whenever necessary. · Challenges Low-volume for demand in rural areas. 7. Has ACCES been able to fund latrines using Corporate Social Responsibility or remittances? ACCES MIDTERM EVALUATION REPORT 90 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries 1. Many entrepreneurs found the profit margins for latrine sales to be very low; 2. Entrepreneurs are not interested in low-volume, isolated demand from remote areas, given the perception of a low profit potential; 3. Entrepreneurs have little or no financial capacity, and limited access to financing that would allow them to take on significant demand; 4. Entrepreneurs lack confidence in households’ ability to pay; 5. Entrepreneurs must invest about 300.000 FCFA (USD $600) to acquire the minimum tools and equipment necessary to build latrines; and, 6. Lack of confidence among households/consumers that construction will actually occur once an advance is given to the entrepreneur (this is based on some past experiences where subsidized sanitation projects took household advances and latrines were, for diverse reasons, never built). - Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 13-14 Latrine prototype development/selection of new designs is and remains necessary because the existing latrines in Senegal are expensive and difficult for rural households to purchase. The adaptation of two USAID-PEPAM approved latrine prototypes was finalized since March 2017. The adapted prototypes use local materials such as “geobeton” to reduce the costs of the superstructure. The infrastructure is harder to innovate, given the high standards dictated by the Sanitation Directorate and PEPAM. Early in FY 2018, Accès will discuss with the GoS and other sanitation sector partners about the need to explore more cost￾effective options for improved infrastructure. - Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 13-14 Why concrete rings? The concrete rings (Figure 4) were tested on the hypothesis that the latrine unit price would decrease significantly; however, while there has been some decrease in the cost, it is not as much as had been initially expected. As the volume of orders increases and ring production volumes increase, the latrine price may decrease further. - FY Annual Report 2018, p. 12. Pour les moules, l'approche est par commune. Chaque commune dispose d'un jeux de moule. Et un jeux moule restant qui tourne selon le nombre de commandes. Un jeux de moule est egal a 4 pieces (deux moules d'infiltration, un moule de raccordement et un moule de dalle). Au total 18 communes marche ont recu. L'appui en moule est fait pour la production en serie de buses, et ce n'est un don. Ils n'appartiennent pas aux entrepreneurs. Les entrepreneurs touches actuellement sont: • Moussa Diop a Bokidiawe, Region de Matam: • Aby Diop a Agnam Civol, Region de Matam : • Lamine Sy a Kidira, Region de Tamba, • Amadou Thiam, Koumpentoum, Region de Tamba • Mamadou, Goudiry, Region de Tamba • Varore a Kolda, Region de Kolda • Emile Sambou Kafountine, Region de Ziguinchor ACCES MIDTERM EVALUATION REPORT 91 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries • Marcel Sadio, Samine, Region de Sedhiou • Alain Balacoun, Goudomp, Region de Sedhiou • Moustapha Camara, Marsassoum, Region de Sedhiou (Email, Fatou Dieng, ACCES/NRCE, 18 December 2018) Q2c Improved provision and management of multiple use water systems Accès doit aider OFOR à améliorer ses capacités institutionnelles et à développer un système de suivi￾évaluation pour gérer les contrats des DSP et une plateforme de collecte des données, Accès SOW p. 26 In FY 2017, Accès tested and characterized the 8 PEPAM boreholes in Ziguinchor, Sédhiou, and Kolda. These activities involved a local drilling contractor, Sara Materiaux. Throughout FY 2018, Accès will support the selected communes in developing plans for mobilizing financial resources in the WASH sector, in collaboration with GOLD. The target for FY 2018 is to build the capacity of at least 100 water service providers. - Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 20-22. Risk - Local governments are not able to access commercial financing and the Accès Activity, therefore, cannot influence this result. Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p.41. Through these small water-system repairs and the upcoming construction of water systems at four PEPAM boreholes in Kolda and Sédhiou, ACCES will surpass its target of “30,000 people gained access to an improved drinking-water source” to reach an estimated 43,000 beneficiaries. Moreover, with the completion of the repairs in Matam and Tambacounda, the target of 30,000 beneficiaries has already been achieved. The final report on the inspection, testing and approval of the water-system repairs will be submitted in early FY2019.- FY 2018 Annual Report, p. 18 This component of the project will focus on the sustainability of water systems throughout the targeted regions. Emphasis will be on planning, using a MUS approach, as well as improving the management of the water-supply systems. To ensure the sustainability of investments in water infrastructure, a robust feasibility analysis and cost benefits analyses must be completed for all the new and existing systems in the communities where the project will work before any new construction is implemented. In certain cases, the project will help finance the construction of small to medium-scale water infrastructure and the extension of existing systems to improve their economic viability. The use of various innovative financial mechanisms will be promoted. (Acces Contract p. 24) Year 1-2: Develop communication and decision making tools to address MUS needs; Assist the Department of Hydraulics and the Department of Water Management to evaluate the capacity of existing water tables to supply water for productive uses. Work with communities to develop a water demand management plan for all uses; Train the agents of the Department of Hydraulics and OFOR, at both the national level and the regional level, in the importance of cost benefit analyses for viability of water systems; 8. A meeting with GOLD would be useful to understand the extent of cooperation on output 3. 9. Need to determine whether local governments have been able to receive financing. ACCES MIDTERM EVALUATION REPORT 92 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Conduct financial feasibility analyses with the service providers for existing systems and with the Department of Hydraulics and OFOR for new water infrastructure systems it may be developing with other donors; Identify opportunities for public-private partnerships between local government and the private sector that increases access to improved water and sanitation services27; Procure the construction of 828 medium-sized water systems that remain from USAID/PEPAM; (Acces Contract p. 24-25) Les Groupements de Promotion Féminine (GPF) : Pour mieux s’impliquer dans le processus de développement local et prendre en charge leurs problèmes, les femmes se sont organisées en GPF qui constituent un cadre qui permet aux femmes de mieux participer aux prises de décision. Il existe plusieurs GPF mais les plus dynamiques sont – NIENEDAYE et HERAMAKONO. Ils interviennent dans le secteur de l’agriculture, du maraichage, et la commercialisation des produits agricoles. La faible formalisation, le faible niveau de capacités techniques et organisationnel, le manque de partenaires financiers constituent les goulots d’étranglement de ces OCB (Organisations Communautaires de Base) féminines. (MUS Action Plan Kothiary, p.20) Le plan d’action MUS de la Commune de Kothiary est un instrument de planification décennal (2018-2027). Il constitue un cadre d’intervention dans lequel seront définies toutes les stratégies et actions devant sous tendre un développement harmonieux et équilibré de la commune dans le secteur de l’eau à travers ses usages multiples. Le système des MUS comprend les différents usages de l’eau pour les services de drainage et d’irrigation des terres, les usages domestiques, l’eau pour le bétail, le maraichage et l’eau pour les usages commerciaux et industriels. Le plan d’action MUS vise les objectifs spécifiques suivants : Définir pour un horizon temporel décennal (10) ans les options fondamentales de la politique hydraulique locale ; • Etablir un diagnostic technique portant sur les ressources des eaux souterraines et de surface de la commune ; • Déterminer les caractéristiques physiques, climatiques, données socio-économiques, démographiques, des équipements et infrastructures hydrauliques ; • Mettre en évidence dans une démarche analytique les atouts et les potentialités de la commune en matière hydraulique; • Idenfitier les contraines et insuffisances rencontrees. • Elaborer un programme d’investissement participatif et consensuel sur la base des priorités définies par tous les acteurs locaux; • Déterminer les moyens (financiers, humains) nécessaires à la mise en oeuvre du MUS et la forme de participation de chaque acteur (conseil municipal, populations, Etat, partenaires au développement, etc.) ; ACCES MIDTERM EVALUATION REPORT 93 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries • Adopter des mécanismes de suivi évaluation des investissements et de mise en oeuvre du plan d’action MUS. (MUS Action Plan Kothiary, p.10) During FY2019, ACCES plans to complete the achievement of all Output 3 targets, including the construction of four new water systems in Sédhiou and Kolda, the production of 15 multiple use water service (MUS) water action plans bringing the total to 38 communes having a MUS action plan and the training of 15 communes to budget for and procure water and sanitation services. We will organize training for seven firms with delegated service contracts from OFOR in Ziguinchor, Sédhiou and Kolda to improve the necessary technical, financial and commercial management skills to provide quality delivery services and develop resource mobilization plans. ACCES will continue to collaborate with USAID-GOLD to produce an educational booklet on sanitation and hygiene. By the end of FY2018, a total of 23 MUS Action Plans will have been finalized based on the same approach of fieldwork and consultations. ACCES has made a contractual modification request to reduce the number of completed MUS action plans to 38 from 50. By the end of FY2019, ACCES will complete an additional 15 MUS Action Plans in Kolda and Sédhiou regions (Annex B). ACCES has requested a contract modification to change the target to “12 resource mobilization plans for WASH services are developed by 5 targeted communes and 7 enterprises contracted by OFOR with USG assistance”. In FY2018, ACCES completed 5 fiscal mobilization plans for 5 communes. ACCES will use the reduction in the target to shift the resources and LOE to water and sanitation advisory services to improve WASH market development. Thus, ACCES will assist seven companies contracted by OFOR to manage potable-water-supply boreholes in the Casamance in terms of planning and improving their financial and commercial skills, as well as developing a resource mobilization plan (See section 2.3.2). – Work Plan 2019 Addendum p. 5-7 Q2d Improved enabling environment for equitable delivery of quality WASH systems La sélection des 48 communes cibles s’est faite de manière participative avec les autorités administratives, les représentants des autres partenaires techniques et financiers, et autres partenaires WASH, Annual report FY17 p. 17 Les activités CLTS (ATPC) ont été menées en collaboration avec la BRH, SRA - 19 de leurs agents ont été formés sur l’approche CLTS et le Sanitation Marketing SanMark, Annual report FY17 p. 23 During the reporting period, ACCES held four coordination meetings with the Sanitation Department (DA), which resulted in: (1) improved harmonization between subsidized and market-based interventions with among different organizations (EU, AGETIP, GRET, ENDA, and others); (2) solving issues identified in the ACCES and EU projects working in parallel at the Gouloumbou site (Tambacounda), (3) presenting the Sagal communication campaign and obtaining feedback; and, (4) conducting a rural subsidy scheme desk review, prepared by ACCES and the EU.- FY 2018 Annual Report, p. 19 ·Provision of gender-sensitive governance, such as respect for the law on equality and justice; ·Equitable participation of women and men in decision-making, formulation of action plans (at commune level), planning and administration (respecting the legal framework for equality in the instances); ·Equality in decision-making in contracts, consulting services and water-system maintenance and operations; ·Equal distribution of benefits so that neither men nor women hold a dominant position; and, 10.We need to know the results of this collaboration with the government at various levels. 11.Entrepreneurs seem to be a major source of dissatisfaction with the construction of the latrines. Some have even taken money and then not fulfilled their promise to construct a latrine. Others have not constructed them according to the specs. This is a problem that must be explored in our recommendations. 12.There seems to be significant progress made on gender issues, especially in governance and participation. The Plan d’Action Genre is 4 pages long. ACCES MIDTERM EVALUATION REPORT 94 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries ·Equality in the control of factors of production (integrating the needs of women, young people and those with disabilities who are involved in agriculture, livestock production, or the supply of water).It has been noted that, in general, at ACCES’ CLTS sites, women’s level of education can be a limiting factor in their ability to grasp the role and responsibilities of the committee. Thus, it is necessary that community-based agents who speak the local language be trained on how to work with women; they must be present during the sessions. FY 2018 Annual Report, p. 24-25 32% (245/755) of all latrines were purchased by women. 33% of all latrine sales have taken place in Ziguinchor, followed by Matam (134/755, or 18%), and Kolda (127/755, or 17%) Average cost of TCM is 140,198. Average cost of LV is 39,394. Average cost of DLV is 64,167. Average cost of all three is 97,501. Only 32 people in total (4%) have purchased an LV. The majority have purchased a DLV 382/755 (51%), followed by TCM 341/755 (45%). Ziguinchor is responsible for 45% of TCM sales (152/341), but also mostly responsible for 56% of LV sales (18/32). Kolda and Ziguinchor are responsible for 54% of all DLV latrine sales (206/382). For those with an épargne the average value is 61,644 – only 82 of 755 latrines were funded in this manner (11%) – however, the excel document also says that 660 were funded with an épargne, and 46 of these 82 (56%) were in Ziguinchor alone and Kafountine is responsible for 93% of these sales (43/46). Only 1 latrine was paid for with remittances. 88 latrines were financed with credit (12%), with an average value of 64,952 – only 1 of these orders complemented credit with an epargne. (Latrines Vendues Communes) December 18 2018 Latrine Sales: 1211 total latrines constructed, of which 38% are DLV, 36% TCM, 12% are semi-ameliorée, 10% are LV, 4% Sato-Dalle. 26% of all orders came from women. On average, DLV costs 108,401 CFA. LV costs 48,547 CFA. Sato-Dalles cost 39,094 CFA., TCM costs 166,156 CFA. Semi-ameliorée 12,965. 118 (10%) latrines were sold using formal credit (CMS), with an average loan value of 63,127 CFA. 482 individuals (received informal credit (from SILCs or other local groups) to purchase their latrine, with an average loan of 48,937 CFA. 437 (36%) of latrine sales were funded at least partially by savings (épargnes), with an average contribution of 66,539 CFA. Ziguinchor accounts for the plurality of latrine sales (34%), followed by Matam(19%) and Kolda (16%). (Liste des ventes MSI, Fatou Dieng, ACCES/NRCE) There is a need for an explicit focus on governance, institutional strengthening, and evidence-based decision￾making to enable local, regional and national government actors to support the provision of quality service delivery in the WASH sector. This is also necessary to enable the private sector to flourish. OFOR will need targeted assistance as they implement the reform in the southern zone. (Acces Contract p. 25) Planning, procurement, management and oversight are basic functions of local governments for any sector. USAID/Senegal is planning to implement a governance integration activity, in four of the six regions where ACCES will be implemented, to increase the capacity of local governments to improve the provision of services at the commune level. The four regions are Kolda, Sedhiou, Kedougou and Tambacounda. The selection of governance integration activity sites will be a coordinated process with the different USAID teams and partners implementing in the same regions. (Acces Contract p. 26) Support the Coordination Unit of PEPAM (UCP) to improve overall coordination of the water and sanitation sector and assist in developing an umbrella initial environmental examination (IEE) for the sector; Support the operationalization of OFOR with any necessary studies and/or technical assistance; ACCES MIDTERM EVALUATION REPORT 95 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Help OFOR identify the most viable areas for private sector management of water production; Assist OFOR to determine a management model for small-scale water systems; Assist OFOR to develop a cloud-based data collection and monitoring and evaluation system to manage the performance-based contracts with the private sector; Advocate for policies to reduce and better target sanitation subsidies; Advocate for policies to improve the value chain in water and sanitation; (ACCES Contract p. 26) The Contractor shall ensure that activities are responsive to gender considerations, and the assistance provided and results achieved are beneficial to women and girls. Women’s participation in decision-making will be enhanced and encouraged in this project. In addition, the Contractor will look for opportunities to develop the capacity of women entrepreneurs to participate in the water, sanitation and hygiene supply chains. This component of the activity has the potential to benefit women and children directly from increased income-generating opportunities. Women’s role of educating children to appropriate hygiene behavior makes them primary allies to enroll in various BCC activities. (Acces Contract p. 20). La stratégie genre proposée contribuera à accroître de manière durable l’accès aux services et biens WASH des hommes et femmes dans la zone d’intervention la prise en compte à travers les besoins pratiques et les intérêts stratégiques. Les recommandations portent : Dans le cadre de la mise en œuvre de la stratégie genre 1. Mettre en place le plan d’action genre à partir des cinq axes stratégiques proposés ; 2. Développer des partenariats stratégiques avec les programmes, projets et institutions intervenant dans la zone d’intervention (avec les élus locaux) Au niveau de la gestion du Projet Accès 3. Former l’équipe du projet et ses partenaires aux enjeux spécifiques aux femmes sur les questions de genre dans le WASH ; 4. Promouvoir l’égalité de chance dans les postes de décisions (comité de gestion/ASUFOR, comité de santé, comité d’hygiène etc.). Au niveau des bénéficiaires 5. Implication des femmes et des jeunes dans le choix de sites ; 6. Mise en place de crédits villageois pour les femmes ; Mise en place de bons systèmes marketing de produits WASH (Plan d’Action Genre) Accès collabore avec certaines agences gouvernementales au niveau central et régional, ainsi qu’avec des projets tels que Naatal Mbay, d’autres partenaires techniques et financiers tel que UE, CTB, LuxDev, GRET, ACRA et Croix Rouge, Annual report FY17 pp 14-15 ACCES MIDTERM EVALUATION REPORT 96 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Q3 What types of institutions are needed to ensure the sustainability of a WASH market in targeted communities? Existence of: at least one qualified, motivated and dynamic entrepreneur, masons to engage in latrine and or toilet construction, local savings or commercial groups, and at least one formal financial institution. - FY 2018 Annual Report, p. 11 Le Programme ACCES devra tenir compte du profil de pauvreté des ménages en développant une approche mixte ou hybride fondée sur trois principes : mobiliser-conscientiser-accompagner. L’accompagnement sera sous forme d’appui à l’initiative individuelle ou communautaire via un système de microcrédit pouvant permettre aux ménages de disposer de latrines améliorées Nous recommandons fortement l’approche hybride développée dans le cadre de l’USAID PEPAM. La distance réglementaire de 15 mètres doit être respectée entre les ouvrages d’assainissement et les sources d’eau. Le programme doit former les comités de gestion ATPC sur le plan de gestion de la sécurité sanitaire de l’eau qui permet d’identifier l’ensemble des sources de contamination des points d’eau afin de prendre des mesures et lutter efficacement contre les maladies diarrhéiques. Les ouvrages d’assainissement doivent inclure des bacs à laver pour permettre une gestion des eaux de cuisine et de lessive. Les ouvrages d’assainissement améliorés doivent avoir la capacité de prendre les eaux de douche. (Rapport Final ODF Survey 2016, p. 16). Le recours aux maçons locaux est un gage de pérennisation et de réplicabilité : renforcer les capacités des artisans locaux, organiser les acteurs locaux en les associant dans des entreprises formelles pour capter des marchés dans le domaine de l’assainissement et répondre à la demande (Rapport Final ODF Survey 2016, p. 17). Le secteur privé local est mal organisé et souvent constitué d’individualités formées aux techniques de latrinisation dans des programmes ATPC ou de subvention de latrines. Pour disposer d’un secteur privé pour répondre à la demande que le marketing social génère, nous suggérons un vaste programme de renforcement de capacités des acteurs privés par la mise en oeuvre du processus suivant : impliquer la chambre des métiers dans le recensement et le processus de capacitation des artisans locaux, associer et formaliser sur le plan administratif les artisans locaux intervenant de façon éparse. Chaque entreprise devra disposer d’un statut juridique, former et capaciter les associations d’artisans sur les règles comptables et de gestion d’entreprises, mettre en place un fonds de garantie pour faciliter l’accès des groupements d’artisans au crédit pour l’équipement et la réalisation des marchés. La génération de la demande devra permettre in fine une meilleure représentation des détaillants (quincaillers dans les différents villages) notamment dans la région de Matam. L’objectif étant de réduire les distances que les clients sont obligés de faire dans des conditions difficiles (impraticabilité des pistes) pour s’approvisionner au niveau des villages centres. Le programme devra mettre en place un dispositif de facilitation pour rapprocher les quincaillers des zones d’achat. Il s’agira principalement de mettre en place des centrales d’achat qui pratiqueraient des prix homologués et qui pourraient bénéficier d’une forme de subvention de la part du programme. Dans chaque région, une analyse fine devra être faite pour l’implantation de ces centrales d’achat en fonction des zones 13.ACCES pays the per diem, transport and lodging for the government entities with whom it has signed MOUs. ACCES MIDTERM EVALUATION REPORT 97 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries déficitaires et également par rapport au réseau de voirie existant et des contraintes d’accès à certaines localités en période hivernale. (Etude d’état des lieux du marché de l’assainissement dans les régions de Ziguinchor, Sédhiou, Kolda, Tambacounda, Kédougou et Matam, ADEMAS, p. 69) Recommandation 6 Comme rappelé précédemment, le marché de l’assainissement est noyé dans un grand marché de la construction. Ainsi, toutes les fluctuations des prix notammentdans le secteur de l’immobilier pourraient agir sur le renchérissement des coûts de réalisation des latrines. Aussi, il est de rigueur de constater que les ménages en zone rurale présentent un profil de pauvreté très précaire qui fait que l’assainissement ne soit pas inscrit dans les priorités d’investissement du ménage. Dès lors, pensons-nous fondamentalement qu’il est nécessaire qu’un accompagnement des ménages, particulièrement des ménages les plus vulnérables, soit privilégié par la mise en place d’une centrale d’achat dans les départements ou arrondissements faiblement couvert par les gros quincaillers. Sur le plan opérationnel, des conventions seront signées avec les fabricants de matières premières comme la SOCOCIM, les Cimenteries du Sahel et Dangote, la CCS, le groupement des transporteurs, etc. afin de proposer des prix concurrentiels au secteur privé sous forme de subvention et d’obtenir une réduction substantielle des coûts des latrines. Chaque centrale devra être certifié et agrée et avoir la capacité de fournir tout un arrondissement en intrant sur la base d’un stock d’intrant dimensionné en fonction de la demande locale. Le Ministère en charge du commerce assurera le contrôle des prix pratiqués au niveau des centrales d’achat afin d’éviter toute surenchère pratiquée par les commerçants. (Etude d’état des lieux du marché de l’assainissement dans les régions de Ziguinchor, Sédhiou, Kolda, Tambacounda, Kédougou et Matam, ADEMAS, p. 70) La prise en charge de la DH (per diem, transport, hébergement) de la DH et les DRH (Protocol de Partenariat p. 4) De robustes études de faisabilité et des analyses coût/bénéfice doivent être faite pour tout existant ou nouveau système pour assurer la durabilité des investissements, Accès SOW p. 24 Q4 What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? What is the ideal mix of resources for the The Accès Activity bases its financing strategy on existing market mechanisms, including group and community savings and loan services, microfinance institutions (MFIs) and supplier credit... In the peri-urban markets, Accès has identified several micro businesses interested in servicing higher-volume demand for latrine construction. These businesses will, in some cases, require financing in the form of loans to purchase materials, molds, and other tools and inputs. Once businesses have latrine construction orders, demonstrating viability and profitability, they can approach a lender with greater chance of funding success...Some larger businesses have requested guarantees for their loans; the need and availability for a guarantee mechanism will be explored more deeply during the first quarter of FY 2018; this opportunity will depend on market options available for existing guarantees at financial institutions that could potentially be used for SMEs interested in the sanitation sector. During the first quarter of FY 2018, Accès will meet with the Fonds de Garantie des Investissements Prioritaires (FONGIP) and possibly other financial guarantors in the market. Accès has met with WASH-FIN to explore collaboration, however their current financial 14. Access to financing still remains an issue for the project ACCES MIDTERM EVALUATION REPORT 98 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries project to have to achieve its targets? mechanisms and project orientation are not compatible with the needs identified in the rural market. Accès has an available funding line of US$130K, which may be used in FY 2018 to: (1) develop, adapt, test new financial services or products in collaboration with an MFI; and/or, (2) offset some of the latrine costs during “flash sales” to generate demand (in this scenario, Accès would provide a small subsidy to the mason or entrepreneur to offset the sales price). Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 16-17 Accès was conceived with the assumption that savings and lending groups would play an important role in household latrine financing. Savings and lending groups provide valuable financial services to communities including: (1) capital accumulation for investment in income generating activities; (2) savings for future needs like school fees; (3) income smoothing; and, (4) micro-loans to create or increase business activities. To ensure that a group member does not deplete their capital, which is better used for income generation, Accès is encouraging savings and lending groups to: 1. Divert some portion of income generated from business activities to a specific latrine savings account; 2. Borrow against existing savings to purchase a latrine provided that the revenue stream from income generating activities (IGA) is sufficient to cover loan reimbursement; 3. Use the group’s shared capital fund (if it exists) as a deposit against a loan from a microfinance institution to provide loans for IGA and to pay for multiple latrines for group members – this could be done several times until all members have a latrine. This strategy would work primarily with mature groups who have accumulated shared capital. This option could also be applied as an income generating activity for the group by purchasing latrines and reselling to group members; and, 4. Innovate internally to find an investment strategy that fits with the groups’ goals and by-laws. Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 17 In addition to community-based savings and loans groups, Accès is exploring ways to leverage remittances for sanitation investments. In certain communes, like Agniam Civol, Bakel, and Diarwa, which traditionally use remittances for both private and public investments, through community and neighborhood meetings, Accès will explore discussions with mayors and migrant associations regarding opportunities for leveraging these resources. Likewise, during FY 2018, Accès will research and test a financing/subsidy mechanism for the poor by exploring the following ideas: 1. Migrant remittances: work with migrant associations to direct their resources towards the financing of sanitation products and services for the poorest. 2. Corporate social responsibility: work with private sector actors’ corporate social responsibility departments to identify potential financial or material contributions that could be used towards subsidizing latrine construction for the poorest of the poor. Other potential contributions could include WASH products or materials, such as soap or cleaning products, that could be used as prizes to incentivize community participation in radio campaigns or WASH community day events. 3. Advocacy: mayors to provide a subsidy in their budget for the poorest households; this could also be linked to remittances channeled through the commune or in collaboration with mayors Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 18. ACCES MIDTERM EVALUATION REPORT 99 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries Some of the main challenges facing Accès regarding financing options include: 1. Financial institution’s knowledge and understanding of the sanitation sector as a business opportunity – Accès is continuing with meetings between MFIs and businesses to improve this understanding and awareness; 2. Appropriately-priced (affordable) latrine products readily available, which impedes the development of volume demand – Accès has been working to develop affordable and adapted latrine prototypes for a variety of client needs and physical environments and providing sales training to community based agents and masons; 3. Available capital for perceived medium to high-risk lending – while the loan amounts are relatively low, investment loans for rural households with no credit history and limited/sporadic income has a high likelihood of default; and, 4. Lack of financial education of the rural households can limit the MFI interventions. To address these challenges in FY 2018, Accès will: 1. Continue to research and innovate lower-cost latrine options; 2. Test different financial products and non-lending options for latrine purchases; and 3. Launch financial literacy campaign among targeted population. In addition to the above actions and pilot tests, Accès will continue to research and identify potential funders in the WASH sector like WASH FIN and www.water.org to facilitate access to financing for financial service providers interested in the sanitation sector. To this end, Accès will explore the opportunity to organize a national workshop on Financial Services in the WASH sector in the second quarter of FY 2018. This workshop will be an opportunity to bring together all stakeholders in the WASH sector: donors, financial services, industry, NGOs and communities to explore avenues that address the challenges to financing the sanitation sector. Accès Annual Work Plan FY 2018 (October 2017 – September 2018), p. 18. 150,000 people gaining access to an improved sanitation facility, translating to 13,636 latrines, of which 10% are in the lowest poverty quintile.- FY Annual Report 2018 Access to financing remains an issue for entrepreneurs in selected communes, and resulting cash-flow issues that limit their ability to purchase the necessary inputs to build latrines; Many consumers lack enough cash to pay the full price of a latrine in one or two installments; a lower-cost entry-level latrine product offering will be developed. - FY Annual Report 2018, p. 10. One challenge to implementing a market-based service delivery model is access to financing for service suppliers and consumers. This is particularly difficult in rural areas where population density is lower, economic activities are fewer and generate lower margins, and distances greater for provisioning construction materials. Loans to very small, often informal businesses is particularly challenging – the businesses are reluctant to take on debt for very low margin activities until there is sufficient volume to ensure that they can pay back the loan; banks and microfinance institutions analyze debt worthiness based on capacity to repay and are therefore reluctant to loan for low margin activities unless there is proof of ACCES MIDTERM EVALUATION REPORT 100 N° Questions d’évaluations Résultats pertinents/réponses partielles trouvés dans les documents Conclusions and Additional Research Inquiries additional revenue streams or a physical guarantee and/or a co-signer on the loan. - FY Annual Report 2018, p. 14. As the private sector in sanitation and water supply is currently limited in Senegal, the activity will offer business development services (BDS), including financial and operational management training, product marketing and planning and other support as identified by the businesses in order to expand the number and quality of actors in the sector. Building on lessons learned from the USAID/PEPAM project, the small rig drilling sector will continue to be supported and further research will be conducted to reduce costs of water supply infrastructure. Due to the intermittent conflict in the Casamance, international and even national level businesses often find it too risky to operate there. Building up the local private sector, such as the rig-drillers, is a way to ensure provision of services, whether in construction of infrastructure or operation of water supply. The Contractor is encouraged to partner with businesses already operating in the water sector in Senegal as much as possible and look for innovative business models to ensure a private sector approach that is sustainable. Limited access to financing for service providers and buyers of services is one need that is already known and will be addressed by the Contractor by working with banks, microfinance institutions (MFIs), local organizations and associations, and local private sector to offer appropriate loans or create, revolving funds or other innovative financing mechanisms. This will enable community members to buy a latrine, shower, and/or hand washing station that suits their needs without having to pay the full cost up-front, and also encourage the growth of the private sector to expand provision of these services. (Acces Contract p. 22) In Year 1 and 2: Conduct a WASH market and stakeholder analysis to identify existing businesses, their specialties and capacities, and new business opportunities; Building upon the technologies from USAID/PEPAM to increase efficiencies and reduce cost, conduct research and development of new water infrastructure techniques and materials; Utilize customer-oriented approaches to develop new and improved sanitation products and services to reduce costs; Develop partnerships with financial institutions for the development of financial products and services dedicated to the WASH sector; Provide training to banks so they better understand the water and sanitation sector, and the risks and opportunities for financing; Test innovative financing mechanisms to increase the purchasing power of consumers, and the operations and expansion of WASH businesses, ASUFORs, and/or service providers; Work with local associations (i.e. women’s groups) to facilitate the creation of savings groups and/or revolving funds and provide them financial management training to manage these thereby increasing their purchasing power for water and/or sanitation products; Test different approaches for subsidies in order to increase access to sanitation services; Build the capacity of manual-well drilling operators to provide services in the target regions; (Acces Contract p. 23) ACCES MIDTERM EVALUATION REPORT 101 ANNEX V: DATA COLLECTION INSTRUMENTS ACCES Mid-Term Performance Evaluation INTERVIEW WITH USAID/SENEGAL AND DAKAR ACCES STAFF Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. ACCES MIDTERM EVALUATION REPORT 102 A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? 1. To what extent is ACCES accomplishing the project’s main objectice of “sustainable acces to quality water and sanitation increased and improved hygiene practices adopted in targeted communities”? Dans quelle mesure ACCES est en train de réaliser l'objectif principal du projet - “l’augmentation de l’accès qualitatif et durable à l’eau et à l'assainissement et adoption de meilleures pratiques d'hygiène des communautés ciblées”? 2. What have been the most significant results achieved by the project? Why? Quels ont été les résultats les plus significatifs obtenus par le projet? Pourquoi? 3. What are the strengths of the project and how can they be further strengthened? Quels sont les points forts du projet et comment peuvent-ils être encore renforcés? 4. In what areas have significant results been most limited? Why is this the case? Dans quels domaines les résultats importants ont-ils été les plus limités? Pourquoi est-ce le cas? 5. What are the weaknesses of the project and how can they be reversed or minimized? Quelles sont les faiblesses du projet et comment peuvent-elles être inversées ou minimisées? 6. Are there additional obstacles that need to be overcome and how should they be resolved? Y a-t-il d'autres obstacles qui doivent être surmontés et comment devraient-ils être résolus? 7. Are there additional opportunities that the project can leverage to accomplish its objectives? Y a-t-il d'autres opportunités que le projet peut exploiter pour atteindre ses objectifs? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 8. What was the state of WASH across Senegal before ACCES began implementation? Quel a été l'état de référence du WASH au Sénégal avant le démarrage de ACCES? 9. How has that changed since the arrival of ACCES? Comment cela a-t-il changé depuis l'arrivée de ACCES? 10. How has ACCES added value to each of the four output areas? (A, B, C and D above) Comment ACCES a-t￾il ajouté de la valeur à chacun des quatre domaines de production? (A, B, C et D ci-dessus) 11. To what extent has the project reinforced the financial and technical capacity of beneficiaries and clients? Dans quelle mesure le projet a-t-il renforcé la capacité financière et technique des bénéficiaires et des clients? 12. Has ACCES passed actual cost savings to consumers? How? If not, why not? How much cost savings, on average, have households realized? ACCES a-t-il transmis les économies de coûts réelles aux consommateurs? Comment? Si non pourquoi pas Combien d'économies de coûts, en moyenne, les ménages ont-ils réalisées? ACCES MIDTERM EVALUATION REPORT 103 C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? 13. Which specific institutions are most likely to improve the sustainability prospects of the ACCES project? Quelles institutions specifiques sont les plus probables pour assurer de meilleures perspectives de durabilité pour le projet? 14. How can ACCES optimize cooperation with these institutions to leverage their benefits? Comment le projet peut-il optimiser sa coperation avec ces institutions pour maximiser les avantages? 15. What should ACCES start, continue, or stop doing to increase the chances of sustainability of the WASH market? Que devrait commencer, continuer ou cesser ACCES pour augmenter les chances de durabilité du marché WASH? 16. Which gaps have been identified as weaknesses in service provision that can disrupt the sustainability of the WASH market after the project closes? Quelles sont les faiblesses identifiées dans la fourniture de services qui peuvent affecter la durabilité du marché WASH apres la fin du projet? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? 17. What resources are being underutilized by the project? Quelles ressources sont sous-utilisées par le projet? 18. What additional resources does ACCES need to accomplish its objectives by the end of the project? Quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? 19. What are the financial, physical, organizational, institutional, intellectual, and technological assets that project has used to accomplish its objectives? Quels sont les atouts (actifs) financiers, physiques, organisationnels, institutionnels, intellectuels et technologiques que le projet a mis en œuvre pour atteindre ses objectifs? 20. How efficiently were these resources utilized during the project implementation? Dans quelle mesure les ressources ont été utilisées de manière efficiente pendant la mise en œuvre du projet? E. ADDITIONAL QUESTIONS FOR UNIQUE ACTORS QUESTIONS SUPPLÉMENTAIRES POUR DES ACTEURS UNIQUES ACCES Sagal Communications Lead: What are the components of the Sagal communications campaign? How do you measure the success of the communications campaign? What are the weaknesses of the campaign, and how can these be minimized? What additional resources do you need to improve the success of the communications campaign? Quelles sont les composantes de la campagne de communication Sagal? Comment mesurez￾vous le succès de la campagne de communication? Quelles sont les faiblesses de la campagne et ACCES MIDTERM EVALUATION REPORT 104 comment peuvent-elles être minimisées? De quelles ressources supplémentaires avez-vous besoin pour améliorer le succès de la campagne de communication? ACCES Disapora Funding Lead: What is the main objective of securing funding from the Senegalese diaspora? How will you go about finding these diaspora members? Do you have any lessons learned or results to share? Quel est l'objectif principal d'obtenir un financement de la diaspora sénégalaise? Comment allez-vous trouver ces membres de la diaspora? Avez-vous des leçons apprises ou des résultats à partager? ACCES Technical Expert in Ziguinchor (Baboukar): What was the cost of latrines in Ziguinchor before ACCES arrived? Do you have documentation to prove this? Has ACCES passed actual cost savings to consumers? How? If not, why not? How much cost savings, on average, have households realized between the time before ACCES and now? Quel était le coût des latrines à Ziguinchor avant l’accès à ACCES? Avez-vous de la documentation pour le prouver? ACCES a-t-il transmis les économies de coûts réelles aux consommateurs? Comment? Si non pourquoi pas Combien d'économies de coûts, en moyenne, les ménages ont-ils réalisées entre le temps avant ACCES et maintenant ? ACCES MIDTERM EVALUATION REPORT 105 ACCES Mid-Term Performance Evaluation INTERVIEW WITH SERVICE PROVIDERS – ENTREPRENEURS, QUINCAILLERIES, MASONS, CEMENT RING PRODUCERS, SATOPAN IMPORTER – AND SALES AGENTS AND BUSINESS COACHES Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. ACCES MIDTERM EVALUATION REPORT 106 A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? 1. What is your role? What services do you provide the sanitation market? Quel est votre rôle? Quels services offrez-vous sur le marché de l'assainissement? 2. What has been the most significant result that you have seen because of the market that you and ACCES created? Why? Quel a été le résultat le plus significatif que vous avez remarqué grace au marché que vous et ACCES avez créé? Pourquoi? 3. What are the benefits of working with the ACCES project? Are there any additional benefits you would like to see? Quels sont les avantages de travailler avec le projet ACCES? Y a-t-il des avantages supplémentaires que vous aimeriez voir? 4. What are the downsides of working with ACCES? How can these be reduced? Quels sont les inconvénients de travailler avec ACCES? Comment peut-on les réduire? 5. What are the difficulties that you have faced in your job? Quels sont les difficultés que vous avez rencontrées? 6. How has your life changed now that you are working with the ACCES project? Comment votre vie economique a-t-elle changé maintenant que vous travaillez avec le projet ACCES? Autre changement grace au projet? 7. How can the project better utilize your skills to improve the sanitation market? Comment le projet peut-il mieux utiliser vos compétences pour améliorer le marché de l'assainissement? 8. What pitfalls should the project avoid to improve the sanitation market? Quelles difficultés le projet devrait￾il éviter pour améliorer le marché de l'assainissement? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 9. What was the state of WASH across Senegal before ACCES began implementation? Quel était l'état de référence du WASH dans votre commune/localité/village avant le démarrage d’ACCES? 10. How has that changed since you started working with ACCES? Comment cela a-t-il changé depuis que vous avez commencé à travailler avec ACCES? 11. Has the project provided you technical training to help you do your job? Was that training of high quality? What about the training you received would you change? Le projet vous a-t-il fourni une formation technique pour vous aider à faire votre travail? Cette formation était-elle de haute qualité? Qu’est-ce que vous aimieriez voir changé? 12. Has the project provided you financial training to help you do your job? Was that training of high quality? What about the training you received would you change? Le projet vous a-t-il fourni une formation financière ACCES MIDTERM EVALUATION REPORT 107 pour vous aider à faire votre travail? Cette formation était-elle de haute qualité? Qu’est-ce que vous aimieriez voir changé? 13. Has ACCES passed actual cost savings to consumers? How? If not, why not? How much cost savings, on average, have households realized? ACCES a-t-il transmis les économies de coûts réelles aux consommateurs? Comment? Si non pourquoi pas Combien d'économies de coûts, en moyenne, les ménages ont-ils réalisées? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? 14. Does ACCES pay you for the services you provide? If so, for what services? ACCES vous paie-t-il pour les services que vous fournissez? Si oui, pour quels services? Combien? 15. When ACCES is closed, will you continue to work in the sanitation market? Une fois ACCES est terminé, continuerez-vous à travailler sur le marché de l'assainissement? 16. How can ACCES support you now so that you will continue to work in the sanitation market after the project closes? Comment ACCES peut-il vous aider maintenant pour que vous puissiez continuer à travailler sur le marché de l'assainissement a la fin du projet? 17. What recommendations do you have for building a bigger sanitation market in Senegal? Quelles recommandations avez-vous pour la construction d'un plus grand marché de l'assainissement dans votre localité? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? 18. Do you think that ACCES needs more individuals like yourself working in the sanitation market? If so, in what role? Pensez-vous qu'ACCES a besoin de plus de personnes comme vous travaillant sur le marché de l'assainissement? Si oui, dans quel rôle? 19. (Not for business coaches and sales agents) Have you recieved access to credit? If so, how has it helped you? If not, why? Avez-vous eu accès au crédit? Si oui, comment cela vous a-t-il aidé? Si non, pourquoi? 20. (Not for business coaches and sales agents) What can ACCES do to help you receive credit? Que peut faire ACCES pour vous aider à obtenir du crédit? 21. (Only for business coaches): USAID has said that business coaches are an essential part of this project. What other resources do you need to be successful? USAID a déclaré que les coachs d’affiares sont une partie essentielle de ce projet. De quelles autres ressources avez-vous besoin pour réussir? 22. (Only for sales agents): USAID has said that sales agents are an essential part of this project. What other resources do you need to be successful? USAID a déclaré que les agents commerciaux sont une partie essentielle de ce projet. De quelles autres ressources avez-vous besoin pour réussir? ACCES MIDTERM EVALUATION REPORT 108 E. ADDITIONAL QUESTIONS FOR UNIQUE ACTORS QUESTIONS SUPPLÉMENTAIRES POUR DES ACTEURS UNIQUES Satopan Importer: How can the ACCES project more efficiently order satopans from you in the future? Are there other ways to improve the way in which ACCES places orders? Is there another importer that you currently work with in Senegal that could be used to import satopans? Comment le projet ACCES peut-il commander plus efficacement vos satopans à l'avenir? Existe-t-il d'autres moyens d'améliorer la manière dont ACCES passe ses commandes? Travaillez-vous actuellement au Sénégal avec un autre importateur qui pourrait importer des satopans? Possible Cement Ring Producer (if one is identified): No questions yet. ACCES MIDTERM EVALUATION REPORT 109 ACCES Mid-Term Performance Evaluation INTERVIEW WITH THE GOVERNMENT OF SENEGAL Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? ACCES MIDTERM EVALUATION REPORT 110 1. What has been your office’s collaboration with ACCES? Quel a été votre collaboration avec ACCES? 2. What have been the most significant results achieved by the ACCES project? Why? Quels ont été les résultats les plus significatifs obtenus par le projet? Pourquoi? 3. In what areas have significant results been most limited? Why is this the case? Dans quels domaines les résultats importants ont-ils été les plus limités? Pourquoi est-ce le cas? 4. Are there additional obstacles that need to be overcome and how should they be resolved? Y a-t-il d'autres obstacles qui doivent être surmontés et comment devraient-ils être résolus? 5. Are there additional opportunities that the project can leverage to accomplish its objectives? Y a-t-il d'autres opportunités que le projet peut exploiter pour atteindre ses objectifs? 6. Do you use the WASH platform to coordinate the various actors at the regional level? Vous utilisez le plateforme WASH pour coordiner les activités des différents acteurs au niveau régional? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 7. What was the state of WASH across Senegal before ACCES began implementation? Quel a été l'état de référence du WASH au Sénégal avant le démarrage d’ACCES? 8. How has that changed since the arrival of ACCES? Comment cela a-t-il changé depuis l'arrivée d’ACCES? 9. How much do ACCES latrines cost? How much did they cost before? Combien coute les latrines d’ACCES? Combien ont-ils couté avant? 10. How did ACCES enable families to realice savings on the latrines? Comment ACCES a-t-il permis aux ménages de realiser des économies sur les couts des latrine? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? 11. How is the Government of Senegal supporting the market-based approach to sanitation that the ACCES project promotes? Comment le gouvernement du Sénégal appuie-t-il l'approche d'assainissement fondée sur le marché que le projet est en train de mettre en oeuvre? 12. In what ways can the Government of Senegal can improve its support of the ACCES market-based sanitation model? De quelle manière le gouvernement du Sénégal peut-il améliorer son soutien au modèle d'assainissement basé sur le marché que le projet est en train de mettre en oeuvre? 13. How can the Government of Senegal help to improve the overall sustainability prospects of the ACCES project? Comment le gouvernement du Sénégal peut-il aider à améliorer la durabilité des activités mises en oeuvre par le projet ACCES? ACCES MIDTERM EVALUATION REPORT 111 14. How can ACCES improve cooperation with the Government of Senegal at the commune, regional and national levels? Comment ACCES peut-il améliorer la coopération avec le gouvernement du Sénégal aux niveaux communal, régional et national? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? 15. What, if any, government resources are being underutilized by the project? Quelles ressources gouvernementales, si ça existe, sont sous-utilisées par le projet? 16. What additional resoures does the government have that can be leveraged to support the ACCES project? Quelles ressources supplémentaires le gouvernement peut-il mobiliser pour soutenir le projet ACCES? ACCES MIDTERM EVALUATION REPORT 112 ACCES Mid-Term Performance Evaluation INTERVIEW WITH DONOR-FUNDED PROJECTS (PTF) SUBSIDIZED AND NON-SUBSIDIZED Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? ACCES MIDTERM EVALUATION REPORT 113 B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 1. What is the purpose of your project? Quel est le but de votre projet et quel est votre role? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? 2. What is the state of the relationship between ACCES and your project? Why? Quel est l'état de la relation entre ACCES et votre projet? Pourquoi? 3. What have been the areas of greatest agreement between ACCES and your project? The areas of greatest contention? Quels sont les domaines ou vous rencontrez le plus de succes dans votre collaboration avec ACCES? Les zones les plus controversées? 4. How can the relationship between ACCES and your project be improved? Comment améliorer la relation entre ACCES et votre projet? 5. Some people believe that subsidies from other projects are an existential threat to the market approach. What do you think? Certaines personnes pensent que les subventions provenant d’autres projets constituent une menace existentielle a l’approche marché. Qu'en pensez-vous? 6. (Only for subsidized projects) How can both projects best work together to defuse the issue of subsidies? Comment les deux projets peuvent-ils collaborer au mieux pour minimiser l’effet des subventions? Quels sont les axes de collaboration? 7. With what additional institutions or actors would you recommend that ACCES work in order to leverage the benefits of cooperation? Avec quels autres institutions ou acteurs recommanderiez-vous qu'ACCES collabre afin de tirer parti des avantages de la coopération? 8. What are your most important lessons learned from your project that you would like to pass on to ACCES staff? Quelles sont les leçons les plus importantes de votre projet que vous voudriez partager avec ACCES? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? ACCES MIDTERM EVALUATION REPORT 114 ACCES Mid-Term Performance Evaluation INTERVIEW WITH FINANCIAL INSTITUTIONS Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. ACCES MIDTERM EVALUATION REPORT 115 A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? 1. How does CMS work with ACCES to provide credit for sanitation? Comment CMS travaille-t-il avec ACCES pour fournir des crédits pour l'assainissement? 2. What have been the most significant results achieved by the synergy between ACCES and CMS? Why? Quels ont été les résultats les plus significatifs obtenus entre ACCES et CMS? Pourquoi? 3. What are the major challenges in providing credit for ACCES clients and entrepreneurs? Quels sont les principaux défis à relever pour fournir du crédit aux clients et entrepreneurs d’ACCES? 4. What recommendations do you have to improve the ability for ACCES entrepreneurs to acces credit in Senegal? Quelles recommandations avez-vous pour améliorer la capacité des entrepreneurs d'ACCES à accéder au crédit dans cette région? 5. Are there additional credit opportunities that the project can leverage to accomplish its objectives? Y a-t-il d'autres opportunités de crédit que le projet peut exploiter pour atteindre ses objectifs? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 6. What was the state of WASH credit across Senegal before ACCES began implementation? Est-ce que vous avez eu un accord des crédits de WASH avant l’arrivée d’ACCES en 2015? Si oui, combien? 7. How has that changed since the arrival of ACCES? Comment cela a-t-il changé depuis l'arrivée d’ACCES? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? 8. How can access to credit be sustained once the ACCES project closes? Comment l'accès au crédit peut-il être maintenu une fois le projet ACCES termine? 9. What actions should ACCES take to improve the sustainability of acces to credit? Quelles actions ACCES devrait-il entreprendre pour améliorer la durabilité de l'accès au crédit? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? 10. Are there additional financial resources that the project can use? Existe-t-il des ressources financières supplémentaires que le projet peut utiliser? ACCES MIDTERM EVALUATION REPORT 116 ACCES Mid-Term Performance Evaluation INTERVIEW WITH ACCES CLIENTS – HOUSEHOLDS AND OTHERS Interviewer: Please print this guide to facilitate the interview. Merci d’imprimer ce guide pour faciliter l’entretien. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupe Autre precision : PRESENTATION • Thank you for receiving us for this interview. Merci de nous recevoir pour cette interview. • This interview is part of the evaluation of the USAID ACCES project. Cet entretien fait partie de l'évaluation du projet USAID ACCES. • The interview looks to document your experience working with the ACCES project. L'interview cherche à documenter votre expérience avec le projet ACCES. • The interview will take 45 minutes to 1 hour of your time. L’entretien prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord on peut démarrer l’entretien. A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? ACCES MIDTERM EVALUATION REPORT 117 1. Do you know the project ACCES? Connaissez-vous le projet ACCES? 2. What did you purchase from the ACCES project? Qu'avez-vous acheté du projet ACCES? 3. How has this improved your quality of life? Why? Comment cela a-t-il amélioré votre qualité de vie? Pourquoi? Si non, pourquoi? 4. How satisfied are you with your new latrine? Very unhappy, unhappy, neither happy nor unhappy, happy, or very happy? Why? Quel est votre niveau de satisfaction avec votre nouvelle latrine? Très insatisfait, insatisfait, ni satisfait ni insatisfait, satisfait ou très satisfait? Pourquoi? 5. How could the latrine be improved so that you could be more satisfied? Comment pourrait-on améliorer les latrines pour que vous soyez plus satisfait? 6. How satisfied are you with the honesty and professionalism of the person who sold you the latrine? Very unhappy, unhappy, neither happy nor unhappy, happy, or very happy? Why? Dans quelle mesure êtes-vous satisfait avec l'honnêteté et le professionnalisme de la personne qui vous a vendu la latrine? Très insatisfait, insatisfait, ni satisfait ni insatisfait, satisfait ou très satisfait? Pourquoi? 7. How can his/her performance improve? Comment sa performance peut-elle s'améliorer? 8. How happy are you with the quality of the work of the masons that constructed the latrine? Very unhappy, unhappy, neither happy nor unhappy, happy, or very happy? Why? Dans quelle mesure êtes-vous satisfait de la qualité du travail des maçons qui ont construit la latrine? Très insatisfait, insatisfait, ni satisfait ni insatisfait, satisfait ou très satisfait? Pourquoi? 9. How can the masons improve to make you happier? Comment les maçons peuvent-ils s'améliorer pour vous rendre plus satisfait? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? 10. What was your sanitation situation like before you purchased a new latrine? Quelle était votre situation en matière d'assainissement avant l'achat d'une nouvelle latrine? 11. How has your situation changed since your purchase? Comment votre situation a-t-elle changé depuis votre achat? 12. How much did you pay for the latrine? Combien avez-vous payé pour la latrine? 13. Do you believe the price that you paid was fair? Pensez-vous que le prix que vous avez payé était juste? 14. Did you compare prices with other people before making the purchase? Avez-vous comparé les prix avec d’autres personnes avant de faire l’achat? 15. How did you pay for the latrine? Why did you pay this way? Comment avez-vous payé les latrines? Pourquoi avez-vous payé comme ça? ACCES MIDTERM EVALUATION REPORT 118 16. If you had the power, how would you change the way you paid for the latrine? Si vous aviez les moyens, comment changeriez-vous la façon dont vous avez payé les latrines? 17. If you wanted to buy a latrine in the past, before the arrival of the person who sold it to you, how much would it have cost? Combien les latrines ont couté avant l’arrivée de l’agent commercial qui vous a vendu cette latrine? 18. If you were speaking to another family in this community, would you recommend that they buy a latrine from the same person that sold it to you? Why or why not? Si vous parliez à une autre famille de cette communauté, recommanderiez-vous qu'elle achète une latrine à la même personne que celle qui vous l'a vendue? Pourquoi ou pourquoi pas? 19. Was the purchase of the latrine fair and transparent? L'achat des latrines était-il juste? 20. Were the terms of the contract equitable and transparent? Why? Les termes du contrat étaient-ils équitables et transparents? Pourquoi? 21. Do you know anyone that was cheated or did not have a good experience? Why? Connaissez-vous quelqu'un qui a été trompé ou qui n'a pas eu une bonne expérience? Pourquoi? 22. In what ways can the process – price, installation, payment method, professionalism, etc. – be improved so that people like you are happy with their purchase? De quelle manière le processus (prix, installation, mode de paiement, professionnalisme, etc.) peut-il être amélioré? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? This section is for Water System Beneficiaries and ATPC beneficiaries. Cette section est réservée aux bénéficiaires de système d’eau et d’ATPC. 23. (For Water System Beneficiaries) What repairs did the ACCES project complete to the water system? Quelles réparations le projet ACCES a-t-il effectuées sur le système d'eau? 24. (For Water System Beneficiaries) How satisfied are you with these repairs? Dans quelle mesure êtes-vous satisfait de ces réparations? 25. (For Water System Beneficiaries) How has your life changed as a result of these repairs? Comment votre vie a-t-elle changé à la suite de ces réparations? 26. (For Water System Beneficiaries) Is there a plan in place to maintain the MUS after the project closes? Un plan est-il en place pour maintenir le MUS après la clôture du projet? 27. (For Water System Beneficiaries) Do you have any recommendations for improving the way that ACCES repaired the water system? Avez-vous des recommandations pour améliorer la manière dont ACCES a réparé le système d'eau? 28. (For Water System Beneficiaries plus MUS plans) How satisfied are you with the MUS plan that you wrote? Dans quelle mesure êtes-vous satisfait du plan MUS que vous avez écrit? ACCES MIDTERM EVALUATION REPORT 119 29. (For Water System Beneficiaries plus MUS plans) How can the planning process used by ACCES be improved? Comment le processus de planification utilisé par ACCES peut-il être amélioré? 30. (For Water System Beneficiaries plus MUS plans) How will these plans be implemented? Comment ces plans seront-ils mis en œuvre? 31. (For ATPC Beneficiaries) What training did you receive from the ACCES project? Quelle formation avez￾vous reçue du projet ACCES? 32. (For ATPC Beneficiaries) How satisfied are you with the training received? Dans quelle mesure êtes-vous satisfait de la formation reçue? 33. (For ATPC Beneficiaries) What are the principal lessons learned from the training? Quels sont les principaux enseignements de la formation? 34. (For ATPC Beneficiaries) How has your quality of life changed as a result of this training? Comment votre qualité de vie a-t-elle changé à la suite de cette formation? 35. (For ATPC Beneficiaries) How can the training be improved in the future to improve your quality of life? Comment la formation peut-elle être améliorée à l'avenir pour améliorer votre qualité de vie? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? ACCES MIDTERM EVALUATION REPORT 120 ACCES Mid-Term Performance Evaluation FOCUS GROUP WITH ACCES CLIENTS – MARKET APPROACH, WATER AND ATPC Interviewer: Please print this guide to facilitate the focus group. Merci d’imprimer ce guide pour faciliter le groupe de discussion. Enqueteur : Langue : Date: Heure debut : Heure fin : Region : Commune : Village Noms : Structure: Interviewés: Fonction: Tel : Email : Type d'entretien : Indiv. ou Groupé Autre precision : PRESENTATION • Thank you for receiving us for this focus group. Merci de nous recevoir pour ce groupe de discussion. • This focus group is part of the evaluation of the USAID ACCES project, which has provided services to this commune. Ce groupe de discussion fait partie de l'évaluation du projet USAID ACCES. • The focus group looks to document your experience working with the ACCES project. Le groupe de discussion cherche à documenter votre expérience avec le projet ACCES. • The focus group session will take 45 minutes to 1 hour of your time. La session de group de discussion prendra entre 45 minutes et une heure. • We would be grateful if you would allow us to record this interview. Your answers will be used to help us evaluate the ACCES program. These responses will be anonymous. If you do not agree, please tell us. Nous vous serions reconnaissants de nous autoriser à enregistrer cette interview. Vos réponses seront utilisées pour nous aider à évaluer le programme ACCES. Ces réponses seront anonymes. Si vous êtes d'accord, on peut démarrer l’entretien. • Please sign the attendance sheet with your name, village and phone number. Veuillez signer la feuille de présence avec votre nom, votre village et votre numéro de téléphone. ACCES MIDTERM EVALUATION REPORT 121 A. QUESTION 1: HOW WELL IS ACCES PERFORMING? WHAT IS WORKING AND WHAT IS NOT WORKING? AND WHY? Dans quelle mesure ACCES est-il performant? Qu'est-ce qui fonctionne et ce qui ne fonctionne pas? Et pourquoi? 1. Do you know the project ACCES? Connaissez-vous le projet ACCES? 2. What did you purchase from the ACCES project? Quels sont les services offert par le project? 3. How has this improved your quality of life? Why? Comment cela a-t-il amélioré votre qualité de vie? Pourquoi? Si non, pourquoi non? 4. How could the latrine be improved so that you could be more satisfied? Comment pourrait-on améliorer les latrines pour que vous soyez plus satisfait? 5. How can the masons improve to make you happier? Comment les masons peuvent-ils s'améliorer pour mieux vous satisfaire? B. QUESTION 2: WHAT IS THE VALUE ADDED OF ACCES IN THE FOUR OUTPUT AREAS, SPECIFICALLY: (A) DEMAND GENERATED FOR WASH PRODUCTS AND SERVICES; (B) INCREASED MARKET-BASED PROVISION OF WASH PRODUCTS AND SERVICES; (C) IMPROVED PROVISION AND MANAGEMENT OF MULTIPLE USE WATER SYSTEMS; (D) IMPROVED ENABLING ENVIRONMENT FOR EQUITABLE DELIVERY OF QUALITY WASH SYSTEMS? This section is only for chefs de ménage. Cette section est réservée aux chefs de ménage et les groupe de femmes SILC (Savings and Loans Committees). 6. How much did you pay for the latrine? How much did this cost before the arrival of the sales agent? Combien avez-vous payé pour la latrine? Combien les latrines coutaient avant? 7. How did you pay for the latrine? Why did you pay this way? Comment avez-vous payé les latrines? Pourquoi avez-vous payé comme ça? 8. If you had the power, how would you change the way you paid for the latrine? Si vous aviez les moyens, comment changeriez-vous la façon dont vous avez payé les latrines? 9. Were the terms of the contract equitable and transparent? Why? Les termes du contrat étaient-ils équitables et transparents? Pourquoi? This section is for everyone. Cette section est pour tous. 10. Do you know anyone that was cheated or did not have a good experience? Why? Connaissez-vous quelqu'un qui a été trompé ou qui n'a pas eu une bonne expérience? Pourquoi? 11. In what ways can the process – price, installation, payment method, professionalism, etc. – be improved so that people like you are happy with their purchase? De quelle manière le processus (prix, installation, mode de paiement, professionnalisme, etc.) peut-il être amélioré? This section is for Water System Beneficiaries and ATPC beneficiaries. Cette section est réservée aux bénéficiaires de système d’eau et d’ATPC. 12. (For Water System Beneficiaries) What repairs did the ACCES project complete to the water system? Quelles réparations le projet ACCES a-t-il effectuées sur le système d'eau? ACCES MIDTERM EVALUATION REPORT 122 13. (For Water System Beneficiaries) How satisfied are you with these repairs? Dans quelle mesure êtes-vous satisfait de ces réparations? 14. (For Water System Beneficiaries) How has your life changed as a result of these repairs? Comment votre vie a-t-elle changé à la suite de ces réparations? 15. (For Water System Beneficiaries) Is there a plan in place to maintain the MUS after the project closes? Un plan est-il en place pour maintenir le MUS après la clôture du projet? 16. (For Water System Beneficiaries) Do you have any recommendations for improving the way that ACCES repaired the water system? Avez-vous des recommandations pour améliorer la manière dont ACCES a réparé le système d'eau? 17. (For Water System Beneficiaries plus MUS plans) How satisfied are you with the MUS plan that you wrote? Dans quelle mesure êtes-vous satisfait du plan MUS que vous avez écrit? 18. (For Water System Beneficiaries plus MUS plans) How can the planning process used by ACCES be improved? Comment le processus de planification utilisé par ACCES peut-il être amélioré? 19. (For Water System Beneficiaries plus MUS plans) How will these plans be implemented? Comment ces plans seront-ils mis en œuvre? 20. (For ATPC Beneficiaries) What training did you receive from the ACCES project? Quelle formation avez￾vous reçue du projet ACCES? 21. (For ATPC Beneficiaries) How satisfied are you with the training received? Dans quelle mesure êtes-vous satisfait de la formation reçue? 22. (For ATPC Beneficiaries) What are the principal lessons learned from the training? Quels sont les principaux enseignements de la formation? 23. (For ATPC Beneficiaries) How has your quality of life changed as a result of this training? Comment votre qualité de vie a-t-elle changé à la suite de cette formation? 24. (For ATPC Beneficiaries) How can the training be improved in the future to improve your quality of life? Comment la formation peut-elle être améliorée à l'avenir pour améliorer votre qualité de vie? C. QUESTION 3: WHAT TYPES OF INSTITUTIONS/ACTORS ARE NEEDED TO ENSURE THE SUSTAINABILITY OF A WASH MARKET IN TARGETED COMMUNITIES? Quels types d'institutions/acteurs sont nécessaires pour assurer la durabilité du marché WASH dans les zones cibles? D. QUESTION 4: WHAT RESOURCES ARE BEING UNDERUTILIZED BY THE PROJECT, AND WHAT OTHER RESOURCES DO THEY NEED TO MEET THEIR TARGETS AT THE END OF THE ACTIVITY? WHAT IS THE IDEAL MIX OF RESOURCES FOR THE PROJECT TO HAVE TO ACHIEVE ITS TARGETS? Quelles ressources sont sous-utilisées par le projet et quelles autres ressources sont nécessaires pour atteindre les objectifs à la fin des activités (avant la fin du projet)? ACCES MIDTERM EVALUATION REPORT 123 ANNEX VI: SOURCES OF INFORMATION ACF International. 2016. Manuel sur la gouvernance de l’eau et de l’assainissement appliquée aux projets humanitaires et de développement. ADEMAS & MDK Partners. s. d. « Rapport de l’Etat des Lieux du marché de l’assainissement dans les régions de Ziguinchor, Sédhiou, Kolda, Tambacounda, Kédougou, et Matam ». ANSD. 2016. « Situation Economique et Sociale du Sénégal en 2013 ». ANSD. 2018. « Situation Economique et Sociale du Sénégal en 2015 ». ANSD. 2018. « Enquête Démographique et de Santé (EDS – Continue) 2017 ». Banque Mondiale. 2017. « Rapport de Démarrage de l’Evaluation Technique du Programme pour les résultats (PPR) - Eau et Assainissement des Zones Rurales de la Zone du Centre du Sénégal ». CARITAS Sénégal. 2018. « Rapport mensuel d’activité Projet USAID/ACCES ». Dieng, Fatou. 2017. « Evaluation genre dans les régions de Kédougou, Kolda, Matam, Sédhiou, Tambacounda et Ziguinchor ». IMPAQ International. 2017. « USAID/SENEGAL ACCES Activity Baseline data collection report ». Konan Christian Yao. 2015. « Evaluations des performances du programme du programme d’assainissement Rural au Sénégal ». MHA-Banque Mondiale- PEPAM. 2015. « Assainissement rural des régions de Saint-Louis, Matam et du département de Bakel : Processus de mise en œuvre de la composante assainissement rural, évaluation des résultats et capitalisation des acquis. » Ministère de la Prévention, l’Hygiène et de l’Assainissement. 2017. « Etude Organisationnelle et manuel de procédure pour la réalisation des OMD en assainissement rural ». NRCE. 2016. « ACCES Activity Monitoring, Evaluation and Learning Plan ». NRCE. 2016. « ACCES Annual Workplan Year 1 (March 15 to September 30, 2016) draft ». NRCE. 2016. « ACCES Annual Workplan Year 2 (October 1, 2016 to September 30, 2017) ». NRCE. 2016. « ACCES Annual Workplan Year 1 (March 15 to September 30, 2016) final ». NRCE. 2017. « ACCES Semi-Annual Report - Year 2 (October 1, 2016 to March 31, 2017) ». NRCE. 2017. « Plan d’action genre projet USAID-ACCES Sénégal ». NRCE. 2017. « ACCES Annual Workplan FY 2018 (October 1, 2017 to September 30, 2018) ». NRCE. 2017. « ACCES Annual Report FY 2017(October 2016 to September 2017) ». NRCE. 2018. « ACCES Quarterly Report- Q1-Q2, FY 2018 (October 1, 2017 to March 31, 2018) ». NRCE. 2018. « ACCES Quarterly Report-Q3, FY 2018 (April 1 to June 30, 2018) ». ACCES MIDTERM EVALUATION REPORT 124 NRCE. 2018. « Rapport d’activités - Exercice 2018 Soumis au Comité de Suivi Technique (1 octobre 2017- 30 juin 2018) ». NRCE. 2018. « ACCES Annual Workplan FY2019 (October 1, 2018 to September 30, 2019) final ». NRCE. 2018. « ACCES Activity Monitoring, Evaluation and Learning Plan ». NRCE. 2018. « ACCES Annual Report FY 2018 (October 2017 to September 2018) ». NRCE. 2018. « ACCES Annual Workplan FY2019 (October 1, 2018 to September 30, 2019) addendum final ». NRCE. 2018. « Annual report FY 2018 (October 1, 2017 to September 30, 2018) ». NRCE. 2018. « PITT FY 2018 ». NRCE. s. d. « Liste des contacts des partenaires - clients et bénéficiaires du projet ACCES ». OMS - JMP - UNICEF. s. d. « Présentation de l’introduction à l’agenda 2030 pour le Développement Durable ». PEPAM. s. d. « Feuille de Route Post OMD 2014-2025 ». PEPAM/Banque Mondiale. 2015. « Processus de mise en œuvre de la composante assainissement rural, évaluation des résultats et capitalisation des acquis ». SNH/ACCES. s. d. « Rapport de la mission de suivi et de vérification des villages dans la commune de Vélingara Ferlo ». SNH/SRA/ACCES. 2018. « Atelier de partage et de revue des plans d’action des huit (8) villages ATPC de la commune de Vélingara Ferlo Projet USAID/ACCES ». SNH/SRA/ACCES. 2018. « TDRs de la mission de supervision des activités ATPC du projet USAID/ACCES dans la région de Matam ». SNH/SRA/ACCES. 2018 « TDRs de la mission de vérification et de certification du statut Fin de la Défécation à l’Air Libre dans les villages ATPC de la commune de Vélingara Ferlo à Matam ». s. d. SNH/SRA/ACCES. 2018. « Rapport de la mission de supervision SNH/SRA/ACCES dans la commune de Vélingara Ferlo ». SNH/SRA/ACCES. 2018. « Rapport de la mission de certification et de suivi des villages dans la commune de Vélingara Ferlo ». SNH/SRA/ACCES.2018. « Mission N°2 de supervision des activités ATPC du projet USAID/ACCES dans la région de Matam ». SNH/SRA/ACCES. 2018. « Mission N°5 de supervision des activités ATPC du projet USAID/ACCES dans la région de Matam ». SWISS Tropical and Public Health Institute. 2015. « Rapport Final de l’enquête ménage : comportement en matière d’hygiène et d’assainissement et volonté de payer en milieu rural au Sénégal. » USAID. 2018. « Scaling Market -Based Sanitation: Desk review on market-Based Rural Sanitation Development programs ». ACCES MIDTERM EVALUATION REPORT 125 USAID/SENEGAL. 2014. « Water, Sanitation and Hygiene (WASH) Project Appraisal Document Economic Growth Office USAID/SENEGAL (2015-2020) ». USAID/SENEGAL. s. d. « ACCES Cooperative Agreement No. AID-685-TO-16-00001 / Section C- Description / Specifications/ Scope of Work. » WSP. 2012. « Evaluation initiale de l’environnement favorable et de l’économie politique du secteur de l’assainissement et de l’hygiène en vue de mettre à l’échelle, pérenniser et répliquer un Programme National d’Assainissement Rural ». WSP-PEPAM. 2006. « Appui à la mise en place du système de suivi-évaluation du Programme d’eau potable et d’assainissement du Millénaire : Rapport N°2 : Définition des indicateurs de suivi du PEPAM ». ACCES MIDTERM EVALUATION REPORT 126 ANNEX VII: DISCLOSURE OF CONFLICTS OF INTEREST ACCES MIDTERM EVALUATION REPORT 127 ACCES MIDTERM EVALUATION REPORT 128 ACCES MIDTERM EVALUATION REPORT 129 ANNEX VIII: WORK PLAN ASSAINISSEMENT, CHANGEMENT DE COMPORTEMENT ET EAU POUR LE SENEGAL (ACCES) MIDTERM PERFORMANCE EVALUATION WORK PLAN November 2018 This publication vas produced for review by the United States Agency for International Development. It was prepared by Management Systems International, a Tetra Tech Company, for the USAID/Senegal Monitoring and Evaluation Project. ACCES MIDTERM EVALUATION REPORT 130 SUMMARY Work Plan Title Assainissement, Changement de Comportement et Eau pour le Sénégal (ACCES) Midterm Performance Evaluation USAID POCs Arvil Gonzalez Senegal Monitoring and Evaluation Project (MEP) Supervisor Sadio Coulibaly Evaluation Start Date o/a October 29, 2018 Evaluation End Date o/a February 15, 2019 Evaluation Period of Performance March 16, 2016 to September 1, 2018 Geographic Coverage 3 of 6 ACCES regions and 9 of 50 ACCES communes Evaluation Deliverables Work Plan, Findings and Conclusions Presentation/Datawalk, Recommendations Workshop, Draft and Final Reports, Abstract and One￾page fact sheet for decision makers Data Collection Methods ● Interviews with USAID, ACCES, and other IPs ● Interviews with Government of Senegal ● Interviews with Service Providers and local partners ● Focus Group Discussions and interviews with Beneficiaries and Clients INTRODUCTION AND PURPOSE The USAID/Senegal ACCES (Assainissement, Changement de Comportement et Eau pour le Sénégal) Activity is part of USAID/Senegal’s Water, Sanitation and Hygiene (SENWASH) portfolio to comprehensively address water, sanitation and hygiene (WASH) topics. The overall goal of the Activity is to significantly increase sustainable access to improved water and sanitation services and adoption of hygiene practices in targeted communities to improve their health and nutritional status, particularly of women and children. It uses an innovative market-based approach in six regions: Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda and Matam. ACCES provides five types of interventions to provide and sustain WASH services to the chronically underserved in Senegal. They are: ● Output 1: Local demand generated for WASH products and services designed to significantly improve sanitation, hygiene and infant nutrition practices. ● Output 2: Replicable and scalable business models developed for sustainable WASH products and services. ● Output 3: Environmentally sustainable provision and management of multiple use water systems. ACCES MIDTERM EVALUATION REPORT 131 ● Output 4: Responsive and accountable governance framework is operational at county government level that ensures sustainable and equitable provision of water and sanitation. ● Cross-Cutting: Monitoring, evaluation, and gender aspects. The purpose of this midterm performance evaluation is (1) to determine how well ACCES is meeting its intended objectives halfway through its implementation period and to make recommendations on approaches and management for the final years of the project; (2) to contribute to learning that will have a positive impact on project implementation; (3) to provide lessons learned that can be shared with other WASH projects in Senegal and across the globe; and (4) to supply timely feedback that will support USAID design of future activities. The evaluation team will investigate to what extent the goals of the project were achieved and determine if there are other exogenous factors that have impacted achievements that USAID and/or ACCES did not foresee. The evaluation will provide specific conclusions and recommendations to support maintaining momentum and improving implementation and sustainability of the project. The intended use of the evaluation is to support future project implementation and possible follow-on activities. The audience is primarily the USAID/Senegal WASH team in the Economic Growth Office (EGO). Other key interested parties include Senegal’s Ministère de l’Hydraulique et de l’Assainissement (MHA) and USAID/Washington’s Office of Water and Sanitation. BACKGROUND WASH in Senegal An unsafe water supply, inadequate sanitation, and poor hygiene contribute to more than 88% of the cases of diarrheal diseases internationally, according to World Health Organization (WHO) estimates. In recent years, diarrhea mortality has fallen sharply, thanks in part to the increased use of oral rehydration therapy (ORT), as well as new vaccines against rotavirus and cholera. However, diarrheal diseases remain the second leading cause of death in children under the age of five, killing an estimated 1.87 million children each year. Diarrheal diseases are caused by over 50 known pathogenic agents that live in human and animal feces. These agents are primarily spread through ingestion—either directly through contaminated hands or indirectly through contaminated drinking water, soil, utensils, food, or flies. In Senegal, it is estimated that diarrheal diseases are responsible for 7% of all deaths of children under the age of five. Diarrhea can lead also to malnutrition, cognitive deficiencies, and long-term chronic illness. Poor hygiene practices and limited access to sanitation and clean drinking water are the major factors responsible for diarrhea. It is for this reason that the United States Government, through the United States Agency for International Development (USAID), is focused on increasing access to safe drinking water and sanitation and promoting safe hygiene practices through the Paul Simon Water for the Poor Act, and the USAID Strategy for Water and Development. In Senegal, water and sanitation access and coverage rates are limited by a challenging enabling environment for the WASH sector. Key issues affecting the enabling environment include: (1) an underdeveloped private sector, (2) weak governance and management capacity, and (3) policies that do not support sustainability. Despite these headwinds, the Government of Senegal (GOS) has made great strides in providing access to safe drinking water and sanitation services. Senegal is close to achieving the 2015 Millennium Development Goals (MDGs) of reducing by half the number of people who do not have ACCES MIDTERM EVALUATION REPORT 132 sustainable access to safe drinking water and basic sanitation infrastructure. However, while Senegal has achieved the goals for water and sanitation in urban areas, rural areas access rates are still below the target. For water, Senegal is close to achieving the MDG – 59% of the population has sustainable access – but is farther away from the goal for sanitation, with only 39% having access to basic sanitation infrastructure. These national statistics mask the regional disparities where access varies greatly. Despite significant investments by USAID and other donors, as well as the GOS in providing access to water and sanitation and promoting hygienic practices, much work remains to improve the sustainability of access, the quality of service and overall coverage rates. ACCES Senegal The ACCES activity includes the Southern and Eastern regions of Senegal and seeks to create synergies with USAID’s Feed the Future initiative and democracy, human rights, governance and peace and health programming, and to target areas in Senegal with the lowest coverage of water and sanitation services. ACCES is concentrating efforts in 50 communes in six targeted regions: Ziguinchor, Sédhiou, Kolda, Kédougou, Tambacounda and Matam. Activity implementation is spearheaded by Natural Resources Consulting Engineers, Inc. (NRCE) as ACCES’s prime implementing partner. The other consortium members include Catholic Relief Services (CRS); Caritas; Population Services International (PSI); Agence pour le Développement du Marketing Social (ADEMAS); MWH Global; and IMPAQ International. ACCES is working closely with the GOS to reach at least 500,000 underserved people with WASH services. It aims to achieve the following goals: ● 50% decrease in open defecation rates in the six targeted regions; ● 200,000 people gain access to an improved toilet (World Health Organization (WHO)/UNICEF Joint Monitoring Programme (JMP) definition); ● 50 businesses established for WASH products; ● 30,000 people gain access to an improved water supply (JMP definition); ● 350 water service providers are trained in the sustainable operation and management of water supply services; ● 50 local governments have a Multiple Use Water Services (MUS) Action Plan. EVALUATION QUESTIONS The Theory of Change that underlies ACCES is that (1) if access to an improved drinking water source is improved; (2) if access to an improved sanitation facility is improved; and (3) if access to a dedicated hand washing station with soap and water present is improved, then sustainable access to improved water and sanitation services and adoption of hygiene practices in targeted communities in the six target regions to improve the health and nutritional status, especially of women and children, will increase significantly. The main assumptions are that: • The situation in Casamance is stable enough to implement activities; • More human and financial resources are provided to the regional technical services, especially the Sanitation Department to implement the Sanitation Action Plan; ACCES MIDTERM EVALUATION REPORT 133 • Ministry of Hydraulics will establish a regulatory framework for the implementation of the reform of the rural water sector; • OFOR will be up and running and able to receive technical assistance; • OFOR will be able to issue and negotiate contracts in a timely manner to generate revenue; • GOS will be able to continue repairs and maintenance of the rural water system in zones where OFOR is not yet operating; • Decentralization policies will allow for some devolution to local governments; • The capacity of enough WASH private sector operators can be improved to change the supply of services; • Private sector operators are willing to change their management and operational practices; • Efficiency gains in service chain can be achieved; • Banks will lend with a loan guarantee and continue after the project ends; • Consumers will be willing to take out loans for water and sanitation, despite other donor projects operating nearby; • Communities are willing to mobilize funds and inputs for connections and other infrastructure; • Donor Coordination sufficient for effective policy dialog and delivery of essential TA/training to GOS; • Donors/GOS reduce subsidies for WASH; and • Mobile technology platform and infrastructure exists. The results framework shown below guides ACCES’s approach to implementing USAID’s vision for the project, linked directly to two USAID Development Objectives (DOs): Increased inclusive economic growth (DO1) and Improved health status of the Senegalese population (DO2). ACCES MIDTERM EVALUATION REPORT 134 Figure: ACCES Results Framework Based on this hypothesis and on discussions with USAID, MEP hopes to answer the following four questions: 1. How well is ACCES performing? What is working and what is not working, and why? 2. What is the value added of ACCES in the four output areas; specifically: i. Demand generated for WASH products and services; ii. Increased market-based provision of WASH products and services; iii. Improved provision and management of multiple use water systems; and iv. Improved enabling environment for equitable delivery of quality WASH systems 3. What types of institutions are needed to ensure the sustainability of a WASH market in targeted communities? 4. What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? What is the ideal mix of resources for the project to have to achieve its targets? ACCES MIDTERM EVALUATION REPORT 135 DATA ANALYSIS PLAN The ACCES midterm performance evaluation will answer the four evaluation questions jointly developed by USAID and Senegal MEP. This data analysis plan will discuss each of the four questions at length with the goal of outlining (1) the way in which the evaluation team interprets the question, and (2) the analytical methods that they will use to answer the question. MEP ANALYTICAL APPROACH TO THE EVALUATION QUESTIONS (EQs) 1. How well is ACCES performing? What is working and what is not working, and why? The question is broad in scope and therefore prone to generalization. To avoid this, the evaluation team has refined the question into its component parts. The following sub-questions constitute the core elements of this question: (a) To what extent is ACCES accomplishing the project’s main objective of “sustainable access to quality water and sanitation increased and improved hygiene practices adopted in targeted communities”? (b) What have been the most significant results achieved by the project? (c) What are the strengths of the project and how can they be further strengthened? (d) In what areas have significant results been most limited? Why is this the case? (e) What are the weaknesses of the project and how can they be reversed or minimized? (f) Are there additional obstacles that need to be overcome and how should they be resolved? (g) Are there additional opportunities that the project can leverage to accomplish its objectives? Sub-questions (b) through (f) are best answered with a Strengths, Weaknesses, Opportunities, and Threats (SWOT) analysis. A SWOT analysis can identify and prioritize project strengths and opportunities and help to understand (and therefore limit) weaknesses and threats. This strategic planning technique can help ACCES to better achieve its objectives. 2. What is the value added of ACCES in the four output areas; specifically: i. Demand generated for WASH products and services; ii. Increased market-based provision of WASH products and services; iii. Improved provision and management of multiple use water systems; iv. Improved enabling environment for equitable delivery of quality WASH systems. The question asks about the “value added” of the project’s four vital components (these are the Intermediate Results in the Activity Results Framework). To determine the value added to the output areas, the evaluation team will determine the extent to which the project: (a) Leverages its processes to scale operations and create systematic efficiencies; (b) Passes value and cost savings directly to clients and consumers in the form of price reductions, practical services and benefits, and troubleshooting when problems inevitably arise; (c) Innovates and improves upon the traditional provision of WASH services; (d) Coordinates with donors and other actors/activities to create synergies and limit duplication of effort; and (e) Develops a market-based WASH approach that is not reliant on subsidies. ACCES MIDTERM EVALUATION REPORT 136 The evaluation team will develop data collection instruments that explicitly address each of the four project components. Because much of the project’s added value will not necessarily be quantifiable, the evaluation will collect significant qualitative data to support the findings and conclusions. However, the evaluation team will quantify results to the extent possible, especially relating to consumer prices. Finally, the evaluation team defines “equitable delivery of quality WASH systems” as the project’s provision of services to women and children. Women and children, therefore, will be the focus of the response to this question. Data collection instruments will be tailored to incorporate equity elements. Additional sub-questions for this EQ include: (a) What was the state of WASH across Senegal before ACCES began implementation, and how has that changed since the arrival of ACCES? (b) To what extent has the project strengthened the financial and technical capacity of beneficiaries and clients? 3. What types of institutions are needed to ensure the sustainability of a WASH market in targeted communities? ACCES works with a plethora of institutions that provide information, support and services that are essential for the sustainability of the project. This evaluation will not interview all ACCES’s partners, but rather will identify the types of partners that are essential for sustainability and provide recommendations for specific institutions that are most likely to improve the likelihood of ACCES’s sustainability. More specifically, this question has three principal aims: (1) identify what the necessary services are for sustainability of a WASH market through an analysis of the implementation that is currently underway; (2) identify those institutions - either currently working with ACCES or that should be - that would be best suited to provide those essential services, and (3) gather data from these select institutions about how they can ensure the sustainability of the WASH market after the project closes. Sustainability: To assess the promotion of sustainability of a WASH market, the evaluation team will focus on five domains (i.e. relevant factors and conditions) that are likely to influence continuation of the WASH market once the project ends: policy, participation and ownership, management and organization, technical training, and finances. In addition, sustainability is more likely when an activity, action or behavior is valued by the recipient. A beneficiary assessment from the KIIs will provide insights into beneficiaries’ perceptions of the value of results. It is worth noting that the sustainability of initiatives can only be verified ex-post, so this performance evaluation will only assess factors that theoretically would contribute to the sustainability of the initiatives. Targeted Communities: The evaluation team interprets “targeted communities” as the six, regions of Senegal in which the project operates, with a special emphasis on WASH service provision for women and children, whose health and wellbeing are most adversely affected by the lack of clean drinking water and sanitation facilities. As mentioned above, data collection instruments will be tailored to incorporate equity elements relating to women and children. Additional sub-questions for this EQ include: (a) Which specific institutions are most likely to improve the sustainability prospects of the ACCES project? (b) How can ACCES optimize cooperation with these institutions to leverage their benefits? ACCES MIDTERM EVALUATION REPORT 137 (c) Which gaps have been identified as weaknesses in service provision that can disrupt the sustainability of the WASH market after the project closes? 4. What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? What is the ideal mix of resources for the project to have to achieve its targets? This question aims to answer why some resources have not been used effectively and to recommend ways in which those resources can be mobilized and deployed more effectively in the future. Resources: the evaluation team defines resources as the (1) financial (funding leverage, not overall spending), (2) physical (WASH infrastructure and associated capital), (3) organizational (staff, grantees, local providers), (4) institutional (non-governmental organizations, government entities and international organizations, communities), (5) intellectual (strategies, methods, operations), and (6) technological (innovations), and assets that the project can utilize to accomplish their objectives. In the scope of this evaluation, the evaluation team will analyze each resource category to determine the extent to which the project is optimizing its performance. Time will be considered an additional resource to examine to determine whether it is being used efficiently, as well as to help explain why certain project targets were not met during the first two years of implementation. In addition, the evaluation team will determine the additional resources needed to help the project reach its targets. This analysis does not constitute a data-quality assessment (DQA). While the evaluation team will review ACCES’s progress towards indicator completion as a necessary component of the performance evaluation, the evaluation team will not verify the veracity or completeness of these data. Instead, the evaluation team will use the data collected as one dimension among many for assessing the overall performance of the project as it relates to this evaluation question. Sub questions for this question include: (a) What were the financial, physical, organizational, institutional, intellectual, and technological assets that project has used to accomplish its objectives? (b) How efficiently were these resources utilized during the project implementation? ANALYTICAL METHODS The qualitative data analysis methods that will be used for this evaluation are daily interpretive analysis and content analysis. DAILY INTERPRETATIVE ANALYSIS At the end of each day of fieldwork, evaluation team members will review their interview notes or recordings and document, against each evaluation question, what they deem to be the most important information and insights gained from the research conducted that day. This approach serves three analytical purposes: ● It allows the researcher to record, contemporaneously, their insights and understanding from the interview with full consideration of the context of the discussion so that this information will not be lost. ACCES MIDTERM EVALUATION REPORT 138 ● Recording this information acts as a valuable learning tool prompting the researcher to reflect on what has been learned. Such reflections will positively inform subsequent interviews that are carried out. ● The regular documentation of key information facilitates faster and more efficient data analysis at the conclusion of the fieldwork. At the conclusion of each week of fieldwork, the evaluation team will review the evidence collected to identify potential data gaps and avenues for deeper consideration and exploration in subsequent research. This process will also allow the evaluation team to summarize observations into conceptual categories, reevaluate them as fieldwork continues, and gradually refine them and link them to other conceptual categories. CONTENT ANALYSIS Content analysis, which is the most common approach for extracting patterns from qualitative data, will be used to identify themes and trends relevant to each EQ and to better understand the meaning of and context in which statements were made. This will primarily supplement the daily interpretative analysis as it provides more in-depth analysis of specific themes identified during the fieldwork. The team will summarize responses related to each theme and include quotations from respondents to illustrate key findings. This will include highlighting “outlier” responses and experiences, such that the range of responses will be captured in the summary write-up. Because content analysis can only provide insight on the available text, it can sometimes produce findings that are ambiguous or imprecise; findings of this nature will need to be explored and clarified through conversations with key informants and through triangulation of the various lines of evidence. TRIANGULATION OF EVIDENCE To answer the evaluation questions, the evaluation team will draw together data collected from all “lines of evidence” described above that relate to particular questions. The answers that each line of evidence provides will be compared to the others to determine whether they converge or diverge. Where they converge, the team will be able to report answers based on reasonably strong evidence. Where answers from different lines of evidence diverge, the team will examine the strength of the evidence associated with each line of evidence and absent a strong preponderance of credible evidence for one line, will present both as findings of the research. ANALYSIS PROCESS At the end of each week of fieldwork, the evaluation team will collectively assess the evidence that has been collected to date against each of the evaluation questions to assess where evidence is lacking and to identify common evidentiary themes. In addition, the team will conduct qualitative data analysis, where all interview notes and transcripts are coded using MAXQDA. The team will triangulate coded segments and perform analysis of findings to inform conclusions and recommendations. GENDER-DIFFERENTIATED APPROACH The evaluation team will examine the way gender is taken into account in the project design and implementation. The evaluation team will also assess the effectiveness of the strategies used to address women-specific water and sanitation issues. ACCES MIDTERM EVALUATION REPORT 139 DESCRIPTIVE STATISTICS Descriptive statistics provide simple summaries about the sample and the frequency with which variables are present within that sample. Descriptive statistics can only be applied to measurable data, and will not be used for the vast majority of qualitative data. For quantitative data, descriptive methods of analysis will be preferred given the nature of the information. Representations in the form of tables, graphs and graphics will be made to better illustrate the analyzed data. DATA COLLECTION METHODS The data collection methodology to be used by the team will consist of two data collection phases: the Secondary Data Collection Phase, which includes a document and data review, and a Primary Data Collection Phase, which constitutes the qualitative field research. The following section describes the data collection methods in more detail. PHASE 1: SECONDARY DATA COLLECTION – DOCUMENT AND DATA REVIEW Prior to fieldwork, the evaluation team will conduct a desk review of available key ACCES documents and undertake content analysis of all available data relevant to the evaluation. This document review will permit the evaluation team to better understand where ACCES is allocating resources and where existing gaps in information need to be filled through field data collection. The desk review will serve also to increase understanding of ACCES activities and implementation progress to inform contextual understanding, to identify activity achievements and bottlenecks, and to establish the extent to which ACCES is able to implement water and sanitation changes in the six key regions in which it operates. After the document review, the evaluation team will follow up with ACCES and USAID with additional questions to clarify any issues. Finally, the evaluation team will review quantitative project data from the SurveyCTO data collection system. Secondary data include: project-related documents provided by USAID and ACCES, including quarterly and annual reports, work plans, the M&E Plan, the project contract, project beneficiary, client and infrastructure data (including GIS data where possible), the Project Appraisal Document, Memoranda of Understanding (MOUs), and outside studies and reports (“state of the literature”) including recently conducted WASH market studies as a benchmarking approach; In addition, other relevant data sources identified during fieldwork, such as market analyses, government data sources, and studies completed by other implementing partners and USAID may be used to provide additional qualitative (and perhaps quantitative) measures to the evaluation. Annex 2 contains the list of documents and data to be reviewed in Phase 1. The findings of the recent OFOR assessment will also be used to build upon or increase AID's understanding of the overall WASH system reform going on in Senegal. PHASE 2: PRIMARY DATA COLLECTION – QUALITATIVE FIELD RESEARCH The evaluation team will utilize Key Informant Interviews (KIIs) and Group Discussions (GDs) as the primary qualitative data collection methodologies. To gather these data, the evaluation team will be required to travel to the eastern and southern parts of Senegal. To the extent possible, MEP Senegal will arrange all logistics for fieldwork. The evaluation team will need ACCES to provide introductory communications and possible follow-up to schedule meetings with ACCES staff members at the national ACCES MIDTERM EVALUATION REPORT 140 and local levels. MEP Senegal staff and team members will make all other necessary appointments. The following section describes the data collection methods to be used in Phase 2. KEY INFORMANT INTERVIEWS The evaluation team will conduct face-to-face in-depth interviews with a range of ACCES stakeholders at the national, regional, commune and village levels, including individuals who have knowledge of and direct involvement with the ACCES activities. The purpose of these interviews is to gain a qualitative understanding of the perspectives, experiences, and opinions from various ACCES stakeholders concerning the relevance of the strategies, underlying interactions, and contributions of ACCES. The semi-structured nature of the interviews will maintain a balance between keeping the interviewee on the topic of interest and allowing sufficient scope for a free-flowing discussion to take place. Semi-structured interviews will primarily rely on open-ended questions but may include some closed-ended questions. Information derived from semi-structured interviews will be used to address all the evaluation questions. While KIIs will be conducted face-to-face, the evaluation team may conduct interviews with select informants remotely, as needed. The evaluation team designed KII guides linked to the EQs and respondent categories. This process consisted in first creating an evaluation framework where research questions were derived from each EQ. From those research questions, sub-questions and themes were defined. Then the different respondent category types were linked to the sub-questions. This results in KII guides that cover key themes that answer each EQ and ensures that multiple information sources are linked to each EQ. The KII guides were then prepared for each respondent category type, covering the relevant themes from the evaluation framework. The qualitative data collection instruments can be found in Annex 3. A detailed plan that includes the quantity of KIIs to be conducted and the individual stakeholders to be interviewed is outlined in section 10 of this work plan. FOCUS GROUP DISCUSSIONS In addition to semi-structured interviews, the evaluation team will collect data through group discussions where the key objective of the research is to identify why classes of respondents espouse a specific view and to explore group norms. GDs will mainly be used to understand the effects on beneficiaries and clients supported by ACCES and its affiliated service providers. GDs allow respondents to reflect upon and make sense of a shared experience, as well as allowing them to probe one another’s understanding in a setting that will allow the evaluation team to develop an in-depth understanding of the key drivers and barriers behind the impacts that have been experienced. These group approaches will also allow the evaluation team to validate evidence obtained through other sources, such as KIIs and ACCES document review. Women will be interviewed separately from men to understand their issues around access to water and sanitation services GDs will be led or facilitated by two members of the evaluation team, who will ensure that key areas of interest are covered and fully documented while allowing discussion to flow freely, intervening when required to ensure all participants have an opportunity to voice their opinions. The evaluation team prepared semi-structured GD guides that cover key discussion topics that are found in Annex 3. ACCES MIDTERM EVALUATION REPORT 141 EVALUATION LIMITATIONS MEP has identified several evaluation limitations that may affect evaluation results and suggests below mitigation measures to ensure high evaluation standards. Inability to Demonstrate Attribution: Since the evaluation will not include a comparison group as part of an experimental or quasi-experimental design, the findings will not support strong causal inference. Thus, it will not be able to rigorously determine causality for identified outcomes. Assessing Sustainability: Since the sustainability of initiatives can only be verified ex-post, the methods proposed to assess sustainability will use factors that theoretically would contribute to the sustainability of the initiatives. The answer to EQ3 will describe the likelihood of sustainability, based on evidence collected by the evaluation team and the literature regarding sustainability for interventions of this nature. Respondent Bias: Key informants will constitute the primary source of information in answering all evaluation questions. Although the evaluation team will triangulate as much of the data as possible, interview data are subject to cognitive biases, including recall bias. The validity and reliability of findings will be ensured through use of systematic triangulation of interview and document sources, and appropriate selection of a range of ACCES stakeholders at the national, regional, and commune levels. This will reduce the potential for bias across the research. Non-representative sample: Because of the restrictions of time and budget allotted for this evaluation, a representative sample of villages will not be possible. However, the evaluation compensates for this with a selection of regions and communes that cover a significant amount of the territory in which ACCES operates, as described below ACCES MIDTERM EVALUATION REPORT 142 GETTING TO ANSWERS MATRIX The following presents the “Getting to Answers” (G2A) matrix that outlines the most important components of the data analysis plan. Evaluation Questions Type of Answer/ Evidence Needed (Check one or more, as appropriate) Methods for Data Collection, e.g., Records, Structured Observation, Key Informant Interviews, Mini-Survey Sampling or Selection Approach, (if one is needed) Data Analysis Methods, e.g., Frequency Distributions, Trend Analysis, Cross￾Tabulations, Content Analysis Data Source(s) Method How well is ACCÈS performing? What is working? What is not working? Yes/No Document review USAID, ACCES, ADEMAS, CRS, PSI, NRCE, IMPAQ, Caritas, Stantec, EU, USAID GOLD project, OFOR, Direction Régionale de l’hydraulique, Direction de l’assainissement, DRH, BSH, SNEIPS, SNH, ARD, Local organizations and, associations including women’s group, Service providers, Local government, Households, ASUFOR, GRET, USAID Kawolor, plateforme WASH Desk review Key Informant Interviews and Group Discussions SWOT Purposeful sample based on USAID interest in three regions: Ziguinchor, Kédougou and Matam. Ces régions ont des niveaux de réalisation et d’appropriation différents. For example, Accès has more success in Matam and Ziguinchor, than Kédougou. The commune and village selection process was based on the following criteria: ● Package of services implemented in the municipality ● The accessibility of the municipality, taking into account the number of days in each region Security. Some areas in the Ziguinchor region deemed insecure will be removed from the sample. Trend Analysis, Content Analysis, possibly frequency distribution if quantitative data is sufficient, SWOT analysis X Description Comparison X Explanation What is the value added of ACCÉS in the four output areas? Specifically, - Demand generated for WASH products and services - Increased market-based provision of Yes/No Document review USAID, ACCES, ADEMAS, CRS, PSI, NRCE, IMPAQ, Caritas, Stantec, EU, USAID GOLD project, OFOR, Direction Régionale de l’hydraulique, Direction de l’assainissement, DRH, BSH, SNEIPS, SNH, ARD, Local organizations and, associations including women’s group, Service providers, Local government, Households, ASUFOR, GRET, USAID Kawolor, plateforme WASH, CMS, Cauri Microfinance Desk review Key Informant Interviews and Group Discussions Purposeful sample based on USAID interest in four regions: Ziguinchor, Tambacounda, Kédougou and Matam. The commune and village selection process was based on the following criteria: ● Package of services implemented in the municipality ● The accessibility of the municipality, taking into account the number of days in each region Trend Analysis, Content Analysis, possibly frequency distribution if quantitative data is sufficient X Description Comparison X Explanation ACCES MIDTERM EVALUATION REPORT 143 Evaluation Questions Type of Answer/ Evidence Needed (Check one or more, as appropriate) Methods for Data Collection, e.g., Records, Structured Observation, Key Informant Interviews, Mini-Survey Sampling or Selection Approach, (if one is needed) Data Analysis Methods, e.g., Frequency Distributions, Trend Analysis, Cross￾Tabulations, Content Analysis Data Source(s) Method WASH products and services - Improved provision and management of multiple use water systems - Improved and enabling environment for equitable delivery of quality WASH systems Security. Some areas deemed insecure will be removed from the sample. What institutions are needed to ensure the sustainability of a WASH market in targeted communities? Yes/No Document review USAID, ACCES, ADEMAS, CRS, PSI, NRCE, IMPAQ, Caritas, Stantec, EU, USAID GOLD project, OFOR, Direction Régionale de l’hydraulique, Direction de l’assainissement, DRH, BSH, SNEIPS, SNH, ARD, ASUFOR, GRET, USAID Kawolor, plateforme WASH Desk review Key Informant Interviews and Group Discussions All institutions that work with ACCES will be interviewed. Trend Analysis, Content Analysis, possibly frequency distribution if quantitative data is sufficient X Description Comparison X Explanation What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? Yes/No Document review, USAID, OFOR, ACCES, ADEMAS, Direction de l’hydraulique, Direction de l’assainissement, CRS, PSI, NRCE, IMPAQ, MWH, Caritas, Stantec, CLM., SNEIPS, UNICEF, SNH, ARD Desk review Key Informant Interviews and Group Discussions The main contractor, NRCE, all sub￾contractors and USAID staff will be interviewed. Trend Analysis, Content Analysis, possibly frequency distribution if quantitative data is sufficient ACCES MIDTERM EVALUATION REPORT 144 EVALUATION FIELDWORK SITES ACCES works in fifty communes in the following six regions of Senegal that have some of the more significant unmet need for sanitation and potable water: Ziguinchor, Sédhiou, Kolda, Kédougou, Matam, and Tambacounda. As agreed with USAID, the goal of the performance evaluation fieldwork is to record and analyze the perceptions of key stakeholders across a wide range of geographies. Because of the restrictions of time and budget allotted for this evaluation, a representative sample of villages will not be possible. However, the evaluation compensates for this with a selection of regions and communes that cover a significant amount of the territory in which ACCES operates, as described below. The evaluation team will conduct key informant interviews and group discussions in three of the six regions, with visits to their respective regional capitals. The team selected these regions based on their integrality to ACCES’s performance and USAID feedback. In addition, the evaluation team will visit nine communes across these regions, with a minimum of two communes visited per region. This represents 50% of regions and 18% of communes in which ACCES works. The team purposively selected these communes based on three criteria: diversity of rural and urban sites; type of ACCES implementation; and strategic importance of these communes to ACCES’s overall implementation goals. Half of these communes will be in urban or semi-urban areas and half will be in rural areas to capture perceptions that may differ due to urbanization effects, or lack thereof. The team will also select communes based on the type of ACCES implementation activity, defined as the following: 1. “ATPC” (community-led total sanitation) sites: implementation is done directly with all households in villages and communes chosen by ACCES implementers; 2. “AM” (Marketing Approach) communes: implementation is being done through a “market-based” approach on communes chosen by ACCES, and where there will be no direct implementation with villages or households in these communes; 3. A mix of ATPC and AM implementation. Finally, the evaluation team will conduct fieldwork in 18 villages, with at least one village visit per commune. USAID will approve the locations of these site visits before starting fieldwork and will also approve replacement villages and communes when necessary due to logistical or security concerns. The team has adjusted all communes and villages based on USAID priority and logistical concerns. The table below shows a summary of the regions and communes to be visited during fieldwork. Table: Geographic Distribution of Fieldwork Summary ACCES Region Total ACCES Communes Evaluation Sample Communes Regional Capital Ziguinchor 10 3 Ziguinchor Sédhiou 6 0 N/A ACCES MIDTERM EVALUATION REPORT 145 ACCES Region Total ACCES Communes Evaluation Sample Communes Regional Capital Kolda 8 0 N/A Kédougou 6 3 Kédougou Matam 8 3 Matam Tambacounda 10 0 N/A Total 50 9 3 The following table shows a summary of the communes and villages in which the evaluation will conduct fieldwork, with a balance between rural and semi-urban areas and ATPC or AM implementation. Table: Detailed Fieldwork Geography ACCES Region Communes Rural, Semi-Urban Activities Ziguinchor Niamone Rural CLTS, MUS, MA Thionk Essyl Semi-urbain MA Kafountine Rural MA, CLTS Kédougou Nenefesha Rural CLTS, MA Kedougou Semi-urbain MA Salémata Semi-urbain MA, MUS Matam Agnam Civol Semi-urbain MA, MSU, Water system repair Vélingara Ferlo Rural CLTS, MA Boki Diawe Semi-urbain MA ACCES MIDTERM EVALUATION REPORT 146 EVALUATION INTERVIEWEE SELECTION The evaluation team will conduct interviews with a comprehensive group of project stakeholders to collect data that will be used to answer the evaluation questions. The following stakeholders will be interviewed: ● USAID Representatives – including the ACCES COR, the EGO office, and other USAID project heads and project CORs with whom ACCES cooperates; ● GOS Officials (local, regional, and national) – GOS officials who work directly with the ACCES project, including mayors, with a special focus on the six entities that have signed Memoranda of Understanding (MOUs) with the project: National Hygiene Service (SNH), Association of Mayors of Senegal (AMS), Hydraulics Department (DH), Sanitation Department (DA), and OFOR. ● ACCES Staff – including the COP, DCOP, technical leads, and M&E staff in Dakar, the US, and in field offices as necessary; ● Clients – defined as any individuals or households, or groups of individuals or households, that have purchased goods or services provided by either ACCES or its private sector stakeholders; ● Beneficiaries – defined as any individuals or households, or groups of individuals or households, that have received goods or services provided by either ACCES or its private sector stakeholders free of charge; ● Service Providers – Private sector institutions working with ACCES to provide sanitation and health services; ● Consortium Partners – other institutions working alongside NRCE to implement the ACCES project; ACCES MIDTERM EVALUATION REPORT 147 ● Financial Institutions – Banks, cooperatives and other companies that work with ACCES to loan money to ACCES clients; ● Other Donors - Other donors implementing WASH services to get a sense of their use of business models; ● USAID Activities - including GOLD and Kawolor that collaborate with ACCES in certain activities. KEY INFORMANT INTERVIEWS The evaluation team will complete 26 national KIIs with USAID, national government officials, ACCES staff, and consortium partners; 21 regional interviews with government officials (4 per region) USAID Representatives, ACCES field staff and financial institutions; 21 KIIs at the commune level with regional government officials (probably the mayor and local health and sanitation officials), and local service providers; and two interviews per village with either local clients or local beneficiaries, for a total of 86 KIIs. Because of the project’s focus on women and children, at least 10 of the 18 local beneficiaries and clients interviewed (55%) must be women. The table below outlines the distribution of KIIs. Note: the final KIIs will be approved by USAID. The number of interviews may fluctuate depending on the actual number of interviewees available at the time of sampling. Table: Key Informant Interviews Distribution Stakeholder Category National Regional Commune Village Total USAID Representatives 3 4 - - 7 Government Officials 7 12 9 - 28 ACCES Staff 7 3 3 - 13 Clients - - - 9 18 Beneficiaries - - - 9 18 Service Providers - - 9 - 9 Financial Institutions - 2 - - 2 Consortium Partners 6 - - - 6 USAID Activities 2 - - - 2 Other donors 1 - - - 1 Total 26 21 21 18 86 The evaluation team selected each KII respondent based on a thorough review of ACCES documents, as well as the respondent’s knowledge of themes related to the evaluation questions and ACCES activities. In addition, the evaluation team consulted with ACCES and USAID to identify the most relevant respondents. The list of respondents was approved by USAID prior to beginning fieldwork. The evaluation team will provide USAID with a list of project stakeholders that will be interviewed once the workplan is finalized. ACCES MIDTERM EVALUATION REPORT 148 FOCUS GROUP DISCUSSIONS In addition to key informant interviews, the evaluation team will conduct 24 focus group discussions, two per commune, to collect data on client or beneficiary perceptions of water and sanitation services provided by ACCES service providers. Focus groups enable the evaluation team to hear a wide variety of opinions in a short timeframe. Each GD will include between 6 and 12 participants, for a total of 144-288 individuals interviewed. At least 14 of the 24 focus groups (58%) will be comprised solely of women, where possible. TEAM COMPOSITION The evaluation team will be led by a WASH specialist knowledgeable about the current water and sanitation reforms underway in Senegal, Ms. Sadio Savané Coulibaly. Ms. Savané currently serves as the Deputy Chief of Party for the MEP Senegal and will serve as team leader for this task. Her previous experience includes designing and managing M&E and performance measurement systems for WASH initiatives in Senegal including the Millennium Drinkable Water and Sanitation Program or Programme d'eau potable et d'assainissement du Millénaire (PEPAM) and the Wula Nafaa Program. Dan Copeland, an evaluation methodologist with ten years’ experience working in evaluations, will support Ms. Savané. He will be responsible for ensuring that the evaluation follows a rigorous process of data collection and analysis. Mr. Copeland will work closely with Ms. Savané to develop narrative analysis in English with Ms. Savané working on the French narrative. The evaluation team will also include a Senegalese sanitation specialist, Abdoulaye Faye and a Senegalese water specialist, Aly Tounkara. A MEP M&E Manager, Safyatou Diallo, will support administration of the evaluation and will accompany the team in the field. Three enumerators will support the qualitative fieldwork. All team members will provide a signed statement attesting that they have no conflict of interest or, as required, a statement describing any existing conflict of interest. MEP Senegal’s Technical Director, Deborah Orsini, will review the findings, conclusions and recommendations matrix as well as the draft and final reports for technical quality. The timeline for implementation is presented below. EVALUATION TIMELINE Dates Tasks/Deliverables October 1-19 Recruitment of team and request for travel and rate approvals October 29-November 2 Desk review and completing answering questions with secondary data November 14 Initial phone call with EG Office November 6-15 Development of workplan and tools November 19 Submit workplan to EG Office for approval ACCES MIDTERM EVALUATION REPORT 149 Dates Tasks/Deliverables November 21 Submit the data collection tools November 23 Approval of workplan and tools by EG Office November 5-23 Confirm appointments and field schedule November 24 Arrival of Evaluation Specialist in Dakar November 26 Team Planning Meeting and discussion with USAID/EGO staff November 27- 30 Interviews with USAID/Senegal staff, and Dakar-based stakeholders December 3 Train enumerators December 4 Depart to regions December 5-11 Regional interviews and community-based interviews with Activity field agents December 12 Return from regions December 13-18 Preliminary data analysis and development of findings, and conclusions table December 19 Data walk with USAID/EG Office (initial findings and presentation) December 20 Presentation of initial findings with Accès and partners December 13-20 Preparation of the Recommendations Workshop December 21 Recommendations Workshop December 21 Evaluation Specialist departs Senegal December 24-31 Finalize the data analysis TBD Presentation to Mission January 7-11 Development of draft report ACCES MIDTERM EVALUATION REPORT 150 Dates Tasks/Deliverables January 21 Submission of draft report February 1 Feedback from USAID on report February 15 Revisions to report and develop abstract and infographic February 28 Submission of final report, infographic and abstract DELIVERABLES The following is a description of the evaluation deliverables: ● Work Plan: The detailed work plan will include the evaluation methodology, data analysis framework, data collection methods, fieldwork selection and interviewee selection methodology, description of the evaluation team, timeline and explanation of deliverables. The work plan will be submitted to the MEP Contracting Officer’s Representative (COR) and EGO point of contact (POC) for feedback and approval prior to fieldwork. ● Data collection instruments and interviewee list: These will be delivered to USAID within one week of work plan submission. USAID must approve all deliverables prior to beginning fieldwork. ● Data Walk/Preliminary Findings Presentation: A PowerPoint presentation in French and English to the EGO team; no longer than 30 minutes leaving at least 30 minutes for full discussion and Q&A. The evaluation team will make additional presentations as required to key MHA officials and ACCES staff. ● Recommendations Workshop: A workshop with USAID/EGO/WASH staff, ACCES staff and to develop, discuss, and validate the recommendations based on the findings of the evaluation. This recommendations co-generation approach will facilitate a clear road forward for the Activity, the stakeholders, AOR and EGO in terms of revisions to the Activity’s approach. ● Final Presentation: A PowerPoint presentation in French to the USAID Mission; no longer than 20 minutes leaving at least 40 minutes for full discussion and Q&A. ● Draft Evaluation Report: The team will submit a draft report to the MEP COR and EGO POC who will provide consolidated comments for revision and finalization of the report ten working days following the draft submission. ● Final Evaluation Report and Evaluation Documentation: An electronic document that includes a table of contents, methodology, findings, conclusions and recommendations. The final report will be submitted in English (and later translated into French) and will include: ACCES MIDTERM EVALUATION REPORT 151 i. Clear discussion of the data and evidence based on the evaluation questions, the subsequent findings prompted by analysis of the data and evidence, conclusions driven by the findings, and recommendations generated from the conclusions and based on the recommendations workshop. ii. A five-page executive summary that provides a brief discussion of the evaluation purpose, basic methodology, findings, conclusions, and recommendations. iii. Standard USAID branding requirements and will be formally submitted to the DEC upon approval. Additional copies of the final report in French will be made available to all stakeholders participating in the initial findings briefings. Copies in English will be shared with relevant USG offices. iv. Annexes including primary data and other pertinent evaluation documentation. v. A one-page evaluation fact sheet (infographic) highlighting key lessons learned from the evaluation, target findings for decision-making. These fact sheets will respond to the question: Who needs to know what, and by when? The table below summarizes the expected deliverables: Deliverable Estimated Due Date 1. Work Plan November 19 2. Data Collection Instruments and Interviewee List November 21 3. Data Walk/Initial Findings Presentation December 19 4. Recommendations Workshop December 21 5. Draft Evaluation Report January 21 6. Final Evaluation Report and abstract and Evaluation Documentation February 28 7. One-page fact sheet March 30 ACCES MIDTERM EVALUATION REPORT 152 ANNEX IX: ACCES COMMUNES AND VILLAGES The following table shows the current list of 48 selected communes in each of the six ACCES regions, the shaded communes are those with CLTS sites. Two additional communes will be selected in the next six months, to bring the total to 50 communes under the ACCES Activity. REGION COMMUNES REGION COMMUNES Tambacounda 1 Sinthiou Malem Kédougou 1 Salemata 2 Goudiry 2 Saraya 3 Koumpentoum 3 Bandafassi 4 Kidira 4 Kédougou 5 Bakel 5 Nenefecha 6 Kothiary 6 Bembou 7 Diawara 8 Sinthiou Bocar Aly 9 Sinthiou Mamadou Boubou 10 Koussanar Ziguinchor 1 Adeane Kolda 1 Kolda 2 Thionk Essyl 2 Velingara 3 Niamone 3 Medina Yoro Foula 4 Coubalang 4 Sare Yoba Diaga 5 Karthiak 5 Kounkane 6 Diouloulou 6 Patta 7 Sindian 7 Badion 8 Kafountine 8 Bignarabé 9 Kataba 10 Djinaky Matam 1 Ranerou Sédhiou 1 Sédhiou 2 Boki Diawe 2 Samine 3 Dabia 3 Marsassoum 4 Agnam Sivol 4 Tanaff 5 Matam 5 Kandion Mangana 6 Kanel 6 Djinany 7 Oudalay 8 Velingara Ferlo ACCES MIDTERM EVALUATION REPORT 153 The table below shows the communes in each region with CLTS. There is a total of 200 CLTS villages in 17 different communes. Region Commune Village Ziguinchor Adeane 1 Diagno Niamone 1 Diengue Sindian 1 Silick 2 Lefeu 3 Ouniock 4 Tankorong 5 Diagongue 6 Kourouck 7 Kakene Kafountine 1 Saloulou 2 Boune 3 Hillole 4 Couba 5 Haer 6 Colomba /Kafountine 7 Hitou Kataba 1 Bandji Kaki 2 Darou Khayri 3 Koubanak 4 Dimbaya Senegal 5 Mahamouda Diola 6 Macouda 7 Kataba 2 8 Koulandiang 9 Bourome 10 Tambacounda Kataba 11 Madina Birassou 12 Touba 13 Katack 14 Koudioubé 15 Kataba 1 16 Darou salam ACCES MIDTERM EVALUATION REPORT 154 Region Commune Village Djinaky 1 Mahamouda Cherif 2 Mongone 3 Karongue 4 Djinoudie 5 Kateum Teum 6 Kacare 7 Birkamading 8 Djinone 9 Baline 10 Wangaran 11 Diounoung 12 Essom Silathiaye 13 Baranlir 14 Katipeu 15 Balonguine 16 Koussabel 17 Tendine Djinaky 18 Kariaye Kolda Badion 1 Sare Deme 2 Sinthiang Poulo 3 Sare Pathe Hawa 4 Kondiala 5 Sare Moussayel 6 Sare Yero Bamby 7 Sambarde 8 Medina Ndiobo 9 Piyaye Boure 10 Boido Maly 11 Sare Ndoumbe 12 Velingara Diouhe 13 Hacounde Moundiourou 14 Dioulangel Banta 15 Badion 16 Foumiara ACCES MIDTERM EVALUATION REPORT 155 Region Commune Village Bignarabe 1 Sare Hamidou Diaw 2 Galouyel Dembaba 3 Santankoye 4 Sossouto 5 Sare Sawadi 6 Sare Gueladio 7 Boussoura Sori 1 8 Daybatou Bacor 9 Sare Omar Kande Sédhiou Kandion Mangana 1 Sindialon 2 Faraba 3 Kita Kandion 4 Kamindia 5 Kamboussema 6 Sankandy 7 Kandion Mangana 8 Koboyel 9 Tambacounda 10 Kansamandiang 11 Faranding 12 Soucoutoto 13 Dassilame 14 Sare Tening Djinany 1 Badiocounda 2 Mansabang 3 Sare Doulo 4 Djiankandy 5 Djinany 6 Bandoumba Diouka 7 Bandoumba Hamet 8 Gassikon Manding 9 Kambaleba 10 Bandoumba Mamadou 11 Kerewane ACCES MIDTERM EVALUATION REPORT 156 Region Commune Village Tambacounda Sinthiou Bocar Aly 1 Malem 2 Sinthiou Diery 3 Ndiayebé 4 Boké 5 Thiodordé 6 Panthanghedji 7 Sinthiou Madoumbé 8 Diaobé 9 Dinndedji 10 Sinthiou Bocar Aly 11 Madjié 12 Kaldem Sinthiou Mamadou Boubou 1 Dendoudi Seydi 2 Mbailadji 3 Thiasky 4 Sinthiou Oumar Havoy 5 Boula 6 Belel 2 7 Sinthiou Tafsirou 8 Yawouroudji 9 Wouro Singha 10 Seno Bodé 11 Ndia 12 Guina 13 Doubel beydi 14 Diaré maboudé 15 Boki maboubé 16 Galoyabé 17 Binguel 18 Toulékedé 19 Ngary Aly 20 Loridji 21 Woyndou Coly 22 Ndiakone ACCES MIDTERM EVALUATION REPORT 157 Region Commune Village 23 Lewa Hamad 24 Civiyabé 25 Diaré Mbolo 26 Guewol 27 Gonghedji 28 Boulel 29 Boki Guilé 30 Birom digué 1 31 Mayel Wambabé Koussanar 1 Sinthiou Sadio Aliou 2 Sinthiou Dawady 3 Bohé Baledjie 4 St Balla Malsine 5 Sinthiou Siré Kane 6 Sèno Samba Yabé 7 Sinthiou Sambarou Kédougou Nenefecha 1 Matakossi 2 Ouroudié 3 Afia Pont 4 Assoni 5 Namèl 6 Angoussaka 7 Dongol 8 Thiarmalel 9 Ndebou 10 Nénéfécha 11 Ethiess Haut Et Bas 12 Hamdalay 13 Baya 14 Afia Magasin Bembou 1 Pondala 2 Sansamba 3 Bambaji 4 Dioulafoundou ACCES MIDTERM EVALUATION REPORT 158 Region Commune Village 5 Sanéla 6 Bounsakhoba 7 Barabiri 8 Kondokhou 9 Badioula 10 Gareboureya 11 Moussala Mahinamine Matam Oudalay 1 Naouré 2 Kodé Diaré 3 Naoure Central 4 Wouro dikourou 5 Beli Laebé 6 Barkadou 7 Beli Seno 8 Bouli Fari 9 Dialé Dendi 10 Mboki Leliki 11 Sodor 12 Toukogal Velingara Ferlo 1 Boundou Mbaba Berkedji 2 Loumbi Paté Jibél 3 Kaoune 4 Ndianoy 5 Boundou Mbaba Sinthiou 6 Adja 7 Rèwane 8 Dayane Gssel 1 9 Dayan Kojolél 10 Mbokindar 11 Dayane Gassel 2 12 Darou Salam Loumbi 13 Woydou Ali ACCES MIDTERM EVALUATION REPORT 159 ANNEX X: COMPLETE INTERVIEW LIST Table: Full Data Collection Summary Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) ACCES Staff 19 4 - 11 (33%) - USAID/Senegal 6 1 - - - USAID Other Activities 1 1 - 2 (50%) - Government of Senegal 16 7 - 1 (3%) - ASUFOR 1 - - 1 (100%) - Donor-Funded Programs 3 1 - - - Clients – Market Approach 9 1 4 8 (62%) 10 (50%) Clients – Women’s Savings and Internal Lending Communities (SILCs) 1 - 2 1 (100%) 36 (100%) Clients – Water Beneficiaries 3 - 1 1 (33%) 8 (100%) Clients – CLTS Beneficiaries 5 1 5 3 (38%) 23 (57%) Service Providers – Entrepreneurs 3 - - 1 (33%) - Service Providers – Masons 7 - - - - Service Providers – Hardware Stores 1 - - - - Sales Agents 11 - - 8 (73%) - Crédit Mutuel du Sénégal 3 1 - - - TOTAL 89 17 12 37 (44%) 77 (63%) ACCES MIDTERM EVALUATION REPORT 160 Table: Data Collection Summary Dakar Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) ACCES Staff 1338 2 39 - 7 (39%) - USAID Other Activities - 1 - 2 (67%) - USAID/Senegal 4 1 - - - Government of Senegal 3 1 - - - Donor-Funded Programs 3 1 - - - TOTAL 24 7 - 9 (43%) - Table: Data Collection Summary Ziguinchor Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) ACCES Staff - 1 - 3 - USAID/Senegal 1 - - - - Government of Senegal 5 1 - - - ASUFOR 1 - - 1 - Clients – Market Approach 3 - 1 1 - Clients – Women’s Savings and Internal Lending Communities (SILCs) - - 2 - 36 (100%) Clients – CLTS Beneficiaries 2 1 1 3 4 (57%) Service Providers – Entrepreneurs 2 - - 1 - Service Providers – Masons 2 - - - - 38 The evaluation team conducted a second individual interview with the ACCES Dakar M&E/Gender Specialist. 39 The evaluation team conducted a second group interview with the ACCES Dakar leadership team. ACCES MIDTERM EVALUATION REPORT 161 Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) Sales Agents 3 - - 3 - Crédit Mutuel du Sénégal 1 - - - - TOTAL 20 3 4 12 (57%) 40 (93%) Table: Data Collection Summary Matam Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) ACCES Staff 2 1 - - - Government of Senegal 4 1 - - - Clients – Market Approach 3 - 1 3 8 (89%) Clients – CLTS Beneficiaries 1 - 2 - 14 (56%) Service Providers – Entrepreneurs 1 - - - - Service Providers – Masons 2 - - - - Service Providers – Hardware Stores 1 - - - - Sales Agents 2 - - 1 - Crédit Mutuel du Sénégal 1 1 - - - TOTAL 17 3 3 4 (80%) 22 (64%) Table: Data Collection Summary Kédougou Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees Female Focus Group Participants ACCES Staff 4 - - 1 - USAID/Senegal 1 - - - - ACCES MIDTERM EVALUATION REPORT 162 Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees Female Focus Group Participants USAID Other Activities 1 - - - - Government of Senegal 4 3 - 1 - Clients – Market Approach 3 1 2 4 2 (15%) Clients – Women’s Savings and Internal Lending Communities (SILCs) 1 - - 1 - Clients – Water Beneficiaries 3 - 1 1 8 (100%) Clients – CLTS Beneficiaries 2 - 2 - 5 (28%) Service Providers – Masons 3 - - - - Sales Agents 6 - - 4 - Crédit Mutuel du Sénégal 1 - - - - TOTAL 29 4 5 12 (39%) 15 (38%) Table: Data Collection Summary Tambacounda Category # of Individual Interviews # of Group Interviews # of Focus Groups Female Interviewees (%) Female Focus Group Participants (%) Government of Senegal - 1 - - - TOTAL - 1 - - - ACCES MIDTERM EVALUATION REPORT 163 Table: List of Key Informant Interviewees Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) ACCES Staff Dakar Dakar Kristina Nickie Sène ACCES/CRS Head of Programs 11/27/18 Individual Y ACCES Staff Dakar Dakar Kelsey Dudziak ACCES/NRCE Water Specialist 11/28/18 Individual Y Government of Senegal Dakar Dakar Lamine Ka OFOR Director of Planning and Studies 11/27/18 Individual Y ACCES Staff Dakar Dakar Gabriel Regalet ACCES/NRCE Chief of Party 11/27/18 Individual Y ACCES Staff Dakar Dakar Ann Wessling ACCES/NRCE Deputy Chief of Party (Acting COP) 11/27/18 Individual Y ACCES Staff Dakar Dakar Fadel Thiam ACCES/CRS WASH Expert 11/27/18 Individual Y ACCES Staff Dakar Dakar Seydou Koita ACCES/ADEMAS Business Marketing Advisor 11/28/18 Individual Y ACCES Staff Dakar Dakar Jim Malster ACCES/PSI Technical Director 11/28/18 Individual Y ACCES Staff Dakar Dakar Dr. Cheikh Saad￾BouSarr ACCES/ADEMAS CEO 11/28/18 Group Y Mansour Ndiath ACCES/ ADEMAS M&E ACCES Staff Dakar Dakar Gladys Uwase ACCES/Finance Specialist 11/28/18 Individual Y ACCES Staff Dakar Dakar Justin Malik Mbengue ACCES/Caritas Coordinator Jean Pierre Ndiaye 11/28/18 Group Y ACCES/Caritas Deputy Financial Manager Madeleine Pascale Sène Diadhiou ACCES/Caritas Financial Manager USAID/Senegal Dakar Dakar Arvil Gonzalez USAID/EGO ACCES COR 11/29/18 Individual N ACCES MIDTERM EVALUATION REPORT 164 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) USAID/Senegal Dakar Dakar William Bradley USAID ACCES ACOR 11/29/18 Group N Xavier Preciado USAID/EGO Deputy Director USAID/Senegal Dakar Dakar Abdoulaye Boly USAID/EGO WASH Specialist 11/29/18 Individual N Government of Senegal Dakar Dakar Moustapha Kane Service National d’Hygiène, Chef de Division, Hygiène Education 11/29/18 Individual Y Donor-Funded Programs Dakar Dakar Jean Marie Ily GRET, Project Coordinator 11/30/18 Individual Y ACCES Staff Dakar Dakar David Scharre ACCES/Stantec (UHL and Associates) Project Manager 11/30/18 Individual Y Donor-Funded Programs Dakar Dakar Laurent Fremolle UE 11/30/18 Group N Daouda Touré Government of Senegal Dakar Dakar Dib Thiam Service National Education et Information pour la Santé (SNEIPS) Financial Manager 12/3/18 Group N Ousseynou Sy Service National Education et Information pour la Santé (SNEIPS) Platform Manager 12/3/18 ACCES Staff Dakar Dakar Lucy Cutting ACCES/IMPAQ 12/3/18 Individual N ACCES Staff Dakar Dakar Fatou Dieng ACCES/NRCE M&E and Gender Specialist 12/3/18 Individual Y ACCES Staff Dakar Dakar Gary Merkley ACCES/NRCE Technical Director 12/3/18 Individual Y Government of Senegal Dakar Dakar Moustapha Guèye Direction de l’Assainissement 14/3/2018 Individual Y ACCES MIDTERM EVALUATION REPORT 165 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) ACCES Staff Dakar Dakar Samba Ba Institutional Development Advisor 14/3/2018 Individual Y USAID/Senegal Dakar Dakar Seydou Kane PF USAID (Kolda et Sédhiou) 18/3/2018 Individual N USAID/Senegal Dakar Dakar Tanor Ndao PF USAID (Matam and Saint Louis 19/3/2018 Individual N Donor-Funded Programs Dakar Dakar Oumar Diallo World Bank 19/12/2018 Individual Y USAID Other Activities Dakar Dakar Massiré Karé WASH Specialist WASHFIN 19/12/2018 Group N Dieynaba Thiam Ka Country Team Leader WASHFIN Seynabou Dia Thiam Finance Specialist WASHFIN Donor-Funded Programs Dakar Dakar Moussa Seck WASH Specialist OXFAM 19/12/2018 Individual N ACCES Staff Matam Matam Raphael Biagui Marketing Coordinator 5/12/18 Individual N ACCES Staff Matam Matam Mamadou Cisse Business Coach 5/12/18 Individual Y ACCES Staff Matam Matam Francis Manga WASH BCC 7/12/18 Group N Sémou Diouf Microfinance Assistant Government of Senegal Matam Matam Demba Mbow Division Régionale de l’Hydraulique 5/12/18 Individual N Government of Senegal Matam Matam Abdourahmane Touré M&E Specialist ARD 5/12/18 Group Y Mamadou Ndao WASH Specialist ARD Government of Senegal Matam Matam Mei Fall Brigade Régionale de l’Hygiène 5/12/18 Individual N ACCES MIDTERM EVALUATION REPORT 166 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Service Providers - Entrepreneur Matam Matam Abdou Yaya Sy Entrepreneur 5/12/18 Individual Y Service Providers – Hardware Store Matam Ourossogui Allasane Sy Quincallier 5/12/18 Individual Y Crédit Mutuel du Sénégal Matam Matam Abdoul Diop CMS 5/12/18 Group Y Tidiane Bra Thiene Government of Senegal Matam Vélingara Ferlo/ Vélingare Diao Cheikh Mamadou Mbow Mayor 6/12/18 Individual N Clients – CLTS Beneficiaries Matam Vélingara Ferlo/ Vélingare Diao Galo Boubacar Dia Client – CLTS Beneficiary 6/12/18 Individual Y Service Providers – Masons Matam Bokidiawé Moussa Diop Mason 7/12/18 Individual Y Service Providers – Masons Matam Bokidiawé Moussa Barry Mason 7/12/18 Individual Y Clients – Market Approach Matam Bokidiawé Houlèye Daouda Talla Client - Market Approach 7/12/18 Individual Y Sales Agents Matam Bokidiawé Alassane Barry Sales Agent 7/12/18 Individual Y Sales Agents Matam Bokidiawé Mariam Ndianor Sales Agent 7/12/18 Individual Y Crédit Mutuel du Sénégal Matam Bokidiawé Tidiane Ba CMS 7/12/18 Individual Y Clients – Market Approach Matam Bokidiawé Dienaba Dia Client - Market Approach (Présidente du groupement Pelital) 7/12/18 Individual Y ACCES MIDTERM EVALUATION REPORT 167 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Government of Senegal Matam Bokidiawé Baba Diawara Adjoint au maire 7/12/18 Individual Y Clients – Market Approach Matam Bokidiawé Diandio Dieng Client - Market Approach 7/12/18 Individual Y USAID/Senegal Ziguinchor Ziguinchor Moussa Sow USAID FP 5/12/18 Individual Y ACCES Staff Ziguinchor Ziguinchor Mamadou Moctar Diallo Market Developer 5/12/18 Group Y Jeanne Margot Sambou Business Coach Dominique Mandiamy Microfinance Officer Philippe Correa WASH Officer Rose Diaw Marketing Coordinator Reine Marie Dasylva South Coordinator Government of Senegal Ziguinchor Ziguinchor Baboucar Dième Division Régionale de l’Hydraulique 5/12/18 Individual Y Government of Senegal Ziguinchor Ziguinchor Alassane SOW Service Régional de l’Assainissement 5/12/18 Individual Y Government of Senegal Ziguinchor Ziguinchor Ibrahima Sané Brigade Régionale de l’Hygiène 5/12/18 Individual Y Service Providers - Entrepreneur Ziguinchor Ziguinchor Ndèye Marie Sagna Lecaer Entrepreneur 5/12/18 Individual Y Government of Senegal Ziguinchor Kafountine Nfansou Victor Diatta Mayor 6/12/18 Individual Y Crédit Mutuel du Sénégal Ziguinchor Kafountine M. Keita Chef d’agence CMS 6/12/18 Individual Y ACCES MIDTERM EVALUATION REPORT 168 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Service Providers - Entrepreneur Ziguinchor Kafountine Emile Sambou (BTP) Entrepreneur 6/12/18 Individual Y Service Providers – Masons Ziguinchor Kafountine Landing Traoré Mason 6/12/18 Individual Y Service Providers – Masons Ziguinchor Kafountine Malang Demba Mason 6/12/18 Individual Y Sales Agents Ziguinchor Kafountine Elisabeth Djiba Sales Agent 6/12/18 Individual Y Sales Agents Ziguinchor Kafountine Gnara Diabang Sales Agent 6/12/18 Individual Y Clients – CLTS Beneficiaries Ziguinchor Kafountine/ Djiemdemb Mbemba Sané Client – CLTS Beneficiary 6/12/18 Individual Y Government of Senegal Ziguinchor Thionk-Essyl Souleymane Diatta Deputy Mayor 7/12/18 Individual Y Clients – Market Approach Ziguinchor Thionk-Essyl Malick Badji Client - Market Approach 7/12/18 Individual Y Sales Agents Ziguinchor Thionk-Essyl Awa Cheikh Diatta Sales Agent 7/12/18 Individual Y Government of Senegal Ziguinchor Niamone Daouda Sow Secrétaire Municipal 7/12/18 Group N Pierre Fiacre Coly Chargé de l’Etat-Civil Clients – Market Approach Ziguinchor Niamone Adama Ba Clients – Market Approach 7/12/18 Individual Y ASUFOR Ziguinchor Niamone/ Diengue Ndèye Sophie Camara Vice-présidente 7/12/18 Individual Y Clients – CLTS Beneficiaries Ziguinchor Niamone/ Diengue Aissatou Cissé Trésorière CSV Ansoumana Coly Secrétaire Administratif CSV 7/12/18 Group N Fatou Sanou Secrétaire comptable CSV Clients – CLTS Beneficiaries Ziguinchor Niamone/Die ngue Suzanne Badji Client – CLTS Beneficiary 7/12/18 Individual N ACCES MIDTERM EVALUATION REPORT 169 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Clients – Market Approach Ziguinchor Niamone/Die ngue Sana Coly Clients – Market Approach 7/12/18 Individual Y USAID Other Activities Kédougou Kédougou Mamadou Lamarana Barry Manager composante 1 & 2 GOLD 9/12/18 Individual Y Government of Senegal Kédougou Salémata Mamadou Bailo 1er adjoint au maire 10/12/18 Group Y Kamassy Camara Sales Agents Kédougou Salémata Dalanda Diallo Sales Agent 10/12/18 Individual Y Clients – Water Beneficiaries Kédougou Salémata Abdourahmane Diallo Clients – Water Beneficiaries 10/12/18 Individual Y Clients – Water Beneficiaries Kédougou Salémata Lamine Diallo ASUFOR President 10/12/18 Individual N Clients – Water Beneficiaries Kédougou Salémata Amadou Oury Diallo Clients – Water Beneficiaries 10/12/18 Individual Y Clients – Women’s Savings and Internal Lending Communities (SILCs) Kédougou Salémata Fatoumata Diallo Présidente groupe SILC 10/12/18 Individual Y Government of Senegal Kédougou Nénéficha Ediègne Samoura Secrétaire Municipal 10/12/18 Group Y Dondo Keita Mayor Clients – CLTS Beneficiaries Kédougou Nénéficha/ Hamdalaye Thiokhoye Abdoul Ba Secrétaire Général CSV 10/12/18 Individual Y Sales Agents Kédougou Nénéficha/ Hamdalaye Thiokhoye Sory Kébé Sales Agent 10/12/18 Individual N ACCES MIDTERM EVALUATION REPORT 170 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Sales Agents Kédougou Nénéficha/ Hamdalaye Thiokhoye Souhaibou Diallo Sales Agent 10/12/18 Individual N Service Providers – Masons Kédougou Nénéficha/ Hamdalaye Thiokhoye Mamadou Diallo Mason 10/12/18 Individual N Clients – CLTS Beneficiaries Kédougou Nénéficha/ Ndébou Ousmane DIallo Client – CLTS Beneficiary 10/12/18 Individual Y Clients – Market Approach Kédougou Nénéficha/Mb aya Aliou Camara Clients – Market Approach 10/12/18 Individual N USAID/Senegal Kédougou Kédougou Massamba Diop USAID Focal Point 10/12/18 Individual Y ACCES Staff Kédougou Kédougou Mady Dramé Business Coach 10/12/18 Individual Y ACCES Staff Kédougou Kédougou Ladji Dabo Business Coach 10/12/18 Individual Y ACCES Staff Kédougou Kédougou Ambroise Diatta WASH BCC 10/12/18 Individual Y ACCES Staff Kédougou Kédougou Fatimetou Zahra Thiongane Microfinance Assistant 10/12/18 Individual Y Government of Senegal Kédougou Kédougou Babacar Diallo Chef de service de la division régionale de l’hydraulique 11/12/18 Individual Y Government of Senegal Kédougou Kédougou Khalidou CIssokho Agence Régionale de Développement 11/12/18 Individual N Government of Senegal Kédougou Kédougou Capitaine Salifou Danfakha Chef de service de la Brigade Régionale de l’hygiène 11/12/18 Individual N Government of Senegal Kédougou Kédougou Abdoulaye Doucoure Secrétaire Général 11/12/18 Group N Astou DIagne Cissé 1 ère Adjointe au maire ACCES MIDTERM EVALUATION REPORT 171 Category Region Commune Name Responsibility Date Individual or Group Interview Transcription (Y/N) Crédit Mutuel du Sénégal Kédougou Kédougou Marou Kane CMS 11/12/18 Individual N Service Providers – Masons Kédougou Kédougou Mamadou Sidibé Mason 11/12/18 Individual Y Service Providers – Masons Kédougou Kédougou Mamadou Lamine Diallo Mason 11/12/18 Individual Y Clients – Market Approach Kédougou Kédougou Dienaba Cissokho Client - Market Approach 11/12/18 Individual N Sales Agents Kédougou Kédougou Fatoumata Kanté Sales Agent 11/12/18 Individual Y Sales Agents Kédougou Kédougou Binta Keita Sales Agent 11/12/18 Individual Y Clients – Market Approach Kédougou Kédougou Ndogo Coulibaly Client - Market Approach 11/12/18 Group Y Fatou Touré Delphine Epine Boubane Cheikhou Danfakha Government of Senegal Kédougou Bandafassi Saifoulaye Diallo Secrétaire Municipal 11/12/18 Individual Y Clients – Market Approach Kédougou Bandafassi Leontine Keita Client - Market Approach 11/12/18 Individual Y Sales Agents Kédougou Bandafassi Jacqueline Nianou Keita Sales Agent 11/12/18 Individual Y Government of Senegal Tambacoun da Koussanar Mamadou Kane Gérant Forages de Koussanar (SOGES) 12/12/18 Group Y Bassirou Ba Mairie ACCES MIDTERM EVALUATION REPORT 172 ANNEX XI: COMPLETE FOCUS GROUP LIST Table: List of Focus Group Interviewees Type of Focus Group Village and Commune Region # of Male Participants # of Female Participants Date Transcription (Y/N) Clients – Market Approach Bokidiawé/Doulol Matam 1 8 06/12/2018 Y Clients – CLTS Beneficiaries Vélingara Ferlo/ Velingara Ndiao Matam 5 9 06/12/2018 Y Clients – CLTS Beneficiaries Vélingara Ferlo/Boki Ndar Matam 6 5 06/12/2018 Y Clients – Market Approach Thionk Essyl/Thionk Essyl Ziguinchor 7 - 07/12/2018 Y Clients – Women’s Saving and Loan Communities (SILCs) Diengue/Niamone Ziguinchor - 21 07/12/2018 Y Clients – Women’s Saving and Loan Communities (SILCs) Diengue/Niamone Ziguinchor - 15 07/12/2018 Y Clients – CLTS Beneficiaries Djiemdiemb/ Kafountine Ziguinchor 3 4 06/12/2018 Y Clients – Market Approach Salémata/Salémata Kédougou 5 1 10/12/2018 Y Clients – Market Approach Bandafassi/Bandafassi Kédougou 6 1 11/12/2018 Y Clients – CLTS Beneficiaries Nénéficha/Ndébou Kédougou 4 3 10/12/18 N Clients – CLTS Beneficiaries Nénéficha/Hamdalaye Thiokoye Kédougou 9 2 10/12/2018 N Clients – Water Beneficiaries Koulouba/Salémata Kédougou 0 8 10/12/2018 Y TOTAL 46 77 ACCES MIDTERM EVALUATION REPORT 173 ANNEX XII: LIST OF INTERVIEW CODES Interview codes, like A01, U04, MA08, etc. are used in place of personally identifiable information, like first and last names. This is done in order to protect the personal information and confidentiality of respondent statements. MEP will maintain an electronic copy of this list, and USAID/Senegal and others that receive USAID/Senegal approval may have access to that document if requested. ACCES MIDTERM EVALUATION REPORT 174 ANNEX XIII: MARKETPLACE CONNECTIONS ACCES MIDTERM EVALUATION REPORT 175 Interaction A: Partnership between ACCES and the GOS Technical Services: • Support from Technical Services for implementation of the CLTS approach. • Financial support from ACCES for fieldwork per diem and transportation. Interaction B: Behavior Change Communication & Marketing • ACCES conducts awareness training with households to achieve ODF status. Sales agents conduct follow-up marketing with households. • Limitations: Neglect of households or lack of verification can increase chances of returning to open defecation; competition from subsidy-based projects. Interaction C: Capacity-Building of Service Providers • ACCES identifies and trains service providers (masons, entrepreneurs and hardware store owners) in business management and marketing. ACCES also furnishes some entrepreneurs with cement ring molds. • Limitations: Attrition of trained masons due to low client demand; low profit margins. Interaction D: Financial Regulation • The relevant government entities regulate financial institutions. Interaction E: Municipal Subsidy • Municipalities subsidize latrines for the poorest households. • Limitations: Lack of municipal budget allocated for sanitation subsidies. Interaction F: Agreements with Financial institutions • ACCES enters into agreements with financial institutions to facilitate financing of market actors (households, masons, entrepreneurs, hardware stores, etc.) • Limitations: Financial institutions lack confidence in entrepreneurs because a history of lack of repayment. Lack of guarantee offered by ACCES to financial institutions increases their risk. Interaction G: Outside Actor Subsidies • Corporations, the diaspora, and other outside actors support latrine construction. • Limitations: Sponsors prove difficult to mobilize. ACCES MIDTERM EVALUATION REPORT 176 Interaction 1: Financial Flow 1 • The financial institution provides credit to households to finance latrines. • Limitations: Many financial institutions are unwilling to finance sanitation services; interest rate too high for clients to pay; household defaults without a guarantee from ACCES; low savings capacity of SILC members. Interaction 2 : Financial Flow 2 • The household orders a latrine and pays the mason for the construction of the latrine. • The mason purchases some or all of the materials from a supplier or uses locally sourced materials. • Limitations: Non-payment of households due to lack of income or credit. Interaction 3 : Latrine Delivery • The entrepreneur delivers latrine materials. Mason constructs the latrine. • Limitations: Lack of solvency among masons; work suspended due to non-payment. Interaction 4 : Financial Flow 4 • The household (or group) repays the credit according to the terms and conditions defined in the loan agreement. • Limitations: Low repayment capacity of households (or groups); no ACCES guarantee; high interest rates. Interaction 5: Financial Flow 3 • The financial institution grants a loan to the mason for equipment and working capital. • Limitations: Lack of ACCES guarantees in case of non-repayment from entrepreneur. Interaction 6: Financial Flow 5 • The entrepreneur fully repays his loan and is eligible for a new loan if needed. • Limitations: High interest rate; lack of ACCES guarantee. ACCES MIDTERM EVALUATION REPORT 177 ANNEX XIV: RECOMMENDATIONS FROM THE FIELD 1. How well is ACCES performing? What is working, what is not working, and why? Innovative Ideas • Work closely with the city council to use its sanitation budget for latrine construction. • Find innovative ways to reduce cement, labor and transportation costs to help entrepreneurs stay in business. • Continue to reduce the cost of latrines to further generate demand, especially for latrines that are the most sought after (DLVs and TCMs). This is especially meaningful for a large swath of the population that does not have the means to buy latrines, even at the current reduced prices. • Implement a lottery scheme on Facebook. Users can input their personal information to win a latrine. Facebook will collect their data, then the project can dispatch entrepreneurs to target those clients who have already expressed interest in a latrine. • Use of ArborLoo, a technology that can be installed with a latrine to create orchards of high value crops with human excrement as fertilizer. Improving Access to Credit • Sign a formal agreement with CMS and regional branches. • Put a system in place for monitoring loan repayments. • Establish a guarantee fund to assuage CMS fears of non-repayment. • Explore the possibility of a product that allows hardware stores to access credit for themselves (for the distribution of SatoPans, cement rings, and other materials), and even for hardware stores to provide lines of credit to masons who come to purchase materials. • Improve the relationship with ASUFOR, as they can be a helpful bridge for access to credit and are a long-term community stakeholder. Reducing Attrition for Entrepreneurs • More training for entrepreneurs to strengthen business skills, including training on maintaining a clear balance sheet of expenditures vs income. • Foster closer collaboration between contractors and masons. • Help entrepreneurs hold clients accountable for late payments and enable clients to pay in installments instead of all at once. Facing Threats • Work with the relevant government actors to improve current WASH policy concerning the transition from a demand-side subsidy to a supply-side subsidy. There needs to be a realization that the transition is not working as planned and that projects using two competing models are fighting. The government needs to take a more definitive position on the role of subsidies in the sanitation sector moving forward. ACCES should ally itself with the government and show them the success of the project so that they act as advocates for the market approach. • GRET recommends creating and facilitating a framework for coordination and knowledge sharing between the different projects to de-conflict geographical areas and activity overlap as much as possible. ACCES MIDTERM EVALUATION REPORT 178 2. What is the value added of ACCES in the four output areas? a) Demand generated for WASH Products and Services Communications • Strengthen communications strategies to further increase demand. Make this a permanent fixture until the end of the program. Use additional visual tools, especially at the mayor’s offices and in high-traffic areas. • Prepare for a marketing and sales push at the end of the harvest period when clients have more disposable income. b) Increased Market-Based Provision of WASH Products and Services Masons • Improve technical training for masons by developing modules that are more hands-on and skills￾focused in order to reduce the frequency of errors during construction and improve perceptions of the product. • Select master masons to deliver refresher courses or run their own latrine construction courses to rapidly expand the number of working masons. c) Improved Provision and Management of Multiple Use Water Systems Water System Repairs • Training of community leaders to identify water infrastructure problems and do small repairs. • Ask communes to finance a private sector operator to take on repairs at the 9 sites and 4 water system sites when something needs repair after the project closes. • Convene a steering committee for transfer of responsibility of repairs of these systems to other actors, like OFOR, pump operators, mayors, health clinics, and the private sector. MUS Plans • Other projects, like KOWLOR, should take up the mantle for completing the MUS plans. A plan should be developed and launched to find a dedicated funder and implementer, much like ACCES was tasked with completing 4 water system rehabilitations that were left over from a previous project. d) Improved Enabling Environment for Equitable Delivery of Quality WASH Systems Children • Add a focus on schools to further improve equitable delivery for children. ACCES MIDTERM EVALUATION REPORT 179 3. What types of institutions are needed to ensure the sustainability of a WASH market in targeted communities? Market Role • Develop a sustainability plan, one that ramps up supply-side subsidies in the short term while maintaining a clear, long term strategy to eventually wean market actors off of all outside subsidies. • ACCES could consider breaking the cement ring bottleneck by buying cement rings (and even cement slabs) in bulk at preferential prices and then distributing them to entrepreneurs at the bulk cost, which would likely be lower than the cost of just purchasing several cement rings at a time. Subsidies • Find a way to reduce the subsidies for cement rings before the project ends. Make it a goal to have a few entrepreneurs apply for credit to access steel molds. • Develop a plan for entrepreneurs to absorb the cost of the sales agents and incorporate this into the training for all entrepreneurs so that they are aware of ACCES expectations. One entrepreneur has already had success with this approach. Investments • Provide more cement rings to more entrepreneurs to lower the production cost of cement rings and make the business more profitable for masons, who sometimes purchase the rings. 4. What resources are being underutilized by the project, and what other resources do they need to meet their targets at the end of the Activity? Additional ACCES Resources • Hire regional ACCES coordinators to be a single focal point for activities and interaction with government entities. • Hire and retain sales agents through the end of the project. • Business coaches should be given more broadly defined powers to incentivize sales agents to hit sales targets, and to fire those that are not performing and rapidly hire new agents. Government Resources and Collaboration • Train DH and ASUFOR agents to ensure better monitoring of latrines and water infrastructure. • Support the renewal of the WASH Platform at the regional level. • Greater involvement of BRH in the implementation of the market approach. ACCES should take advantage of BRH’s offer to provide ACCES with its human and material resources. • Develop a regional document on the market approach and share it with Technical Services so that the government better understands ACCES’s objectives. • Develop closer ties with mayors so that they become champions of latrine construction to serve as a marketer for latrines and possibly as a purchaser of latrines for his/her commune. ACCES MIDTERM EVALUATION REPORT 180 Religious Resources • Religious leaders could help to spread the message about WASH practices and ACCES products with a religious lens. Time • Consider additional time for the project. Any additional time should be combined with exponential growth targets, not linear ones. ACCES MIDTERM EVALUATION REPORT 181 ANNEX XV: REFERENCE FOR ADS CHAPTER 201 MANDATORY REFERENCE FOR ADS CHAPTER 201 CRITERIA TO ENSURE THE QUALITY OF THE MEPUATION REPORT Pursuant to 201.3.5.17, draft evaluation reports must undergo a peer review organized by the office managing the evaluation. The following criteria should serve as the basis against which the report is reviewed. To help ensure a high-quality evaluation report, these criteria must be included in the evaluation SOW to communicate to evaluators USAID’s quality criteria. Evaluation reports should represent a thoughtful, well-researched, and well-organized effort to objectively evaluate the strategy, project, or activity. Evaluation reports should be readily understood and should identify key points clearly, distinctly, and succinctly. The Executive Summary of an evaluation report should present a concise and accurate statement of the most critical elements of the report. Evaluation reports should adequately address all evaluation questions included in the SOW, or the evaluation questions subsequently revised and documented in consultation and agreement with USAID. Evaluation methodology should be explained in detail and sources of information properly identified. Limitations to the evaluation should be adequately disclosed in the report, with particular attention to the limitations associated with the evaluation methodology (selection bias, recall bias, unobservable differences between comparator groups, etc.). Evaluation findings should be presented as analyzed facts, evidence, and data and not based on anecdotes, hearsay, or simply the compilation of people’s opinions. Findings and conclusions should be specific, concise, and supported by strong quantitative or qualitative evidence. If evaluation findings assess person-level outcomes or impact, they should also be separately assessed for both males and females. If recommendations are included, they should be supported by a specific set of findings and should be action-oriented, practical, and specific. U.S. Agency for International Development 1300 Pennsylvania Avenue, NW Washington, DC 20523