PARLIAMENTARY ASSISTANCE & CIVIC ENGAGEMENT / SUNU BUDGET FINAL PERFORMANCE EVALUATION December 2018 This publication was produced for review by the United States Agency for International Development. It was prepared independently by Lisa Mueller, Lisa Slifer-Mbacké, Safyatou Diallo, Mamadou Guiro, and Sadio Coulibaly of Management Systems International, A Tetra Tech Company, for the USAID/Senegal Monitoring and Evaluation Project. (THIS PAGE INTENTIONALLY LEFT BLANK) PARLIAMENTARY ASSISTANCE & CIVIC ENGAGEMENT/SUNU BUDGET FINAL PERFORMANCE EVALUATION January 2019 Contracted under AID-624-A-12-00004 USAID Senegal Mission-Wide Monitoring and Evaluation Project Cover Photo: Members of National Assembly Voting on Internet Law, November 2018 Credit: Ayoba Faye, Pressafrik DISCLAIMER The authors’ views expressed in this report do not necessarily reflect the views of the United States Agency for International Development or the United States Government. (THIS PAGE INTENTIONALLY LEFT BLANK) i | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV CONTENTS ACKNOWLEDGMENTS ....................................................................................... II ACRONYMS...........................................................................................................III EXECUTIVE SUMMARY ........................................................................................1 EVALUATION PURPOSE AND QUESTIONS................................................................................................. 1 EVALUATION DESIGN, METHODS AND LIMITATIONS.......................................................................... 1 ACTIVITY BACKGROUND ................................................................................................................................. 2 FINDINGS, CONCLUSIONS AND RECOMMENDATIONS ...................................................................... 2 ACTIVITY BACKGROUND AND OBJECTIVES................................................6 ACTIVITY OBJECTIVES ......................................................................................................................................... 6 EVALUATION QUESTIONS.................................................................................6 EVALUATION METHODS AND LIMITATIONS...............................................7 METHODOLOGY ................................................................................................................................................... 7 LIMITATIONS ........................................................................................................................................................... 9 FINDINGS AND CONCLUSIONS......................................................................10 QUESTION 1: REINFORCEMENT OF NATIONAL ASSEMBLY CAPACITY.......................................10 QUESTION 2: CITIZEN ACCESS TO BUDGET INFORMATION?.........................................................13 QUESTION 3: TAKEAWAYS AND CHALLENGES?...................................................................................17 RECOMMENDATIONS ........................................................................................19 ANNEXES...............................................................................................................22 ANNEX I: PACE/SUNU BUDGET IMPLEMENTATION .............................................................................22 ANNEX II: SOURCES OF INFORMATION....................................................................................................23 ANNEX III: LIST OF KEY INFORMANT INTERVIEW AND GROUP INTERVIEW PARTICIPANTS .....................................................................................................................................................................................24 ANNEX IV: KIRKPATRICK’S FOUR LEVELS OF TRAINING EVALUATION ......................................29 ANNEX V: SURVEY INSTRUMENTS ...............................................................................................................30 ANNEX VI: PACE/SUNU BUDGET IMPLEMENTATION ZONES ..........................................................45 ANNEX VII: TABLE OF FINDINGS AND CONCLUSIONS......................................................................46 ANNEX VIII : TABLE OF RECOMMENDATIONS .......................................................................................60 ANNEX IX: EVALUATION STATEMENT OF WORK ..............................................................................67 ANNEX X: EVALUATION TEAM CVS....................................................................................................... 9795 ANNEX XI: DISCLOSURE OF ANY CONFLICTS OF INTEREST.........................................................100 ANNEX XII: TABLE OF INDICATORS…………………………………………………………...104 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | ii ACKNOWLEDGMENTS The evaluation team would like to thank all of the respondents who gave support to the team during data collection and gave freely of their time and insights, particularly Mrs. Penda Ndiaye Cissé, technical adviser of the National Assembly’s President; Mr. Cheikh Oumar Sy, former member of the National Assembly and PACE focal point; and the ONG 3D staff. We would like to thank Réseau Siggil Jigeen, Y’en a Marre for their facilitation of the fieldwork in Thiès and Tambacounda. Many thanks to the other members of the PACE/SUNU Budget consortium: CONASUB, COSYDEP, Plateforme SUN, ANAFA and Mr. Pascal Mbaye Diop (former staff of Counterpart International) for sharing their extensive document archives. We would like to also thank the ONG 3D government partners: Direction de la Promotion de la Bonne Gouvernance, Direction de la Programmation Budgétaire and the steering committee for the law on citizen access to information. We thank USAID/Senegal’s Democracy, Government, Human Rights and Peace Office, particularly Seynabou Diallo and Samba Barry for their active presence and ongoing support from the design process through the recommendations workshop. iii | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ACRONYMS AMELP Activity Monitoring, Evaluation and Learning Plan CDCS Country Development Cooperation Strategy CONASUB Coalition nationale pour le suivi budgétaire CORED Comité d’Observation des Règles d’Ethique et de Déontologie COSYDEP Coalition des organisations en synergie pour la défense de l'école publique DO Development Objective DRGP Democracy, Human Rights, Governance and Peace EQ Evaluation Question EU European Union GERAD Groupe d’étude de recherche et d’appui au développement GoS Government of Senegal KII Key Informant Interview M&E Monitoring and Evaluation MEP Monitoring and Evaluation Project NA National Assembly NGO Non-Governmental Organization OBI Open Budget Index ONG 3D Organisation Non-Gouvernementale : Décentralisation, Droits Humains, Développement Local PACE Parliamentary Assistance and Civic Engagement PRG-PA Participatory, Responsive Governance – Principal Activity RCT Randomized Controlled Trial RSJ Réseau Siggil Jigeen SOW Statement of Work SUNU BUDGET “Our Budget” in Wolof SYMPICS Syndicat des Professionnels de l’Information et de la Communication au Sénégal) UCAD Université Cheikh Anta Diop URAC Union des Radios Associatives et Communautaires USAID United States Agency for International Development WAEMU West African Economic and Monetary Union YAM Y’en a Marre 1 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EXECUTIVE SUMMARY EVALUATION PURPOSE AND QUESTIONS The purpose of this final performance evaluation is twofold: 1) to assess the activity’s performance to date against expected results; and 2) provide insights and lessons learned that will be beneficial to future programming. The primary audience for this evaluation is USAID/Senegal’s Democracy, Human Rights, Governance and Peace (DRGP) Office, Parliamentary Assistance and Civic Engagement (PACE)/SUNU BUDGET implementing partner, Organisation non-gouvernmental Décentralization-Droits Humains￾Développement Local (ONG 3D) and the National Assembly. The evaluation centered on the following questions: 1. To what extent has the approach implemented by PACE/SUNU BUDGET contributed to increase the capacity of the Senegalese National Assembly to fulfill its mandate? 2. How did the PACE/SUNU BUDGET approach enhance citizen access to fiscal information and public participation in the final budget process? 3. What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions? The evaluation concluded with a recommendations workshop involving all key PACE/SUNU BUDGET stakeholders meeting together to jointly develop recommendations to address the evaluation findings. EVALUATION DESIGN, METHODS AND LIMITATIONS The data collection methods consisted of two phases: PHASE 1: DOCUMENT REVIEW The team reviewed a wide range of documentation including the PACE/SUNU BUDGET cooperative agreement, modifications, activity work plan, annual work plans, Activity Monitoring, Evaluation and Learning Plan (AMELP), project databases, quarterly and annual reports and special reports and studies conducted by the activity as means of understanding and comparing both expected and actual performance. Other data sources, such as secondary data available from the project itself (training curricula, attendance sheets, etc.), research studies or from the Government of Senegal (GoS) were also considered. PHASE 2: QUANTITATIVE AND QUALITATIVE FIELD RESEARCH As part of its qualitative and quantitative research in the field, the team used the following research instruments: • Systematic survey of parliamentarians: Enumerators helped conduct a survey of parliamentarians and the NA staff designed around Kirkpatrick’s four levels of training evaluation (see Annex IV). • Key informant interviews (KIIs): These consisted of open questions for interviewing program stakeholders (USAID/DRG, PACE/SUNU BUDGET and ONG 3D senior staff), civil society leaders, National Assembly (NA) members and staff, and central-level authorities working on budget transparency, including the Ministry of Economy, Finances and Planning (MEFP). USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 2 • Group interviews included targeted questions with PACE/SUNU BUDGET central and field staff. • Focus groups included members of the NA and NA staff who participated in the training. Focus groups were also held with civil society and traditional leaders in parliamentary districts to discuss program effects on individuals and institutions. • Observation: The team met with staff at the National Assembly Archives/Library to observe the use of the equipment and hardware provided under the PACE activities. Three principal limitations emerged during the evaluation process. First, access to interview subjects was more difficult than anticipated. In particular, the team struggled to obtain contact information for parliamentarians and staff who participated in PACE, as many of them have since left office. Second, access to documents proved difficult, as some implementing partners (namely from Counterpart International) were no longer working in Senegal, and others did not have records easily on hand. Finally, some respondents had difficulty recalling details of their participation in PACE/SUNU BUDGET, given that some of the activities occurred as long as five years ago. The team was able to adapt to all of these challenges, as detailed in this document. ACTIVITY BACKGROUND The Parliamentary Assistance and Civic Engagement (PACE)/SUNU BUDGET Activity is an award implemented in two phases. The initial phase, the PACE Activity, started in 2013. The objective of PACE is to improve the dialogue between citizens and their government as it relates to the management of national budget planning and expenditure tracking. The award was modified and extended twice to add funding to increase citizens’ access to budget information and building the capacity of state and non-state actors with respect to open budget questions. From 2015 to present, the SUNU BUDGET Activity seeks to contribute to: 1) strengthened civil society capacity to analyze budget and fiscal documents; 2) increased dialogue between government and civil society on the implementation of public policies and the use of public resources; and 3) enhanced GoS ability to meet the Open Budget Index1 requirements. FINDINGS, CONCLUSIONS AND RECOMMENDATIONS FINDINGS AND CONCLUSIONS Evaluation Question 1: To what extent has the approach implemented by PACE/SUNU BUDGET contributed to increase the capacity of the Senegalese National Assembly to fulfill its mission? Capacity-building advantages of PACE/SUNU BUDGET included the renovation and digitization of the NA library and archives, the translation of key NA texts into national languages, the creation of a NA audiovisual service, the recruitment of legislative assistants and the training of new parliamentarians. Survey and interview data suggest that participants in PACE/SUNU BUDGET activities have used and appreciated the tools provided to them. Disadvantages include unfulfilled needs, namely funds (for maintaining the physical infrastructure of the library and organizing outreach programs to introduce the library to the general public), training tools in 1https://www.internationalbudget.org/open-budget-survey 3 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV national languages (in addition to French) and baseline and endline indicators of training effectiveness. It was also difficult to implement PACE/SUNU BUDGET within the limited availability of parliamentarians throughout the NA annual calendar. The team concluded that PACE/SUNU BUDGET made headway in increasing the capacity of the National Assembly to fulfill its mission, but that considerable unfinished work remains. Evaluation Question 2: How did the PACE/SUNU BUDGET approach enhance citizen access to fiscal information and public participation in the final budget process? Successes included budget forums and public hearings organized by implementing partners. These events provided opportunities for civil society actors, especially women and youth, to engage with parliamentarians and to express their priorities. Forums doubled as chances for participants to learn about the budget process and acquire advocacy tools. Multimedia outreach, largely through the efforts of ONG 3D, expanded the audience for budget information. There is evidence of evolving citizen perceptions toward the budget and the parliamentarians who write it, but also evidence that some citizens remain mystified or confused about the budget process. As with increasing parliamentary capacity, more work remains to be done to boost grassroots engagement in fiscal planning. PACE/SUNU BUDGET spurred significant changes at the national level for promoting budget transparency, as reflected in a rising Open Budget Index. These included the formation of CONASUB (a coalition of 13 civil society organizations focused on budget transparency), the publication of a guide on increasing the open budget index, and the simplification and diffusion of budget reports on a public web site. Sustainability of these initiatives is a concern for the long term. It is uncertain 1) whether each successive legislature will continue to engage with civil society, 2) how citizens’ expressed needs will translate into real budget reforms and 3) whether new institutions like CONASUB will endure. Evaluation Question 3: What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions? PACE/SUNU BUDGET encouraged a dynamic collaboration between state structures and members of civil society by reinforcing the capacity of parliamentarians and their staff to conduct their daily work, and by improving physical and human capital at the National Assembly. PACE/SUNU BUDGET also put in place a multi-actor framework for the budget-making process. The implementation of PACE/SUNU BUDGET benefited from an already high level of public engagement and a vibrant civil society in Senegal. This does not mean that interest in the National Assembly and the budget process is universal; the evaluation team encountered members of civil society who still do not take much interest in public affairs. Other challenges during the implementation of PACE/SUNU BUDGET included the short duration of the activity and the limited availability of parliamentarians during the calendar year. Senegal does not have a law on citizens' access to information. The process for the adoption of this law has been initiated by the various parties but it evolves hesitantly. Some challenges are beyond the control of donors, such as high legislative turnover and a closed-list electoral system that widens the social distance between citizens and their representatives. Such structural constraints are nevertheless important challenges to consider in USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 4 efforts to connect civil society with parliament and involve Senegalese citizens in the budget-making process. RECOMMENDATIONS MEP organized a recommendations workshop on November 30, 2018, with the PACE/SUNU BUDGET beneficiaries for the purpose of jointly developing practical, actionable recommendations for this evaluation. The workshop resulted in quite a few recommendations that were assigned to designated stakeholders to complete. Recommendations are synthesized below (see complete list in Annex VIII). There are two categories of recommendations. The first one is linked to actions that need to be taken before the end of the project. The second is linked to the sustainability of this current and future projects. The list below shows the different actions that each stakeholder should take before the end of the project. FOR USAID 1. Align activities with the legislative calendar, anticipating parliamentarian turnover every five years. 2. Apply experiences and indicators from PACE/SUNU BUDGET trainings in future programming. 3. Integrate local budgets into the global scope of activities. 4. Set clear indicators for the participation of vulnerable groups such as people with disabilities. FOR ONG 3D 1. Reinforce the capacity of the communication team regarding the use of audiovisual services. 2. Capitalize on tools that were used during PACE/SUNU BUDGET trainings by making them available to NA staff and parliamentarians. 3. Reproduce and disseminate videobooks and make them available to parliamentarians of the 13th legislature. 4. Make the Union des Radios Associatives et Communautaires (URAC) a strategic partner in charge of sharing information at the local level. 5. Request that various ministers (of good governance, communication, and economy and finance) adopt a law on citizen access to budget information. 6. Expand the animated budgets to more national languages. 7. Create additional animated tools on the functions of the National Assembly (e.g., an animated parliament). FOR CONASUB 1. Continue reinforcing the capacity of member organizations. 2. Make full use of the resources and comparative advantages of member organizations. 5 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV 3. Take advantage of forums for collecting information on citizen needs with respect to the national budget. 4. Define strategies for fundraising so that CONASUB is self-sustaining. 5. Work toward creating a legal framework for civil society participation in the budget process. FOR THE SECRETARY GENERAL OF THE NATIONAL ASSEMBLY 1. Sign a contract with URAC to ensure the sharing of information at the local level. 2. Put in place a mechanism for following up on citizen recommendations developed at forums. 3. Institute a parliamentary network on civic outreach. 4. Reinforce the capacity of National Assembly administrators, not just parliamentarians, to improve institutional memory and work on a parliamentary mentoring system 5. Include legislative assistants in the National Assembly budget. 6. Within the National Assembly, develop a formal structure for training new parliamentarians; reinforce existing training structures. 7. Adapt trainings for parliamentarians into national languages and diversify training formats and tools (audio, video). 8. Implement pre-tests and post-tests for all trainings. 9. Organize activities for developing the national library and its resources (e.g., open houses, seminars for students, communication campaigns to make the library visible to the broader public). 10. Expand the translators’ glossary to account for subtle linguistic variations and create a space for translators to exchange notes with each other and with parliamentarians. FOR THE CENTRE DE LA RECHERCHE, DE LA DOCUMENTATION ET DES ARCHIVES OF THE NATIONAL ASSEMBLY 1. Complete the process of digitizing the archives and adding them to a searchable database. 2. Make the database available online. FOR THE COMMUNICATION TEAM OF THE NATIONAL ASSEMBLY 1. Stress the importance of parliamentarians using new communication technologies and social media. 2. Update and disseminate the tools developed by PACE/SUNU BUDGET. FOR THE STEERING COMMITTEE OF THE LAW ON CITIZENS ACCESS TO INFORMATION 1. Lobby ministries (of Good Governance, Communication, and Economy and Finance), the Syndicat des Professionnels de l’Information et de la Communication au Sénégal (SYNPICS), and the Comité d’Observation des Régles d’Ethique et de Déontologie (CORED) to adopt a law on citizen access to budget information. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 6 ACTIVITY BACKGROUND AND OBJECTIVES The Parliamentary Assistance and Civic Engagement (PACE)/SUNU Budget Activity is an award implemented in two phases. The initial phase, the PACE Activity, started in 2013. The objective of PACE is to improve the dialogue between citizens and their government as it relates to the management of national budget planning and expenditure tracking. The design of PACE was inspired in part by a study on the needs and capacities of the National Assembly and parliamentarians that the consulting firm NEXUS Groupe conducted in March 2015. This study revealed substantial needs in areas such as: a power imbalance between the executive and the legislative branches, general disorganization, outdated technology and ineffective training tools for new parliamentarians. The report also noted substantial potential to stimulate capacity and interaction with civil society (including women, youth and members of the media). A similar report by the European Union (EU) confirmed the need and possibility to strengthen legislative capacity. The award was modified and extended twice to add funding to increase citizens’ access to budget information and building the capacity of state and non-state actors with respect to open budget questions. From 2015 to present, the SUNU BUDGET Activity has sought to contribute to: 1) strengthened civil society capacity to analyze budget and fiscal documents; 2) increased dialogue between government and civil society on the implementation of public policies and the use of public resources; and 3) enhanced Government of Senegal (GoS) ability to meet the Open Budget Index2 requirements. SUNU BUDGET was inspired in part by Senegal’s 2010 transparency index from the Open Budget Survey, which indicated scarce citizen access to budget information and virtually nonexistent citizen involvement in the budget￾making process. SUNU BUDGET also responded to an initiative by the West African Economic and Monetary Union (WAEMU) that had been underway since 2009, the New Harmonized Framework for the Management of Public Finance, which aimed to enhance budget transparency among member states. ACTIVITY OBJECTIVES PACE/SUNU BUDGET falls under Development Objective 3(DO3) of the USAID/Senegal Country Development Cooperation Strategy (CDCS): “More effective citizen participation in the management of public affairs at the national level.” Under DO3, the activity contributes directly to Intermediate Result 2: “Strengthened democratic governance.” The activity’s two components are 1) Building State and Non￾State Actors’ Capacities on Open Budget Standards and 2) Citizen Budget Monitoring and Advocacy. A graphical illustration appears in Annex I. EVALUATION QUESTIONS 1. To what extent has the approach implemented by PACE/SUNU BUDGET contributed to increase the capacity of the Senegalese National Assembly to fulfill its mandate? 2. How did the PACE/SUNU BUDGET approach enhance citizen access to fiscal information and public participation in the final budget process? 2https://www.internationalbudget.org/open-budget-survey 7 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV 3. What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions? EVALUATION METHODS AND LIMITATIONS METHODOLOGY Methods of data collection and analysis depended on the evaluation question is being addressed. The first two questions (“To what extent has the approach implemented by PACE/SUNU BUDGET contributed to increase the capacity of Senegalese National Assembly to fulfill its mandate?” and “How did the PACE/SUNU BUDGET approach enhance citizen access to fiscal information and public participation in the final budget process?”) demanded methods for ascertaining cause and effect. When conducting causal inference, a concern about reverse causality is often present. For example, perhaps capacity-building workshops for parliamentarians increased parliamentarian capacity, but the parliamentarians who selected into workshops may have improved their capacity even without the workshops. It would be impossible to tell from a simple before-and-after comparison. Several credible social science methods address the unique challenges of causal inference. Process tracing was the preferred method for evaluating causal effects of PACE/SUNU BUDGET. This is an intuitive method for assessing causal effects in small samples or when other methods of causal inference are impracticable. It involves listing the observable implications of a theorized causal relationship and then using qualitative “thick description” to find evidence of those observable implications in a single case. The evaluator examines the intermediate steps leading from cause to effect. For example, the team found that many parliamentarians opened social media accounts during the PACE/SUNU BUDGET implementation period, suggesting that trainings on new communication technologies caused parliamentarians to adopt tools such as Twitter and Facebook (instead of participants having already adopted the tools before training). A major strength of this method is that it is less expensive and more intuitive than experimental and statistical approaches. The third evaluation question is, “What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions?” Answering this question demanded a different method from the first two evaluation questions—namely, descriptive instead of causal inference. Descriptive inference involves identifying what something is, as opposed to whether a treatment caused an effect. It differs from “mere description” because it consists of drawing inferences about unobserved cases based on observed cases. For example, the evaluation team interviewed only a sample of parliamentarians and then inferred from their responses the characteristics of parliamentarians outside the sample. Careful sampling was important to make unbiased inferences or generalizations (see sub-section on Limitations, below). The data collection unfolded in two phases: PHASE 1: DOCUMENT REVIEW The team reviewed a wide range of documentation, including the PACE/SUNU BUDGET cooperative agreement, modifications, activity work plan, annual work plans, the Activity Monitoring, Evaluation and Learning Plan (AMELP), project databases, quarterly and annual reports and special reports and studies conducted by the activity as means of understanding and comparing both expected and actual performance. Other data sources, such as secondary data available from the project itself (training USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 8 curricula, attendance sheets, etc.), research studies or from the GoS were also considered. A list of documents cited in this report appears in Annex II. PHASE 2: QUANTITATIVE AND QUALITATIVE FIELD RESEARCH As part of its qualitative and quantitative research in the field, the team used the following research instruments: • Systematic survey of parliamentarians and NA staff: Enumerators helped conduct a survey of parliamentarians designed around Kirkpatrick’s four levels of training evaluation (see Annex IV). NA staff also participated in the survey, responding directly on a physical questionnaire. • Key informant interviews (KIIs): These included open questions for interviewing program stakeholders (USAID/DRG, PACE/SUNU BUDGET and ONG 3D senior staff), civil society leaders, National Assembly (NA) members and staff and central-level authorities working on budget transparency, including the Ministry of Economy, Finances and Planning (MEFP). See Annex III for a list of people interviewed. • Group interviews using targeted questions with PACE/SUNU BUDGET central and field staff. • Focus groups included members of the NA and NA staff who participated in the training. Focus groups were also held with civil society and traditional leaders in parliamentary districts to discuss program effects on individuals and institutions. • Observation: The team met with staff at the National Assembly Archives/Library to observe the use of the equipment and hardware provided under the PACE activities. Annex V contains survey instruments for parliamentarians, as well as guides for key informant interviews. Figure 1 summarizes the interviews and surveys the evaluation team conducted. 9 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Figure 1: Summary of Surveys and Interviews LIMITATIONS Three main limitations emerged during the evaluation process. First, access to interview subjects was more difficult than anticipated. In particular, the team struggled to obtain contact information for NA staff and some parliamentarians who participated in PACE. The team adapted to this challenge in several ways. • A snowball sampling method replaced the originally planned representative sampling method. This entailed asking each successive parliamentarian to provide contact information for additional respondents. Such an approach is quite common in qualitative research and can provide a quasi￾representative sample, as long as the investigators do not rely on a single informant or “seed” to identify all of the additional respondents. The team used multiple parliamentarians as seeds, which mitigated sampling bias. • The team rescheduled regional visits for the second week. This allowed more time to receive lists of potential subjects from implementing partners based in Dakar. For example, Y’en a Marre took several days to put the team in contact with their focal point in Thiès which delayed field work planning. Additional fieldwork days were added to the workplan to accommodate this delay. • The team conducted several interviews by phone or email with former parliamentarians who had returned to their home region, or respondents traveling outside Senegal for a long period (e.g., a representative of the EU and Gorée Institute). USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 10 Second, access to documents proved difficult, as some implementing partners (namely from Counterpart International) were no longer working in Senegal and others did not have records easily on hand. The team ultimately tracked down most of these documents with follow-up meetings and phone calls. Third, some respondents had difficulty recalling details of their participation in PACE/SUNU BUDGET, given that some of the activities occurred as long as five years ago. However, with some prompting, the respondents remembered key aspects of their participation. FINDINGS AND CONCLUSIONS QUESTION 1: REINFORCEMENT OF NATIONAL ASSEMBLY CAPACITY To what extent has the approach implemented by PACE/SUNU BUDGET contributed to increase the capacity of the Senegalese National Assembly to fulfill its mandate? FINDINGS Advantages PACE/SUNU BUDGET fulfilled multiple needs of the National Assembly that were identified in diagnostic reports by NEXUS (commissioned by ONG 3D) in 2014 and the EU in 2012. These needs related to technical capacity (document and translation services, training, etc.) as well as to the interaction between parliamentarians and civil society. One way that PACE/SUNU BUDGET met those needs was by renovating and equipping physical infrastructure. The National Assembly Library and Archives received new photocopiers and scanners. All of the NA’s colonial and post-colonial period archives were digitized. Parliamentarians were given letter boxes to facilitate effective delivery of important NA documents and updates; 90 percent of those surveyed 3 said they use the letter boxes. A new audiovisual service was installed to improve communication within the NA. Seventy percent of NA member survey respondents noticed substantial improvements in infrastructure, although their strongest improvement identified was for simultaneous translation services, which the EU, not PACE/SUNU BUDGET, implemented. Fifty-four parliamentarians of the 12th Legislature and 35 members of the NA staff participated in various training sessions on new communication technology (Facebook, Twitter, etc.), the budget-writing process and the roles and responsibilities of parliamentarians. A formal advanced certificate program was also created under PACE. Twenty-two of the 36 participants who underwent this training earned a certificate in Law and Parliamentary Practice, which they could use in the future to advance their post-political careers. Feedback on trainings was overwhelmingly positive, with all surveyed participants agreeing that the training facilitators were effective. Respondents reported that learning about the budget was the most important aspect of their training, followed by learning about the roles and responsibilities of parliamentarians and, finally, the use of new communication technologies. Although self-selected participation in trainings makes it difficult to say with absolute certainty whether a causal link exists between trainings and technology use, surveys revealed evidence consistent with a positive effect: 78 3 The enumerators interviewed 30 parliamentarians. 11 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV percent of parliamentarian respondents use social media of some kind, with Facebook being the most popular (45 percent), followed by Twitter (24 percent). The majority of them created their accounts during the implementation period, suggesting that the training made a difference. Among members of the NA staff who responded to the evaluation team’s surveys, most of them participated in trainings on new communication technologies, including Facebook, Twitter, and Google. Encouragingly, one hundred percent of the respondents, even those who did not participate in training, said they use these technologies. In general, training materials were developed in French. Tools included a parliamentarian’s guide and a videobook for parliamentarians. 85 percent of survey respondents said they used the guide. PACE implementing partners also translated key texts (major laws, internal regulations, the code on public finance transparency, etc.) into seven national languages to facilitate the work of parliamentarians. NA interpreters also received with a glossary of key terms translated into seven national languages to facilitate their work during legislative sessions. The videobook was especially clear, with images made available for illiterate individuals. The guide for parliamentarians, as its name suggests, helped orient us. — Member of the 12th Legislature PACE/SUNU BUDGET provided funding for the recruitment of 15 graduate students to assist parliamentarians with research and other essential tasks while the NA is in session. The NA administration has invested internal resources into this new program by providing the assistants with office space, transportation, a daily stipend of 6000 CFA during NA sessions and subsidized lunch during active NA sessions which typically last from 8am until midnight. The funding for this stipend comes from the Ministry of Economy and Finance to the NA. The assistants were recruited through a rigorous and transparent process at the Université Cheikh Anta Diop (UCAD). Selection criteria included gender (women were especially encouraged to apply), mastery of French and national languages, oral presentation skills and political neutrality. Disadvantages Despite the impressive success of efforts to reinforce parliamentary capacity, the evaluation team noticed several disadvantages of PACE/SUNU BUDGET in this area. With respect to NA infrastructure, newly digitized archives are not yet available in an online, searchable form or in an organized database.4 This limits the utility of the archives for parliamentarians and their assistants, as well as for the general public, who remain largely unaware of the resources at the NA Library and Archives. Indeed, library staff wish to organize public outreach programs but have yet to implement them due to a lack of funding. According to the team’s interviews with library personnel, the maintenance contract with the companies supplying copiers and scanners has expired, so some equipment is falling into disrepair. This poses a problem to NA members and support staff, because the library is the only place at the NA where it is possible to make photocopies. Regarding trainings, few used national languages beyond French. The main exception was a session in French and Wolof on the role of parliamentarians in promoting good management of public finances. It is 4 It is important to note, however, that putting the archives online was not an original part of PACE/SUNU BUDGET. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 12 difficult to assess the effectiveness of trainings because nobody collected pre- and post-knowledge assessments to determine learning from the training. This was due in large part to the lack of any outcome performance measurement indicators related to capacity building. While the second phase of PACE/SUNU BUDGET introduced an open budget outcome indicator, this captures aggregate, macro-level transparency and not impacts on individual parliamentarian comprehension of the budget process. While feedback on the videobooks was generally positive, some expressed dissenting opinions. On one hand, some respondents praised the tool for catering to illiterate members of the NA. On the other hand, some thought the videobooks were still not accessible enough and included too many French words or were simply too complicated to use. Sixty percent of survey respondents said they did not use the videobooks—some because they did not know how to use them correctly. I don’t know how to read, and these videobooks, even if they are supposedly in Wolof and French, the Wolof portions might include one word in Wolof for every three in French. This makes the tool useless. It is important to understand that there are people in the NA who have not attended school at all. — Member of the 12thLegislature Translation difficulties extended to the terminology glossaries, which interpreters said they appreciated but that the glossaries needed additional work in fully translating French legislative terminology into national languages, because they did not adequately account for linguistic variations across language dialects. A final constraint on the ability of PACE/SUNU BUDGET to enhance legislative capacity was the limited availability of parliamentarians themselves. As the NA calendar in Figure 2 illustrates, parliamentarians are available for training only from February through May. For the rest of the year, they are either on summer break or reviewing the national budget. Combined with the short implementation period of PACE/SUNU BUDGET, this restricted participation and hence the overall impact of training exercises. Figure 2: National Assembly Calendar and Availability CONCLUSIONS Overall, PACE/SUNU BUDGET made considerable headway in meeting documented needs of the National Assembly, its elected members and its staff. Thanks to PACE/SUNU BUDGET, the NA has access to a pleasant and welcoming working environment. Highlights include the renovation and digitization of the Library and Archives, the translation of key texts, the creation of an audiovisual service, the recruitment of 13 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV legislative assistants and the development of training tools. Unfulfilled needs remain, namely funds for maintaining the physical infrastructure of the library and for organizing outreach programs to introduce the library to the general public. The capacity of individual parliamentarians seemed to improve over the course of PACE/SUNU BUDGET, but it is difficult to say for sure without reliable baseline and endline indicators. Particular challenges also remain for illiterate and less-educated parliamentarians, who could participate in only some of the trainings and access written information only if it was within their limited reading abilities. Feedback on the various activities of PACE/SUNU BUDGET was overwhelmingly positive, but survey and interview respondents did not hesitate to express lingering concerns about the accessibility and sufficiency of resources. The activity made strides toward helping members of the 12th legislature to better understand their roles and responsibilities. Given the high level of parliamentary turnover (roughly 95 percent), permanent training and orientation activities are necessary for the future. Public access to library materials remains weak despite some initial progress renovating the library and its resources. This constitutes a major obstacle going forward. Meanwhile, parliamentary assistants have begun their work at the NA, which seems promising in terms of sustainability (though time will tell). QUESTION 2: CITIZEN ACCESS TO BUDGET INFORMATION AND PUBLIC PARTICIPATION IN THE FINAL BUDGET PROCESS? How did the PACE/SUNU BUDGET approach enhance citizen access to fiscal information and public participation in the final budget process? FINDINGS Advantages Enhancing citizen access to fiscal information and public participation in the final budget process took place primarily through public forums. These were organized and facilitated by two partner organizations, Réseau Siggil Jigeen (RSJ) and Y’en a Marre (YAM). The forums were venues for dialog between parliamentarians and actors from civil society in regions across Senegal, including Thiès and Tambacounda, which the evaluation team was able to visit (see Annex VI for a map of implementation zones). Interviews the team conducted with members of RSJ in Thiès revealed that women were extremely active in the forums. In particular, women expressed their desire to revitalize and recruit more female members to community development organizations. Over the course of the forum, women furthermore articulated a demand for gender equality in local governance. Since the forums took place, women have remained involved in local affairs. Numerous participants have become members of the consultative council in Thiès, and one female leader from the region has established formal communication with female parliamentarians, allowing her to communicate local needs, especially in the area of women’s health. In Thiès, a woman leader and president of a midwives’ association has called on the network of women parliamentarians to advocate for the reopening of an operating theater of the hospital “Dixième”, which has been closed for some time, in order to meet the needs of the population. In Tambacounda, a woman leader lobbied the NA a law was subsequently passed for free access to care for women with obstetric fistula. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 14 Before, I did not know it was possible to reach out to parliamentarians. But PACE/SUNU BUDGET showed me how to do so, and I lobbied on behalf of women who suffer obstetric fistula. Afterward, the National Assembly voted on a law authorizing free access to care for women with this condition. — Female forum participant from Thiès In the same vein as RSJ, the youth of YAM organized a forum in Thiès where they developed the concept of Wakh ak sa député, meaning “engage with your representative.” Youth and women fora, discussing topical issues is a common practice for YAM and RSJ but under PACE, this was the first time that such fora were organized to bring together youth and women, respectively, with their representatives in the NA. These dialog sessions of civil society actors and local elected leaders reinforce public involvement in the budget-making process. YAM’s participation in PACE/SUNU BUDGET was especially powerful in light of the tense relationship between politicians and civil society following electoral protests in 2011. According to feedback from YAM members, sitting at the same table with members of the National Assembly cultivated mutual trust and understanding. Before PACE/SUNU BUDGET, many citizens assumed that the budget consisted of money that was already available for state leaders to spend at will. Through forums, participants gained more realistic and nuanced knowledge of the budget process, and more empathy of civil servants. During interviews with women’s and youth organizations in Thiès, the evaluation team noted a desire to be better informed on the national budget process (in the case of Y’en a Marre) and on the budget program that will go into effect in 2020 (in the case of Réseau Siggin Jigeen). People like Fou Malade [a Y’en a Marre co-founder] would say to me, “But sir, we had no idea what the budget was. We thought it was a safe in the minister’s office!” — Member of the 12thLegislature, recounting a forum with civil society in Tambacounda) PACE/SUNU BUDGET organized capacity-building sessions on the budget preparation and implementation process for 25 actors in the field of education (regional coordinators from La coalition des organisations en synergie pour la défense de l'école publique (COSYDEP), teachers' unions, parents of students, etc.). According to interviews, the trainings provided participants with a better understanding of budget issues and its components. In the context of SUNU BUDGET, COSYDEP held public hearings in Tambacounda, Kolda, Kédougou and Matam for citizens to provide input on the education budget. Recommendations were then transmitted to ONG 3D for inclusion in communiqués to the National Assembly. (The coordinator of PACE/SUNU BUDGET relayed the recommendations to parliamentary assistants.) Interviews with COSYDEP personnel who were involved with PACE/SUNU BUDGET indicated improvements in several categories, including the documentation and transparency of education expenditures and the accessibility of information on the education budget. In Kolda, after participating in a public hearing organized by COSYDEP, a school director started a new practice of posting the budget within his institution and distributing copies to the local population. Along with substantial progress at the regional level, PACE/SUNU BUDGET made progress at a more centralized level by facilitating the creation of the Coalition nationale pour le suivi budgétaire (CONASUB), consisting of 13 organizations that are invested in making the budget process more transparent and effective. CONASUB maintains an active partnership with the Ministry of Economy and Finances, which previously had no interlocutor representing civil society. The ministry can easily provide budgetary 15 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV documents to CONASUB, whose members then disseminate them to the public. The individual organizations that form CONASUB specialize in specific budget issues (gender, nutrition, education, etc.), allowing for the efficient processing of complex information into digestible briefs. In sum, PACE/SUNU BUDGET has created a critical mass of civil society organizations working to analyze and publicize budgetary and fiscal documents. In addition, PACE/SUNU BUDGET supported the launch of the multi-stakeholder budget monitoring framework and the convening of three budget analysis sessions. The multi-actor framework is a mechanism that contributes to strengthening the governance of public finances through the creation of a space for dialogue, consultation, and pooling of resources. This framework is supported by the Ministry of Good Governance. Other partners such as OXFAM are involved in the execution of this framework. With the support of PACE/SUNU BUDGET, the SUN Platform set up two budget analysis and monitoring groups on nutrition. The actors carried out two of the four workshops that were planned: a workshop to set up two analysis groups and a workshop for the classification of financial information to carry out budget monitoring. Other activities were not carried out due to the lack of disaggregated data on the level of execution of nutrition expenditures. As a result of the budget awareness campaigns, citizens now have many ways to access budget information, including online through www.sunubudget.sn. ONG 3D produced a spot TV called “Focus Sur,” which airs bimonthly segments on budget issues in French and Wolof. ONG 3D also held traveling caravans to spread fiscal information in Senegal’s interior, and devised “animated budgets” for reaching illiterate citizens (a first edition was in French, followed by a second edition in Wolof). According to ONG 3D’s internal progress reports, citizens found the animated budgets clear and accessible, in contrast with the official budget. In sum, these campaigns solicited substantial public interest in the budget process, as illustrated by citizen engagement with budget information published on the SUNU BUDGET website and other web portals. For example, the number of people who visited sunubudget.sn rose from 729,104 visitors in 2017 to 1,390,277 in 2018. More than 21,000 users follow the SUNU BUDGET Facebook page. See Annex XII for additional indicators of public engagement through PACE/SUNU BUDGET. In addition, these campaigns have also created partnership opportunities that contribute to budget transparency and good governance. In addition to that, the Ministry of Good Governance asked to collaborate with NGO 3D toward the development of a law on public access to budget information. This partnership led to the creation of a multi-stakeholder budget monitoring framework, by ministerial decree in April 2016. The actors in this framework contributed significantly to the preparation of the final version of the draft law on access to information and its implementing decree, which is currently in the approval circuit. The ONG 3D ensures regular dialogue with GOS to pledge for the adoption of this Access to Information Act. Finally, in the context of improving Senegal’s Open Budget Index, PACE/SUNU BUDGET supported the creation of a guide titled “How to Improve Your Open Budget Index (OBI).” This occurred in the context of CONASUB, whose members included ONG 3D and the Groupe d’étude de recherche et d’appui au développement (GERAD). Besides preparing the guide, ONG 3D hosted meetings to explain to officials from the Ministry of Economy, Finance and Planning the importance of publishing the guide in a timely manner. These meetings also briefed Senegalese government officials and OBI representatives on the different protocols for preparing budgetary documents in Francophone and Anglophone countries. In the end, the parties agreed on budget documents that the Senegalese government could use in place of those USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 16 that are not produced within the West African Monetary Union’s public financial management regulatory framework. Through such efforts, PACE/SUNU BUDGET may have contributed to Senegal’s jump from an OBI of 43/100 in 2015 to 51/100 in 2017. However, it is impossible to draw a direct causal link between macro changes in the OBI and localized activities such as caravans or animated budgets. The OBI is an aggregate measure of three components: public availability of budget information, opportunities for the public to participate in the budget process, and the role and effectiveness of formal oversight institutions (the legislature and the national audit office). These components are rated by researchers, typically based in the country being assessed, using 145 scored questions. The increase in Senegal’s OBI between 2015 and 2017 probably resulted from numerous factors in Senegal’s policy environment, including government leadership and macroeconomic conditions, although it is plausible that PACE/SUNU BUDGET had influence as well. ONG 3D is slated to gather data for the 2019 OBI report, GERAD having gathered the data until 2018. ONG 3D’s involvement in the Open Budget Survey signals an encouraging trend toward making the scoring process more inclusive and sensitive to the local context. At the same time, it is important to monitor the collaboration between ONG 3D and the International Budget Partnership (which coordinates the Open Budget Survey), in order to avoid any conflicts of interests that might arise from the OBI being used to evaluate ONG 3D’s performance. Disadvantages Several disadvantages of PACE/SUNU BUDGET exist with respect to the second evaluation question. One was the absence of a mechanism for following up on recommendations that citizens expressed in public forums or sustaining dialogues of the kind that RSJ and YAM moderated. ONG 3D produced an impressive array of media for distributing budget information, but the evaluation team heard from one radio station representative that community radio was underutilized as a tool for outreach. Although female participation in activities was roughly commensurate with female representation in the NA (after the implementation of gender quotas), involvement of people with disabilities at hearings and forums on public policy was low. It was apparent in several interviews that some citizen participants in PACE/SUNU BUDGET activities still did not understand how the National Assembly functions. Others did not have the opportunity to participate or still harbored misconceptions about the budget and parliamentarians. The need for more work is pronounced at the national level, as opposed to local. No institutional framework exists to guarantee the continued existence and operation of CONASUB, and citizen involvement in national-level budget debates is minimal. Senegal does not have a law on citizens' access to information. The process for the adoption of this law has been initiated by the various parties but it evolves hesitantly. Civil society leaders have not maximized citizens’ opportunities to participate in the budget process. They are only involved in the development of public policies. Little effort has been made in this direction through the organization of workshops to understand the participatory budget. The desired level of involvement of civil society actors in budget formulation and execution has not been achieved. Accordingly, the index of public participation in the budget process remained low (2/100 in 2017) while PACE / SUNU BUGDET set a target of 26/100 in 2017. This weakness, which stands in contrast to improvement on various other indicators (see Annex XII), can be explained by two reasons: (1) lack of a mechanism to facilitate citizen 17 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV participation in budget preparation and budget execution monitoring, and (2) revision of the index on public participation in the budget process in 2017 based on the Global Initiative for Fiscal Transparency (GIFT) standard and the resulting inability to compare one year to the next. One of the weaknesses with regard to communication tools, especially animated budgets, is the unavailability of resources in other local languages, Wolof excluded. CONCLUSIONS Forums and public hearings organized by implementing partners served as unprecedented opportunities for civil society actors, especially women and youth, to engage with parliamentarians and express their needs. These summits doubled as chances for participants to learn about the budgeting process and to acquire advocacy tools. Multimedia outreach, largely through the efforts of ONG 3D, expanded the audience for budget information. Interviews yielded evidence of evolving citizen perceptions toward the budget and the parliamentarians who write it. At the same time, youth and women that the team encountered appear to remain mystified or confused about fiscal policy. As with increasing parliamentary capacity, more work remains to be done to boost grassroots engagement in budget planning. PACE/SUNU BUDGET spurred significant changes at the national level that can help promote budget transparency. These included the formation of CONASUB, the publication of a guide on increasing the open budget index, and the simplification and diffusion of budget reports on a public web site. Sustainability of these initiatives is a concern for the long term. It is uncertain 1) whether each successive legislature will continue to engage with civil society, 2) how citizens’ expressed needs will translate into real budget reforms and 3) whether new institutions like CONASUB will endure. QUESTION 3: TAKEAWAYS AND CHALLENGES? What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions? FINDINGS Takeaways PACE/SUNU BUDGET encouraged a dynamic collaboration between state structures (government ministries, parliamentarians, etc.) and diverse members of civil society (women, youth, illiterate people, residents of different regions). This involved reinforcing the capacity of individual parliamentarians and National Assembly support staff to conduct their daily work by improving physical as well as human capital. PACE/SUNU BUDGET also put in place a multi-actor framework for the budget-making process, bringing to the table organizations that specialize in specific policy areas (education, health, etc.) but that share a common interest in making the budget more accessible and transparent for all. The involvement of different actors in budget monitoring and analysis, as well as institutional support for participatory frameworks, favors the ownership and sustainability of PACE/SUNU BUDGET activities (Example: the multi-stakeholder framework and steering committee for the law on access to budget information). Through foras and public hearings, PACE/SUNU BUDGET facilitated collaboration and dialogue between various sectors of the Senegalese population and the authorities (parliamentarians, inspectors, etc.). The implementation of PACE/SUNU BUDGET benefited from an already high level of public engagement and USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 18 a vibrant civil society in Senegal. For example, Réseau Siggil Jigeen had a vast pre-existing network of women’s organizations with which to collaborate while organizing public forums as part of PACE on women’s budget/policy priorities. Many respondents survey, interview and focus group respondents cited the ease with which they participated in PACE/SUNU BUDGET activities or recruited others to participate. This does not mean that interest in the National Assembly and the budget process is universal; the evaluation team encountered individuals in Thiès and Tambacounda who still do not have much interest in public affairs. Therefore, opportunities remain to build on PACE/SUNU BUDGET successes. Challenges The National Assembly could do more to capitalize on the momentum of PACE/SUNU BUDGET—for instance, by preserving training tools and documents for use in successive legislatures. The short duration of PACE/SUNU BUDGET was inadequate to realize all of the activity’s objectives, especially considering the limited availability of parliamentarians during the calendar year. In addition, some initiatives developed in the framework of the project (such as the provision of parliamentary assistants, training, the organization of forums, etc.) could be a major challenge if the NA does not make available human, financial, and material resources to support these activities. This could be a significant loss that could undermine the project's efforts. Thus, long-term planning within the NA is critical to sustainable success. The attrition rate of deputies (about 95%) after each election makes it almost impossible to sustain achievements in terms of training and awareness. In addition, the sustainability of certain frameworks such as CONASUB (composed only of civil society actors) would be difficult without the support of a technical and financial partnership and institutional anchoring. Both PACE and SUNU BUDGET have a broad scope that does not necessarily take the impact/objective measure into account at a higher level. There are signs that some gains made during the implementation period are reversing, such as goodwill between parliamentarians and Y’en a Marre: Although parliamentarians of the 12thLegislature (who participated in PACE/SUNU BUDGET) continue to dialog with YAM youth, a focus group of parliamentarians from the 13thLegislature (who did not participate in PACE/SUNU BUDGET) expressed suspicion toward YAM and other civil society organizations, which they perceived to be overly politicized. So far, the “sensitization” of civil society and parliament has occurred only on an individual level among people who directly participated in PACE/SUNU BUDGET; it has not shifted the political culture for everyone, and particularly not for those who were inadvertently excluded from activities, such as women of the Regional Federation of People with Disabilities in Tambacounda, who were unable to participate in and event organized by Réseau Siggil Jigeen due to difficulty accessing the venue. Some challenges are beyond the control of donors, such as a closed-list electoral system that widens the social distance between citizens and their representatives. Such structural constraints are nevertheless important challenges to consider in efforts to connect civil society and parliament, and to involve ordinary Senegalese in the budget-making process. In addition to the challenges identified in the report, ONG 3 D and partners rise key challenges encountered during the implementation of the project. There are local elections, which occupied parliamentarians’ attention the need to coordinate multiple partners (e.g., RSJ, Counterpart), a large amount of administrative work required to work with the NA, low starting levels of parliamentarian knowledge on public finance, lack of simultaneous translation during trainings, changes in the structure and organization of the Ministry of Finance, parliamentary turnover and elections, and inadequate funding for the program’s scope of work. 19 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV CONCLUSIONS Initiatives to increase parliamentary capacity led to noticeable changes in the physical and human resources of the National Assembly, but with certain limitations—in particular, the low availability of parliamentarians during the year, closed-list electoral rules, the lack of a law on citizens’ access to budgetary information and legislative turnover (which meant that parliamentarians who underwent training soon left the National Assembly). Dialog on the national budget between civil society and parliamentarians is robust but remains to be consolidated. Likewise, substantial public interest in the budget exists, but mainly at the local level rather than national. Despite the popularity of various forums and public hearings organized by implementing partners, it is uncertain whether and how this style of engagement and level of interest will continue after the activity concludes. It is not clear who owns intellectual property associated with PACE/SUNU BUDGET (training materials, publicity flyers, etc.) and who will be able to access and use it in the future. RECOMMENDATIONS MEP organized a recommendations workshop on November 30, 2018, with the PACE/SUNU BUDGET beneficiaries for the purpose of jointly developing practical, actionable recommendations for this evaluation. The workshop resulted in quite a few recommendations that were assigned to designated stakeholders to complete. Recommendations are synthesized below (see complete list in Annex VIII). There are two categories of recommendations. The first one is linked to actions that need to be taken before the end of the project. The second is linked to the sustainability of this current and future projects. The list below shows the different actions that each stakeholder should take before the end of the project. FOR USAID 5. Align activities with the legislative calendar, anticipating parliamentarian turnover every five years. 6. Apply experiences and indicators from PACE/SUNU BUDGET trainings in future programming. 7. Integrate local budgets into the global scope of activities. 8. Set clear indicators for the participation of vulnerable groups such as people with disabilities. FOR ONG 3D 8. Reinforce the capacity of the communication team regarding the use of audiovisual services. 9. Capitalize on tools that were used during PACE/SUNU BUDGET trainings by making them available to NA staff and parliamentarians. 10. Reproduce and disseminate videobooks and make them available to parliamentarians of the 13th legislature. 11. Make the Union des Radios Associatives et Communautaires (URAC) a strategic partner in charge of sharing information at the local level. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 20 12. Request that various ministers (of good governance, communication, and economy and finance) adopt a law on citizen access to budget information. 13. Expand the animated budgets to more national languages. 14. Create additional animated tools on the functions of the National Assembly (e.g., an animated parliament). FOR CONASUB 6. Continue reinforcing the capacity of member organizations. 7. Make full use of the resources and comparative advantages of member organizations. 8. Take advantage of forums for collecting information on citizen needs with respect to the national budget. 9. Define strategies for fundraising so that CONASUB is self-sustaining. 10. Work toward creating a legal framework for civil society participation in the budget process. FOR THE SECRETARY GENERAL OF THE NATIONAL ASSEMBLY 11. Sign a contract with URAC to ensure the sharing of information at the local level. 12. Put in place a mechanism for following up on citizen recommendations developed at forums. 13. Institute a parliamentary network on civic outreach. 14. Reinforce the capacity of National Assembly administrators, not just parliamentarians, to improve institutional memory and work on a parliamentary mentoring system 15. Include legislative assistants in the National Assembly budget. 16. Within the National Assembly, develop a formal structure for training new parliamentarians; reinforce existing training structures. 17. Adapt trainings for parliamentarians into national languages and diversify training formats and tools (audio, video). 18. Implement pre-tests and post-tests for all trainings. 19. Organize activities for developing the national library and its resources (e.g., open houses, seminars for students, communication campaigns to make the library visible to the broader public). 20. Expand the translators’ glossary to account for subtle linguistic variations, and create a space for translators to exchange notes with each other and with parliamentarians. FOR THE CENTRE DE LA RECHERCHE, DE LA DOCUMENTATION ET DES ARCHIVES OF THE NATIONAL ASSEMBLY 3. Complete the process of digitizing the archives and adding them to a searchable database. 4. Make the database available online. 21 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV FOR THE COMMUNCATION TEAM OF THE NATIONAL ASSEMBLY 3. Stress the importance of parliamentarians using new communication technologies and social media. 4. Update and disseminate the tools developed by PACE/SUNU BUDGET. FOR THE STEERING COMMITTEE OF THE LAW ON CITIZENS ACCESS TO INFORMATION 1. Lobby ministries (of Good Governance, Communication, and Economy and Finance), the Syndicat des Professionnels de l’Information et de la Communication au Sénégal (SYNPICS), and the Comité d’Observation des Régles d’Ethique et de Déontologie (CORED) to adopt a law on citizen access to budget information. In addition to the lists above, the workshop participants made a few more recommendations on the sustainability of PACE/SUNU BUDGET activities and for future projects. First, to follow up on citizen demands for access to general information, the participants recommended raising awareness and mobilizing community actors around budget information, along with setting up local budget monitoring frameworks. Along these lines, they recommended boosting citizen participation in the budget process by promoting the creation of a participation framework, perhaps spearheaded by CONASUB. CONASUB could be expanded to include additional organizations and could redefine its mandate to encompass all relevant sectors of society. To reinforce the technical and organizational capacity of the NA (such as the translation of regulatory texts, the elaboration of a parliamentary guide and the development of a gender-sensitive budget toolkit), participants recommended including institutional capacity building in the NA budget plan and organizing training materials (manuals, videobooks, etc.) within the NA Library. Participants also thought it important to reinforce the technical and organizational capacity of civil society. To do this, they recommended continuing budget analysis sessions with CONASUB support, diversifying civil society actors involved in training on budget issues and strengthening interaction between community￾based organizations and national platforms, such as CONASUB and multi-stakeholder frameworks. It is equally important to formalize and consolidate the relationship between the Ministry of Finance, Economy and Planning and CONASUB and to bolster the professional capacities of all grassroots actors. Looking ahead, participants discussed how to ensure the durability of PACE/SUNU BUDGET, with respect to forums as well as project tools such as the “Focus Sur” television program. They recommended institutionalizing interactive forums between communities and parliamentarians and holding these to coincide with parliamentarians’ field visits. They also proposed organizing “forums of accountability” articulated within an existing network of parliamentarians focused on citizenship. Finally, they recommended entrusting to CONASUB the periodic updating of tools developed under PACE/SUNU BUDGET. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 22 ANNEXES ANNEX I: PACE/SUNU BUDGET IMPLEMENTATION Hypothesis and Theory of Change PACE/SUNU BUDGET comes under the development objective three (DO3) from USAID/Senegal Country Development Cooperation Strategy (CDCS): “more effective citizen participation in the management of public affairs at the national level”. Under DO3, the Activity contributes directly to Intermediate Result 2: “strengthened democratic governance”. The Activity is divided into two components: the first component called, “Building State and non-State Actors Capacities on Open Budget Standards” and component two: “Citizen Budget Monitoring and Advocacy”. The theory of change and how the Activity’s development hypothesis fits under the USAID CDCS framework is outlined below5: 5 SUNU Budget Workplan and Monitoring, Evaluation and Learning Plan, June 2018 23 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX II: SOURCES OF INFORMATION N° Type/ Titre du document 1 Performance indicators monitoring plan FY 2016 2 M&E Plan 2012 3 M&E Plan 2013 4 M&E Plan 2014 5 M&E Plan 2015 6 Cooperative agreement, 13 Octobre 2013 7 Quarterly performance report #3, April-June 2014 8 Quarterly report October-December 2015 9 PACE final report, October 2015 10 DG M_E table PPR 2015 11 USAID-PACE program final report 12 USAID-SUNU BUDGET Annual report 2016 13 SUNU BUDGET testimonies 14 Quarterly performance report #5, 2 July 2018 15 Senegal FTIF – Summary of ONG 3D Program January 2017 16 « Certificat d’études supérieurs en droit et pratique parlementaires » par l’Institut supérieur de droit de Dakar 17 Critères de sélection des assistants parlementaires 18 « Comment améliorer votre indice de budget ouvert » 19 Cahier de recommandations sur la rationalisation des partis politiques 20 USAID/SUNU BUDGET Quarterly Performance Report (Q5), Oct-Dec 2017 21 « Etude de la situation de référence des besoins en renforcement de capacités du parlement et des parlementaires » (rapport NEXUS) USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 24 ANNEX III: LIST OF KEY INFORMANT INTERVIEW AND GROUP INTERVIEW PARTICIPANTS N° Prénom Nom Fonction Structure E-mails / Téléphone Date N° Entretien 1 Pascal Mbaye Diop Coordonnateur PACE Counterpart International 13/10/2018 1 2 Fatou Ndiaye Turpin Réseau Siggil Jiggen 15/10/2018 2 3 Djibril Ousmane Ndong SE 4 Seynabou Diallo AOR Sunu Budget USAID/DRG 15/10/2018 3 5 Samba Barry Deputy Director DRG office USAID/DRG 15/10/2018 6 Thiecoumba Diouf Directeur de la Bibliothèque Assemblée Nationale 15/10/2018 4 7 Djibril Badiane Chargé de communication ONG 3 D 15/10/2018 5 8 Penda Cissé Conseillère du pdt Assemblée Nationale 15/10/2018 6 9 Cheikhou Oumar Sy Ancien Député 16/10/2018 7 10 Valdiodio Ndiaye Coordonnateur ANAFA et CONASUB 16/10/2018 8 11 Aliou Sané YAM 17/10/2018 9 12 Pr Babacar Guèye 17/10/2018 10 13 Aboubakry Diallo GERAD 18/10/2018 11 14 Daouda Gueye Radio Oxygènes/ URAC 18/10/2018 12 25 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV N° Prénom Nom Fonction Structure E-mails / Téléphone Date N° Entretien 15 Moundiaye Cissé Directeur Exécutif ONG 3D 16 Maleine Niang Coordonnateur ONG 3D 18/10/2018 13 17 Responsable S&E ONG 3D 18 Cheikh Sylla SAFEFOD 18/10/18 14 19 Nicholas Ndiaye Député et président de la commission des transports Assemblée Nationale 18/10/18 15 20 Ndèye Lucie Cissé Député et Vice président de la commission de l’urbanisme et des transports 21 Aboubacry Diallo Député 22 Demba Sow 23 Ndiagne Diop 24 Moussa Sané 25 Aboubacry Ngaide 26 Seydou Dianko 27 Ousmane Sène AJP PASTEEF 16 28 Abdou Diouf Coordonnateur 29 Cheikh Pathé Fall Plateforme SUN 17 30 Dioum Ndour Responsable santé et USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 26 N° Prénom Nom Fonction Structure E-mails / Téléphone Date N° Entretien 31 Cheikh Mbow Coordonnateur COSYDEP 19/10/18 18 32 Senghor Elisabeth Massaly Responsable S&E 33 Seydou Diouf Député et Président de la commission des lois Assemblée Nationale 22/10/18 19 34 Seynabou Diakhaté Direction de la Programmation budgétaire Direction de la programmation Budgétaire 22/10/18 20 35 Wade Souadou Dramé 36 Youssoufa Sy Interprète Y en Marre Cellule de Thiès 23/10/18 21 37 Bassirou Diop Enseignant 38 Mandiaye Camara Clerc Huissier de justice 39 El Malick Imam Malick Guèye Acteur culturel 40 Madické Dieng Ouvrier 41 Habib Seck Elève 42 Saliou Ndiaye Coordonnateur de YAM 43 Mounina Wade Fall Président des 23/10/18 22 44 Bounana Kanté Adjoint au Maire Mairie de Tamba 25/10/18 23 45 Allasane Niane Inspecteur IA Tamba 25/10/18 24 27 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV N° Prénom Nom Fonction Structure E-mails / Téléphone Date N° Entretien 46 Haby Coulibaly Comité consultatif des femmes / RSJ 25/10/18 25 47 Mariame Dabo Présidente RSJ AFAO/RSJ 48 Thiane Guèye Thiam Présidente Fédération Régionale des Handicapées 49 Bangaly Diallo Personne ressource/ Président de la plateforme des Acteurs Non Etatiques COSYDEP 25/10/18 26 50 Kéba Kébé Secrétaire Général Adjoint Syndicat des Enseignants Libres du Sénégal (SELS)/ COSYDEP 51 Malang Souané Secrétaire Administratif Union Démocratiques des Enseignants et Enseignantes (UDEN)/ COSYDEP 52 Ayni Aw RADDHO/RSJ 26/10/18 27 53 Cheikh Mbaye Fall Ministère de la Bonne Gouvernance 30/10/18 28 54 Mme KOUME Directrice de la communication Assemblée Nationale 30/10/18 29 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 28 N° Prénom Nom Fonction Structure E-mails / Téléphone Date N° Entretien 55 Fatou Mboup Membre cellule de la communication et conseiller du Président Assemblée Nationale 56 Awa Guèye Vice Présidente Assemblée Nationale 31/10/18 30 57 Diouf Secrétaire Exécutif PCRBF 31 58 Samba Diop Conseiller Primature 31/10/18 32 59 Jean Christophe Faye Interprète Assemblée Nationale 31/10/18 33 60 Paul Made Kama Interprète 61 Hamet Amadou Ly Interprète 62 Birane Sène Interprète 63 Pape Abasse Dramé Interprète 64 Bineta Ly Interprète 65 El Hadji Faye Interprète 66 Saliou Dieng Interprète 67 Coumba Kanouté Interprète 68 Coumba Pathé Paye Chargée de programmes Union Européenne En ligne 34 69 Mamadou Seck Coordonnateur Programme Gouvernance et électoraux Corée Institute En ligne 35 29 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX IV: KIRKPATRICK’S FOUR LEVELS OF TRAINING EVALUATION USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 30 ANNEX V: SURVEY INSTRUMENTS Annex includes the following survey instruments: 1. Focus group guide for NA members and staff 2. Survey for NA members and staff 3. Interview guide for USAID 4. Interview guide NA librarians 5. Interview guide for civil society members 6. Interview guide for implementing partners 31 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EVALUATION FINALE DES PERFORMANCES DE PACE/SUNU Budget GUIDE DE DISCUSSIONS Parlementaires et staff de l’Assemblée Nationale Les focus group devraient être organisés selon la stratification suivante : Femmes membres de l’A.N Hommes membres de l’A.N Staff de l’A.N 1. Activités de renforcement de capacités – Forces et Faiblesses 1. Parmi la panoplie de formations organisées par le projet Sunu budget, lesquelles ont été les plus importants et utiles dans le cadre de votre travail ? 2. Quels sont les aspects de la formation qui ont été les plus intéressants ? 3. Avez-vous utilisé les connaissances acquises lors des formations pour faciliter votre travail quotidien ? Veuillez expliquer pourquoi et pourquoi pas ? 4. Veuillez donner des exemples spécifiques sur la manière dont vous avez utilisé les connaissances acquises lors des formations dans votre travail quotidien. Question posée au modérateur : en quoi cela vous a-t-il aidé dans votre travail, quand l'avez-vous utilisé et avec qui ? 5. Y-a-t-il des aspects qui auraient pu être amélioré en termes de formation ? Instructions pour le modérateur : il s’agit d’aider à améliorer les futurs programmes de renforcement des capacités, plus les réponses sont spécifiques mieux ce sera pris en compte. II. Besoins actuels 1. Existe-t-il d’autres besoins actuels en renforcement de capacités qui n’ont pas été pris en charge dans le cadre du projet ? Instructions pour le modérateur : Qui sont les parlementaires concernés ? Existe t-il des besoins spécifiques à certains parlementaires? 2. En dehors de la formation, quel autre renforcement de capacité voulez-vous faire pour permettre à l'Assemblée nationale à remplir sa mission en matière de conception, de révision et d'approbation de la législation et des budgets ? 3. Selon vous, quel est le maillon le plus faible en termes de fonctionnement global de l’AN ? Instructions : En ce qui concerne sa capacité à fonctionner efficacement, quel est l’appui le plus important dont bénéficie l’A.N ? Outre les fonds, quels types de compétences, connaissances ou systèmes sont nécessaires ? USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 32 III. Genre 1. Les femmes de l’A.N ont-elles des besoins spécifiques ou uniques pour remplir pleinement leur rôle en tant parlementaire ? 2. Existe-t-il des défis spécifiques pour les femmes membres de l'A.N. ? Si oui, quels sont-ils ? Instructions pour le modérateur : Y a-t-il des besoins en connaissances, des besoins en formation, des besoins en mentorat, des besoins institutionnels ou politiques ? IV. Informations et accès des citoyens à l’information 1. Quel sont été les effets de votre implication dans les activités d’échange entre les parlementaires et les membres de la société civile dans votre travail quotidien ? Instructions pour le modérateur : mettre l’accent sur les points forts et les points faibles, les aspects qui ont changé dans la façon de travailler 2. Quelles sont les leçons que vous tirez de ces expériences ? 3. Quels sont les principaux défis rencontrés pour l’A.N. pour rendre l’information budgétaire accessible ? 4. Quelles sont les suggestions que vous faites en vue de rendre ces échanges utiles et faciliter la mise à disposition de l’information aux différentes parties ? V. Recommandations 5. Selon vous, quels sont les acquis du projet qu’il faudrait conserver ou renforcer ? 6. Selon vous, quels sont les aspects du projet qu’il faudrait changer en vue de renforcer les acquis ? 7. Quelles sont vos principales suggestions pour une meilleure fonctionnalité d’une initiative de renforcement des capacités et du fonctionnement de l’A.N. 33 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV QUESTIONNAIRE Numéro du questionnaire |___|___|___|___| (A remplir par l’enquêteur) Identification : Etes-vous un parlementaire ? OUI NON Si oui, de quel département ? …………… Etes-vous un membre de l’administration de l’A.N6 .? OUI NON Date d'enquête |__|__|/|__|__|/|__|__|__|__| JJ/Mois/Année Nom et Prénoms de l'enquêteur/enquêtrice : ………………………………………………………………………... Heure de Passation du questionnaire : Début : |___|___| H |___|___| mn / fin : |___|___|H |___|___| mn Demande de consentement éclairé Bonjour, je m’appelle…………………...……….., je travaille pour le compte de MEP-Sénégal basé à Dakar. Nous menons actuellement une étude pour évaluer les réalisations et résultats du projet PACE/SUNU Budget auprès des membres de l’assemblée nationale et le staff de l’assemblée nationale ayant participé à ce programme. Ce projet avait déroulé des activités diverses afin de renforcer la capacité de l’institution ainsi que de ses membres pour mieux répondre aux exigences de leur travail. Nous sommes là pour rencontrer les parlementaires et les membres du staff de l’assemblée qui ont pu bénéficier des activités de renforcement de la capacité du programme dans le but de recueillir leurs opinions et appréciations sur les réalisations de ce projet. Aussi, nous sommes intéressés à recueillir votre avis sur ces questions afin de voir ce qu’il faudrait faire pour améliorer les choses dans le futur pour des projets similaires. Votre participation à cette étude est importante ; elle permettra à MEP-Sénégal et à l’USAID, dans le cadre de ses activités, de prendre en compte vos opinions et besoins pour pouvoir améliorer 6 Assemblée Nationale USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 34 davantage les projets futurs. Cet entretien sera strictement anonyme et confidentiel. Votre nom ne sera mentionné nulle part. Vous êtes libres de participer ou de ne pas participer. Acceptez-vous de participer ? OUI  NON 35 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV I. CARACTERISTIQUES SOCIODEMOGRAPHIQUES DU REPONDANT Q101. SEXE DU REPONDANT : 1= HOMME  2= FEMME  Q102. QUEL AGE AVEZ-VOUS (EN ANNEES REVOLUES) ? |___|___| Q103. SITUATION MATRIMONIALE : 1= Célibataire |_____| 2= Marié (e), |_____| 3= Divorcé(e) |_____| 4= Veuf/Veuve |_____| 6= Autre (préciser) ………………………………… Q104. ANNEE D’ENROLEMENT DANS LE PROGRAMME PACE 1= 2014  2= 2015  3= 2016  4= 2017  AUTRE  A PRECISER ……………………………………. Q105. PARTICIPATION AUX FORMATIONS ? PREPARATION DU BUDGET TECHNOLOGIE DE L’INFORMATION ET DE LA COMMUNICATION  DROIT PARLEMENTAIRE  BUDGET ET EVALUATION DES POLITIQUES PUBLIQUES  ENGAGEMENT CIVIQUE  AUTRES  A PRECISER…………………………………………………… II. VEUILLEZ REPONDRE AUX QUESTIONS SUIVANTES SUR LA PERTINENCE ET UTILITE DE LA FORMATION Q201. VEUILLEZ LISTER PAR ORDRE DE PRIORITE LES FORMATIONS AUXQUELLES VOUS AVEZ PARTICIPE DE LA PLUS IMPORTANTE A LA MOINS IMPORTANTE SELON LEUR PERTINENCE POUR VOTRE TRAVAIL. 1 2 3 4 5 6 Q202. Veuillez citer les éléments les plus importants de la formation pour votre travail. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 36 ……………………………………………………………………………………………………………… …., ……………………………………………………………… …………………………………………………………………………………………………………….. Q203. Avez-vous eu à utiliser les connaissances acquises lors de ces formations dans votre travail quotidien ? OUI  NON Si oui, veuillez citer quelques exemples spécifiquement en termes de gestion de votre travail quotidien ? ……………………………………………………….……………………………………………………… …………………………………….………………………………………………………………………… ……………………………………….……………………………………………………………………… …………………………………………. Si non, veuillez expliquer pourquoi ? ……………………………………………………….……………………………………………………… …………………………………….………………………………………………………………………… ……………………………………….……………………………………………………………………… …………………………………………. Q204. Les sessions de formations étaient-elles pertinentes pour votre travail à l’Assemblée Nationale ? OUI  NON Si oui, veuillez citer quelques exemples pratiques d’informations tirées des formations qui étaient spécifiques / pertinentes pour votre travail. …………………………………………………………………. …………………………………………………………………………………………………………… Si non, Veuillez citer les éléments qui étaient moins ou pas pertinents pour votre travail. …………………………………………………………………. ……………………………………………………………………………………………………………… III. VEUILLEZ REPONDRE AUX QUESTIONS SUIVANTES SUR LES BESOINS ACTUELS EN TERMES DE RENFORCEMENT DE CAPACITES Q301. QUELS SONT LES BESOINS EN RENFORCEMENT DE CAPACITES DE L’ASSEMBLEE NATIONALE ET DE SES MEMBRES (PARLEMENTAIRES ET STAFF) AFIN QUE CETTE DERNIERE PUISSE JOUER PLEINEMENT SON ROLE ? VEUILLEZ LES CITER PAR ORDRE D’IMPORTANCE. 1 2 3 4 5 6 Q302. COMMENT LES FORMATIONS QUE VOUS AVEZ REÇUES POURRAIENT ETRE AMELIOREE POUR LES RENDRE PLUS UTILES ET ADAPTEES A VOTRE TRAVAIL ? 37 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q303. Si PACE/ Sunu Budget devrait poursuivre les activités de renforcement de capacités, comment pourrait-il améliorer sa collaboration avec l’Assemblée Nationale ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q304. Existe-t-il d’autres thématiques de formations dont vous avez besoin pour réaliser efficacement votre travail ? Si oui, dans quels domaines ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q305. Avez-vous des commentaires à ajouter ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… IV. VEUILLEZ REPONDRE AUX QUESTIONS SUIVANTES SUR L’ACCES DES CITOYENS A L’INFORMATION. Q401. Avez-vous participé aux activités d’échanges entre les parlementaires et les acteurs de la société civile ? OUI  NON Q402. Si oui, veuillez citer les activités d’échanges impliquant les acteurs de la société civile auxquelles vous avez participé en tant que parlementaire ? 1. 2. 3. 4. Q403. Si non, veuillez donner les raisons ? USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 38 ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q404. Quel a été votre intérêt à participer à ces activités avec les membres de la société civile ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q405. Comment ces interactions ont eu des effets (négatifs ou positifs) sur votre travail quotidien ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q405. Quels sont les principaux défis que vous rencontrez dans la facilitation de l’accès à l’information aux citoyens ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q406. Comment le projet Sunu Budget pourrait améliorer son intervention pour favoriser une interaction fluide entre l’A.N et la société civile et faciliter l’accès à l’information aux citoyens ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Q407. Quel pourrait être l’appui de l’A.N pour un meilleur accès à l’information budgétaire ? ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Nous vous remercions beaucoup de nous avoir accordé de votre temps pour participer à cette séance ! 39 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EVALUATION FINALE DES PERFORMANCES DE PACE/SUNU Budget GUIDE DE DISCUSSIONS USAID/ DRG office I. Informations générales 1. Quel était l’intérêt de la mise en œuvre du projet PACE/Sunu budget ? Instruction pour le modérateur : Le projet a été conçu sur quelle base ? y avait-il une analyse ? Y a-t-il eu un PAD développé pour cette activité. 2. Please explain how this Activity compliments the activities of other donor programs on NA capacity-building and budget vulgarization/transparency 3. Qui sont les partenaires impliqués dans le projet (Phase 1 et Phase 2) 4. Quelles sont les modifications principales en termes d’objectifs, de cible, apportées au projet et quelles en sont les raisons ? 5. Quelles ont été les principaux défis rencontrés dans le processus global ? 6. Quelles sont les leçons tirées de cette expérience ? Instructions pour le modérateur : chercher à capter les points forts et les points faibles de cette intervention ? Est-ce qu’il y a des choses que vous auriez fait différemment sur la base des leçons apprises. II. Renforcement de capacités de l’Assemblée Nationale et de ses membres et des acteurs étatiques et non étatiques. 1. Quelles sont les activités de renforcement de capacités déroulées dans le cadre de PACE/Sunu budget ? • L’institution elle-même • Parlementaires et staff de l’Assemblée Nationale • Acteurs non étatiques ? 2. Comment ces activités ont été utiles aux parlementaires et au staff de l’A.N dans l’optique de réaliser efficacement leur travail ? 3. Quels ont été les défis de la mise en œuvre de ces activités ? y a-t-il des différences entre les formations reçues par les parlementaires et celles des membres de l’administration de l’A.N ? 4. Y-a-t-il des aspects de cette composante doivent être améliorés ou changé ? Si oui, comment ? 5. Quelle a été l’utilité de la rénovation et l’équipement de la bibliothèque ? Quels sont les changements qui ont été constatée. 6. Existe-t-il-des besoins exprimés que le projet n’a pas pu prendre en compte ? Si oui, lesquels et pourquoi ? III. Accès à l’information budgétaire 1. Quels sont les mécanismes mis en place dans le cadre du projet pour assurer un meilleur accès des citoyens à l’information ? 2. Comment ces outils ont été pertinents et utiles pour les acteurs de la société civile ? 3. Quels sont les principaux défis rencontrés pour la mise à disposition des informations ? 4. Quelles sont les leçons tirées de cette composante ? 5. Dans quelle mesure, l’accès à l’information pour les citoyens pourrait être améliorée ? USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 40 IV. Suivi du budget citoyen et plaidoyer 1. Quels sont les mécanismes de suivi du budget citoyen et de plaidoyer mis en place ? 2. Quelles sont les forces et les faiblesses de ces mécanismes ? 3. Existe-t-il une stratégie pour booster l’utilisation de ces mécanismes ? 4. Dans quelle mesure, ces outils peuvent-ils être amélioré de sorte à répondre aux besoins des citoyens ? IV. Recommandations 1. Quelles recommandations formulez-vous pour améliorer l’accès à l’information budgétaire et le suivi budgétaire pour une meilleure communication et transparence des actions publiques ? 2. Quelles recommandations formulez-vous pour améliorer les activités de renforcement de capacités en vue de mieux répondre aux besoins des membres de l’A.N ? 3. Avez-vous d’autres commentaires ou suggestions à ajouter ? Merci de votre collaboration 41 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EVALUATION FINALE DES PERFORMANCES DE PACE/SUNU Budget GUIDE DE DISCUSSIONS Responsable de la documentation de l’Assemblée Nationale I. Renforcement des capacités de l’Assemblée Nationale 1. Expliquez de façon brève le fonctionnement de la bibliothèque et les types de services fournis ? 2. Comment est-ce que la bibliothèque appuie l’A.N pour son bon fonctionnement et facilite le travail de ses membres (parlementaires et le staff) ? 3. Quelles sont les activités du projet PACE/sunu budget auxquelles vous avez participé ? Instruction du modérateur : chercher à voir s’il a eu à faire des sessions de renforcement de capacités en tant que responsable de la documentation ou participer à des activités d’information des citoyens ? 4. Comment ces activités ont-ils été utiles et pertinents pour votre travail ? 5. Comment la mise à disposition des équipements (Ordinateur, logiciels, salle de lecture, casiers) vous a aidé dans le cadre de votre travail quotidien ? Instructions pour le modérateur : Demander au responsable de la documentation plus de détails sur comment l’équipement de la bibliothèque a changé leur manière de travail. Est-ce que cela a contribué à améliorer leur fonctionnement et comment ? 6. Comment l’appui de l’intervention a répondu à vos besoins principaux ? 7. Existe-t-il d’autres besoins qui n’ont pas été pris en compte dans le projet ? Si oui lesquels ? 8. Quelle a été l’utilité de la mise à disposition de ces équipements dans le cadre de votre travail et dans la facilitation de l’accès des citoyens à l’information ? 9. Comment le système d’archive facilite votre travail de recherche et assurer une meilleure protection des archives ? 10. Avez-vous fait face à des défis ou des difficultés quelconques avec la mise en œuvre de la composante renforcement des capacités ? 11. Quels sont les éléments de cette composante qui doivent être améliorés ou changés ? II. Facilitation de l’accès à l’information budgétaire 1. Quels sont les dispositifs de suivi dont vous disposez pour collecter des informations sur les citoyens qui fréquente la librairie ? Instructions du modérateur : chercher à savoir s’il a des données sur le nombre de visiteurs de la bibliothèque (avant et après le projet), leur profil, le type d’informations recherché, l’utilisation envisagé, le etc. ? 2. Est-ce qu’il y a un dispositif d’évaluation de la satisfaction des visiteurs en termes d’obtention des informations et de l’utilité de l’information (réponse à leur besoins) ? III. Recommandations 1. Quelles sont vos recommandations pour améliorer la qualité des services de la bibliothèque afin d’assurer le bon fonctionnement de l’AN ? 2. Quelles sont vos recommandations pour améliorer la qualité des services de la bibliothèque afin de favoriser la fréquentation et l’utilisation des ressources par les citoyens ? 3. Citez une ou deux choses que vous aimerez voir changer ou améliorer dans l’approche de PACE/ Sunu Budget ? 4. Avez-vous d’autres commentaires à ajouter ? USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 42 QUESTIONNAIRE POUR LES ACTEURS DE LA SOCIETE CIVILE Informations générales 1. Lieu de la discussion : 2. Date de la discussion : 3. Sexe du répondant : H / F 4. Age du répondant : 5. Municipalité/village et quartier de résidence : 6. Occupation : 7. Niveau d’instruction : a. Pas d’enseignement formel b. Enseignement primaire c. Enseignement secondaire d. Université Intérêt pour les affaires publiques 8. Avec quelle fréquence est-ce que vous vous tenez informé(e) des affaires publiques ? a. Très souvent b. Assez souvent c. Rarement d. Jamais 9. Quel(s) membre(s) de l’Assemblé Nationale représent(ent) votre circonscription électorale ? 10. A quel degré est-ce que vous vous intéressez à l’Assemblé Nationale ? a. Très intéressé(e) b. Assez intéressé(e) c. Pas très intéressé(e) d. Pas du tout intéressé(e) 11. A quel degré est-ce que vous vous intéressez aux affaires budgétaires ? a. Très intéressé(e) b. Assez intéressé(e) c. Pas très intéressé(e) d. Pas du tout intéressé(e) 12. Où est-ce que vous pourriez obtenir de l’information sur le budget national si vous en aviez besoin ? 13. A votre avis, quels sont les trois problèmes les plus importants auxquels le pays fait face et auxquels le gouvernement devrait s’attaquer ? 1ière réponse : 2ième réponse : 3ième réponse : a. Économie i. Gestion de l’économie ii. Salaires et revenus iii. Chômage iv. Pauvreté/exclusion sociale v. Impôts et taxes vi. Prêts/crédits b. Alimentation/agriculture i. Agriculture ii. Commercialisation agricole 43 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV iii. Insécurité alimentaire/famine iv. Sècheresse v. Foncier c. Infrastructures i. Transports ii. Communication iii. Infrastructures routières d. Services publics i. Éducation ii. Logement / habitat iii. Électricité iv. Eau v. Orphelins/enfants de la rue/enfants sans-abri vi. Autres services e. Santé i. Santé ii. SIDA iii. Maladies/épidémies f. Gouvernance i. Crime et insécurité ii. Corruption iii. Violence politique iv. Instabilité politique/divisions politiques/tensions ethniques v. Discrimination/inégalité vi. Approche genre/droit de la femme vii. Démocratie/droits politiques viii. Guerre (internationale) ix. Guerre civile g. Autres à préciser 14. Pensant aux problèmes que vous avez identifiés, quelle est la meilleure manière de les résoudre ? PACE/SUNU BUDGET 15. Avez-vous entendu parler du projet PACE/SUNU BUDGET ? Oui / Non 16. Si oui, qu’est-ce que vous en savez ? 17. Avez-vous participé aux ateliers ou événements PACE/SUNU BUDGET ? Oui / Non 18. Si oui, expliquer comment vous vous êtes impliqué(e) dans ces activités. 19. Si oui, est-ce que l’information que vous avez obtenu au cours de votre participation a été utile ? Prière d’expliquer. 20. Si non, est-ce que vous auriez participé au projet PACE/SUNU BUDGET si vous en aviez l’occasion ? [Enquêteur : expliquer brièvement le projet.] USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 44 QUESTIONNAIRE POUR LES PARTENAIRES D’EXECUTION Informations générales 1. Lieu de la discussion : 2. Date de la discussion : 3. Nom de l’organisation : 4. Rôles des répondants : Activités principales 5. Prière d’expliquer brièvement les objectifs et activités principaux de votre organisation au quotidien. 6. Prière d’expliquer votre rôle dans la mise en œuvre du projet PACE/SUNU BUDGET. Par exemple, quels ateliers ou événements avez-vous organisés ? 7. La période de mis en œuvre était quand ? 8. Comment est-ce que vous avez recruté des participants ? 9. Est-ce qu’il y avait des difficultés pendant ce processus de recrutement ? Si oui, lesquelles ? 10. Est-ce que vous êtes toujours en contact avec les participants ? Expliquez. Capacité de l’assemblé nationale 11. A votre avis, dans quels domaines particuliers est-ce qu’il est nécessaire d’augmenter la capacité de l’assemblé nationale ? 12. Comment est-ce que vous avez essayé d’augmenter ces capacités en tant que partenaires d’exécution du projet PACE/SUNU BUDGET ? 13. Avez-vous l’impression que les activités PACE/SUNU BUDGET que vous avez supervisées ont réussi en ce qui concerne l’augmentation de la capacité de l’assemblé nationale ? Pourquoi ou pourquoi pas ? Transparence budgétaire 14. A votre avis, qu’est-ce qui entrave l’accès à l’information budgétaire et la compréhension du processus budgétaire parmi les citoyens ? 15. Comment est-ce que vous avez essayé d’améliorer la transparence budgétaire en tant que partenaires d’exécution du projet PACE/SUNU BUDGET ? 16. Avez-vous l’impression que les activités PACE/SUNU BUDGET que vous avez supervisées ont réussi en ce qui concerne l’accès à l’information budgétaire et la compréhension du processus budgétaire parmi les citoyens ? Pourquoi ou pourquoi pas ? Recommandations pour l’avenir 17. Si vous pouviez changer un seul aspect du projet PACE/SUNU BUDGET, ce serait lequel et pourquoi ? 18. Avec quel degré de facilité est-ce que vous pensez qu’on pourrait reproduire le projet PACE/SUNU BUDGET à un niveau plus grand au Sénégal ? 19. Avec quel degré de facilité est-ce que vous pensez qu’on pourrait reproduire le projet PACE/SUNU BUDGET à un niveau plus grand dans d’autres pays ? 20. A votre avis, quels types de communautés seraient les plus sensibles aux activités similaires et pourquoi ? 45 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX VI: PACE/SUNU BUDGET IMPLEMENTATION ZONES USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 46 ANNEX VII: TABLE OF FINDINGS AND CONCLUSIONS EQ# Constatations Sources Conclusions (issues des Constatations) QE1 : Dans quelle mesure l’approche mise en œuvre par PACE/ SUNU Budget a contribué à accroitre les capacités de l’A.N Sénégal à remplir son mandat ? Positifs • Le programme PACE/SUNU BUDGET a répondu à un certain nombre de besoins exprimés par l’A.N, soulignés dans deux rapports diagnostics réalisés respectivement par l’USAID/NEXUS et l’UE. Ces besoins étaient relatifs au renforcement des capacités de l’A.N et de ses membres et aussi de leur interaction avec la société civile. En termes d’action, la bibliothèque de l’A.N. a été réhabilitée et rénovée. 70% des députés interviewés constatent une amélioration de l’équipement de l’AN de 2014-2015. Cependant, la principale amélioration évoquée par les députés enquêtés est la traduction simultanée (en langues nationales), réalisée par l’UE et non pas par le programme PACE/SUNU BUDGET. • Toutes les archives de l’A.N datant de la période coloniale ont été numérisées. • Les nouvelles boites à lettres permettent aux députés de réceptionner leurs courriers. 90% des députés enquêtés utilisaient leurs boites à lettres. * • Des équipements tels que des photocopieuses, des ordinateurs, des imprimantes multifonctions avec scanner ont été mis à la disposition de la bibliothèque. • 89 députés de la 12ème législature et membres de l’administration (54 députés et 35 membres du Staff) ont participé aux différentes sessions de formations entre autres sur les NTIC, le budget, les droits et pratiques parlementaires, le rôle des parlementaires, l’évaluation des politiques publiques, etc. • Revue documentaire • Rapports diagnostics DRG et UE • Photos de la bibliothèque avant et après la rénovation • Entretien à la bibliothèque de l’A.N • Entretien avec un formateur pour la certification en droits et pratiques parlementaires • Visite à l’Assemblée Nationale, • Entretiens avec des députés, y compris un focus groupe avec la commission de l’urbanisme et des transports • Entretien avec la direction de la communication de l’A.N et le PF de PACE/SUNU Budget et l’ONG 3D • Document : « Certificat d’études supérieurs en droit et pratique parlementaires » par l’Institut supérieur de droit de Dakar • Interview avec le coordonnateur de la CONASUB • Projet de guide du député • « Plan de travail / plan de suivi, évaluation et • Le projet PACE/SUNU Budget a pris en charge seulement une partie des besoins de l’A.N à travers la rénovation et la réhabilitation de la bibliothèque, son équipement, la numérisation des archives, la traduction des lois et textes, l’unité de production audiovisuelle et la mise à disposition d’outils tels que le vidéobook et le guide du parlement. En effet, il y a encore un ensemble de besoins résiduels qui restent à accomplir pour permettre à l’A.N de jouer pleinement son rôle. Ces besoins sont entre autres : la mise en ligne des documents archivés, la valorisation de la bibliothèque (augmenter la fréquence et l’utilisation), l’archivage du fonds sonore etc.). • L’organisation et l’archivage des documents à l’A.N. se sont beaucoup améliorées. L’A.N dispose d’un environnement de travail agréable et accueillant. PACE/SUNU BUDGET a amélioré l’infrastructure physique. • Les sessions de formation étaient bien appréciées par les parlementaires. Cependant, elles présentaient des limites en termes de langues et discriminer d’office les députés qui ne sont pas instruits. (Français). 47 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) • Une formation certifiante d’une durée de 6 mois sur les droits et pratiques parlementaires a été réalisée suivant la disponibilité des députés. Au total 35 députés ont été formés sur les droits et systèmes parlementaires, les techniques légistiques, les statuts et administrations parlementaires. 36 personnes dont 22 députés ont reçu un certificat en « droit et pratiques parlementaires ». • Des outils d’orientation ont été développés généralement en français et certains en wolof à l’intention des députés. Il s’agit de l’outil genre, le guide du parlement et le vidéobook. Le guide du parlement comprend des sujets suivants : le rôle de l’AN dans l’état, les missions de l’AN, l’organisation et le fonctionnement de l’AN, le rôle du député, et les relations interparlementaires. 85% des députés enquêtés utilisent le guide du parlement. • Plusieurs textes et lois ont été traduits dans les 7 langues nationales codifiées pour faciliter le travail des députés et celui des interprètes. Ces textes comprenaient des documents institutionnels ainsi que des documents de base, tels que le règlement intérieur, l’arrêté de l’élaboration du budget, la loi organique sur le fonctionnement du Conseil Economique, Social et Environnemental (CESE), le décret sur le code des marchés publics, le code de transparence dans la gestion des Finances Publiques au sein de l’UEMOA, etc. • Appréciation positive des interprètes sur les outils mis à leur disposition (glossaire, compilation des textes et des règlements. • Une unité de production audiovisuelle a été installée pour mieux informer et communiquer sur les travaux parlementaires. • Recrutement de 15 assistants parlementaires mis à la disposition des commissions pour appuyer les députés apprentissage » pour le programme SUNU BUDGET • Document sur les critères de sélection des assistants parlementaires • Enquête des députés • Les outils développés tels que le glossaire, la compilation des textes sont bien utilisés, mais, ont besoin d’être mis à jour de façon continue. • Les vidéobooks ont été très populaires et importants mais ils ne sont plus disponibles à l’A.N. Cet outil de formation pourrait être d’une grande utilité pour les nouveaux députés afin de leur faciliter la compréhension de leur rôle. • Les assistants viennent de commencer à l’A.N. Leur soutien par l'AN semble prometteur en termes de durabilité et d'adhésion, mais leur utilisation et leur importance n'ont pas encore été prouvées. Il reste à voir à l’avenir s’ils seront efficacement utilisés. • Le projet a fait des efforts pour appuyer les députés de la 12ième législature à mieux comprendre leurs rôles et responsabilités. Etant donné le taux de renouvellement très élevé des membres de l’A.N (environ 95%), des programmes de formation et d’orientation permanents seront toujours nécessaires à l’A.N. • Les archives numérisées ont permis de sauvegarde de façon efficace l’héritage colonial. Cependant, ces documents ne sont disponibles en ligne, limitant ainsi leur accès à un large public. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 48 EQ# Constatations Sources Conclusions (issues des Constatations) pendant les sessions parlementaires. Ces derniers bénéficient d’autres avantages de la part de l’A.N qui sont entre autres la mise à disposition d’un bureau aménagé et équipé, d’un moyen de déplacement quotidien, d’une indemnité de 6000 pendant les sessions parlementaires (qui dure de 8h00 du matin à 24h00), et d’une subvention pour le déjeuner. • Ces assistants parlementaires ont été recrutés d’une manière transparente et systématique au niveau de l’université. Les critères de sélection étaient le genre (les candidatures féminines étaient très encouragées), la maitrise des langues française et nationales, la qualité de la présentation orale, la neutralité et l’impartialité, etc. • Utilisation des technologies de l’Information et de la Communication : 78% des 30 répondants députés utilisent des outils tels que Facebook (45%), Twitter (24%), et Google (31%). La majorité des enquêtés ont créé leurs comptes pendant la période de mise en œuvre du programme PACE/SUNU BUDGET. • Les députés ont trouvé importantes les formations sur la préparation du budget (1ère priorité), le droit et le rôle du parlementaire (2ème priorité), et les NTIC (3ème priorité). • Tous les députés interviewés ont trouvé les formateurs efficaces. • La diversité (33%) des députés enquêtés ont utilisé les connaissances de la formation pour mieux comprendre le fonctionnement de l’A.N, la gestion et le vote du budget. 20% ont utilisé les NTIC pour être au diapason, 10% pour prendre la parole lors des débats parlementaires. • Bien qu’il y ait une intégration d’indicateurs de résultats dans la phase 2 de l’activité, la majorité des activités de suivi et d’évaluation se concentrent sur les produits (Outputs : nombre de personnes formées, etc.) et limitent la capacité à documenter les changements de niveau supérieur induisent par les différentes activités. • L’accès du public aux fonds documentaires de la bibliothèque est faible faute d’initiative de valorisation des ressources de l’A.N. Cela constitue un obstacle majeur pour booster l’utilisation et la fréquence de la bibliothèque et creuse le gap entre la société civile et le parlement. 49 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) Négatifs • Les archives numérisées n’ont pas été intégrées dans une base de données et n’ont été mises en ligne faute d’une base de données appropriée (La mise en ligne n’était pas dans intégrée dans le projet). • Le contrat de maintenance des matériels informatiques a expiré. Au moment des entretiens avec le directeur de la bibliothèque, la photocopieuse ne fonctionnait pas et l’AN ne disposait pas d’un service d’entretien pour les réparations. C’est le seul service qui fait les photocopies pour toute l’A.N. • Très peu de formations ont été faites en langues nationales à l’exception de la formation sur le « Rôle des parlementaires dans la promotion de la bonne gestion des finances publiques » (français et wolof). • Inexistence d’indicateurs sur la mesure de la performance des formations ou du renforcement de capacités institutionnels (outcomes) dans PACE. • La deuxième phase (SUNU / BUDGET) intègre un indicateur de résultat lié à l’augmentation du score du budget ouvert pour le Sénégal, mais reste principalement axée sur la mesure des résultats. • Inexistence de pré-tests et post-tests et suivi systématique des personnes formées. Cela limite la mesure de performance des effets induits par ces formations. • L’unité de production audiovisuelle n’est pas encore opérationnelle. Les agents de la direction de la communication sont en attente de la formation. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 50 EQ# Constatations Sources Conclusions (issues des Constatations) • Il y a toujours des députés qui n’utilisent pas les nouvelles technologies (22% d’après notre enquête), pour les raisons suivantes : on n’est pas instruit, on n’est pas fan des réseaux sociaux, on préfère communiquer directement ou au téléphone avec sa cible, on n’a pas l’habitude. Les TIC devaient servir d’outils d’interaction entre les parlementaires et les populations ; mais ce ne fut pas le cas, à part quelques députés qui avaient la maîtrise des outils informatiques. Les députés n’ont pas totalement adopté les outils budgétaires (pages Web, etc.). • La majorité (60%) des députés interviewés n’utilisent pas le VideoBook. Certains parce qu’ils n’en ont pas reçus le vidéobook ou parce qu’ils sont illettrés et ne savent pas l’utiliser correctement. • La bibliothèque de l’A.N n’est pas encore très connue par le grand public. Il faut noter une sous-utilisation des ressources disponibles à la bibliothèque par les députés et les acteurs de la société civile en dépit de tous les efforts consentis. La Direction de la documentation et des archives a élaboré des activités de valorisation pour booster l’utilisation de la bibliothèque. Ce plan n’a pas encore été exécuté faute de ressources. • Difficulté pour les interprètes à comprendre et expliquer aisément certaines terminologies dans les glossaires et textes traduits avant leur prise de fonction en fin 2014 (avant le démarrage de leur formation). • Les interprètes interrogés développent parallèlement un glossaire de terminologies pour compléter les travaux d’ANAFA. Ils ont noté également la non prise en compte dans le glossaire développé des différentes variantes de dialectiques existantes dans les langues. 51 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) QE2 : Dans quelle mesure l’approche mise en œuvre par PACE/ SUNU Budget a amélioré l’accès des citoyens à l’information budgétaire et la participation du public au processus budgétaire ? Positifs • Des foras de redevabilité ont été organisés par le RJS et YAM pour faciliter le dialogue entre les députés et les acteurs de la société civile dans les différentes régions du Sénégal. L’absence d’un mécanisme de suivi des recommandations issues de ces foras n’ont pas permis de capter les changements majeurs et rendent difficile l’attribution de certains changements au projet PACE. A Thiès, des engagements avaient été pris par les femmes leaders notamment pour la redynamisation du CDAF et l’enregistrement des femmes au niveau du développement communautaire. De nombreuses femmes sont représentés au sein du conseil consultatif de Thiès. Des résultats probants sont notés mais il est difficile compte tenu de l’absence de mécanismes de suivi dans le projet de se prononcer sur l’attribution. Quelques résultats de ces activités : Institutionnalisation des foras de dialogue citoyen direct entre les députés, les populations et le maire de Thiès bien avant PACE. Il existe une bonne collaboration entre le maire et les acteurs de la société civile dont YAM. En 2013, YAM avait créé le concept « WAKH AK SA MAIRE » en wolof qui veut dire échanger avec son maire. Ils ont organisé plusieurs séances de dialogues publics avec les maires des villes de Kolda, Tambacounda, Dakar et Linguère. Impulsion de dynamiques collaboratives entre parlementaires et acteurs de la société civile : Suite au forum de Thiès, les membres de YAM échangent avec certains députés de la 12ème législature (Tels que Cheikh Oumar Sy, Hélène Tine), via les réseaux sociaux sur les politiques publiques (sur les thématiques telles que les ressources minières). • Revue documentaire • Entretiens avec des partenaires d’exécution : l’ONG 3D, Y’en a Marre, Réseau Siggil Jigeen • Entretiens avec le coordonnateur de CONASUB/ANAFA, coordinateur de l’ONG GERAD (ONG fondateur du CONASUB) • Interview avec les membres de COSYDEP • Entretiens avec le 1er Adjoint au maire de Tamba, IA de Tamba, Membre du RSJ de Tamba et Thiès, cellule Y en Marre de Thiès, URAC, DPBG • www.internationalbudget.org • « USAID/SUNU BUDGET Quarterly Performance Report (Q5), Oct-Dec 2017 » • « USAID/SUNU BUDGET Quarterly Report: January to March 2017 » • Etude sur « l'état des transferts infranationaux, guide intitulé « Comment améliorer votre indice de budget ouvert » • Le programme PACE/SUNU BUDGET permet aux acteurs de la société civile de disposer d’arguments pour faire le plaidoyer et développer leurs capacités dans l’analyse du budget. • Les foras et les auditions publiques organisés dans le cadre du projet ont été une opportunité pour les différents partenaires d’échanger et d’avoir des perceptions différentes. • Les formations sur le budget ont changé la perception de certains acteurs. Cependant, il y a encore un travail qui reste à faire au niveau des autres acteurs de la société civile qui garde toujours le même paradigme. • La pérennisation des acquis du projet est importante pour renforcer la collaboration et les relations entre les députés et la société civile afin de faciliter le plaidoyer et prendre en charge leurs besoins. • La communication dans les langues locales est le meilleur moyen de faciliter l’accès à l’information budgétaire et son appropriation par les communautés. • Le renforcement des capacités des différentes familles dans le domaine du budget est encore nécessaire. • La mise en place de la CONASUB facilite le dialogue entre la société civile et les autres acteurs institutionnels. Cependant, ce USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 52 EQ# Constatations Sources Conclusions (issues des Constatations) Un rapprochement s’est établi entre une femme leader avec des femmes députés afin que ces dernières portent le plaidoyer sur des questions de santé. A Thiès, une femme leader a réussi à interpeller le réseau des femmes parlementaires pour l’ouverture d’un bloc opératoire dans sa ville. Elle a connu l’existence de ce réseau à travers le forum organisé à Thiès par le projet PACE. • Des sessions de renforcement de capacités ont été organisées sur le processus d’élaboration et d’exécution budgétaire à l’intention de 25 acteurs (coordonnateurs régionaux de la COSYDEP, syndicats d’enseignants, Association de parents d’élèves, etc.) • La COSYDEP a organisé des foras régionaux pour recueillir les besoins des communautés en termes d’éducation dans les régions de Tamba, Kolda, Kédougou et Matam. Les recommandations issues de ces foras ont été transmises à l’assemblée nationale par les soins de l’ONG 3D. Les acteurs suivront de près la session parlementaire pour assurer une prise en charge de ces besoins. Quelques changements notés : PACE/SUNU BUDGET a suscité des améliorations dans le mode de gestion des affaires publiques locales d’une collectivité territoriale : (L’audition publique de la mairie de Tambacounda, sur les dépenses du secteur de l’éducation de Tambacounda, a conduit les autorités de cette collectivité territoriale à désormais systématiser la documentation de toutes les interventions qui sont faites dans ce domaine). ++++++++++ Amélioration de l’accès à l’information sur la gouvernance du budget de l’Education : mécanisme gagnerait à être renforcé pour lui assurer un ancrage institutionnel. • Les acteurs de la société civile ont appris à travailler avec une multitude de techniciens du gouvernement, mais le secteur de la nutrition est complexe du fait qu’il implique des acteurs de différents ministères (Agriculture, élevage, etc.). • SUNU BUDGET simplifie la compréhension du budget national. Aujourd’hui, les informations sur le budget national du Sénégal sont disponibles. Des efforts pour faciliter leur accès au grand public ont été réalisés par SUNU BUDGET. Cependant, le travail de diffusion dans les différents canaux de communication reste à être renforcé. • Le projet de loi et le projet de décret sont dans le circuit de visas. Les lenteurs des procédures administratives risquent de retarder sa promulgation. • Des progrès ont été réalisés en termes de publications, cependant la diffusion auprès du grand public demeure toujours un défi à relever. Cela démontre la nécessité de mettre en place des stratégies de dissémination pour rendre l’information accessible. • La stratégie de suivi et de pérennisation des actions réalisées 53 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) L’audition réalisée dans le cadre de SUNU BUDGET a beaucoup renforcé la dynamique de reddition des comptes au niveau de l’IA de Tambacounda. Elle a permis d’avoir une réelle implication de la société civile à leur côté, une mobilisation de l’association des parents d’élèves). +++++++++++++++++++ Amélioration du mode de gouvernance dans un établissement scolaire à Kolda (Un membre de la COSYDEP, directeur d’un établissement à Kolda a changé de démarche après avoir participé au forum de Tambacounda. Il affiche son budget au sein de son établissement et fait des exemplaires qu’il distribue au niveau de sa localité. Lors de l’audience à Kolda, il est venu avec un exemplaire de budget détaillé). ++++++++++++++++ (A Tambacounda une femme leader a réussi à interpeller une femme députée de sa localité, qui a fait un plaidoyer à l’A.N et une loi a été votée pour l’accès gratuit aux soins, pour les femmes qui ont la fistule obstétricale). • SUNU BUDGET (Phase 2) a mis l’accent sur le « Open Budget. » Ce changement de focus a permis aux participants de se concentrer pendant la phase SUNU BUDGET sur 2 buts principaux : l’accès des citoyens à l’information budgétaire et la participation du public au processus budgétaire. • Des études ont été réalisées dans le cadre du programme PACE/SUNU BUDGET. Elles participent au renforcement des capacités de plaidoyer des différents acteurs qui dans le cadre de ce programme n’a pas été efficace. • L’assemblée nationale n’est pas encore très ouverte aux populations qui pourtant ont élu ses membres. Elle représente encore une sorte de maison fermée pour le public. • La prise en compte des groupes vulnérables tels que les personnes handicapées et les jeunes a été une faiblesse du programme. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 54 EQ# Constatations Sources Conclusions (issues des Constatations) interviennent dans le suivi budgétaire : l’étude sur « l’état des transferts infranationaux » ; l’étude sur « la mobilisation des ressources internes ». Il faut souligner qu’il y a beaucoup de publications sur les finances publiques. Cependant, la diffusion de ces informations auprès du grand public est très faible. • Meilleure compréhension du budget et du processus au niveau des acteurs interrogés. Les entretiens avec la cellule YAM de Thiès et des syndicalistes du secteur de l’éducation à Tamba ont révélé une meilleure compréhension des questions de budget. Auparavant, ces derniers pensaient aue le budget était déjà de l’argent disponible dans les caisses de l’Etat. C’est à la suite des formations qu’ils ont compris le budget constitue des ressources que l’Etat doit mobiliser. • Changement de perception des acteurs de la société civile sur les députés et leur rôle (Assez positive) Ex : Les membres de YAM avait des stéréotypes sur le rôle des députés. Cette perception a changé lorsque ces derniers ont suivi une session portant sur le rôle du député et le budget. • Appui de SUNU Budget pour le lancement du cadre multi￾acteurs de suivi budgétaire et la tenue de 3 sessions d’analyse budgétaire. La cadre multi-acteur est un dispositif qui contribue au renforcement de la gouvernance des finances publiques à travers la création d’un espace de dialogue, de concertation et de mutualisation des moyens. Ce cadre est porté par le Ministère chargé de la Bonne Gouvernance. • Un projet de loi sur l’information appuyé par l’ONG 3D est dans le circuit d’approbation (Ministère de l’Economie et des Finances). 3D a appuyé à travers la mise à disposition d’un expert pour l’élaboration du projet de loi. 55 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) • Mise en place de groupes d’analyse et de suivi budgétaire sur la nutrition à travers la plateforme SUN. Les acteurs de cette plateforme ont réalisé deux ateliers sur les quatre qui étaient prévus : un atelier de mise en place de deux groupes d’analyse et un atelier pour le classement des informations financières pour effectuer le suivi budgétaire. (Des données sur le niveau d’exécution des dépenses sont disponibles mais ne sont pas faciles à désagréger). • Mise à disposition des informations budgétaires à travers la plateforme www.sunubudget.com, les reportages « Focus sur » (vus par plus de la moitié des personnes rencontrées sur la TFM) et les budgets animés (statistiques disponibles). • SUNU BUDGET a mené plusieurs activités, tels que des foras, des caravanes, et des campagnes dans les médias (spots publicitaires, programmes à la radio, les budgets animés etc.) pour informer et sensibiliser les communautés sur le budget et certaines thématiques tels que l’éducation, les ressources minières, la baisse des loyers etc. • Vulgarisation des budgets animés à la TV et aux foras. La première version du budget animé n’était qu’en français, mais la deuxième version a été traduite en Wolof. D’après le rapport de l’ONG 3D de Jan-Mars 2017, les citoyens ont trouvé les budgets animés claires et accessibles, à la différence du budget normal. • Amélioration du score de l’indice du budget ouvert (open budget index) de 43/100 en 2015 à 51/100 en 2017. L’atteint de ce résultat a permis à l’ONG 3D d’être choisi par IBP pour faire l’enquête sur le budget ouvert. Par ailleurs, le Sénégal est maintenant admis dans le partenariat pour le gouvernement ouvert. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 56 EQ# Constatations Sources Conclusions (issues des Constatations) • Création d’un guide « comment améliorer votre indice du budget ouvert, » ce qui a été utilisé pour développer une stratégie d’améliorer le score du Sénégal. • L’ONG 3D a développé un cadre des « transferts sous￾nationaux » des redevances minières, avec des « critères de contribution » transparentes. • Des efforts sont consentis au niveau du MEFP pour faciliter l’accès des citoyens à l’information avec le concours de 3D. Toutes les directions du ministère des finances disposent de sites qui publient les informations sur le budget. Le Ministère de l’Economie, des Finances et du plan met à la disposition du public les documents relatifs au budget tels que : la loi des finances, le budget citoyen, le budget genre, lecture facile du budget. Négatifs • Le projet a déroulé beaucoup d’activités d’information et de sensibilisation des citoyens en langue locale. Cependant, les radios communautaires ont été sous utilisées. Il y a 112 radios associatives et communautaires au Sénégal qui couvre l’ensemble du territoire Sénégal et diffuse des programmes dans les différentes langues locales. • • Inexistence de loi sur l’accès des citoyens à l’information. • Il y a une absence d’une stratégie de pérennisation et de suivi des actions développées avec les parties prenantes (RSJ, COSYDEP). • Absence d’un mécanisme de suivi des recommandations et des engagements pris par les députés lors des foras. 57 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) • Absence d’une stratégie de pérennisation des actions développées avec les parties prenantes (RSJ, COSYDEP). Après le forum, les organisations locales de femmes qui avaient participé à l’activité n’ont reçu ni les documents relatifs à la synthèse des travaux des ateliers, ni le plan d’action. • Au début, le budget animé n’était qu’en français. La 2ème version a été traduite en Wolof, mais non pas en d’autres langues nationales. • Certaines populations ne connaissent pas comment fonctionne l’assemblée nationale. Au cours du forum « dialogue citoyen direct » entre les députés et les populations à MALICOUNDA (dans le département de MBOUR/ Région de Thiès) qui avait été organisé par YAM, la majorité des intervenants posaient des questions sur l’utilité du parlement. • Les acteurs de la société civile ne participent pas dans le processus budgétaire. Ils sont impliqués dans l’élaboration des politiques publiques. QE3 : Quels sont les points clés à retenir et les défis dans le processus de création de mécanismes de redevabilité et de relations entre les organisations de la SC et les institutions nationales ? Points clés • Le programme PACE/SUNU BUDGET a facilité la mise en place d’un cadre multi-acteurs pour le suivi budgétaire, avec les acteurs de la société civile, les acteurs institutionnels. • Existence d’une collaboration dynamique entre les acteurs de la société civile et les structures étatiques (MEFP/DPB, MPBG/DPBG). • Il n’y a pas eu de grands problèmes de mobilisation et d’adhésion au cours du programme PACE/SUNU • Revue documentaire • Entretiens avec les députés • Entretiens avec la DPB, l’administration de l’Assemblée Nationale. • « Cahier de recommandations » sur la rationalisation des partis politiques • « USAID/SUNU BUDGET Quarterly Performance Report (Q5), Oct-Dec 2017 » • Les efforts d’augmenter la capacité parlementaire a entrainé des changements mais avec quelques contraintes, en particulier la disponibilité limitée des députés, l’alternance parlementaire, et le système électoral. • Le dialogue autour du budget national entre les acteurs de la société civile et l’Etat est un acquis à consolider. Cependant, les résultats de ces dialogues restent encore à être partagés avec le grand public. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 58 EQ# Constatations Sources Conclusions (issues des Constatations) BUDGET. En général, les citoyens et les députés s’intéressaient beaucoup aux activités. • L’implication de différents acteurs dans l’analyse, et le suivi budgétaire l’ancrage institutionnel, favorise une appropriation et un meilleur portage des activités. (Ex : Cadre multi-acteurs de suivi budgétaire – Le comité de pilotage de la loi sur l’accès à l’information). • La plupart des acteurs de la société civile interrogés à Thiès et à Tamba ont démontré un intérêt assez limité pour les affaires publiques et les affaires budgétaires. Souvent cela est dû à leur ignorance de leur droit et obligation en tant que citoyen ou à leur méconnaissance des canaux d’informations. • Le programme PACE/SUNU BUDGET a facilité de la collaboration et du dialogue entre diverses couches de la population sénégalaise. Défis • L’Assemblée Nationale ne capitalise pas les acquis du projet, surtout pour les sessions de renforcement de capacités (Mise à disposition documents de formations et des outils développés pour les prochaines législatures). • La durée du programme PACE/SUNU BUDGET n’a pas été suffisante pour réaliser tous ses objectifs. • Les citoyens (interrogés) sont plus investis dans les questions relatives au budget de leur localité que celles qui concernent le budget national. • Les couches vulnérables (handicapées) sont souvent laissées en rade dans l’organisation des auditions sur les politiques publiques. • Malgré la popularité des divers forums et discussions avec les citoyens, il y a des incertitudes sur comment ce type d’engagement citoyen continuera après le projet. • La propriété intellectuelle et la propriété des divers outils et contenus des formations développées dans le cadre de l'activité restent floues. La capacité de l'AN à les maintenir est limitée. • La question et la compréhension du budget national semblent éloignées de nombreux citoyens, mais le budget local dans leurs propres communautés apparait plus réel et les intéressent beaucoup plus. • Certains éléments contextuels politiques constituent un défi : l'absence de loi sur l’accès à l'information et le mode de scrutin électoral (les députés doivent appartenir à un parti politique pour siéger à l’A.N). 59 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV EQ# Constatations Sources Conclusions (issues des Constatations) • La pérennisation de certains cadres tels que la CONASUB (composé uniquement d’acteurs de la société civile) ne pourrait pas se faire sans l’appui d’un PTF et un ancrage institutionnel. • Le taux de déperdition des députés rend difficile la durabilité de la formation et de la sensibilisation des députés. • Le mode de scrutin électoral est un autre obstacle, parce que les partis politiques ont beaucoup d’influence dans la sélection des candidats ; cela élargit la distance sociale entre les politiciens et les citoyens. Un « Cahier de recommandations » que l’ONG 3D a fait sur la rationalisation des partis politiques souligne quelques problèmes qui demeurent : la difficulté des partis à avoir une représentation sur l’ensemble du territoire national, l’affaiblissement de la confiance des citoyens envers les partis, la relative marginalisation des jeunes et des femmes dans l’organisation et le fonctionnement des partis, etc. • Les deux projets ont un champ d’action vaste qui ne prend pas en compte nécessairement la mesure de l’impact/ objectif à un niveau supérieur (Ex : Foras des femmes et des jeunes – opportunités manquées). • La durabilité des effets du programme PACE/SUNU BUDGET n’est pas certaine. Cela nécessite de l’investissement à long terme de la part de l’Assemblée Nationale et des partenaires. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 60 ANNEX VIII : TABLE OF RECOMMENDATIONS EVALUATION DES ACTIVITES DU PROGRAMME PACE/SUNU BUDGET– MATRICE DES RECOMMANDATIONS ET ACTIONS A MENER Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 Q 1 : Comment le projet a renforcé les capacités de l’Assemblée Nationale ? Dans quelle mesure l’approche mise en œuvre par PACE/ SUNU Budget a contribué à accroitre les capacités de l’A.N Sénégal à remplir son mandat ? 1. Les archives numérisées ne sont pas encore mises en ligne faute d’une base de données appropriée Terminer le processus de numérisation en intégrant la génération de la base de données. Le contrat n’intégrait l’aspect mise en ligne. La base de données n’a pas été générée. Volet formation pour les employés de la direction pour assurer la pérennisation. Centre de recherche, de la documentation et des archives de l’A.N 3D Janvier 2019 1 Mettre la base de données et les autres ressources de la bibliothèque en ligne. Centre de recherche, de la documentation et des archives de l’A.N 3D Janvier 2019 1 2. Très peu de formations faites en langues nationales Adapter les formations dans les langues nationales. Développer et multiplier les outils de formation en langue nationale. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 1 Diversifier les formats des outils (audios et vidéos) en français et dans les langues locales. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 1 Capitaliser sur les outils qui ont été utilisés pendant les formations de PACE/SUNU Budget 3D Secrétariat Général Février 2019 1 61 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 3. Inexistence d’indicateurs sur la mesure de la performance des formations ou du renforcement de capacités institutionnels (outcomes) dans PACE Intégrer des indicateurs sur la performance des formations en tirant des leçons de PACE pour les projets à venir. Le système de S&E de l’USAID a évolué de PACE à SUNU Budget. Les indicateurs sur les effets (Outcomes) sont intégrés dans les projets actuels. USAID-DRG / 3D USAID-DRG / 3D 1 Travailler sur un système pérenne d’accompagnement parlementaire en mettant l’accent sur le renforcement de l’institution (les agents de l’administration de l’A.N) et sur le rôle des députés. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Décembre 2019 1 4. Inexistence de pré-tests et post-tests et suivi systématique des personnes formées Systématiser les pré-tests et les post￾tests dans toutes les formations Secrétariat Général de l’A.N et 3D USAID Continu 1 5. L’unité de production audiovisuelle n’est pas encore opérationnelle Former le personnel de communication sur l’utilisation de l’unité. 3D Secrétariat Général de l’A.N Février 2019 1 6. Non utilisation des nouvelles technologies par la majorité des députés enquêtés Appuyer les députés à l’utilisation des NTIC pour susciter leur intérêt. Equipe de communication de l’A.N Secrétariat Général de l’A.N Continu 1 7. La législature actuelle ne dispose pas des vidéobooks à l’exception des députés qui ont été reconduits. Reproduire et vulgariser les vidéobooks et les mettre à la disposition de la 13ième législature. 3D Secrétariat Général de l’A.N Février 2019 1 8. La bibliothèque de l’A.N n’est pas encore très connue par le grand public Organiser des activités de valorisation de la bibliothèque (Journées portes ouvertes, séminaires avec les étudiants, etc.) Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 1 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 62 Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 9. Sous-utilisation des ressources disponibles à la bibliothèque par les députés et les acteurs de la société civile Organiser des campagnes de communication pour rendre visible la bibliothèque auprès du grand public. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 2 10. Non prise en compte dans le glossaire développé des différentes variantes de dialectes existant dans les langues. Enrichir le glossaire en tenant en compte des différentes variantes dialectiques et en intégrant les terminologies manquantes. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 1 Créer des espaces d’échanges entre les interprètes, les députés et certains experts. Secrétariat Général de l’A.N Secrétariat Général de l’A.N Continu 1 Q 2 : Comment le projet a amélioré l’accès et la participation des citoyens à l’information et au processus budgétaire ? Dans quelle mesure l’approche mise en œuvre par PACE/ SUNU Budget a amélioré l’accès des citoyens à l’information budgétaire et la participation du public au processus budgétaire ? 1. Sous-utilisation des radios communautaires dans les activités d’information et de sensibilisation des citoyens en langues locales. Intégrer l’URAC comme étant partie prenante devant prendre en charge la dimension partage d’information au niveau local – Faire de l’URAC un partenaire stratégique du projet. L’institut PANOS a contractualisé avec l’URAC pour le partage des informations au niveau local). 3D USAID Février 2019 1 Contractualiser avec l’URAC pour assurer le partage d’information au niveau local Secrétariat Général de l’A.N Secrétariat Général de l’A.N Décembre 2019 2 2. Inexistence de loi sur l’accès des citoyens à l’information Faire le plaidoyer auprès des ministères (bonne gouvernance, communication et de l’économie et des finances), SYNPICS, CORED pour l’adoption de la loi et du décret d’application. Le comité de pilotage de la loi et 3 D 3 D Février 2019 1 63 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 3. Absence d’une stratégie de pérennisation et de suivi des actions développées par les parties prenantes (RSJ, COSYDEP) et des recommandations et engagements pris par les députés lors des fora. Mettre en place un mécanisme de suivi des recommandations et engagements pris en collaboration avec les autorités administratives et territoriales. Mise en place d’un réseau parlementaire sur le civisme L’Assemblée doit voir comment prendre en charge la question de la pérennisation des acquis en interne Secrétariat Général de l’A.N CONASUB 1 4. Non traduction des budgets animés dans les autres langues nationales Elargir le budget animé dans les autres langues codifiées 3 D USAID Juin 2019 1 5. Non connaissance du fonctionnement de l’assemblée nationale par certaines populations Elargir la cible pour une meilleure connaissance du fonctionnement de l’Assemblée (Daara, analphabètes par exemple). Secrétariat Général de l’A.N CONASUB Continu 1 Créer des supports animés sur le fonctionnement de l’Assemblée Nationale (parlement animé, focus sur les institutions, etc.) 3 D Secrétariat Général de l’A.N Juin 2019 1 6. Non-participation des acteurs de la société civile dans le processus d’élaboration du budget Travailler à avoir un cadre légal de participation approprié des acteurs de la SC. • Comment faire pour que l’élaboration budgétaire au niveau national soit plus inclusif • Comment préparer les citoyens pour une meilleure implication/part icipation à l’avènement du CONASUB 3D Décembre 2019 2 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 64 Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 budget programme Utiliser l’espace qu’offrent les fora pour collecter les informations/besoins des citoyens en vue de l’élaboration des budgets programmes (Organisations faitières) CONASUB 3 D Décembre 2019 2 Q 3 : Points clés et challenges dans le processus de création de la redevabilité ? Quels sont les points clés à retenir et les défis dans le processus de création de mécanismes de redevabilité et de relations entre les organisations de la SC et les institutions nationales ? 1. Non capitalisation des acquis du projet par l’Assemblée Nationale, surtout pour les sessions de renforcement de capacités (Mise à disposition documents de formations et des outils développés pour les prochaines législatures). Faire le plaidoyer pour la mise en place d’une structure de formation et de renforcement de capacité au sein de l’AN Secrétariat Général de l’A.N. USAID 1 Renforcer le dispositif de formation actuel de l’A.N Secrétariat Général de l’A.N. USAID 1 Mise à jour, diffusion et partage des outils développés par le projet. Equipe de communication de l’A.N 3 D Février 2019 1 2. Durée insuffisante du programme PACE/SUNU BUDGET pour réaliser tous ses objectifs - Aligner le programme sur la durée d’une législature (05 ans) Mise en œuvre programme et avoir des impacts réels DRG USAID/PRM Conceptio n du prochain projet 1 3. La majorité des citoyens interrogés est plus impliquée dans les questions relatives au budget de leur localité que celles qui concernent le budget national. Intégrer les budgets locaux dans le cadrage global du projet. Partir du local vers le national DRG USAID/PRM Conceptio n du prochain projet 1 65 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Constatations Recommandations Commentaires Responsable de l’action Responsabl e suivi Date limite Niveau de Priorité 1 2 3 4. Faible implication des couches vulnérables (handicapées) dans l’organisation des auditions sur les politiques publiques. Se fixer des indicateurs précis concernant la participation et l’implication des couches vulnérables lors des activités du projet. DRG USAID/PRM Conceptio n du prochain projet 2 5. Pas de pérennisation de certains cadres tels que la CONASUB sans l’appui d’un PTF et un ancrage institutionnel Continuer à renforcer des capacités des membres de la CONASUB CONASUB USAID Décembre 2019 1 Définition de stratégies de fundraising pour l’autofinancement des activités de la CONASUB CONASUB USAID Décembre 2019 1 Mutualisation des ressources et actions des organisations membres de la CONASUB CONASUB USAID Décembre 2019 1 6. Non durabilité de la formation et de la sensibilisation en raison du fort taux de déperdition des députés - Renforcer les capacités des agents de l’administration de l’Assemblée nationale. - Pour avoir une mémoire institutionnelle Soutenir et pérenniser l’action des assistants Secrétariat Général de l’A.N 3D Décembre 2019 2 Prendre en charge les assistants parlementaires dans le budget de l’AN Secrétariat Général de l’A.N 3 D Décembre 2019 2 Questions Recommandations Quelles autres activités mettre en œuvre pour : Poursuivre le plaidoyer pour l’accès des citoyens à l’information de manière générale ? Sensibiliser et mobiliser les acteurs communautaires autour de l’information budgétaire. Accompagner le processus de mise en place des cadres locaux de suivi budgétaire. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 66 Questions Recommandations Booster la participation des citoyens dans le processus budgétaire ? Faire un plaidoyer pour la création d’un cadre de participation des citoyens dans le processus budgétaire auprès du MEFP (Ex : CONASUB pourrait créer ce cadre). Elargir la CONASUB à d’autres organisations / redéfinir son mandat en vue d’en faire une plateforme qui prend en charge tous les secteurs. • Quelles sont les actions à prendre par l’ONG 3D et L’AN pour pérenniser les activités après la fin du projet : Renforcement des capacités techniques et organisationnelles (traduction des textes et règlement, élaboration du guide du parlement et d’une boite à outils sur le budget sensible au genre) de l’AN. Augmenter les prévisions budgétaires axées sur le renforcement des capacités institutionnelles de l’A.N. Recenser et organiser la gestion des supports de formation (manuels de formation, les vidéobooks, etc.) au sein de la bibliothèque. Renforcement des capacités techniques et organisationnelles de la société civile Poursuivre les sessions des analyses budgétaires avec l’appui de la CONASUB Diversifier les acteurs de la société civile à former (CONASUB & cadre multi-acteurs) sur les questions liées au budget. Renforcer l’interaction entre les plateformes (CONASUB, cadre multi-acteurs) et les organisations communautaires de base. Poursuivre et formaliser les relations entre le MEFP et la CONASUB. Mettre en place une stratégie de renforcement des capacités professionnelle des acteurs à la base. Dans quelles mesures les parties prenantes (AN, OSC, MEPF, etc.) pourraient renforcer et pérenniser l’accès des citoyens à l’information ? Pérennisation des foras de redevabilité Institutionnaliser les foras interactifs entre les communautés et les députés et les articuler autour des visites de terrain des députés. Organiser des foras de redevabilité articulés avec le réseau des parlementaires pour le civisme. Pérennisation des outils du projet (plateforme Sunu Budget, focus sur, etc. ?) Confier les mises à jour périodiques des outils développés par le projet à la CONASUB. 67 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX IX: EVALUATION STATEMENT OF WORK PARLIMENTARY ASSISTANCE & CIVIC ENGAGEMENT/SUNU PERFORMANCE EVALUATION STATEMENT OF WORK JUNE 2018 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 68 PARLIMENTARY ASSISTANCE AND CIVIC ENGAGEMENT PROGRAM/SUNU BUDGET PERFORMANCE EVALUATION Statement of Work Contracted under AID-685-C-15-00003 USAID Senegal Monitoring and Evaluation Project DISCLAIMER The author’s views expressed in this publication do not necessarily reflect the views of the United States Agency for International Development or the United States Government. 69 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ACRONYMS AMELP Activity Monitoring, Evaluation and Learning Plan AOR Agreement Officer’s Representative COR Contract Officer’s Representative DRG Democracy, Human Rights and Governance GoS Government of Senegal MEFP Ministry of Finance, Economy and Planning MEP Monitoring and Evaluation Project NA National Assembly PACE Parliamentary Assistance and Civic Engagement POC Point of contact TOC Theory of Change USAID United States Agency for International Development USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 70 1. STATEMENT OF WORK DETAILTATEMENT OF WORK DETAIL • USAID SOW Manager • Seynabou Diallo • Activity COR/AOR • Seynabou Diallo • MEP SOW Manager • Aissatou Mbaye • Activity Title • Parliamentary Assistance and Civic Engagement Program (PACE)/SUNU Budget • Activity Period • October 1, 2013-April 30, 2019 • Award/Contract # • AID-685-A-13-00004 • Funding • $4,049,500 • Implementing Organization • ONG 3D • Geographic Coverage • National • Task • PACE/SUNU Budget Performance Evaluation • Task Start and End Dates • August-December 2018 2. ACTIVITY DESCRIPTION The Parliamentary Assistance and Civic Engagement (PACE)/SUNU Budget Activity is an award implemented in two phases: the initial phase which was the PACE Activity that started in 2013. The objective of PACE is to improve the dialogue between citizens and their government as it relates to the management of national budget planning and expenditure tracking. The award was modified and extended twice to add on funding to increase citizen’s access to budget information and building the capacity of state and non-state actors with respect to open budget questions. From 2015 to present, the SUNU Budget Activity seeks to contribute to: 1) strengthened civil society capacity to analyze budget and fiscal documents; 2) increased dialogue between government and civil society on the implementation of public policies and the use of public resources; and 3) increase Government of Senegal (GoS) ability to meet the Open Budget Index7 requirements. 3. DEVELOPMENT HYPOTHESIS AND IMPLEMENTATION PACE/SUNU Budget come under the development objective three (DO3) from USAID/Senegal Country Development Cooperation Strategy (CDCS): “more effective citizen participation in the management of public affairs at the national level”. Under DO3, the Activity contributes directly to Intermediate Result 2: “strengthened democratic governance”. The Activity is divided into two components: the first component called,“Building State and non-State Actors Capacities on Open Budget Standards” and component two: “Citizen Budget Monitoring and Advocacy”. 7 https://www.internationalbudget.org/open-budget-survey 71 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV The theory of change and how the Activity’s development hypothesis fits under the USAID CDCS framework is outlined below8: 1. 4. EXISTING PERFORMANCE INFORMATION SOURCES USAID will provide the Evaluation Team with a package of Activity background materials, including: • Cooperative Agreement and modifications. • All activity quarterly reports through FY18 Q3, annual reports, annual work plans, Activity Monitoring, Evaluation and Learning Plans (AMELP) and any modifications to the AMELP; • Baseline and current data collected on activity indicators; and 8 SUNU Budget Workplan and Monitoring, Evaluation and Learning Plan, June 2018 USAID Development Objective 3: More effective citizen participation in the management of public affairs at the national and local levels Intermediate Result 2: Strengthened democratic governance I.R.2.1Improved government accountability and transparency Program intended outcome: Improved citizen’s access to information and participation, and strengthened accountability mechanisms Purpose 1. Increased citizens’ access to fiscal information Purpose 2. Strengthened citizens’ groups’ participation in the budget process Purpose 3. Improved public accountability mechanisms Theory of change: “If budget information is timely accessible and citizens participate in the budget process and regularly hold the government accountable, then the management of public resources will be more responsive to the needs of the citizens”. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 72 • Any relevant studies or background reports used to support the activity, produced by ONG 3D or its partners. All background documents will be provided to the MEP Team by July 13, 2018. 5. TASK PURPOSE, AUDIENCE, AND INTENDED USES The purpose of this midterm performance evaluation is two-fold: 1) to assess the Activity’s performance to date against expected results; and 2) provide insights and lessons learned that will be beneficial to future programming. The primary audience for this evaluation is USAID/Senegal Democracy, Human Rights, Peace and Governance (DRG) Office, PACE/SUNU Budget implementing partner, ONG 3D, and the National Assembly. The evaluation will include a recommendations workshop which will involve all key PACE/SUNU Budget stakeholders meeting together to jointly develop recommendations to address the evaluation findings. The result of the recommendations workshop will be a recommendations action plan agreed to by all partners which will be used to support any modifications to the PACE/SUNU Budget’s workplan and AMELP. 6. TASK REQUIREMENT This performance evaluation will assess the degree to which PACE/SUNU Budget is on track to achieve its mid-activity targets as well as explore lessons learned and challenges for the future management of the Activity. The following principal questions will guide this evaluation: 1. To what extent has the approach implemented by PACE/SUNU Budget contributed to increase the capacity of the Senegalese National Assembly to fulfil its mandate? 2. How well did the PACE/SUNU Budget approach enhance citizen access to fiscal information and public participation in the budget process? 3. What are the key takeaways and challenges in the process of building accountability mechanisms and relationships between civil society organizations and national institutions? 7. GENDER DISAGGREGATION AND GENDER DIFFERENTIAL EFFECTS The evaluation team will focus on the way in which PACE/SUNU Budget’s approach takes into account gender differentials in its parliamentarian training and civil society strengthening work. Particular focus will look at effectiveness of approach in terms of gender equity in civil society dialogue (women and men’s inclusion and outreach) and also targeted training addressing both male and female parliamentarians and female civil society organizations and members. 8. APPROACH 1. Design The MEP Team will conduct a Performance Evaluation of the Activity entitled “Parliamentary Assistance and Civic Engagement (PACE)/SUNU Budget”. The primary data source for this evaluation will be the main stakeholders in the Activity -- mainly direct beneficiaries, including members of parliament and their staff; and civil society involved in planning and oversight of the National budget. The team will also visit two constituencies of parliamentarians to meet with community members and discuss their involvement in budgetary planning and spending. Key informants for this evaluation will also include 73 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV members of the ONG 3D staff and their partners in Dakar and in the field, as well as members of the USAID/DRG team, AOR and budget and planning staff from the GoS. This statement of work requires that the Evaluation Team develop and submit for approval a detailed work plan with proposed methodology within the first seven days of the evaluation schedule. A central part of the work plan will be the getting to answers matrix which will support the creation of the evaluation methodology based on the evaluation questions. The following is a sample of the matrix: Evaluation Questions Type of Answer Needed Data Collection Methods Data Source(S) Sampling or Selection Criteria Data Analysis Methods  Descriptive  Comparative (normative)  Cause and effect The evaluation team’s methodology will include • Completion of a document review prior to the arrival of expat team members in Senegal; • At least three data collection methods to address each of the identified evaluation questions in order to triangulate data. Suggested data collection tools are: key informant interviews, group interviews and focus groups discussions. • A randomly selected sample of communities will be selected to meet with constituents involved in budget planning and tracking processes. • The methods (key informant interviews, group interviews and focus group discussions) will be coded separately. • The qualitative interviews will be analyzed using statistical software. • Gender, geographic location, and role (beneficiary, implementer, service provider) disaggregation will be included in the data analysis. 2. Data Collection Methods The data collection methodology to be used by the team will consist of two phases: Phase 1: Document review The team will review a wide range of documentation including the PACE/SUNU BUDGET cooperative agreement, modifications, Activity Workplan, Annual Workplans, Activity Monitoring, Evaluation and Learning Plan (AMELP), project databases, quarterly and annual reports and special reports and studies conducted by the Activity as means of understanding and comparing both expected and actual USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 74 performance. Other data sources, such as secondary data available from the projects itself, research studies, or from the GoS will also be considered. Phase 2: Quantitative and qualitative field research As part of its qualitative and quantitative research, the team will find the best fit for purpose, including the following research instruments: • Quantitative analysis of activity performance data to date • Key informant interviews: Open questions for interviewing program stakeholders: (USAID/DRG, PACE/SUNU BUDGET and ONG 3D senior staff),civil society leaders and central-level authorities working on budget transparency including the Ministry of Economy, Finances and Planning (MEFP). • Group interviews: Targeted questions with PACE/SUNU Budget central and field staff. • Focus groups: Focus groups with civil society and traditional leaders in parliamentary districts to discuss program effects on individuals and institutions. • Other emerging methodologies may be considered. 10. STRENGTHS AND LIMITATIONS USAID’s evaluation policy states that any methodological strengths and limitations are to be communicated explicitly. The work plan developed by the evaluation team is required to include limitations in the methodology and approach, as well as limitations in the data to be used, either primary or secondary data, as part of the evaluation. 11. DELIVERABLES The deliverables for this evaluation include: • Work Plan: Detailed work plan which will indicate methodology, data analysis, detailed calendar, and data collection tools for the elaboration of the evaluation. The work plan will be submitted to the MEP Contracting Officer’s Representative (COR) and DRG point of contact (POC) for approval prior to fieldwork. • Progress Report: A brief written report of the data collection progress made in the field covering key scheduled activities, status of completion, and constraints encountered during the data collection process. • Data Walk/Initial Findings Presentation: A discussion, which may include a PowerPoint presentation, that reviews the initial findings and conclusions table and the supporting evidence and data collected. • Initial presentation (s): A PowerPoint presentation to the USAID Mission on findings and conclusions of the evaluation. The presentation should not be more than 15 slides. Additional presentations will be made to PACE/SUNU Budget staff as well as key central government officials. 75 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV • Recommendations Workshop(s): A workshop with the key stakeholders to develop, discuss, and validate recommendations. The exact number and audience will be determined through conversations with the USAID/DRG and PACE/SUNU Budget teams. • Submission of Draft Evaluation Report: The team will submit a draft report to the MEP COR and DRG POC who will provide comments for revision and finalization of the report ten working days following the draft submission. • Final Report: A written and electronic document that includes a table of contents, methodology, findings, conclusions, lessons learned, and recommendations. The final report will be submitted in English and will include: o A 20-page report with a clear discussion of the data and evidence, the subsequent findings prompted by analysis of the data and evidence, conclusions driven by the findings, and recommendations generated from the conclusions and based on the recommendations workshop. Other tables representing detailed findings may be attached as an annex. The final report will include a database with all collected information and statistical analyses as an annex. o A one-page evaluation fact sheet(s) highlighting target findings for decision-making. These fact sheets will respond to the question: Who needs to know what, and by when? The fact sheet(s) may be developed during report drafting, based on discussions with the evaluation team, PRM and the technical team. o A three-page executive summary that provides a brief discussion of the evaluation purpose, basic methodology, findings, conclusions, and recommendations. 12. TEAM COMPOSITION The evaluation team will be led by Dr. Lisa Mueller who currently serves as an Assistant Professor of Political Science at Macalester College, specializing in Francophone African political systems. Dr. Mueller specialized her studies in participatory, responsive governance in Francophone Africa. She recently published the article: “Personal Politics without Clientelism? Interpreting Citizen-Politician Contact in Africa” for the African Studies Review. In 2016 and 2015 respectively, she served as country expert for the USAID-DRG Assessment of Niger and Principal Investigator for USAID/AidData Impact Evaluation of “Participatory, Responsive Governance - Principal Activity” (PRG-PA) Niger. She has a PhD in Political Science from the University of California at Los Angeles and has an advanced level of French. The evaluation team will include Lisa Slifer-Mbacke who will serve as capacity-building specialist. Ms. Slifer￾Mbacke previously served the Technical Director for the Training and Capacity-Building Support Contract with the USAID DRG Center in Washington and has over 20 years’ experience working in AID institutional and individual capacity-building programs. The team will be supported by and Ibrahima Kane, a Senegalese civil society specialist working on government transparency in working with civil society in Senegal. The team will be supported by a MEP M&E Manager who will serve as the task manager overseeing the overall administration of the evaluation and will accompany the team in the field. Two enumerators will conduct the qualitative interviews and take notes. All interviews and focus groups will be recorded and transcribed for analysis. All team members are required to provide a signed statement attesting that they have no conflict of interest or describing any existing conflict of interest. MEP Senegal’s USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 76 Technical Director, Deborah Orsini will review the findings, conclusions and recommendations matrix as well as the draft and final reports for technical quality. TASKS/DELIVERABLES AND LOE Dates Tasks/Deliverables Estimated LOE (in days) Team Leader Capacity￾Building Specialist Civil Society Specialist Enumerators July 16, 2018 Signature of SOW August Recruitment of team and request for travel and rate approvals September 3-7 Desk review and completing answering questions with secondary data 3 1 September 6 Initial phone call with DRG Office 1 1 1 September 10- 14- Development of workplan and tools 3 1 1 September 17 Submit workplan to DRG Office for approval September 21 Approval of workplan by DRG Office September 17- 21 Confirm appointments and field schedule October 1 Train enumerators 1 1 1 1 October 10- 11 Arrival of Team Leader to Dakar 2 October 12 Initial Meeting with USAID/DRG staff 1 1 1 October 12- 16 Interviews with USAID/Senegal staff, PACE/SUNU BUDGET staff and other Dakar based stakeholders 2 1 2 2 October 17- 18 Group interviews with parliamentarians and civil society partners 2 1 2 2 October 19 Travel to parliamentary regions 1 1 1 October 20- 23 Regional interviews/focus groups with constituents, 1 2 2 77 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV traditional leaders and civil society partners October 21 Team leader returns to Dakar 1 October 21 Team leader briefing with DRG Office 1 October 22- 23 Team leader departs Senegal 2 October 24 Team returns from fieldwork 1 1 October 25- 27 Preliminary data analysis and development of findings and conclusions table 3 2 2 2 October 29 Data walk with USAID/DRG (initial findings and presentation) 1 1 1 1 October 30 Presentation of findings to Mission 1 1 1 October 31 Presentation to ONG 3D 1 1 1 October 31 Presentation of initial findings with GoS November 31- 1 Team leader returns to Dakar 2 November 2 Recommendations workshop with PACE/SUNU Budget staff, USAID and GoS 1 1 1 November 3 Finalization of recommendations action plan 1 1 November 4-5 TL departs Senegal 1 November 7- 15 Development of draft report 6 2 November 21 Submission of draft report November 30 Feedback from USAID on report December 3-7 Revisions to report 2 1 December 12 Submission of final report Total Estimated LOE 41 12 23 12x2 = 24 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 78 13. PARTICIPATION OF USAID STAFF AND PARTNERS It is expected that the USAID/Senegal DRG Office will hold an initial call with the team leader and team members prior to their launch of developing the workplan and data collection approach and tools. Upon completion of the work plan and tool development, USAID/DRG Office will be expected to review and approve the work plan and tools. Once the evaluation team arrives in Dakar, the DRG Office will be expected to provide an initial in-brief with the evaluation team during the Team Planning Meeting. As part of the evaluation, USAID/DRG Agreement Officer’s Representative (AOR) and DRG Office Director will be interviewed. All PACE/SUNU Budget partners will be interviewed as part of this evaluation. At the completion of the fieldwork, it is expected that USAID, PACE/SUNU Budget staff, and GoS stakeholders will participate in a presentation of the evaluation’s initial findings and conclusions and provide input to support the validation of findings. USAID/DRG Office, PACE/SUNU Budget staff and GoS stakeholders will allocate one day to participate in the co-development of recommendations that will address evaluation findings. 14. SCHEDULING AND LOGISTICS MEP Senegal will arrange all logistics for fieldwork. MEP Senegal (for the USAID/Senegal DRG Office) will request introductory communications for the evaluation team. All appointments will be made by MEP Senegal staff and team members. 15. DISSEMINATION The focus of the dissemination of findings and conclusions via presentation, will be done to ensure wide buy-in and validation of the findings and conclusions. The recommendations workshop will allow for additional input and buy-in from USAID/DRG, PACE/SUNU staff and GoS (especially the Budgetary Programming Direction, the PCRRF9, and will increase interest in the evaluation report itself. The report will be disseminated to all GoS partners (Ministry of Finance and Planning, Ministry of Local Territories) to ensure wide sharing of lessons learned in the decentralization process as well as AID/Washington staff including members of the DRG Center and E3 Bureau. 16. REPORTING REQUIREMENTS It is expected that this report will be drafted and finalized in English and then translated into French. The report itself should not be longer than 20 pages total, excluding the Annexes. A draft evaluation report template is attached to this SOW in Annex IX, which is based on the USAID evaluation report template and guidance (http://usaidlearninglab.org/library/evaluation-report-template and How-To Note Preparing Evaluation Reports - http://usaidlearninglab.org/library/how-note- preparing-evaluation-reports). The report includes Appendix 1, which is the Mandatory Reference on Evaluation. The report will be branded with the standard USAID branding requirements and will be formally submitted to the DEC upon approval. Additional copies of the final report in French will be made available to all stakeholders participating in the initial findings briefings and recommendations workshop. Copies in English will be shared with relevant USG offices within USAID/DRG Center. 9The Ministry of Finances’ unit coordinating budgetary reforms 79 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV 16. ATTACHED REFERENCE DOCUMENTS Please check all that apply below. • • • Budget • • • Document review matrix • • • Results framework • • • Response matrix • • • Gantt chart • • • CVs • • • Conflict of Interest Statements • • • USAID evaluation policy • • • USAID evaluation report structure 17. AUTHORIZATIONS The undersigned hereby authorize the following items (checked below) for the Statement of Work (SOW) described above: • • • Completion of the SOW, as described above; • • • SOW staffing, as described above; • • • Concurrence with Contracting Officer’s Travel Approval for the Consultant(s), requested above (if received prior to review). [COR to either sign below or indicate approval in a return email] __________________________________________ ________________ Office Director Date __________________________________________ ________________ Contracting Officer’s Representative (COR) Date Fatou Thiam, or designate USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 80 APPENDIX I: BUDGET 81 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV APPENDIX II : DOCUMENT REVIEW MATRIX Existing Document Review Template for MSI Evaluation Teams Question Number Evaluation Question Relevant Findings/Partial Answers in Existing Documents Document Title Page Gaps to be Filled by Field Work Q1 Q2 USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 82 APPENDIX III: RESULTS FRAMEWORK Question/Focus Area Findings (Facts – including analysis results) Conclusions Recommendations From this Finding From Multiple Findings (identify them) From this Finding From Multiple Findings (identify them) 1 2 3 4 83 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV APPENDIX IV: RESPONSE MATRIX Evaluation Questions Type of Answer/Evidence Needed (Check one or more, as appropriate) Methods for Data Collection e.g. Records, structured observation, key informant interview, mini-survey Sampling or Selection Approach (if one is needed) Data Analysis Methods e.g. Frequency distributions, trend analysis, cross￾tabulations, content analysis Data Source Method 1. Yes/No Description Comparison Explanation (attribution) USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 84 APPENDIX V: GANTT CHART The following chart is illustrative and should be completed based upon the actual sub-tasks, deliverables and dates envisioned for this task. PACE/SUNU Budget Evaluation September October November Steps 03 to 17 18 to 21 01 to 18 19 to 21 22 to 24 25 to 31 01 to 05 07 to 21 22 to Dec 12 Desk Review Workplan Development Submission of Workplan to DRG ♦ DRG Approval of Workplan Prepare field appointments Arrival of Team Leader Dakar-based interviews Regional fieldwork Departure of Team Leader Data analysis Presentation of findings and conclusions Arrival of Team Leader Recommendations workshop Departure of Team Leader Development of draft report Submission of draft report to DRG Nov 21 Feedback from USAID and revisions Submission of final report Dec 12 ♦ 85 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV APPENDIX VI: CVs Lisa Slifer-Mbacke: Capacity Building Specialist Summary An effective senior-level manager, Lisa Slifer-Mbacke has more than twenty-five years of experience in international development with regional specialization in Africa. Since 2006, she has worked on designing, managing and implementing performance evaluations and monitoring and evaluations systems for USAID and other donor development programs. Currently, Ms. Slifer-Mbacke serves as Chief of Party for the USAID/Senegal Monitoring and Evaluation Project (MEP) a $16M, four-year project which provides a range of evaluation, research and design support across all Mission portfolios including the Sahel Regional Office. Prior to working with MEP, she served as Technical Director for the Training and Capacity-Building Support contract held by MSI with the USAID Democracy, Human Rights and Governance Center in Washington. She also served as Institutional Capacity Development Adviser while working at the USAID West Africa Regional Mission from 2005-2006. Ms. Slifer-Mbacke is fluent in French. Education MA International Communications, The American University, 1993 Diploma, French Grammar and Civilization, The Sorbonne, 1988. Diploma, French Grammar, Catholic University, 1988 BA World Literature, University of California, 1988 Experience Chief of Party, USAID/Senegal Monitoring and Evaluation Project (MEP), Management Systems International (MSI), Washington DC, November 2015-Present • Responsible for overall management and client relations for this $16M USAID support project. • Oversee a staff of 12 and manage a database of freelance international and national evaluators and research partners. • Lead the design, recruiting and quality control for a wide range of monitoring and evaluation activities including performance evaluations, impact evaluations, national studies, gender and youth assessments, M&E plan development, institutional assessments and training. • Coordinate all tasks with USAID Program and Technical Offices. • Interface with Government of Senegal stakeholders for relevant national studies and government to government-related assessments. Senior Technical Director, Management Systems International (MSI), Washington DC, March 2010-2015 • Provide technical direction to a range of performance measurement support projects in the design and operationalization of monitoring and evaluation frameworks and systems. • Lead in the development of scaling up activities, both training support to international donors as well as strategic planning and guidance in scaling up efforts. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 86 • Provide overall technical direction to the USAID/DRG Training and Capacity-Building Support Contract as well as the USAID/DCHA Training and Capacity Building Support Contract. • Provide technical direction to the USAID Africa Civil Society Sustainability Index working closely with civil society organizations on over 15 African countries. Senior Program Manager, ICF Macro, Washington DC, February 2006-February 2010 • Managed 5-year research and evaluation contracts with a total value of over $20M working in over 40 developing countries globally including securing $1M additional evaluation work in a one-year period. • Managed a team of 3 full-time research and evaluation methodologists, 10 on-call senior level analysts and a network of over 200 freelance in-country researchers and evaluators. • Oversaw development of field reports and final collateral products requested of clients between funder, field office and technical team including: annotated bibliographies, quantitative national surveys, rapid assessments, qualitative evaluations and impact assessments. Senior Regional Capacity Development Adviser, USAID/West Africa Regional Mission, Accra, Ghana, December 2004- February 2006 • As Cognizant Technical Officer (CTO), managed grantee portfolios, technically and financially as well as any related field support and technical assistance contracts. • Provide technical oversight to the institutional capacity-building cooperative agreements to support West African health CSOs to become sustainable organizations. • Responsible for ensuring monitoring and evaluation and reporting compliance of grantees that meets benchmarks and intermediary results of programs. • Led the development of the first Presidential Initiative Threshold Country Plan (TCP), submitted by the Government of Burkina Faso and approved by the Millennium Challenge Corporation. Chief of Party, Literary Enhancement Assistance Program (LEAP), Education Development Center, Abuja, Nigeria, June 2003-September 2004. • Managed USAID-funded $13 million, three-year basic education project that successfully worked with children in remote areas, including Islamayiaa and public primary schools. • Led daily coordination and planning for three technical units, Pedagogy, Policy and Community Participation including two sub-contractors, World Education and Research Triangle Institute (RTI). • Oversaw daily management of three State Offices and Headquarters in Abuja with over 68 technical and administrative staff, including scriptwriting and radio production staff. • Developed and successfully maintained all political relations with State and Federal level partners. • Maintained official reporting relations with USAID CTO and Education Team. Director, Field Services, Education Development Center, Washington, DC, January 2003- June 2003 • Established International Operations’ Division, a new structure that oversees EDC’s 10 international field offices throughout Asia, LAC and Africa/Middle East. • Established and developed international operation standards for all EDC field offices that are compliant with USAID rules and regulations. 87 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV • Facilitated EDC’s Business Service support, including Human Resources, Legal Counsel, Finance and Administration and Contracts, to international field offices. Director, International Programs, Worldspace Foundation, Washington, DC, 1996- 2003 • Pioneered International Program Department for start-up, WorldSpace Foundation, and international development NGO. • Built strategic partnerships that secured over $3.6 million in grants and service contracts to WorldSpace Foundation from Ford Foundation, Rockefeller Foundation, USAID, World Bank, Francophone Agency, UNICEF and corporate sponsors. • Managed all daily operational activities including supervising program and radio production staff, contractors and designing and managing budgets for CEO and Board of Directors. • Initiated and approved all WorldSpace Foundation digital radio and multimedia projects in Africa/Middle East and Asia covering 50 countries and over 200 program partners. Program Coordinator, Africa-America Institute, Washington, DC, 1993-1996 • Designed and implemented democracy and governance projects in Africa under USAID-funded Africa Electoral Assistance Fund (AREAF). • Responsible for proposal writing, timeline, budget development, report writing and presentation to USAID-Washington. • Responsible for interface with USAID bilateral missions and US Embassies. • Managed all technical assistance and contractors responsible for field support and in-country program activity. • Designed and led media campaigns related to all democracy and governance activities. Countries of Experience Burkina Faso, Côte d’Ivoire, Ghana, Kenya, Mali, Nigeria, Pakistan, Senegal, Sierra Leone, and Tanzania Languages French, fluent USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 88 Lisa Mueller: Team Leader Summary Lisa Mueller is an expert in the political science of Africa, having applied this expertise by participating in recent assessments of USAID DRG programming in West Africa. Ms. Mueller’s expertise encompasses the role of parliamentarians, civil society, and civic participation. Education Ph.D., Political Science. University of California, Los Angeles, 2014 M.A., Political Science. University of California, Los Angeles, 2009 B.A., Politics and French. Pomona College, 2006 Experience Assistant Professor of Political Science, Macalester College, 2015-Present • Coursework in comparative politics, African politics, behavioral and development economics, and empirical research methods. Country Expert for USAID-DRG Assessment of Niger, Management Systems International, 2016 Visiting Assistant Professor, Loyola Marymount University, 2014-2015 Principal Investigator for USAID/AidData Impact Evaluation of “Participatory, Responsive Governance - Principal Activity” (PRG-PA) Niger, 2015 Periodic Advisor for U.S. State Department and Intelligence Community, 2014 Countries of Experience Niger Languages English (native); French (advanced) Memberships in Professional Societies • American Political Science Association • African Studies Association • African Politics Conference Group • Sahel Working Group • Working Group in African Political Economy • West African Research Center, Dakar 89 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV • LASDEL Research Institute, Niamey Publications and Reviews • Political Protest in Contemporary Africa. Cambridge: Cambridge University Press, 2018. Emphasis on civil society and Francophone political systems, especially Senegal and Niger. • “Personal Politics without Clientelism? Interpreting Citizen-Politician Contact in Africa.” African Studies Review 61.2: 28-54, 2018. Emphasis on decentralization, parliamentarian support, and Francophone political systems. • “Niger’s protests are ramping up. Here’s why.” With Sebastian Elischer. Monkey Cage/Washington Post. March 26, 2018. Emphasis on civil society, national budget vulgarization, and parliamentarian support. • “4 things you should know about Niger’s recent elections.” With Lukas Matthews. Monkey Cage/Washington Post. April 17, 2016. Emphasis on parliamentarian support and Francophone political systems. • “The upcoming Niger election and the drama surrounding it, explained.” With Lukas Matthews. Monkey Cage/Washington Post. Feb. 17, 2016. Emphasis on parliamentarian support and Francophone political systems. • “Religious Violence and Democracy in Niger.” African Conflict & Peacebuilding Review 6.1: 89-104, 2016. Emphasis on civil society. • “The National Elections in Niger, February-March 2016.” With Lukas Matthews. Electoral Studies 43: 203-206, 2016. Emphasis on parliamentarian support and Francophone political systems. • “Democratic Revolutionaries or Pocketbook Protesters? The Roots of the 2009- 2010 Uprisings in Niger.” African Affairs 112.448: 398-420, 2013. Emphasis on civil society. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 90 Ibrahima Kane: Civil Society Specialist Sommaire Ibrahima Kane a 27 ans d’expérience dans le Management et l’accompagnement et la gestion des Organisations au Sénégal et dans la sous-région de l’Afrique de l’Ouest. M. Kane domaines de compétences comprennent le développement organisationnel, la gestion administrative et financière, et l’évaluation. Education Certificat de comptabilité / Diplôme Supérieur Comptable (DSC - Probatoire) / ENSUT (ex : IUT), 1986 Expérience Responsable de l’Administratif et des Finances du CONGAD en charge du bureau d’Appui aux ONG et du Partenariat, Poste actuel à Mi-temps Autres taches, en ma qualité de RAF du CONGAD • Depuis Janvier 2015 : Responsable du bureau d’Appui aux ONG - Chargé du Partenariat • 2014 à nos jours : Coordonnateur de l’indice de pérennisation des OSC au Sénégal en partenariat avec MSI (cabinet Américain basé à Washington - USA) pour le compte de l’USAID • 2011 / 2014 : Coordonnateur Fond GAVI RSS (Renforcement des systèmes de santé) – Pôle Société Civile, en partenariat avec le Ministère de la santé • 2010 – 2011 : Gestionnaire principal et membre de la commission ressource / Organisation à Dakar du Forum Social Mondial (FSM) – Edition 2011 • 2006 / 2012 : Gestionnaire de Programme sous régional (7 pays), du Réseau des plates formes d’ONG d’Afrique de l’Ouest et du Centre (REPAOC) • 1989 – 1996 : Gestionnaire du projet de la Cellule inter ONG de lutte anti – acridienne (CIONGLA) Autres Missions réalisées en qualité de Consultant de 2001 à nos jours • Membre de l’équipe d’experts - Evaluateur des Programmes : GADEC et FORUT International (équipe composée d’experts du Ministère des Finances et de la Solidarité Nationale et du CONGAD). • Membre Equipe Expert / Réalisation d’une étude comparative sur la législation des ONG en Afrique Francophone à l’initiative d’INTERNATIONAL FOR NOT PROFIT LAW basé à Washington DC (USA) • Membre de l’équipe d’experts - Réalisation de planification stratégique pour le compte de l’ONG Mousdahir International (IMI) • Réalisation d’une étude sur La grille salariale et des charges du Personnel et revalorisation des statuts du Personnel cadre pour le compte des ONG : Aide et Action, HANDICAP International 91 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV • Formateur – modérateur principal - en gestion de projets pour le compte de L’ONG AFEJEN (Formation destinée aux Groupements des femmes de Guinaw Rail - Dakar) • Elaboration Etude d’orientation et structuration / grille salariale du Personnel de AMNESTY International, l’ONG DAHW et Bureau ONG / HEKS-Suisse au Sénégal • Travaux d’Accompagnement de régularisation et suivi IPRES, CSS, Impôts – déclaration d’établissement / Elaboration contrat de travail pour le compte des structures suivantes : HEKS / Suisse – Bureau de Coopération Autrichienne au Sénégal – AFARD (Organisation africaine de Femmes basée à Dakar) – ONG International Anglaise (GVEP) • Suivi financier des Organisations Bénéficiaires, pour le compte de projets de santé financés par l’USAID • Co Modérateur de l’atelier (à Mbour) d’évaluation des projets encadrés par l’ONG - DAHW et processus de réorientation de ses programmes au Sénégal • Elaboration de Manuel de Procédures Administratives, Financières et Comptables pour le compte des ONG : DAHW (ONG Internationale Allemande) - le bureau de coordination au Sénégal de HEKS/EPER – ONG Suisse au Sénégal – PINORD (Plateforme Organisations paysannes au Sénégal basé à St Louis) • Réalisation d’un Manuel de procédures Administratives, Financières & Comptables pour le compte du Centre des Hautes Etudes de Sécurité (CHEDS) • Co Réalisateur Etude sur le dispositif institutionnel de gestion des crises majeures au Sénégal pour le compte du Centre des Hautes Etudes de Sécurité (CHEDS) • Co Formateur / Facilitateur de l’atelier de Formation sur l’Initiation pratique à la Gestion Participative et Planifiée des Interventions (GPPI) au profit des Organisations de Solidarité Internationales issues de la Migration (OSIM) basées en Belgique – Cette formation, financée par la Coopération Belge, s’est déroulée du 23 au 27 Juillet 2007 à Bruxelles (Belgique) • Réalisation / Localisation (Sénégalisation) de l’ONG – FORUT (ONG Norvégienne) • Diagnostic Institutionnel et accompagnement processus planification stratégique (2009 – 2014) de l’ONG API (Anty Provrety Initiative), spécialisée dans la Micro Finance • Réalisation Accord de siége pour le compte de l’ONG Institut Mousdahir International (IMI) • Réévaluation Grille de salaire Personnel local du Bureau Autrichien de Coopération et de développement au Sénégal - SC / Ambassade Coopération Autrichienne • Participation en qualité d’expert / Atelier de validation Manuel de procédures administratives, financières et comptables pour d’un projet d’adaptation climatique de CSE- financé par le PNUD - CAP • Consultant Evaluateur / Projet ENDA Eau basé à Ziguinchor financé par EKW Allemagne et l’ONG CARITAS (Evaluation finale) - ¨Programme 2014 • Réalisation / Gestion processus de fermeture (close out) du bureau Autrichien de Coopération et de développement au Sénégal (indemnisation personnel et liquidation des charges patronales) • Conduite de la mission Humanitaire au Sénégal de 6 mois de la Communauté des Mormons des Etats Unis (USA) • Personne Ressource (en tant que Distributeur de produits solaires au Sénégal) au Panel sur Lighting Africa organisé par la Banque Mondiale à Dakar – Edition 2010 • Réalisation d’une consultation juridique (procédure d’installation au Sénégal) pour le compte du Centre International des Programmes (CIP) / Université Colombia – USA • Consultant / Mission d’évaluation du Programme d’investissement 2013 – 2015 et élaboration d’un nouveau programme 2016 – 2018 pour le compte de l’ONG Millénium Promise International USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 92 • Consultant / Ouverture et démarrage du projet de suivi évaluation des projets financés par l’USAID au Sénégal et dans la sous-région (accréditation du bureau au Sénégal – CSS – IPRES – NINEA – Déclaration d’établissement & contrats du personnel) pour le compte du cabinet MSI (Management Systems International) basé aux USA • Mission de suivi des projets à Louga de l’ONG Millénium Promise dans le cadre du programme « Villages Millénaires » • Consultant / Mission d’assistance Administrative et GRH pour le compte de l’ONG RADI (contrat d’un an) • Consultant / Mission d’évaluation du Programme d’investissement 2013 – 2015 et élaboration d’un nouveau programme 2016 – 2018 pour le compte de l’ONG DAHW International • Co Animateur / Atelier de lancement à Dakar de l’alliance pour la promotion de l’entreprenariat et l’emploi au Sénégal, en partenariat avec CAAD – Belgique • Mission d’Assistance juridique et institutionnelle pour le compte de l’Association française IRRIGASC • Consultant / Chargé de Mission / Mise en place de la Société TETRA TECH (USA), basé en Californie, dans le cadre du programme WASH-FIN / USAID au Sénégal (Enregistrement – Négociation & Accompagnement administratif) • Consultant chargé de l’enregistrement en qualité d’ONG, l’élaboration de programme d’investissement et réalisation de l’Accord de siège au Sénégal pour le compte du bureau régional de l’ONG Suisse : Service Sociale Internationale (SSI) • Consultation Consultant chargé de l’élaboration de programme d’investissement et du rapport d’évaluation de programme pour le compte du bureau régional de l’ONG Positive Planet International • Consultant chargé de l’enregistrement en qualité d’ONG et l’élaboration du programme d’investissement au Sénégal pour le compte de l’Organisation Internationale américaine FHI 360 - USA Pays d'expérience Sénégal Langue Français : lu, écrit et parlé ; Ouolof : lu, écrit et parlé ; Anglais : lu, écrit, peu parlé ; Espagnol : notions 93 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV APPENDIX VII: CONFLICT OF INTEREST STATEMENTS USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 94 APPENDIX VIII: USAID CRITERIA TO ENSURE THE QUALITY OF THE EVALUATION REPORT Per ADS 201, Criteria to Ensure the Quality of the Evaluation Report, draft and final evaluation reports will be evaluated against the following criteria to ensure the quality of the evaluation report: • The evaluation report should represent a thoughtful, well-researched and well-organized effort to objectively evaluate the strategy, project or activity. • The evaluation report should be readily understood and should identify key points clearly, distinctly and succinctly. • The Executive Summary of the evaluation report should present a concise and accurate statement of the most critical elements of the report. • The evaluation report shall adequately address all evaluation questions included in the statement of work. Or the evaluation questions subsequently revised and documented in consultation and agreement with USAID. • Evaluation methodology shall be explained in detail and all tools used in conducting the evaluation such as questionnaires, checklists and discussion guides will be included in an Annex in the final report. • Evaluation findings will assess outcomes and impact on males and females. • Limitations to the evaluation shall be disclosed in the report, with particular attention to the limitations associated with the evaluation methodology (selection bias, recall bias, unobservable differences between comparator groups, etc.). • Evaluation findings should be presented as analyzed facts, evidence and data and not based on anecdotes, hearsay or the compilation of people’s opinions. Findings should be specific, concise and supported by strong quantitative or qualitative evidence. • Sources of information need to be properly identified and listed in an annex. • Recommendations need to be supported by a specific set of findings and should be action-oriented, practical and specific, with defined responsibility for the action. 95 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX X: EVALUATION TEAM CVs Dr. Lisa Mueller, Team Leader Summary Lisa Mueller is a specialist in the political science of Africa, having applied this knowledge as a Country Expert and Principal Investigator in recent assessments of USAID programming in West Africa, including a comprehensive review of DRG activities in Niger and a three-year impact evaluation of the Participatory and Responsive Governance initiative. She has also advised the State Department and Intelligence Community in Washington, D.C. by speaking on panels, participating in simulations, and writing policy briefs. Dr. Mueller’s expertise encompasses the role of parliamentarians, civil society, and civic participation.She has conducted extensive fieldwork on those topics in Niger, Senegal, Burkina Faso, Guinea, and Mali, having recently published her findings in a book, Political Protest in Contemporary Africa (Cambridge University Press, 2018). Her work has also appeared in peer-reviewed journalsincluding African Affairs, the African Studies Review, the African Conflict and Peacebuilding Review, and Electoral Studies; her public scholarship has appeared in the Washington Post. She is widely recognized as a leading scholar of West African politics, having been invited to contribute to forthcoming volumes, the Oxford Handbook of the African Sahel and the Routledge Handbook of Democratization in Africa. In 2018-2019, Dr. Mueller will be a Distinguished Residential Fellow of the Notre Dame Institute for Advanced Study, working on her project, “Political Conflict as a Catalyst for Reform: Comparative Protest Outcomes in Africa.” Education Ph.D., Political Science. University of California, Los Angeles, 2014 M.A., Political Science. University of California, Los Angeles, 2009 B.A., Politics and French. Pomona College, 2006 Experience Assistant Professor of Political Science, Macalester College, Saint Paul, MN, 2015-Present • Coursework in comparative politics, African politics, behavioral and development economics, and empirical research methods. Residential Fellow, Notre Dame Institute for Advanced Study, Notre Dame, IN, 2018-2019 • Project: “Political Conflict as a Catalyst of Reform: Comparative Protest Outcomes in Africa” Country Expert for USAID-DRG Assessment of Niger, Management Systems International, Niger, 2017 • Conducted desk and field work lending expertise about Niger to a comprehensive assessment of USAID’s Democracy, Human Rights, and Governance programming. Visiting Assistant Professor, Loyola Marymount University, Los Angeles, CA, 2014-2015 • Coursework in comparative politics, African politics, behavioral and development economics, and empirical research methods. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 96 Principal Investigator for USAID/AidData Impact Evaluation of “Participatory, Responsive Governance - Principal Activity” (PRG-PA), Niger, 2015-present • Co-led research and analysis on a three-year randomized controlled trial in Niger to evaluate the effects of multi-stakeholder dialogs on civic engagement and political responsiveness. Periodic Advisor for U.S. State Department and Intelligence Community, Leidos, Washington, DC, 2014 • Spoke on expert panels and drafted memos about security and development in Africa. Countries of Experience Niger Languages English (native); French (advanced) Memberships in Professional Societies • American Political Science Association • African Studies Association • African Politics Conference Group • Sahel Working Group • Working Group in African Political Economy • West African Research Center, Dakar • LASDEL Research Institute, Niamey Publications and Reviews • Political Protest in Contemporary Africa. Cambridge: Cambridge University Press, 2018. Emphasis on civil society and Francophone political systems, especially Senegal and Niger. • “Personal Politics without Clientelism? Interpreting Citizen-Politician Contact in Africa.” African Studies Review 61.2: 28-54, 2018. Emphasis on decentralization, parliamentarian support, and Francophone political systems. • “Niger’s protests are ramping up. Here’s why.” With Sebastian Elischer. Monkey Cage/Washington Post. March 26, 2018. Emphasis on civil society, national budget vulgarization, and parliamentarian support. • “4 things you should know about Niger’s recent elections.” With Lukas Matthews. Monkey Cage/Washington Post. April 17, 2016. Emphasis on parliamentarian support and Francophone political systems. • “The upcoming Niger election and the drama surrounding it, explained.” With Lukas Matthews. Monkey Cage/Washington Post. Feb. 17, 2016. Emphasis on parliamentarian support and Francophone political systems. • “Religious Violence and Democracy in Niger.” African Conflict & Peacebuilding Review 6.1: 89-104, 2016. Emphasis on civil society. • “The National Elections in Niger, February-March 2016.” With Lukas Matthews. Electoral Studies 43: 203-206, 2016. Emphasis on parliamentarian support and Francophone political systems. • “Democratic Revolutionaries or Pocketbook Protesters? The Roots of the 2009- 2010 Uprisings in Niger.” African Affairs 112.448: 398-420, 2013. Emphasis on civil society. 97 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Lisa Slifer-Mbacke: Monitoring and Evaluation Project (MEP) Chief of Project Summary An effective senior-level manager, Lisa Slifer-Mbacke has more than twenty-five years of experience in international development with regional specialization in Africa. Since 2006, she has worked on designing, managing and implementing performance evaluations and monitoring and evaluations systems for USAID and other donor development programs. Currently, Ms. Slifer-Mbacke serves as Chief of Party for the USAID/Senegal Monitoring and Evaluation Project (MEP)a $20M, three-year project which provides a range of evaluation, research and design support across all Mission portfolios including the Sahel Regional Office. Prior to working with MEP, she served as Technical Director in MSI’s home office for a broad range of complex evaluation and performance monitoring support projects. Education MA International Communications, The American University, 1993 Diploma, French Grammar and Civilization, The Sorbonne, 1988. Diploma, French Grammar, Catholic University, 1988 BA World Literature, University of California, 1988 Experience Chief of Party, USAID/Senegal Monitoring and Evaluation Project (MEP), Management Systems International (MSI), Washington DC, November 2015-Present • Responsible for overall management and client relations for this $20M USAID support project. • Oversee a staff of 12 and manage a database of freelance international and national evaluators and research partners. • Lead the design, recruiting and quality control for a wide range of monitoring and evaluation activities including performance evaluations, impact evaluations, national studies, gender and youth assessments, M&E plan development, institutional assessments and training. • Coordinate all tasks with USAID Program and Technical Offices. • Interface with Government of Senegal stakeholders for relevant national studies and government to government-related assessments. Senior Technical Director, Management Systems International (MSI), Washington DC, March 2010-2015 • Provide technical direction to a range of performance measurement support projects in the design and operationalization of monitoring and evaluation frameworks and systems. • Lead in the development of scaling up activities, both training support to international donors as well as strategic planning and guidance in scaling up efforts. • Provide design and management support to complex, multi-country evaluations, ensure smooth working relations between country teams and synergy in analysis and products. • Build, track and secure new business including intelligence gathering, recruitment, proposal design and writing. • Provide overall direction to MSI’s activities in the area of basic education as well as building business in the education practice area. Senior Program Manager, ICF Macro, Washington DC, February 2006-February 2010 • Managed 5-year research and evaluation contracts with a total value of over $20M working in over 40 developing countries globally including securing $1M additional evaluation work in a one-year period. • Managed a team of 3 full-time research and evaluation methodologists, 10 on-call senior level analysts and a network of over 200 freelance in-country researchers and evaluators. USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 98 • Oversaw development of field reports and final collateral products requested of clients between funder, field office and technical team including: annotated bibliographies, quantitative national surveys, rapid assessments, qualitative evaluations and impact assessments. Senior Regional Capacity Development Adviser, USAID/West Africa Regional Mission, Accra, Ghana, December 2004- February 2006 • As Cognizant Technical Officer (CTO), managed grantee portfolios, technically and financially as well as any related field support and technical assistance contracts. • Represented USAID to stakeholders and external development partners at USAID-sponsored conferences, workshops, and donor groups. Negotiated with host country governments and regional bodies on project design and implementation. • Responsible for ensuring monitoring and evaluation and reporting compliance of grantees that meets benchmarks and intermediary results of programs. • Led the development of the first Presidential Initiative Threshold Country Plan (TCP), submitted by the Government of Burkina Faso and approved by the Millennium Challenge Corporation. • Designed and wrote program description for the highly-successful $12.9M Burkina Faso Girl’s Education TCP that resulted in a follow-on girls’ education component within the MCC COMPACT. Led team from Contracts Office and Regional Legal Counsel to finalize solicitation tool for grant. Chief of Party, Literary Enhancement Assistance Program (LEAP), Education Development Center, Abuja, Nigeria, June 2003-September 2004. • Managed USAID-funded $13 million, three-year basic education project that successfully worked with children in remote areas, including Islamayiaa and public primary schools. • Led daily coordination and planning for three technical units, Pedagogy, Policy and Community Participation including two sub-contractors, World Education and Research Triangle Institute (RTI). • Oversaw daily management of three State Offices and Headquarters in Abuja with over 68 technical and administrative staff, including scriptwriting and radio production staff. • Developed and successfully maintained all political relations with State and Federal level partners. • Maintained official reporting relations with USAID CTO and Education Team. Director, Field Services, Education Development Center, Washington, DC, January 2003- June 2003 • Established International Operations’ Division, a new structure that oversees EDC’s 10 international field offices throughout Asia, LAC and Africa/Middle East. • Established and developed international operation standards for all EDC field offices that are compliant with USAID rules and regulations. • Facilitated EDC’s Business Service support, including Human Resources, Legal Counsel, Finance and Administration and Contracts, to international field offices. Director, International Programs, Worldspace Foundation, Washington, DC, 1996- 2003 • Pioneered International Program Department for start-up, WorldSpace Foundation, and international development NGO. • Built strategic partnerships that secured over $3.6 million in grants and service contracts to WorldSpace Foundation from Ford Foundation, Rockefeller Foundation, USAID, World Bank, Francophone Agency, UNICEF and corporate sponsors. • Managed all daily operational activities including supervising program and radio production staff, contractors and designing and managing budgets for CEO and Board of Directors. 99 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV • Initiated and approved all WorldSpace Foundation digital radio and multimedia projects in Africa/Middle East and Asia covering 50 countries and over 200 program partners. Program Coordinator, Africa-America Institute, Washington, DC, 1993-1996 • Designed and implemented democracy and governance projects in Africa under USAID-funded Africa Electoral Assistance Fund (AREAF). • Responsible for proposal writing, timeline, budget development, report writing and presentation to USAID-Washington. • Responsible for interface with USAID bilateral missions and US Embassies. • Managed all technical assistance and contractors responsible for field support and in-country program activity. • Designed and led media campaigns related to all democracy and governance activities. Countries of Experience Burkina Faso, Côte d’Ivoire, Ghana, Kenya, Mali, Nigeria, Pakistan, Senegal, Sierra Leone, Tanzania and US Languages: French, fluent USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 100 ANNEX XI: DISCLOSURE OF ANY CONFLICTS OF INTEREST 101 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 102 103 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 104 105 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 106 107 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 108 109 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV ANNEX XII: TABLE OF INDICATORS USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 110 Indicator statement Target Achievement period under review Comments 2017 2018 2019 Number of laws improving citizens’ access to information drafted 0 0 1 1 Number of CSOs participating in the dialogue on the Freedom of Information Act. 15 15 _ 15 Transparency Index 50/100 N/A 60/100 51/100 Level of satisfaction of people exposed to « animated budgets » in comparison to the citizen’s budget. 2000 4000 6000 TBD 111 | PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION USAID.GOV Level of citizens’ engagement on the SunuBudget platform. 25 000 50 000 100 000 42 011 This data only concerns the website. If we look at the associated social media platforms, the number is 1 300 000. Number of citizens concerns reflected in Budget 0 3 4 TBD TBD in the 2019 budget. Number of advocacy actions initiated by budget monitoring platforms N/A 3 4 5 Participation index (IBP) 26/100 N/A 40/100 02 Senegal’s Transparency Index severely dropped due to the absence of formal participation mechanisms. This will be one of the program’s priorities. % of parliamentarians that have benefited from training on PFM thanks to USG support. 10 10 N/A 100% Please see final evaluation of the program by MSI USAID.GOV PACE/SUNU BUDGET FINAL PERFORMANCE EVALUATION | 112 Level of satisfaction of guide users (parliamentarians). 80% 80% 80% TBD Please see previous comment. Number of budget analysis sessions organized 2 3 3 5 Number of mix accountability mechanisms developed thanks to USG support. 2 2 N/A 2 Number of sectors monitored by civil society platforms 3 3 0 3 Number of women participating in advocacy actions thanks to USG support 341 participated in budget caravans and 18 were featured during “Focus sur” programs, hence 1,000 people in total.