FINAL PERFORMANCE EVALUATION OF THE DITEKEMENA PROJECT IMPLEMENTED BY CATHOLIC RELIEF SERVICES EVALUATION CONDUCTED BY FEBRUARY 2022 2 TABLE OF CONTENTS Table of Contents............................................................................................................................2 Acronyms........................................................................................................................................3 Executive Summary ................................................................................................................................ 4 Background and Methods...................................................................................................................... 4 Introduction .......................................................................................................................................... 10 Background ........................................................................................................................................... 10 Methodology ........................................................................................................................................ 12 Conclusions........................................................................................................................................... 29 Recommendations................................................................................................................................ 32 Lessons Learned.................................................................................................................................... 33 3 ACRONYMS • BHA: Bureau for Humanitarian Assistance • CRS: Catholic Relief Services • DRC: Democratic Republic of Congo • HA: Health Area • HH: Households • HHS: Household Hunger Score • HZ: Health Zone • FCS: Food Consumption Score • FGD: Focus Group Discussion • IDP: Internally Displaced People • IPC: Integrated Food Security Phase Classification • PDM: Post distribution monitoring • rCSI: simplified Coping Strategy Index • SENASEM : Service National des Semences • SGBV: Sexual and Gender-Based Violence • USAID: US Agency for International Development • WFP: World Food Programme 4 Executive Summary Background and Methods In 2017, the provinces of Kasai Central and Kasai Oriental in the Democratic Republic of Congo (DRC) were engulfed in a violent conflict between local militias and the Republican Army, displacing 1.6 million people. Two years later, almost 63% of the population found destroyed houses, ravaged fields, and dead cattle upon their return. Local infrastructure and market networks, already very limited in the region, have further deteriorated due to the conflict. Many households in the Kasaïs have lost more than three growing seasons during this period of conflict, and have not been able to access quality seeds certified by local government experts, and no longer benefit from government support in agricultural production techniques. The intensification of the crisis and the pressure on local resources have increased population movements in the Kasai region. About 400,000 Congolese refugees in Angola have also been forcibly or voluntarily repatriated between October 2018 and August 2019. As a result, the region has been lurched into near-famine conditions, struggling to recover from the crisis, and facing structural economic deficits. Evaluators viewed the Ditekemena project as largely successful in settling the communities scattered across the Health Areas (HA) targeted by the project, in both Kasaï Central and Kasaï Oriental. It assisted 18,500 households with food assistance (for 1,000 households) and a combination of food and agriculture package made of training on good practices and seeds. Beneficiaries of the agriculture component totaled 17,500 households. In response to high rates of severe food insecurity in underserved, conflict-affected hotspots in the Kasais, Catholic Relief Services (CRS) proposed the Ditekemena program (meaning “hope” in the Tshiluba local language) to provide 18,500 households (HH) with lifesaving food assistance and 17,500 of these same HHs with seed and tool assistance in Kasai Central, a province that has been negatively impacted by the conflict between rebel and military groups. CRS focused on delivering food and seed assistance for agricultural seasons A and B in areas where the immediate needs and gaps were the most alarming in terms of food security. Key findings Based on the available data, evaluators found that: 1. Partnership between CRS and Caritas is relevant and considered by both the Kananga and Mbuji Mayi Caritas chapters as essential for the implementation of CRS activities, and thus for the sustainability of the Ditekemena project outcomes. 2. The implementation of the delivery was effective throughout the implementation phase. However, the sustainability of the agriculture package is still a concern. 3. The endorsement of the staple foods sold during the fair activities, the shift in decision-making on the consumption of food items in the households, and the high percentage of households that were able to set in place seed storage systems prove that communities were able to own the intervention’s modality. 4. The acknowledgement, by some key informants, of the existence of strong mechanisms for the monitoring of field activities along with the belief that 5 complaints and claims had positive responses confirm the effectiveness of feedback and accountability mechanisms within the Ditekemena project. 5. The impact and effectiveness of integrating protection from sexual exploitation and abuse were noted through the fact that cases of sexual abuse were not reported throughout the review. The final evaluation found that the Ditekemena project responded to an emergency and precarious situation that followed a crisis context where the population was lacking basic amenities. Ditekemena successfully achieved its main objective to reach 18,500 households facing food insecurity. Below are the key evaluation findings. Outcomes The project reached 18,500 total households (100 percent of project target) and 111,000 individuals (100 percent of target), with 17,000 households receiving food assistance and an agricultural package composed of agricultural training and tools (hoe and seeds), and 1,500 households among them simply receiving food assistance (1.35 percent of project target). Relevance Ditekemena is deemed to be the best response to needs of targeted communities after the displacement of more than 98% of the populations within targeted communities in both the Kasaï Central and Kasaï Oriental provinces. Staple foods offered during the fair sessions were in general appreciated by the participants. In fact, 78.3% of households acknowledged that they were very satisfied with the quality of maize flour that they bought during fair sessions and 14.3% were simply satisfied. In addition, 69.5% of households said they were very satisfied with the quality of cassava flour bought at the fair; 18% were satisfied against, and only 10.1% were not satisfied. Appropriateness Overall, beneficiaries had a good appreciation of the amount of money allocated to them. In fact, 89.1% of households stated that the amount of money transferred through the food rations distributed during the fair activity was sufficient to cover households’ basic needs, against 10.9% who disagreed. Impact Compared to baseline assessments, the food security index scores improved after CRS’s assistance. The percentage of households with a poor Food Consumption Score has improved from 81.2% during project baseline data collection prior to the provision of food assistance to 5.7% percent during Post Distribution Monitoring (PDM) conducted several weeks after the provision of three rounds food assistance at one-month intervals. The proportion of household with an acceptable Food Consumption Score has increased markedly among beneficiary households between baseline and PDM data collection from 2% to 67.3%, respectively. Furthermore, the percent of households with moderate and severe Household Hunger Scale (HHS) scores declined from 97.3% at baseline to 12.8% at PMD. The comparison of means reveals a significant progress on the use of negative survival strategies and access to food. The mean Reduced Coping Strategy Index score declined from 28.6 at baseline to 2.7 at PDM, and the mean Household Food Consumption score doubled 6 from 24 to 48.5. However, the result at final evaluation shows that residents/host families and displaced persons continue to apply negative survival strategies slightly at the limit, with respective rCSI score averages of 18.28 and 17.171. They represent, respectively, 32% and 1.1% of the households surveyed. Qualitative data suggests that staple foods offered during the fair sessions were in general appreciated by the participants. In fact, 78.3% of households acknowledged that they were very satisfied with the quality of maize flour and 14.3% were simply satisfied. This brought the number of satisfied households to 92.6% and represents a huge endorsement of items selected by the project. Apart from the type of items, endorsement also included the quality of food. In fact, 69.5% of households said they were very satisfied with the quality of cassava flour bought from the fair, whereas only 18% were simply satisfied. This means 87.5% of surveyed households were satisfied. In addition, high levels of satisfaction were reported within the project’s targeted areas, as well as relevant positive comments shared mostly by women beneficiaries. For example, in Mbuji Mayi, 100 percent of key informants clearly reported that both food and seed fairs were very good. While such a statement could simply be due to instant satisfaction, it is confirmed by 60% of focus groups (FGD) in the same city, which acknowledged that the Ditekemena's assistance brought harmony and a climate of peace across the various villages. Finally, an overwhelming 60 percent of FGs acknowledged that each household received items according to its size. Sustainability of impact Data analyzed through this final evaluation prove that food security index proxy scores measured during PDM and final evaluation data collection were better than those measured during baseline data collection. The proportion of households with a poor Food Consumption Score has declined from 81.2% at baseline to 76.1% at final evaluation and has significantly declined to 5.7% during PDM. The proportion of households suffering from moderate and severe hunger decreased sharply between baseline and the PDM in all of the health areas. The proportion of households that did not suffer from hunger increased significantly, and stands between 56% and 100% during PDM. This proportion used to variate between 0% and 5% during the baseline survey. The proportion of households suffering from severe hunger fell from 30.8% to 1.1%. The proportion of households suffering from moderate hunger decreased from 66.5% to 11.7%, while that of households not suffering from hunger has experienced a meteoric rise, from 2.7% to 87.3%. The average Food Consumption Score increased in all health areas and overall. That of the Coping Strategy Index decreased everywhere. Overall, the average Food Consumption Score, which was 23.99 for the baseline, increased to 48.49 for the PDM. The average Coping Strategies Index score decreased from 28.57 to 2.65. This clearly indicates a marked improvement in food security between the baseline and the post-distribution situation. 1 Considering an acceptable range of 0 to 19 7 The above quantitative data suggests that a few months later, after the food distribution through the fair modality, the populations were not able to set in place sustainable mechanisms to support gains made right after the distribution and confirmed during the PDM. In fact, this evaluation could not fully capture gains made through the agriculture component. Nevertheless, interactions between the evaluation team and a few key informants – CRS staff, SENASEM coordinator, and the Kananga Food Security Cluster Representative brought to light the fact that seeds distributed during the fair activities underwent just a few technical tests, including the germination power and humidity tests typically carried out by the Provincial Coordination of SENASEM. While these technical tests can provide knowledge with regard to the capacity of seeds to reproduce, they can’t unveil the date position of the seeds’ generation (first, second, or third generation). Accessing this information is critical, as it can allow for getting rid of outdated seeds that may become nonproductive sooner. This specific test can be performed only by the laboratory of the Research Center of Ngandajika (Kasaï Oriental Province). Impact of agricultural assistance Overall, 92.8% of beneficiary households faced stockout for their food items bought during the fair, as compared to 7.2% who did not. Households that have faced stockout are shared according to duration as follows: more than 4 weeks (for 34.1% households); 4 weeks (for 34.8%); three weeks (for 16%); two weeks (for 12.1%); 1 week (for 4%). On the other side, households that have not yet faced stockout are shared as follows: more than 4 weeks (28.6%); 4 weeks (28.6%); 3 weeks (14.3%); 2 weeks (14.3%); and 1 week (14.3%). Ditekemena definitely contributed to some changes across its intervention areas. Timeliness Despite the context marked by the COVID-19 pandemic, the project was implemented as scheduled. Social distancing and hygiene measures were highly recommended, and both CRS and Caritas employees complied with the required measures of protection set by the DRC authorities. However, the project experienced delays in the delivery of seeds, which resulted in the loss of part of the food distributed. In addition, interactions between the evaluation team and a few key informants – CRS staff, SENASEM Coordinator and the Kananga Food Security Cluster Representative – brought to light the fact that seeds distributed during the fair activities underwent just a few technical tests namely the germination power and humidity tests typically carried out by the Provincial Coordination of SENASEM. While these technical tests can hint to capacity of seeds to reproduce, they can’t help determine the generation of the seeds (first, second or third generation). Accessing this information is critical as it’s strongly linked to sustainability and can allow for getting rid of outdated seeds that may become sooner nonproductive. This specific test can be performed only by the laboratory of the Research Center of Ngandajika (Kasaï Oriental Province). Transversal elements The existence of outstanding mechanisms for the monitoring of project interventions was mentioned by some key informants. The acknowledgement of the existence of strong mechanisms for monitoring field activities by some key informants, along with the belief that complaints and claims had positive responses, confirm the effectiveness of feedback and accountability mechanisms within the Ditekemena project. As per the surveyed households, 8 85.3% believe that complaints and claims have found a positive response, whereas 14.7% don’t. The project approach to protection mainstreaming and accountability included substantial investment in sensitization activities and a multi-pronged feedback and response mechanism. The final evaluation found relatively few protection concerns, although the exclusion of households in villages targeted for assistance was reported in a number of cases to have been a source of conflict within project communities. Most of the focus group discussions held in the villages were composed of women beneficiaries. None of them raised an issue related to sexual abuse. Besides, the Caritas Kananga Representative highlighted the zero-tolerance policy that applied to his staff over the course of the implementation of the Ditekemena project. In addition, after cross-checking comments from both beneficiaries and Caritas representatives, the impact and effectiveness of integrating protection from sexual exploitation and abuse becomes evident because of the zero number of sexual abuses reported throughout the data collection process. Recommendations As per the above findings, the evaluation team formulates following recommendations: 1. Though the partnership between each Caritas and CRS is deemed critical and catalytic to reaching the project results, CRS should continue investing in capacity building as both the Kananga and Mbuji Mayi Caritas chapters are unable to retain staff in the long run; 2. The implementation and delivery of the Ditekemena activities were effective. However, given the lack of information on the generation of the seeds distributed to project beneficiaries, the use of these seeds could be limited in the future. This situation does not guarantee sustainability, and thus limits the empowerment of communities in the future. The evaluation recommends, therefore, to use the services of the Ngandadjika Research Center in the future, so as to ensure critical information on seeds is provided to Ditekemena project managers. 3. Also, ownership of the intervention’s modality is real. However, without knowing whether the seeds are old or young can jeopardize this outcome. The evaluation team recommends, therefore, that project managers not only apply the typical technical tests on seeds, but also sort out in a timely fashion the information related to the generation of the seed. This is key to ownership and future undertaking of targeted populations with the distributed seeds. Lessons learned Findings and conclusions made throughout this evaluation enabled the evaluation team to draw the following lessons. Lessons learned are grouped under proposal development, project implementation, and key uptakes from project outcomes. Proposal development: Partnership between Caritas and CRS was deemed critical for meeting the project’s results. In order to improve targeting and reach the neediest people in the Kasaï communities, both 9 Caritas chapters should be associated in the development phase of the proposal. This guarantees better targeting and sustainability. Combining food assistance and the agriculture package can bear two benefits: this approach helps reach the most in need, as well as symbolically highlight the need to engage in agriculture. This combination, therefore, is likely to boost sustainability. Project implementation: Using the information from local chiefs for selecting people who should benefit from the assistance is a recommended practice. However, triangulation from health structure sources and other reliable sources is recommended in case of global targeting. Key project outcomes: Fair activities have largely facilitated harmony and collaboration between men and women and contributed to strengthening community ties in the Kasaïs. This distribution modality seems to most promote the respect and dignity of beneficiary households. It has to be the most recommended. In fact, the FAO is planning to use the same modality for its upcoming distribution of agriculture tools and seeds in Kasaï Central health areas. This proves that the CRS approach is now considered as the best one as far as distribution food (or non-food items) are concerned. Seeds should undergo all required rigorous tests in order to guarantee productivity, and thus sustainability, in the long run. SENASEM should be involved, as well as the Research Center of Ngandanjika. 10 Introduction Background In 2017, the provinces of Kasai Central and Kasai Oriental in the Democratic Republic of Congo (DRC) were engulfed in a violent conflict between local militias and the Republican Army, displacing 1.6 million people. Two years later, almost 63% of the population found destroyed houses, ravaged fields, and dead cattle upon their return. Local infrastructure and market networks, already very limited in the region, have further deteriorated due to the conflict. Many Kasaïan households have lost more than three growing seasons and during this period, have not been able to access quality seeds certified by local government experts, and no longer benefit from government support in agricultural production techniques. The intensification of the crisis and the pressure on local resources have increased population movements in the Kasai region. About 400,000 Congolese refugees in Angola were forcibly or voluntarily repatriated between October 2018 and August 2019. As a result, the region has been lurched into near-famine conditions, struggling to recover from the crisis and facing structural economic deficits. An assessment conducted in June 2019 by the Ministry of Planning and Agriculture with the support of the World Food Program (WFP) showed that 52.4% of the population of Kasaï Central and 45.6% of that of Kasaï Oriental had low Food Consumption Scores and suffered from severe food insecurity. About 59.3% of respondents in Kasai Central and 37.5% in Kasai Oriental had used at least one negative coping strategy related to food consumption. The level of the simplified Coping Strategy Index (rCSI) is on average 7.9 points for Kasai Central and 3.8 points for Kasai Oriental. The two most common household coping strategies were: 1) consuming less popular and less expensive foods, and 2) consuming fewer meals per day. The differentiated impact of food insecurity on women and girls is also pronounced in the region. The Sexual and Gender-Based Violence (SGBV) Sub-Cluster noted a strong connection between the incidence of SGBV – specifically, child marriage and negative coping strategies – among women and girls in areas of the Kasais, where food security is poor, especially among displaced populations. The Ditekemena Project operated from January 2021 through February 2022 as part of a larger USAID Bureau for Humanitarian Affairs (BHA) effort aiming to stabilize the Kasaï provinces that were affected by the Kamuena Nsapu rebellion. Evaluators viewed the Ditekemena project as largely successful in settling the communities scattered across the project’s targeted health areas, both in Kasaï Central and Kasaï Oriental provinces. It assisted 18,500 households with food assistance (for 1,000 households), and a combination of food and agriculture package made up of training on good practices and seeds. Beneficiaries of the agriculture component amounted 17,500 households. In response to high rates of severe food insecurity in underserved, conflict-affected hotspots in the Kasais, Catholic Relief Services (CRS) proposed the Ditekemena program (meaning “hope” in the Tshiluba local language) to provide 18,500 HHs with lifesaving food assistance 11 and 17,500 of these same HHs with seed and tool assistance in Kasai Central, a province that has been negatively impacted by the conflict between rebel and military groups. CRS focused on delivering food and seed assistance for agricultural seasons A and B in areas where the immediate needs and gaps were the most alarming in terms of food security. CRS’ approach was a rapid response emergency mechanism seeking to address the dire food needs of recent IDPs and returnees affected by conflict. Following a baseline assessment to evaluate needs and a targeted community’s IPC rating, CRS and its implementing partner, Caritas Kananga, or its service contractor, Caritas Mbuji Mayi, delivered three rounds of unconditional food assistance per targeted HH. The package was calculated at 50% of a full food basket (a half ration) for an average household size of six, due to acute levels of food insecurity (IPC 3 and 4) for direct distributions, and assistance tailored to household size in the case of voucher fairs (Category 1: 1-3 people; Category 2: 4-7 people; and Category 3: 7 or more people). All targeted participants received unconditional food assistance via direct in-kind distribution, cash transfer, or voucher fair. To place these communities on a trajectory that facilitates their return to a subsistence level capable of participating in development activities, the project also implemented essential complementary activities (seed and tools fairs, agricultural training and supervision, and agricultural contact groups) for 17,500 of the 18,500 targeted households. 12 Methodology In an effort to gain understanding of the length and depth of the project results, the final evaluation used both qualitative and quantitative methods. Research questions were provided in the evaluation Scope of Work, which can be found in Annex 17. An external evaluator arranged a three-week trip in February – March 2022. Sampling approach Diketemena beneficiaries are in both the Kasaï Oriental and Kasaï Central provinces. Respondents of this evaluation were pulled from 12 health areas in the Kasai Central province and 1 health area from the Kasaï Oriental province. Sampling trade-offs As for the survey participants, evaluators opted for a stratified sampling since each health area does not include villages identical and comparable. Thus, each stratum (health area) required a specific treatment to grant a chance to each village to be part of the sample. Using the list of villages provided by the CRS monitoring and evaluation team, evaluators drew each health area, and discontinuously selected villages according to a random selection of 1 unit calculated according to the below formula: 𝑛𝑛𝑖𝑖 (𝑛𝑛𝑖𝑖)10/100 Where: ni = total number of villages within a health area. Evaluators were able to select a total of 62 villages (out of a population of 126). Starting from this list of 62 villages, the number of households to be surveyed per village (second level of sample drawing) was drawn from a calculation facilitated by the software Raosoft sample size calculator (at the confidence interval of 95% and a 6% margin of error). It is worthwhile mentioning at this stage that the initial objective of the implementation of this sampling approach was to guarantee generalization of the evaluation findings. However, due to the inaccessibility of some health areas, unpredicted heavy rains in both Kasaï provinces over the course of data collection, and the very limited period of exposure of enumerators to selected villages, the evaluation team opted for replacing inaccessible villages by the most immediately accessible, selecting the nearest and available households as respondents. Therefore, the evaluation team ended up with a sample size of 1,078 households. Table 1: Sample of households distributed by village. Province Health Area Number of households Dikongayi 88 Kajangayi 46 Luekeshi 40 Lukula 80 13 Kasaï Central Matamba 106 Mbumba 138 Mfukumba 98 Mulumba Muteba 71 Ngombe 89 Ntambue Lomami 105 Tshikuma 66 Kasaï Oriental Kabimba 151 Total 1078 Focus group discussions and interviews Qualitative data was collected both through focus group discussions and interviews. Evaluators conducted 33 interviews and 21 focus group discussions. Also, 30 of those interviews and 16 focus group discussions were conducted solely in Kasaï Central. The bulk of focus group discussions involved women beneficiaries of either food items or of both food items and the agriculture package. Interviews involved local authorities, the agriculture monitor, and a handful provincial authorities. Key informants were selected based on their evident exposure to Diketemena activities. Focus group discussions for Kananga assembled women beneficiaries of the following villages: Bena Kasonga, Dikola, Kabuebue, Kalonga, Katoka, Kazakala, Kena, Mbumba, Mfukumba Ntabla, Miyao, Mulumba Muteba, Musuila, Nsanamu, Tshikunda, and Kambala. For the latter, a separate focus group discussion involved people with limited mobility. Interviews in Kananga were adressed to the following authorities or managers : Chef du village Kabuebue, Chef du Village Kena, Chef du village Lumembe, Chef du village Mbumba, Chef du village Muanda, Chef du village Mukendi Mutamba, Chef du Village Mulumba Muteba, Chef du village Nsanamu, Chef du village Tshikunda, Moniteur Agricole du Village Kazakala, Moniteur Agricole du village Mamaba Nsaku, Moniteur Agricole du village Mulumba Muteba, Moniteur Agricole du village Nsanamu, Moniteur Agricole du village Lukengu, Moniteur Agricole du village Muanda, Moniteur Agricole du village Mbumba, Infirmier Titulaire du village Mbumba, Infirmier Titulaire du Village Tshikunda, Infirmier Titulaire du village Shikunda, Infirmier Titulaire du village Tshitala, Infirmier Titulaire du village Mission Kajangayi, Chef du village Kambala, Moniteur Agricole du village Kabuebue, Infirmier Titulaire du village Matamba, Chef du Bureau Adjoint de la FAO, Infirmier Titulaire du village Luekeshi, Infirmier Titulaire du village Tambwe Lomami, Coordonnateur du Service National des Semences; Ditekemena Project Coordinator, Ditekemena project M&E Team, Ditekemena project Deputy Coordinator, Ditekemena project Mobilization Officer, 14 Caritas Kananga Representative, WFP/Kananga Agriculture Officer and Coordinator of the Food Security Cluster, and the Assistant of the OCHA Kananga Representative. For Mbuji Mayi, focus group discussions involved women beneficiaries of the following villages: Bena Kanda, Ciovu, and Nyanzale. Also, separate focus group discussions were organized for market sellers who participated in the fair activities, as well as market sellers who were not selected to sell during the fair in the same village. Analysis Data analysis was done in the Stata software and consisted mostly of the calculation of relevant frequencies and means for key agriculture and nutrition indicators. Disaggregation of groups by sex was done, as the data collected allowed. The following indicators were calculated to compare baseline with endline data: food consumption score, average food consumption score, food diversity score, average diversity score, Hunger Score Scale, and the classification of the hunger scale. Data generated through qualitative methods was analysed in Excel by calculating frequencies of the most relevant comments from the selected stakeholders. Triangulation of data from quantitative and qualitative sources allowed the evaluation team to identify key evaluation findings. Desk Review A thorough review of key project documents was conducted to understand the relevance, the strategy set forth for delivering results, as well the degree to which the project met its results. Project documents reviewed included quarterly and monthly donor reports and the baseline evaluation report. Not being able to meet the target sample size of both the baseline and PDM is a major limitation of this evaluation. It did not allow for comparison of baseline to endline data of key outcome or impact indicators. Humanitarian Context Almost 100% of the surveyed population were returnees. The security situation in Kasaï Central and Kasaï Oriental was under DRC authorities’ control. In the meantime, food insecurity persisted. This situation was exacerbated by the COVID-19 pandemic. Security and Access While the security situation was stable, the rainy season, along with the poor status of the roads, made access to some health areas a huge challenge. Social cohesion in Kamonia Territory has been challenged by multiple population movements. The majority of the territory’s population is made up of returnees and displaced persons. In fact, this territory was victim to the Kamwina Nsampu insurgency in August 2016, and spread quickly through neighboring provinces. By January 2017, 216,000 people had been displaced, and more than 400 killed, according to humanitarian sources. Agricultural Production The agriculture sector in the Kasaïs is plagued by a number of constraints. The most relevant constraints include lack of technical agricultural knowledge, crop disease, lack of inputs, and seed systems deterioration. Though the majority of households in the area have access to 15 land via ownership or through lease agreements, there is still a lack of inputs and knowledge for a better utilization of that land. Seed systems have deteriorated due to: lack of improvement in the agriculture sector that accompanies households equipped with new or improved skills; lack of seed production and food security, aggravated by episodic population movements across borders; lack of provision of seeds in emergency situations; lack of appropriate seed varieties; and inadequate seed security stocks. Overall, food insecurity in Kasaï Central and Kasaï Oriental is due to limited household livelihoods and purchasing power, particularly in rural areas; poor performance of agricultural production due to poor distribution of rainfall; lack of capacity to address crop diseases and pests; underinvestment in the agricultural sector, resulting in low yields of some staple crops; dilapidated infrastructure and communication routes which limit the entry or exit of foodstuffs into the country; COVID-19 measures set in place by both the Angola and the DRC governments (particularly in Kasaï Central), hampered quick return to normalcy in the agriculture sector. Markets Food items prices remained stable across the implementation of the project. Price increases that were noticed over the course of project implementation were mostly due to periodic scarcity of food items. Humanitarian presence The Kamuina Nsapu rebellion that caused the displacement of thousands of people drew the attention of the humanitarian community. In fact, before the eruption of this rebellion, the Kasaïs were a relatively unknown place among both the humanitarian and the development community. Humanitarian presence increased in Kasai Central and Kasaï Oriental right after the eradication of the rebellion movement in 2019. There is a Food Security Cluster in Kananga which is spearheaded by the World Food Programme. Interactions with the focal person revealed that the Cluster considers the Ditekemena project as an adequate response to Kasaï’s crisis that Cluster member organizations are proud of. In fact, the Kananga Representative of the Fund for Agriculture Organization stated that his organization is on the verge of replicating the support to agriculture through the fair modality. Results – Achievement relative to targets The Ditekemena project reached 18,500 households with an emergency response. This achievement represents 100 percent of the target. Annex 2 presents all details around the achieved results. Among the 18,500 participants, 17,000 received both food assistance and a package of assistance in agriculture that included seeds and training on best agriculture practices. Also, 1,500 households received only food assistance. 16 Food assistance Voucher fairs The best strength of the Ditekemena IV project was the tempo of the intervention, as well as the use of fair vouchers, which fosters the dignity of the beneficiary by allowing him to choose what fits with his own taste and personal conditions. Besides, this approach allowed husbands and their spouses to decide as a couple on which type of staple foods they want for their households, as well as on the utilization of the food over time. It really strengthened human and family ties across the communities. It is also worth mentioning here the collaboration of Caritas and CRS in both provinces. These diocesan organizations possess well-structured networks across the communities that facilitated the identification of beneficiaries, as well as the implementation of the Ditekemena project across the small villages. Agricultural assistance In order to improve food security of the people within targeted communities in both Kasaï Central and Kasaï Oriental, the project sought to stimulate diversified agricultural production by providing access to agricultural inputs. In total, the project reached 17,000 households with agricultural assistance, achieving 100 percent of the project target. The agricultural assistance package included a one-time distribution of USD 27 of vouchers for the purchase of improved seeds at a CRS voucher fair and the direct distribution of two hoes to each beneficiary household. The project conducted fair activities despite the COVID-19 pandemic. Both the project and partner staff complied with the protective measures set by DRC Government authorities. Also, in full collaboration with SENASEM, which tested the improved seeds, CRS provided training to targeted households on improved agricultural techniques via a Training of Trainers (ToT) approach. The project trained, with the support of SENASEM trainers, volunteer agricultural monitors, who were then responsible for conducting trainings within their respective communities. Relevance Ditekemena is deemed to be the best response to the needs of targeted communities after the displacement of more than 98% of the populations in both Kasaï Central and Kasaï Oriental. In fact, the level of Reduced Coping Strategies Index (rCSI) averaged 7.9 points for Kasai Central and 3.8 points for Kasai Oriental. The two most common household survival strategies were consuming less preferred and cheaper food, and consuming fewer meals per day. The differentiated impacts of food insecurity on women and girls were also pronounced in the region. Appropriateness Food assistance Having opted for a global targeting approach, the project was able to reach the 18,500 beneficiaries over the course of its life. The project was also able to contribute to a change in the number of meals consumed. Tables 3 and 4 confirm both the change in the number of 17 meals in various households located in the project’s targeted areas and the significance of this change. In addition, high levels of satisfaction were reported within project’s targeted areas, as well as relevant positive comments shared mostly by women beneficiaries. For example, in Mbuji Mayi, 100 percent of key informants reported clearly that both food and seed fairs were very good. While such statement could simply be due to instant gratification, it is also confirmed by 60% of focus groups, which acknowledged that Ditekemena's assistance brought harmony and a climate of peace across the various villages. Finally, an overwhelming 60 percent of FGDs acknowledged that each household received items according to its size. Agriculture Interactions between the evaluation team and a few key informants – CRS staff, SENASEM Coordinator and the Kananga Food Security Cluster representative brought to light the fact that the seeds distributed during the fair activities underwent just a few technical tests, including germination power and humidity tests typically carried out by the SENASEM Provincial Coordination. While these technical tests can hint to capacity of seeds to reproduce, they can’t shed light as to the date position of the generation of the seeds (first, second or third generation). Accessing this information is critical, as it can allow for getting rid of outdated seeds that may soon become nonproductive. This specific test can be performed only by the laboratory of the Research Center of Ngandajika (Kasaï Oriental). Thus, the delivery was effective throughout the implementation phase, but the sustainability of the agriculture activities is still a concern. 18 Key Evaluation Findings Findings from quantitative methods Project objectives and relevance The Ditekemena project aimed to assist target populations mostly composed of returnees. Despite the interventions of other International Organizations (WFP and FAO) in the food security sector, returnees were facing a dire situation in terms of livelihoods. In such a context, any assistance is always appreciated. Therefore, while the relevance and acceptance of project activities seem to be obvious, they can still both be assessed through the lens of satisfaction and the attitude of the assisted family following the assistance. In fact, if the assistance is inadequate, beneficiaries are usually inclined to sell in the local market any food or non-food items received from the project. Overall, beneficiaries appreciated the amount of money allocated to them. In fact, 89.1% of households stated that the amount of money transferred via food rations distributed during the fair was sufficient to cover basic household needs, against 10.9% who disagreed. Staple foods offered during the fairs were in general appreciated by the participants. In fact, 78.3% of households acknowledged that they were very satisfied with the quality of maize flour they bought during the fair and 14.3% were simply satisfied. In addition, 69.5% of households said they were very satisfied with the quality of cassava flour, 18% were satisfied, and only 10.1% were not satisfied. Only 2.4 % of surveyed households reported to have sold part of the food assistance received through the Ditekemena project. Finally, food assistance strengthened community ties, as 46.3% of surveyed households reported sharing their food with people living outside their households. Project structure/conception In practice, the Ditekemena project was implemented through two channels: food items (8.1%) and the combination of food items and agriculture package (91.9%) distributions. A global targeting was used and the distribution was done through fair vouchers. Participants’ preferences Participants’ preferences were assessed through the level of preferred items offered over the course of fair activities, as well as the level of satisfaction of the amounts of money allocated to each household. In addition, participants expressed their preferences on the staple foods offered during the fairs. Interventions and stakeholders’ involvement The evaluation team had deeper interactions with the Caritas staff, Project participants, IPAPEL, SENASEM, and local chiefs. These key informants were selected according to their 19 exposure to the implementation of this project. This sub-section highlights the involvement of project participants. Evidence shows that in most cases (54.7%), the choice of how to use the ration is now up to both spouses; but also, a woman decides alone in 24.7% of cases. In addition, 27.9% of households reported that they are often worried about not having enough to eat, and 37.3% are sometimes worried. Only 10.9% said they never worry. On another side, 29.1% of households stated that at least one member is often unable to eat their favorite foods, whereas this happens only sometimes in 37.9% of cases. Only 11.1% reported that they have never been unable to eat their favorite foods. Finally, 29.6% of households stated that at least one member is often forced to eat a limited variety of foods, and in 29.3% of cases, this happens sometimes. Only 18.6% reported that they never have to eat a limited variety of foods. It is worth highlighting that 74.8% of households claim to have set in place mechanisms that help to obtain seeds for next season. Finally, 97% households acknowledge that they were able to put into practice lessons learned in their agriculture activities. Food Assistance Table 2: Average Food Consumption Score per household and per household category. FS1 Percent of households with poor, borderline, and acceptable Food Consumption Score (FCS) Baseline Value Actual value Sample size (1078) Confidence intervals (95%) Poor 77.80 76.2 Borderline 16.98 19.0 Acceptable 5.54 4.8 Mean 24.63 22.58 21.95 – 23.20 Median 24 21.5 Standard deviation 9.32 10.83 Total of beneficiary households targeted by the activity 1078 Mean FCS - Displaced 18.71 12 Mean FCS – Residents or host families 22.03 345 Mean FCS - Returnees 22.90 721 20 The above chart shows that the food security situation is still worrying in the health areas that hosted the evaluation. The Food Consumption Score, the Reduced Coping Strategy Index and the Hunger Index illustrate this situation. Indeed, the average Food Consumption Score (22.58) is low because it is less than 28.5, the threshold required for a good food security score. The percentage of households with a poor FCS is high (76.2%), although in line with the expected result (less than 90%), while households with a borderline FCS represent 19%, and those whose score is acceptable represent only 4.8% after assistance. Compared to the results of the March 2021 assessments, the percentage of households with a poor FCS has fallen slightly (76.2% against 77.8%). This indicates a slight improvement. Also, households with a borderline FCS fell to 16.98% from 19%, and households with an acceptable score fell slightly (from 5.54% to 4.8%). There is also a difference between the average FCS in displaced households (18.71), the one in host families (22.03), and the one in returnee households (22.9). This indicates that displaced households have more difficulty accessing food than others. Table 3: Descriptive statistics of the Food Consumption Score Statistic Bootstrapa Bias Standard error Confidence interval at 95% Lower Upper N Valid 1078 0 0 1078 1078 Missing 0 0 0 0 0 Average 22.5761 0.0118 0.3210 21.9437 23.2312 Median 21.5000 0.2095 0.4923 21.0000 22.7500 Standard deviation 10.82507 -0.00875 0.39445 10.07417 11.56528 Minimum 0.00 Maximum 84.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Table 4: Comparison test of the average Food Consumption Score with the reference value Single sample test (Value test = 24.63) Variable Average Average difference t ddl Sig. (bilatérale) 95% confidence interval Lower Upper SCA 22.5761 -2.05393 -6.230 1077 0.000 -2,7009 -1,4070 It appears from the table of the comparison test of the FCS meansthat the difference between the two values is very significant at the threshold of 5% and 1% (critical probability=0.0%, well below 5%). Table 5: Descriptive statistics of the Food Consumption Score by household status 21 Food Consumption Score by household status Household Status Statistic Bootstrapa Bias Standard error 95% Confidence Interval Lower Upper Displaced Average 18.7083 -0.0511 0.6514 17.3000 19.9582 Median 19.0000 -0.3973 1.3163 16.5000 21.0000 Standard deviation 2.22034 -0.10559 0.27829 1.48361 2.57974 N 12 3 6 19 Interval 5.50 Host family Average 22.0261 0.0101 0.5834 20.9015 23.2645 Median 22.0000 -0.2553 0.7806 20.5000 23.5000 Standard deviation 10.63845 -0.04585 0.74367 9.31556 12.13780 N 345 -1 15 313 374 Interval 84.00 Returnee Average 22.9036 0.0021 0.4064 22.1091 23.6813 Median 22.0000 0.0158 0.7705 20.5000 23.5000 Standard deviation 10.98339 -0.02165 0.46535 10.03827 11.88274 N 721 1 16 691 753 Interval 75.50 Total Average 22.5761 0.0045 0.3282 21.9508 23.2036 Median 21.5000 0.2233 0.5233 21.0000 23.0000 Standard deviation 10.82507 -0.01641 0.39270 10.04355 11.55742 N 1078 0 0 1078 1078 Interval 84.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Table 6: Comparison of FCS means by household status (ANOVA test) ANOVA Table Squared sum df Squared average F Meaning FCS * Household status Inter￾groups Combined 361.218 2 180.609 1.543 0.214 Intra-groups 125844.045 1075 117.064 Total 126205.263 1077 As per the ANOVA test table, there is no significant difference between the means of different household categories (depending on their status) at the 5% and 10% threshold (critical probability=21.4%, well above 5%). 22 Table 7: Food Consumption Score (FCS) by food category. FCS Classification Percentage Acceptable 4.8 Limit 19 Poor 76.2 Total 100 The analysis of the above table shows that the food security situation remains worrying in the health areas that were the subject of this evaluation. The proportion of households with a poor Food Consumption Score is high (76.2%), followed by those with a borderline score (19%), and only 4.8% with an acceptable score after the assistance of the Ditekemena project. Table 8: Food Consumption Group by Household Status FCS Classification Household Status Displaced Returnees Resident/host family Acceptable 0.0% (0.0%)2 5.4% (4.53%) 3.8% Limit 0.0% (0.0%) 19% (2.72%) 19.7% Poor 100% (100%) 75.6% (92.75%) 76.5% Total 100% 100% 100% Following the above table, all displaced people (100%) have a poor FCS. This proportion is 75.6% for returnees and 76.5% for resident/host family households. The proportion of households with a borderline FCS is almost identical among returnees and residents/host family (respectively, 19% and 19.7%), and 5.4% for households of acceptable food consumption, and 3.8 for residents/host families. 2 Baseline value 23 Furthermore, comparing the situation between PDM and the final evaluation led to the following results summarized in the below charts. Table 9: Comparison of FCS between PDM and Final evaluation. Table 9 suggests that the proportion of households with a poor consumption score has steadily increased, moving from 5.7% to 48.6%. Households with a borderline score increased from 27.1% to 41.4%. Finally, households with an acceptable food consumption Comparing Food Consumption Scores between PDM and Endline evaluation. FCS Category Poor Borderlin e Acceptable Health Area dikongoyi PDM 0% 20.3% 79.7% Endline 33.3% 52.3% 14.8% kabimba PDM 20.7% 51% 28.3% Endline 51.7% 39.7% 8.6% kajangayi PDM 14.6% 41.5% 43.8% Endline 43.5% 39.1% 17.4% luekeshi PDM 0.3% 6.9% 92.8% Endline 40% 42.5% 17.5% lukula PDM 1.2% 12.8% 86% Endline 50% 41.3% 8.8% matamba PDM 7.4% 39.1% 53.5% Endline 59.4% 35.8% 4.7% mbumba PDM 1.2% 14.9% 83.9% Endline 52.90% 38.4% 8.7% mfukumba PDM 0.3% 9.4% 90.2% Endline 53.1% 40.8% 6.1% mulumba_muteba PDM 0.6% 27.8% 71.6% Endline 46.5% 42.3% 11.3% ngombe PDM 13.5% 45.5% 41% Endline 43.8% 47.2% 9% ntambue_lumami PDM 12.5% 41.2% 46.3% Endline 39% 51.4% 9.5% tshikuma PDM 0.0% 30% 70% Endline 60.6% 22.7% 16.7% Total PDM 5.7% 27.1% 67.3% Endline 48.6% 41.4% 10% 24 score sharply decreased from 67.3% to 10%. Finally, these figures show that those in the acceptable situation have moved to borderline score. Table 10: Comparison of the Food Consumption Score between baseline and the post￾distribution situation (PDM) Food security category Baseline PDM Frequency Percent Frequency Percent Poor 2737 81.2 181 5.7 Borderline 569 16.9 866 27.1 Acceptable 66 2.0 2150 67.3 Total 3372 100.0 3197 100.0 Overall, the percentage of households with a poor FCS fell from 81.2% to 5.7% between the initial situation (Baseline) and the post-distribution situation (PDM). The percentage of borderline consumption increased from 16.9% to 27.1%, as did that of acceptable consumption, from 2% to 67.3%. The CRS intervention enabled poor households to migrate to the borderline and acceptable consumption score immediately after the intervention. Table 11: Comparison of the hunger score between the baseline and the PDM Hunger Score Almost no hunger Moderate hunger Severe hunger Health Area Dikongayi Baseline 0.0% 55.6% 44.4% PDM 100.0% 0.0% 0.0% Kajangayi Baseline 9.6% 50.0% 40.4% PDM 87.2% 12.2% 0.6% Lukueshi Baseline 1.6% 47.5% 50.9% PDM 100.0% 0.0% 0.0% Lukula Baseline 0.0% 88.4% 11.6% PDM 65.0% 29.8% 5.2% Matamba Baseline 2.4% 39.0% 58.6% PDM 56.8% 40.3% 2.9% Mbumba Baseline 0.0% 91.3% 8.8% PDM 95.7% 3.9% 0.4% Nfukumba Baseline 2.6% 76.2% 21.3% PDM 98.0% 2.0% 0.0% Mulumba Muteba Baseline 2.5% 97.2% 0.3% PDM 85.6% 12.2% 2.1% Ngombe Baseline 5.9% 49.3% 44.7% PDM 89.6% 10.4% 0.0% 25 Ntambwe lomamie Baseline 2.8% 66.0% 31.2% PDM 93.5% 6.0% 0.5% Tshikuma Baseline 4.5% 67.6% 27.9% PDM 89.2% 10.8% 0.0% Tshimakaka Baseline 0.0% 68.1% 31.9% PDM - - - Total Baseline 2.7% 66.5% 30.8% PDM 87.3% 11.7% 1.1% Table 11 highlights the fact that the proportion of households suffering from moderate and severe hunger decreased sharply between baseline and the PDM in all of the health areas. The proportion of households that did not suffer from hunger increased significantly, standing between 56% and 100% during PDM. This proportion was between 0% and 5% at the baseline. Table 12: Overall proportion of hunger score between baseline and the PDM. Hunger score Baseline PDM Frequency Percent Frequency Percent Almost no hunger 91 2.7 2790 87.3 Moderate hunger 2243 66.5 373 11.7 Severe hunger 1038 30.8 34 1.1 Total 3372 100.0 3197 100.0 Overall, the proportion of households suffering from severe hunger fell from 30.8% to 1.1%. The proportion of households suffering from moderate hunger decreased from 66.5% to 11.7%, while households not suffering from hunger have experienced a meteoric rise, from 2.7% to 87.3%. Table 13: Comparison of the food consumption score (FSC) and the coping strategy index (CSI) between baseline and the PDM. Comparaison FSC et CSI Health Area Average FSC Average CSI Dikongoyi Baseline 24.48 27.69 PDM 48.26 0.10 Kabimba Baseline 24.06 32.39 PDM 36.61 7.59 Kajangayi Baseline 23.50 28.57 PDM 41.89 5.66 26 Luekeshi Baseline 21.24 36.19 PDM 53.98 0.00 Lukula Baseline 26.33 26.83 PDM 55.12 3.12 Matamba Baseline 30.52 29.28 PDM 44.06 3.16 Mbumba Baseline 25.34 23.59 PDM 51.53 0.89 Mfukumba Baseline 21.32 25.42 PDM 56.43 0.88 Mulumba_muteba Baseline 24.33 25.73 PDM 53.44 0.35 Ngombe Baseline 21.61 29.72 PDM 43.14 4.91 Ntambue_lumami Baseline 21.86 30.42 PDM 43.54 4.48 Tshikuma Baseline 27.15 24.90 PDM 47.54 2.10 Tshimakaka Baseline 20.62 28.00 PDM - - Grand Total Baseline 23.99 28.57 PDM 48.49 2.65 The above table shows that while the average Food Consumption Score increased in all health areas and overall, that of the Coping Strategy Index decreased everywhere. Overall, the average Food Consumption Score, which was 23.99 for the baseline, increased to 48.49 for the PDM. The average Coping Strategies Index score decreased from 28.57 to 2.65. This clearly indicates a marked improvement in food security between the baseline and the post-distribution situation. Findings from Qualitative Method Target populations’ expectations In Mbuji Mayi, 100 percent of key informants believe that each household received what it needed the most with respect and dignity. This assistance provided access to food, seeds, and agricultural kits during the crisis period. In addition, 80 percent of focus groups believed that this assistance was an accompaniment and support for better agricultural performance. In addition, in Kananga 56.3 percent of focus groups agreed that food and other assistance enabled each beneficiary household to acquire what it needed most with respect and dignity. Project implementation Targeting The modality of intervention adopted by the Diketemena project was global targeting. However, people who could not provide proof of owning a kitchen for cooking food were 27 not granted a fair voucher. In fact, 44.4 percent of the interviewees in Kananga thought that targeting did not generate any problems. Very few people argued that relying on the opinion of local chiefs for determining whether a person deserved CRS assistance or not was unfair, as chiefs of villages don’t monitor the movement of the population. They suggested, instead, to always touch base with the health network within the village or Health Area in order to have access to the right information with regards to population movements and other relevant details. Mobilization and communication Only a minority of key informants interviewed in Kananga (3.7%) reported that communication (and mobilization) was not good. They suggested to not rely just on the information from the local chiefs. Triangulating the information received from the local chiefs on the status of individuals living in the village was deemed paramount in order to guarantee fairness in the future. Nevertheless, 100% of focus group discussions acknowledged that they knew the objectives of the project. This implies that outstanding communication and mobilization occurred across the various Health Areas targeted by the project. Fair for food items and seeds In Mbuji Mayi, 100 percent of key informants believed that the food and seed fairs have been very good. In addition, 60% of focus groups in the same city reported that Ditekemena's assistance brought harmony and a climate of peace. Finally, 60 percent of FGDs acknowledged that each household received items according to the size of their household. Complaints and claims While 3.7 percent of key informants from Kasaï Central mentioned that all complaints did not receive satisfactory responses, another 3.7 percent of key informants alleged that complaints were not satisfied or fulfilled. It clearly appears that there is a neutralizing effect here, which ultimately leaves this observation pointless. Effects on the local market Some experts, including one from the WFP office in Kananga acknowledged that a short￾lived price increase (of about a week) occurred in Kananga during the organization of fair activities. The same observation was raised by a biased observer in Mbuji Mayi. After verification by the representative of Caritas Mbuji Mayi, it was noted that there was only a slight increase, attributable to seasonal fluctuations. Nevertheless, 63% of key informants were unanimous in stating that food distribution did not have any impact on the local market. It’s relevant to highlight that the local sellers the Diketemena involved in the fair activities were not based in the project’s targeted villages. In Kasaï Central, sellers were Kananga￾based, whereas in Kasaï Oriental, they were recruited from Mbuji Mayi. This information explains why an ephemeral inflation was felt during fair activities. This also proves that all the food distributed in the various villages of Kasaï Central and Oriental was consumed within the same villages. There were not remaining goods that could have been deliberately sold back to the Kananga market. Impact on targeted populations 28 Ditekemena definitely contributed to some changes across its intervention areas. This change can also observed by comparing the situation before and after the activity under the various indicators. The below table demonstrates the change that occurred thanks to the contribution of the Ditekemena project. Compared to the results of the March 2021 assessments, the percentage of households with a poor Food Consumption Score has fallen slightly (76.2% against 77.8%). This indicates a slight improvement. The food security situation remains worrying in the Health Areas that were included in this evaluation. The proportion of households with a Poor Food Consumption score is high (76.2%), followed by those with a borderline score (19%), and only 4.8% with an acceptable score after the assistance of the Ditekemena project. Resident/host families and displaced persons apply more survival strategies with respective averages of 18.28 and 17.17. They represent, respectively, 32% and 1.1% of the households surveyed. Returnees, who represent 66.9% of households, have an average score of 12.91. Compared to the situation in March 2021, there is a clear decline in the average number of survival strategies overall, from 29.57 to 14.68. While comparison between baselines and PDM situation suggests improvements across food security indicators within the evaluation targeted communities, comparisons between baselines and final evaluation reveal regression in terms of the gains made following food distributions. This situation proves that investments made by CRS in the agriculture component of the Ditekemena project could not be captured during this evaluation. 29 CONCLUSIONS This section summarizes the triangulation of findings gathered through quantitative and qualitative methods and leads to some specific conclusions. Relevance of the CRS and Caritas partnership (success and challenges according to CRS and Caritas) Evidence shows that beneficiaries could not differentiate staff from CRS and staff from Caritas. However, given the smaller number of CRS staff assigned to field activities, one may anticipate that project participants interacted more with Caritas staff rather than with the CRS ones. The partnership between CRS and Caritas was deemed to be critical by both Caritas Kananga and Caritas Mbuji Mayi Representatives and can be considered instrumental to reaching the 18,500 beneficiaries set as the objective of the project. The three staff of the Ditekemena project that were interviewed acknowledged the inevitability of this partnership as well. In addition, both Caritas Representatives agreed that this partnership was the unique way for CRS to transfer skills to their respective staffs. By doing so, CRS facilitated the sustainability of the Ditekemena project’s outcomes. The same opinion prevailed among some members of the Food Security Cluster – WFP and OCHA in Kananga. The only challenge worth mentioning is that both Caritas Kananga and Caritas Mbuji Mayi do not have enough financial means to retain skilled staff over the long run. In addition, communication between Caritas staff and CRS staff, along with collaboration during the proposal development phase, were deemed to be the best areas of success of the Ditekemena project. Also, it is worth mentioning that both Caritas chapters’ have their own reliable structured networks of local entities that have deep presence and influence within the various communities targeted by CRS. Such presence may facilitate the implementation and ownership of the project’s outcomes. Therefore, the partnership between CRS and Caritas is relevant and inevitable for better outcomes and sustainability of CRS interventions in Kasaï communities. Effectiveness of the implementation and delivery of activities Compared to baseline assessments, the food security index scores improved after CRS’s assistance. The percentage of households with a poor Food Consumption Score has improved from 81.2% during project baseline data collection prior to the provision of food assistance to 5.7% percent during Post Distribution Monitoring (PDM) conducted several weeks after the provision of three rounds food assistance at one-month intervals. The proportion of households with an acceptable FCS has increased markedly among beneficiary households between baseline and PDM, from 2% to 67.3%. Furthermore, the percent of households with moderate and severe Household Hunger Scale (HHS) scores declined from 97.3% at baseline to 12.8% at PDM. The comparison of means reveals a significant progress on the use of negative survival strategies and access to food. The mean Reduced Coping Strategy Index Score declined from 28.6 at baseline to 2.7 at PDM, and the mean household Food Consumption Score doubled from 24 to 48.5. However, the result at final evaluation shows that resident/host families and displaced persons continue to apply negative survival strategies slightly at the limit, with 30 respective averages of 18.28 and 17.17. 3 They represent, respectively, 32% and 1.1% of the households surveyed. In addition, high levels of satisfaction were reported within the project’s targeted areas, as well as relevant positive comments shared mostly by women beneficiaries. For example, in Mbuji Mayi, 100 percent of key informants clearly reported that both food and seed fairs were very good. While such statements could be simply due to an instant satisfaction, it is confirmed by 60% of focus groups in the same city, which acknowledged that Ditekemena's assistance brought harmony and a climate of peace across the various villages. Finally, an overwhelming 60 percent of FGDs acknowledged that each household received items according to its size. Interactions between the evaluation team and a few key informants – CRS staff, SENASEM Coordinator and the Kananga Food Security Cluster Representative – brought to light the fact that seeds distributed during the fair activities underwent just a few technical tests including the germination power and humidity tests typically carried out by the SENASEM Provincial Coordinator. While these technical tests can hint at the capacity of seeds to reproduce, they can’t shed light as to the date position of the generation of the seeds (first, second, or third generation). Accessing this information is critical, as it can allow for getting rid of outdated seeds that may soon become nonproductive. This specific test can be performed only by the laboratory of the Research Center of Ngandajika (Kasaï Oriental). Thus, the implementation of the delivery was effective throughout the implementation phase, but the sustainability of the agriculture activities is still a concern. Ownership of the intervention’s modality by communities Communities’ ownership of the intervention modality – use of voucher versus direct distribution – can be analyzed through various angles, including high satisfaction rates, decision making related to direct distribution of food items, or level of worries after the assistance. As mentioned, staple foods offered during the fair sessions were in general appreciated by the participants. In fact, 78.3% of households acknowledged that they were very satisfied with the quality of maize flour and 14.3% were simply satisfied. This brings the number of satisfied households to 92.6%, which is a huge endorsement of the items selected by the project. Apart from the type of items, endorsement also included the quality of food. In fact, 69.5% of households said they are very satisfied with the quality of cassava flour bought from the fair, and 18% were simply satisfied. This means 87.5% of surveyed households were satisfied. Beyond the above satisfaction rates, in most cases (54.7%), the decision of how to use the ration is shared by both spouses, or a woman now decides alone in 24.7% of cases. In either case, women are now involved in decision making when it comes to food item consumption in the household. Decisions about how to use food items used to be the prerogative of husbands in the history of the Kasaïs. Also noteworthy is that 74.8% of households claim to have set in place mechanisms to help obtain seeds for next season. In addition, 97% of households acknowledged that they were able to put into practice lessons learned in their agriculture activities. 3 Considering an acceptable range of 0 to 19 31 Overall, the endorsement of the staple foods sold during the fair activities, the shift in decision-making when it comes to food consumption within households, and the high percentage of households that were able to set in place seed storage systems prove that communities were able to own the intervention’s modality. Effectiveness of feedback and accountability mechanisms Among surveyed households, 85.3% believed that complaints and claims received positive responses, whereas 14.7% did not. The existence of outstanding mechanisms for monitoring the project’s interventions was mentioned by some key informants. The acknowledgement of the existence of strong mechanisms for the monitoring of field activities by some key informants, along with the belief that complaints and claims received positive responses, confirm the effectiveness of feedback and accountability mechanisms within the Ditekemena project. The impact and effectiveness of integrating protection from sexual exploitation and abuse. Most of the focus group discussions held in the villages were composed of women beneficiaries. None of them raised an issue related to sexual abuse. Besides, the Caritas Kananga Representative highlighted the zero-tolerance policy that applied to his staff over the course of the implementation of the Ditekemena project. In addition, after cross-checking comments from both beneficiaries and Caritas representatives, the impact and effectiveness of integrating protection from sexual exploitation and abuse become evident, given no sexual abuses were reported throughout the data collection process. 32 RECOMMENDATIONS As per the above findings, the evaluation team has the following recommendations: 1. Though the partnership between each Caritas with CRS is deemed critical and catalytic to reaching project results, CRS should continue investing in capacity building, as both Caritas Kananga and Caritas Mbuji Mayi are unable to retain staff in the long run. 2. The implementation and delivery of Ditekemena activities were effective. However, the evaluator could not confirm the sustainability of the agriculture activities. In fact, the project reached 100 percent of its target and provided an agricultural package composed of agricultural training and tools (hoe and seeds). Data analyzed through this final evaluation proves that food security index proxy scores measured during PDM and the final evaluation remained better than those measured during the baseline. The proportion of households suffering from moderate and severe hunger decreased sharply between baseline and the PDM in all Health Areas. The evaluation recommends, therefore, utilizing the Ngandadjika Research Center’s services in the future, so as to ensure critical information on seeds is available for project managers. 3. Ownership of the intervention’s modality is real. However, without knowing whether the seeds are old or young can jeopardize this outcome. The evaluation team recommends, therefore, that project managers not only apply the typical technical tests on seeds, but also provide in a timely fashion information related to the generation of the seeds. This is key to ownership and future use of the distributed seeds. 4. In order to assess gains made through investments in the agriculture sector, the final evaluation should be conducted during the right seasons. 33 LESSONS LEARNED Findings and conclusions made throughout this evaluation enabled the evaluation to draw the following lessons. Lessons learned are grouped under proposal development, project implementation, and key uptakes from project outcomes. Proposal development: • Partnership between Caritas and CRS is deemed critical for meeting project results. In order to improve targeting and reach the neediest people in the Kasaïs, both Caritas partners should be associated in the development phase of the proposal. This guarantees better targeting and sustainability. • Combining food assistance and the agriculture package can bear two benefits: this approach helps reach the most in need, as well as symbolically highlights the need to engage in agriculture. This combination, therefore, is likely to boost sustainability. Project implementation: Using the information from local chiefs for selecting people who should benefit from the assistance is a recommended practice. However, triangulation from health structure sources and other reliable sources is recommended in the case of global targeting. 34 ANNEXES Annex 1: Descriptive statistics of the Food Consumption Score Statistic Bootstrapa Bias Standard error Confidence interval at 95% Lower Upper N Valid 1078 0 0 1078 1078 Missing 0 0 0 0 0 Average 22.5761 0.0118 0.3210 21.9437 23.2312 Median 21.5000 0.2095 0.4923 21.0000 22.7500 Standard deviation 10.82507 -0.00875 0.39445 10.07417 11.56528 Minimum 0.00 Maximum 84.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Annex 2: Descriptive statistics of the Food Consumption Score by household status FCS by Household Status Household Status Statistic Bootstrapa Bias Standard error Confidence interval at 95% Lower Upper Displaced Average 18.7083 0.0511 0.6514 17.3000 19.9582 Median 19.0000 -0.3973 1.3163 16.5000 21.0000 Standard deviation 2.22034 -0.10559 0.27829 1.48361 2.57974 N 12 3 6 19 Interval 5.50 Host family Average 22.0261 0.0101 0.5834 20.9015 23.2645 Median 22.0000 -0.2553 0.7806 20.5000 23.5000 Standard deviation 10.63845 -0.04585 0.74367 9.31556 12.13780 N 345 -1 15 313 374 Interval 84.00 Returnee Average 22.9036 0.0021 0.4064 22.1091 23.6813 Median 22.0000 0.0158 0.7705 20.5000 23.5000 Standard deviation 10.98339 -0.02165 0.46535 10.03827 11.88274 N 721 1 16 691 753 Interval 75.50 Total Average 22.5761 0.0045 0.3282 21.9508 23.2036 Median 21.5000 0.2233 0.5233 21.0000 23.0000 Standard deviation 10.82507 -0.01641 0.39270 10.04355 11.55742 35 N 1078 0 0 1078 1078 Interval 84.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Annex 3: Comparison of FCS means by household status (ANOVA test) Tableau ANOVA Squared sum df Squared average F Meaning FCS * Household status Inter￾groups Combined 361.218 2 180.609 1.543 0.214 Intra-groups 125844.045 1075 117.064 Total 126205.263 1077 Annex 4: Food Consumption Score (FCS) broken down by food category. FCS Classification Percentage Acceptable 4.8 Limit 19 Poor 76.2 Total 100 Comments: Analysis of the table above shows that the food security situation remains worrying in the health areas, which were the subject to the evaluation. The proportion of households with a poor food consumption score is high (76.2%) followed by those with a borderline score (19%) and only 4.8% of those with an acceptable score after the assistance of the Ditekemena project. Annex 5: Food Consumption Group by Household Status FCS Classification Household Status Displaced Returnees Resident/host family 36 Acceptable 0.0% (0.0%)4 5.4% (4.53%) 3,8% Limit 0.0% (0.0%) 19% (2.72%) 19,7% Poor 100% (100%) 75.6% (92.75%) 76,5% Total 100% 100% 100% Annex 6: Descriptive statistics of the Reduced Coping Strategies Index rCSI Statistic Bootstrapa Bias Standard error 95% of confidence interval Lower Upper N Valid 1078 0 0 1078 1078 Missing 0 0 0 0 0 Average 14.6800 0.0038 0.3486 14.0074 15.3432 Median 13.0000 0.3720 0.6099 12.0000 14.0000 Ecart-type 11.40870 0.00553 0.26694 10.91654 11.94473 Minimum 0.00 Maximum 56.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Annex 7: Descriptive statistics of the Reduced Coping Strategies Index by household status Household Status Statistic Bootstrapa Bias Standard Error Confidence interval at 95% Lower Upper Displaced Average 17.1667 -0.0752 1.9374 13.7505 21.3607 Median 15.5000 0.0305 1.7827 13.0000 20.0000 Standard deviation 6.86007 -0.77914 2.11145 2.40414 9.74206 N 12 3 6 19 Interval 25.00 Host family Average 18.2841 -0.0015 0.5338 17.2213 19.3444 Median 16.0000 0.1605 0.5739 15.0000 17.0000 Standard deviation 10.05713 -0.03372 0.45805 9.10976 10.92687 44 ( ) Baseline value 37 N 345 15 316 376 Interval 48.00 Returnee Average 12.9140 -0.0152 0.4310 12.0878 13.7217 Median 11.0000 -0.3215 0.5676 10.0000 12.0000 Standard deviation 11.67052 -0.00958 0.34611 10.97032 12.31828 N 721 15 691 751 Interval 56.00 Total Average 14.6800 -0.0107 0.3425 13.9816 15.3798 Median 13.0000 0.3530 0.6167 12.0000 14.0000 Standard deviation 11.40870 -0.00821 0.27797 10.83532 11.92865 N 1078 0 0 1078 1078 Interval 56.00 a. Unless otherwise stated, bootstrap results are based on 1000 bootstrap samples Annex 8: Comparison of rCSI means by household status (ANOVA test) ANOVA Table Sum of Squares df Mean of Squares F Significance rCSI * Household Status Inter￾groups Combined 6804.090 2 3402.045 27.420 0.000 Intra-class 133376.498 1075 124.071 Total 140180.587 1077 38 Annex 9: Groupe de discussion – Groupe de femmes bénéficiaires I. Identification Aire de santé Village # de Femmes # de Hommes Date de discussion Discussion conduit par Notes prises par Message d’introduction Je m’appelle [votre nom], enquêteur/enquêtrice indépendant engagé par CRS. Nous menons une évaluation sur le projet DITEKEMENA réalisé par CRS/Caritas. L’objectif de l’évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale des activités du projet. L’évaluation s’appuie sur un questionnaire administré auprès des ménages; des discussions de groupe avec quelques groupes communautaires notamment avec celui des vendeurs et des entretiens avec quelques parties prenantes à ce projet. Nous voudrions vous poser quelques questions et comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité des interventions de CRS. Vos réponses sont anonymes et n’affecteront pas votre relation avec ce projet. Vous avez le droit, à tout moment, de quitter la discussion si vous le souhaitez. Nous ne divulguerons aucune information reçue de ce groupe. Les données collectées lors de cette discussion seront analysées et les conclusions seront partagées avec le bailleur de fonds du projet, USAID/BHA. Notre discussion durera environ 30 minutes. Avez-vous des questions ? II. Consentement Tous les participants acceptent à participer [ ] Oui [ ] Non III. Questions de discussion Objectifs et pertinence • Quelles sont les raisons que CRS et Caritas ont avancées pour le projet DITEKEMENA ? • Quels étaient les besoins urgents de la communauté au moment de l’intervention ? • Quelles sont les activités que CRS et Caritas à travers le projet DITEKEMENA ont entreprises pour assister les ménages de ce site/village ? • L'assistance a-t-elle répondu aux besoins urgents de la communauté au moment de l’intervention? o Si oui, à quels besoins le projet a-t-il répondu? o Si non, quelle assistance était plus pertinente pour répondre à ces besoins? Mise en œuvre du projet Ciblage - Comment s’était déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? - Quels aspects de l’organisation du ciblage avez-vous apprécié ? Ditekemena – Evaluation Finale 39 o Pourquoi ? - Quels sont les aspects de l’organisation du ciblage dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? - Qu’est-ce que CRS pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 0. Comment s’était déroulée la mobilisation dans le village ? 1. Avez-vous trouvé la mobilisation du projet efficace ? 2. Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous appréciés ? a. Pourquoi ? 4. Quels sont les aspects de la mobilisation qui devraient être améliorés pour plus d’implication des habitants du village ? a. Pourquoi ? 5. Avez-vous trouvé la communication de CRS à la hauteur des attentes de la population ? 6. Qu’est-ce qui vous a frustré dans la communication du projet ? a. Pourquoi? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 7. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? a. Pourquoi ? 8. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? a. Pourquoi ? 9. Qu’est-ce que CRS pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 10. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? a. Pourquoi ? 11. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? a. Pourquoi ? 12. Qu’est-ce que CRS pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 13. Quels aspects de l’organisation des distributions avez-vous apprécié ? a. Pourquoi? 14. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? a. Pourquoi? 15. Qu’est-ce que CRSpourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 16. A votre avis, serait-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? a. Pourquoi ? Plaintes et réclamations 0. Est-ce que quelqu’un du projet vous avait-il informé du canal par lequel introduire sa plainte/réclamation en cas de nécessité ? 1. Avez-vous trouvé ce canal réactif et capable de répondre à vos plaintes ? Ditekemena – Evaluation Finale 40 2. Comment vos réclamations ont été traitées ? 3. Quelles suggestions avez-vous pour améliorer le traitement des plaintes/réclamations ? Effets sur le marché local 4. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : b. Une augmentation du prix des biens et services dans le village : Pourquoi ? c. Une baisse de prix des biens et services dans le village : Pourquoi ? d. Des conflits au sein d'un même ménage : Pourquoi ? e. De la sérénité dans les ménages : Pourquoi ? f. Des conflits ouverts entre voisins : Pourquoi ? g. Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? h. Autre : à préciser et dire pourquoi ? 5. Existe-t-il des conflits particuliers entre le staff du projet "Ditekemena" et la population? a. Oui ou Non ? b. Si oui, ces conflits sont dus à quoi? 6. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Impact sur les groupes particuliers surtout les femmes 7. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? a. Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 8. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de :  Ciblage : Pourquoi ?  Mobilisation et implication communautaire : Pourquoi ?  Réclamation : Pourquoi ?  Transfert : Pourquoi ? Formations agricoles 9. Quels aspects de l’organisation des formations sur l’agriculture avez-vous apprécié ? a. Pourquoi ? 10. Quels sont les aspects de la formation dont vous n’étiez pas satisfait ? a. Pourquoi vous n’étiez pas satisfait ? 11. Qu’est-ce que CRS pourrait faire pour améliorer l’organisation des formations dans l’avenir? Leçons apprises 12. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 13. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciés? a. Pourquoi ? 14. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? a. Si oui, lesquels ? b. Si non, pourquoi ? 15. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures barrières lors des activités du projet dans votre village ? a. Si non, que s’est-il passé ? 16. Avez-vous été consulté lors de l'élaboration du projet "Ditekemena"? 17. Connaissez-vous les axes prioritaires du projet "Diketemena"? Ditekemena – Evaluation Finale 41 18. Pensez-vous que ces axes ou composantes du projet étaient pertinents? a. Le ciblage : pourquoi ? b. La mobilisation et l’implication de la communauté : pourquoi ? c. La communication : pourquoi ? d. Le transfert : pourquoi ? e. Les réclamations : pourquoi ? 19. Quelle activité avez-vous trouvé : a. Inadaptée par rapport à votre milieu : Pourquoi? b. Choquant vis-à-vis de vos coutumes : Pourquoi ? 20. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? a. Lors du ciblage : pourquoi ? b. Lors de la mobilisation et implication de la communauté : pourquoi ? c. Lors des communications du projet : pourquoi ? d. Lors du transfert : pourquoi ? e. Lors des réclamations : pourquoi ? 21. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Impact 22. D'après vous, comment le projet a-t-il changé les vies des bénéficiaires d'assistance de façon positive?  Spécifiquement, comment le projet a-t-il changé les vies des femmes du village de façon positive?  Spécifiquement, comment le projet a-t-il changé les vies des enfants du village de façon positive?  Spécifiquement, comment le projet a-t-il changé les vies des personnes âgées du village de façon positive?  Spécifiquement, comment le projet a-t-il changé les vies des personnes en situation de handicap du village de façon positive? 23. Le projet a-t-il affecté les vies de femmes du village de façon négative?  Si oui, comment? 24. Le projet a-t-il affecté les vies des enfants du village de façon négative?  Si oui, comment? 25. Le projet a-t-il affecté les vies des personnes âgées du village de façon négative?  Si oui, comment? 26. Le projet a-t-il affecté les vies des personnes en situation de handicap du village de façon négative?  Si oui, comment? 27. Pensez-vous qu'il existe d’autres groupes particuliers qui ont été défavorisés par ce projet? Lesquels ?  Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 28. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de :  Ciblage : Pourquoi ?  Mobilisation et implication communautaire : Pourqoui ?  Réclamation : Pourquoi ?  Transfert : Pourquoi ? Plus important changement 29. Dans l’ensemble, quel était le changement le plus important que vous avez constaté suite aux activités du projet dans le village ?  Combien de temps durera ce changement ? Ditekemena – Evaluation Finale 42 Ne pas nuire/Protection 30. Le projet a-t-il crée des risques sécuritaires pour votre communauté?  Si oui, que s'est-il passé?  Que pouvait faire le projet pour éviter ce risque dans l’avenir? 31. Le projet a-t-il créé du conflit au sein de la communauté?  Si oui, qu'est-ce que s'est passé?  Que pouvait faire le projet pour éviter ce type de conflit? 32. Le projet a-t-il affecté les prix sur le marché?  Si oui, que s'est-il passé? Et quelle était la durée de cet effet? Perspective pour la suite 33. Quels sont les défis auxquels vous êtes confrontés actuellement?  Comment prévoyez-vous de les relever ou de faire face aux défis? Recommandations 34. Avez-vous d’autres recommandations pour améliorer la mise en œuvre du projet ?  Si oui, lesquelles ? Questions 35. Avez-vous des questions sur l’évaluation ou sur d’autres aspects que je peux partager avec CRS/Caritas ?  Si oui, lesquelles ? Ditekemena – Evaluation Finale 43 Annex 10: Guide : Groupe de discussion – Vendeurs n’ayant pas participé I. Identification Village/Ville d’entretien # de vendeur - Femmes # de vendeur - Hommes Genre Date de discussion Entretien conduit par Notes prisés par Message d’introduction Je m’appelle [votre nom], je suis un enquêteur/enquêtrice engagé(e) par CRS. Nous menons une évaluation sur le projet DITEKEMENA réalisé par CRS/Caritas. L’objectif de l’évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale des activités du projet. L’évaluation s’appuie sur un questionnaire administré auprès des ménages; des discussions de groupe avec quelques groupes communautaires notamment avec celui des vendeurs et des entretiens avec quelques parties prenantes à ce projet. Nous voudrions vous poser quelques questions et nous comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité de nos interventions. Vos réponses sont anonymes et n’affecteront pas votre relation avec ce projet. Vous avez le droit, à tout moment, de quitter la discussion si vous le souhaitez. Nous ne divulguerons aucune information reçue de ce groupe. Les données collectées lors de cette discussion seront analysées et les conclusions seront partagées avec le bailleur du fonds du projet, USAID/BHA. Notre discussion durera environ 30 minutes. Avez-vous des questions ? II. Consentement Tous acceptent à participer [ ] Oui [ ] Non III. Questions de discussion Avant la foire 1. Comment étiez-vous entré en contact avec CRS/Caritas initialement en tant que vendeur ? 2. Quelle information aviez-vous reçu sur le processus de contractualisation avec CRS en tant que vendeur de foire? 1. L’information était-elle suffisante? 2. Si non, quelle information additionnelle voudriez-vous recevoir? 3. De quel accompagnement avez-vous bénéficié de CRS/Caritas avant l’organisation de foire(s) ? 1. Etait-elle suffisante l'accompagnement que vous avez reçu au cours de la préparation pour la foire(s)? 2. Si non, comment CRS/Caritas pouvait mieux vous accompagner au cours de la préparation pour la foire ? Ditekemena – Final Evaluation 44 4. Avez-vous rencontrés des difficultés particulières dans la préparation pour la foire ? 1. Si oui, lesquelles ? 2. Comment avez-vous les résolus? Exécution des foires 5. Comment appréciez-vous le site (s) choisi (s) pour la foire (s) auxquels vous-avez participé ? 1. Quels étaient les avantages ? 2. Quelles étaient les inconvenances ? 6. Comment appréciez-vous l’aménagement du site(s) de foire ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer l’aménagement de sites de foire dans l’avenir ? 7. Comment appréciez-vous l’accompagnement des bénéficiaires par le staff du CRS/Caritas lors de la foire ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer l’accompagnement des bénéficiaires par le staff du CRS/Caritas lors de la foire dans l’avenir ? 8. Avez-vous rencontré des problèmes particuliers lors de la foire ? 1. Si oui, lesquelles ? 2. Comment avez-vous les résolue le problème ou problèmes ? 9. Comment appréciez-vous le soutien que vous-avez reçu du staff CRS/Caritas lors de la foire ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer le soutien fournit par CRS/Caritas aux vendeurs lors de la foire? 10. Comment appréciez-vous l’efficacité du processus de réconciliation des coupons quotidienne ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations vous donneriez pour rendre la réconciliation des coupons plus efficace dans l’avenir? Après la foire 11. Avez-vous rencontré des problèmes particuliers après la foire ? 1. Si oui, lesquelles ? 2. Comment avez-vous les résolue le problème ou problèmes ? 12. Avez-vous reçu vous paiement à temps ? 1. Si non, que s’est-il passé? 2. Si non, quelles actions CRS a-t-il entreprises pour regeler le problème ? 13. Avez-vous rencontré des problèmes avec la banque pour avoir votre paiement ? 1. Si oui, que s’est-il passé ? 2. Comment avez-vous résolu le problème ou problèmes ? Mise en œuvre du projet Identification - Comment s’été déroulé l’identification dans le village ? Ditekemena – Final Evaluation 45 - Avez-vous trouvé l’identification juste et honnête ? o Pourquoi ? - Quelles sont les aspects de l’organisation de l’identification que vous n’avez pas appréciée ? o Pourquoi ? - Qu’est-ce que le projet pourrait faire pour améliorer l’organisation de l’identification dans l’avenir? Enregistrement 1. Comment s’été déroulé l’enregistrement dans le village ? 2. Avez-vous trouvé l’enregistrement juste et honnête ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation de l’enregistrement que vous n’avez pas appréciée ? o Pourquoi ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation de l’enregistrement dans l’avenir? Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 1. Comment s’était déroulée la mobilisation dans le village ? 2. Avez-vous trouvé la mobilisation du projet efficace ? Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous apprécié ? o Pourquoi ? o Quelles sont les aspects de la mobilisation devraient être améliorés pour plus d’implication des habitants du village ? o Pourquoi vous n’étiez pas satisfait ? 4. Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ? 5. Qu’est-ce qui vous a frustré dans la communication du projet ? o Pourquoi cette communication vous a-t-elle frustré ? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? Ditekemena – Final Evaluation 46 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 1. Quels aspects de l’organisation des distributions de avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? o Pourquoi ? Plaintes et réclamations 1. Est-ce que quelqu’un du projet vous avait-il informé de la personne auprès de laquelle se plaindre en cas de nécessité ? 2. Quelle personne vous a-t-on indiqué comme point de réclamation ? 3. Avez-vous trouvé cette personne réactive et capable de répondre à vos plaintes ? 4. Comment vos réclamations ont été traitées ? 5. Quelles suggestions avez-vous pour améliorer : o Le traitement des plaintes ? o Le traitement des réclamations ? Effets sur le marché local 1. Après les foires, avez-vous continué à vendre dans les mêmes villages ? Oui ou non ; 2. Si non, est-ce que vos ventes ont : o Augmenté après les foires : Pourquoi ? ; o Gardé le même niveau que pendant les foires : Pourquoi ? ; o Baissé après les foires : Pourquoi ? 3. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : o Une augmentation du prix des biens et services dans le village : Pourquoi ? o Des conflits au sein d'un même ménage : Pourquoi ? o De la sérénité dans les ménages : Pourquoi ? o Des conflits ouverts entre voisins : Pourquoi ? o Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? o Autre : à préciser et dire pourquoi ? 4. Existe-t-il des conflits particuliers entre le projet "Diketemena" et la population? o Oui ou Non ? o Si oui, ces conflits sont dus à quoi? 5. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Attentes de la population sur le projet « Ditekemena » 1. Qu’attendiez-vous personnellement du projet "Diketemena"? 2. Vos attentes étaient-elles satisfaites? o Si non, pourquoi? Ditekemena – Final Evaluation 47 3. Pensez-vous que vos membres de famille nourrissaient les mêmes attentes vis-à-vis de ce projet? 4. Si non, dire pourquoi? 5. Pourriez-vous recommander que le même projet soit reconduit? o Si non, pourquoi? 6. Quelle composante du projet "Diketemena" vous a-t-elle le plus déçu? o Quelles améliorations proposeriez-vous pour améliorer cette composante ? Impact sur les groupes particuliers surtout les femmes 1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? o Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 2. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de : o L’identification des familles vulnérables : Pourquoi ; o L’enregistrement : Pourquoi ? ; o Ciblage : Pourquoi ? o Mobilisation et implication communautaire : Pourqoui ? o Réclamation : Pourquoi ? o Transfert : Pourquoi ? 3. Que pouvez-vous proposer pour que le projet soit le plus inclusif possible? Impact et appréciation globale 1. Votre participation aux foires a-t-elle conduit à des conséquences positives pour vos entreprises ou vos familles ? o Si oui, lesquelles ? 2. Le projet a-t-il eu un effet sur l’organisation de votre entreprise? o Si oui, quel était l’effet ? Comment s’est évolué votre entreprise a travers le projet ? 3. Votre participation aux foires a-t-elle conduit à de conséquences négatives pour vos entreprises ou vos familles ? o Si oui, lesquelles ? o Comment CRS pourrait éviter ou minimiser ces conséquences dans l’avenir ? 4. Participeriez-vous aux des foires pareilles organisées par CRS/Caritas dans l’avenir ? o Si non, pourquoi ? Leçons apprises 1. Comment ont-ils CRS et Caritas expliqué le risque posé par COVID-19 aux ménages de votre village ? 2. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 3. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 4. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 5. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? o Si oui, lesquels ? o Si oui, les changements se persistent ? Ditekemena – Final Evaluation 48 o Si non, pourquoi ? 6. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures de barrières lors des activités du projet dans votre village ? o Si non, que s’est-il passé ? 7. Avez-vous été consulté lors de l'élaboration du projet "Diketemena"? 8. Connaissez-vous les axes prioritaires du projet "Diketemena"? 9. Pensez-vous que ces axes ou composantes du projet étaient pertinents? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 10. Quelle activité avez-vous trouvé : o Inadaptée par rapport à votre milieu : Pourquoi? o Choquant vis-à-vis de vos coutumes : Pourquoi ? 11. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 12. En quoi estimez-vous ce projet particulier? 13. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Recommandations 1. Avez-vous des autres recommandations pour améliorer la façon de travail du projet ? o Si oui, lesquelles ? Questions 2. Avez-vous des questions sur l’évaluation ou des autres questions que je peux partager avec CRS/Caritas ? o Si oui, lesquelles ? Ditekemena – Final Evaluation 49 Annex 11: Groupe de discussion – Vendeurs I. Identification Village/Ville d’entretien # de vendeur - Femmes # de vendeur - Hommes Genre Date de discussion Entretien conduit par Notes prises par Message d’introduction Je m’appelle [votre nom], je suis un enquêteur/enquêtrice engagé(e) par CRS. Nous menons une évaluation sur le projet DITEKEMENA réalisé par CRS/Caritas. L’objectif de l’évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale des activités du projet. L’évaluation s’appuie sur un questionnaire administré auprès des ménages; des discussions de groupe avec quelques groupes communautaires notamment les vendeurs et des entretiens avec quelques parties prenantes à ce projet. Nous voudrions vous poser quelques questions et nous comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité de nos interventions. Vos réponses sont anonymes et n’affecteront pas votre relation avec ce projet. Vous avez le droit, à tout moment, de quitter la discussion si vous le souhaitez. Nous ne divulguerons aucune information reçue de ce groupe. Les données collectées lors de cette discussion seront analysées et les conclusions seront partagées avec le bailleur du fonds du projet, USAID/BHA. Notre discussion durera environ 30 minutes. Avez-vous des questions ? II. Consentement Tous acceptent à participer [ ] Oui [ ] Non III. Questions de discussion Avant la foire 1. Connaissiez-vous CRS/Caritas avant l’organisation des foires ? 2. Que connaissiez-vous de CRS/Caritas ? 3. Auprès de qui aviez-vous obtenu cette information ? 4. Etiez-vous déçu en participant aux activités organisées par CRS/Caritas ? o Si oui, pourquoi ? Exécution des foires 1. Comment appréciez-vous le site(s) choisi(s) pour la foire(s) auxquels vous-avez participé ? o Quels étaient les avantages ? o Quelles étaient les inconvénients ? 2. Comment appréciez-vous l’aménagement du site(s) de la foire ? DITEKEMENA – Final Evaluation 50 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer l’aménagement de sites de foire dans l’avenir ? 3. Comment appréciez-vous l’accompagnement des bénéficiaires par le staff du CRS/Caritas lors de la foire ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer l’accompagnement des bénéficiaires par le staff du CRS/Caritas lors de la foire dans l’avenir ? 4. Avez-vous rencontré des problèmes particuliers lors de la foire ? 1. Si oui, lesquelles ? 2. Comment avez-vous les résolue le problème ou problèmes ? 5. Comment appréciez-vous le soutien que vous-avez reçu du staff CRS/Caritas lors de la foire ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations donneriez-vous pour améliorer le soutien fournit par CRS/Caritas aux vendeurs lors de la foire? 6. Comment appréciez-vous l’efficacité du processus de réconciliation des coupons quotidienne ? 1. Quels étaient les aspects forts ? 2. Quels étaient les aspects faibles? 3. Quelles recommandations vous donneriez pour rendre la réconciliation des coupons plus efficace dans l’avenir? Après la foire 1. Avez-vous rencontré des problèmes particuliers après la foire ? 1. Si oui, lesquelles ? 2. Comment avez-vous les résolue le problème ou problèmes ? 2. Avez-vous reçu vous paiement à temps ? 1. Si non, que s’est-il passé? 2. Si non, quelles actions CRS a-t-il entreprises pour regeler le problème ? 3. Avez-vous rencontré des problèmes avec la banque pour avoir votre paiement ? 1. Si oui, que s’est-il passé ? 2. Comment avez-vous résolu le problème ou problèmes ? Mise en œuvre du projet Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 1. Comment s’était déroulée la mobilisation dans le village ? 2. Avez-vous trouvé la mobilisation du projet efficace ? Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous apprécié ? DITEKEMENA – Final Evaluation 51 o Pourquoi ? 4. Quelles sont les aspects de la mobilisation devraient être améliorés pour plus d’implication des habitants du village ? o Pourquoi vous n’étiez pas satisfait ? 5. Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ? 6. Qu’est-ce qui vous a frustré dans la communication du projet ? o Pourquoi cette communication vous a-t-elle frustré ? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 1. Quels aspects de l’organisation des distributions de avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? o Pourquoi ? Plaintes et réclamations 1. Est-ce que quelqu’un du projet vous avait-il informé de la personne auprès de laquelle se plaindre en cas de nécessité ? 2. Quelle personne vous a-t-on indiqué comme point de réclamation ? 3. Avez-vous trouvé cette personne réactive et capable de répondre à vos plaintes ? 4. Comment vos réclamations ont été traitées ? 5. Quelles suggestions avez-vous pour améliorer : o Le traitement des plaintes ? o Le traitement des réclamations ? Effets sur le marché local 1. Après les foires, avez-vous continué à vendre dans les mêmes villages ? Oui ou non ; 2. Si oui, est-ce que vos ventes ont : DITEKEMENA – Final Evaluation 52 o Augmenté après les foires : Pourquoi ? ; o Gardé le même niveau que pendant les foires : Pourquoi ? ; o Baissé après les foires : Pourquoi ? 3. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : o Une augmentation du prix des biens et services dans le village : Pourquoi ? o Une baisse de prix des biens et services dans le village : Pourquoi ? o Des conflits au sein d'un même ménage : Pourquoi ? o De la sérénité dans les ménages : Pourquoi ? o Des conflits ouverts entre voisins : Pourquoi ? o Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? o Autre : à préciser et dire pourquoi ? 4. Existe-t-il des conflits particuliers entre le projet "Ditekemena" et la population? o Oui ou Non ? o Si oui, ces conflits sont dus à quoi? 5. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Impact sur les groupes particuliers surtout les femmes 1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? o Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 2. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de : o L’identification des familles vulnérables : Pourquoi ; o L’enregistrement : Pourquoi ? ; o Ciblage : Pourquoi ? o Mobilisation et implication communautaire : Pourqoui ? o Réclamation : Pourquoi ? o Transfert : Pourquoi ? 3. Que pouvez-vous proposer pour que le projet soit le plus inclusif possible? Impact et appréciation globale 1. Votre participation aux foires a-t-elle conduit à des conséquences positives pour vos entreprises ou vos familles ? o Si oui, lesquelles ? 2. Le projet a-t-il eu un effet sur l’organisation de votre entreprise? o Si oui, quel était l’effet ? Comment s’est évolué votre entreprise a travers le projet ? 3. Votre participation aux foires a-t-elle conduit à de conséquences négatives pour vos entreprises ou vos familles ? o Si oui, lesquelles ? o Comment CRS pourrait éviter ou minimiser ces conséquences dans l’avenir ? 4. Participeriez-vous aux des foires pareilles organisées par CRS/Caritas dans l’avenir ? o Si non, pourquoi ? Leçons apprises 1. Comment ont-ils CRS et Caritas expliqué le risque posé par COVID-19 aux ménages de votre village ? DITEKEMENA – Final Evaluation 53 2. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 3. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 4. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 5. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? o Si oui, lesquels ? o Si oui, les changements se persistent ? o Si non, pourquoi ? 6. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures de barrières lors des activités du projet dans votre village ? o Si non, que s’est-il passé ? 7. Avez-vous été consulté lors de l'élaboration du projet "Diketemena"? 8. Connaissez-vous les axes prioritaires du projet "Diketemena"? 9. Pensez-vous que ces axes ou composantes du projet étaient pertinents? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 10. Quelle activité avez-vous trouvé : o Inadaptée par rapport à votre milieu : Pourquoi? o Choquant vis-à-vis de vos coutumes : Pourquoi ? 11. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 12. En quoi estimez-vous ce projet particulier? 13. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Recommandations 1. Avez-vous des autres recommandations pour améliorer la façon de travail du projet ? o Si oui, lesquelles ? Questions 2. Avez-vous des questions sur l’évaluation ou des autres questions que je peux partager avec CRS/Caritas ? o Si oui, lesquelles ? DITEKEMENA – Final Evaluation 54 Annex 12 : Guide d’entretien : Informateur clé – Infirmier titulaire I. Identification Aire de santé Village # de Femmes # de Hommes # staff de CSCOM # relais communautaires Date d’entretien Entretien conduit par Notes prises par Message d’introduction Je m’appelle [votre nom]. Je suis enquêteur/enquêtrice engagé(e) par CRS. Nous participons à l’évaluation du projet DITEKEMENA dans certains villages qui ont bénéficié de l’assistance réalisé par CRS/Caritas. L’objectif de cette évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale de ses activités. L’évaluation s’appuie sur l’administration d’un questionnaire auprès des ménages; l’animation des discussions de groupe au sein de groupes communautaires et la conduite d’entretiens parmi les parties prenantes du projet. Nous voudrions vous poser quelques questions et nous comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité de nos interventions. Vos réponses sont anonymes et n’affecteront pas votre relation avec le projet. Vous avez le droit d’arrêter l’entretien si vous le souhaiter. Nous ne divulguerons aucune information reçue de vous. Les données collectées au cours de cet entretien seront analysées et les conclusions seront partagées avec le bailleur de fonds du projet, USAID/BHA. Notre conversation durera environ 45 minutes. Avez-vous des questions ? II. Consentement La personne accepte de participer [ ] Oui [ ] Non III. Questions de discussion Objectifs et contexte 3. Etiez-vous impliqué dans le projet DITEKEMENA ? 1. Si oui, comment ? Dans quelles activités étiez-vous impliqué? 2. Si non, qu’est-ce que vous savez sur les objectifs et les activités du projet ? **Donner un bref résumé du projet si nécessaire ** Conception du projet 4. Pensez-vous que les activités étaient à la hauteur des objectifs du projet "Diketemena"? o Si "oui" : pourquoi? Et si "non": pourquoi? 5. Est-ce que la structure mise en place par le projet « Diketemena » vous a facilité l'accès aux services proposés par le projet? Ditekemena – Final Evaluation 55 o Oui ou non. o Si non, pourquoi? 6. Est-ce que tous les habitants de votre village ont bénéficié de l'aide apportée par le projet "Diketemena"? o Oui ou Non; o Si non, pourquoi ? 7. Qu'avez-vous reçu du projet "Diketemena"? 8. Etiez-vous satisfait(e) de ce que vous aviez reçu? o Oui ou Non ; o Si non : pourquoi étiez-vous insatisfait(e) ? 9. Il y a-t-il eu des mécontents dans votre famille vis-à-vis de l'aide apportée par le projet "Diketemena" ? o Si oui, pourquoi? 10. Pensez-vous que tout ce qui était distribué dans le cadre du projet était suivi? o Oui ou non ? o Si non : Pourquoi non ? 11. Est-ce que la malnutrition a diminué au sein de votre aire de responsabilité ? o Oui ou Non ; o Si non : qu’est-ce que le projet aurait pu faire pour améliorer la situation ? 12. Décrivez, s’il vous plaît, la situation en matière de la malnutrition dans votre zone de responsabilité… 1. Quel est le taux de prévalence de Malnutrition Aiguë Globale normalement ? 2. Quel est le taux de prévalence de Malnutrition Aiguë Sévère normalement ? 3. Quelles sont les catégories de ménages le plus souvent affectés par la malnutrition? 4. Quel sont les causes ou facteurs les plus communes qui conduisent à la malnutrition dans votre zone de responsabilité ? 5. A quelle assistance les ménages peuvent-ils accéder au niveau de l’aire de santé s’il y a un cas de malnutrition dans le ménage? 6. Quels sont les facteurs qui empêchent les ménages d’accéder aux soins ? 13. Comment appréciez-vous la situation dans votre zone de responsabilité en matière de la malnutrition avant l’intervention du projet DITEKEMENA? 1. La situation était-elle typique pour cette période de l’année ? 2. Si non, comment la situation s’est-elle distinguée de la normale ? Mise en œuvre du projet Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 1. Comment s’était déroulée la mobilisation dans le village ? Ditekemena – Final Evaluation 56 2. Avez-vous trouvé la mobilisation du projet efficace ? Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous apprécié ? o Pourquoi ? 4. Quelles sont les aspects de la mobilisation devraient être améliorés pour plus d’implication des habitants du village ? o Pourquoi vous n’étiez pas satisfait ? 5. Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ? 6. Qu’est-ce qui vous a frustré dans la communication du projet ? o Pourquoi cette communication vous a-t-elle frustré ? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 1. Quels aspects de l’organisation des distributions de avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? o Pourquoi ? Plaintes et réclamations 1. Est-ce que quelqu’un du projet vous avait-il informé de la personne auprès de laquelle se plaindre en cas de nécessité ? 2. Quelle personne vous a-t-on indiqué comme point de réclamation ? 3. Avez-vous trouvé cette personne réactive et capable de répondre à vos plaintes ? 4. Comment vos réclamations ont été traitées ? 5. Quelles suggestions avez-vous pour améliorer : o Le traitement des plaintes ? o Le traitement des réclamations ? Changement et impact du projet Ditekemena – Final Evaluation 57 1. Comment appréciez-vous la situation dans votre zone de responsabilité en matière de la malnutrition maintenant ? 1. Y avait-l des changements importants ou en dehors de les changements normaux au cours de l’année ? Si oui, lesquels ? 2. S’il y avait des changements importants, quelles sont les raisons pour ces changements ? 3. Le projet DITEKEMENA a-t-l contribué aux changements ? 4. Si oui, dans quelle mesure ? 5. Si oui, comment les changements se sont-ils manifestés ? 6. Si oui, combien de temps dureront ces changements ? L’impact du projet sera-il durable ? 2. Le projet DITEKEMENA a-t-l eu des effets négatifs en matière de la malnutrition ? o Si oui, que s'est-il passé? o Si oui, les conséquences négatives affectent-elles qui principalement ? o Pourquoi ces personnes sont-elles les plus affectées ? 3. Le projet DITEKEMENA a-t-l eu des effets négatifs en matière de santé en général ? o Si oui, que s'est-il passé? o Si oui, les conséquences négatives affectent-elles qui principalement ? o Pourquoi ces personnes sont-elles les plus affectées ? Effets sur le marché local 1. Après les foires, avez-vous continué à vendre dans les mêmes villages ? Oui ou non ; 2. Si non, est-ce que vos ventes ont : o Augmenté après les foires : Pourquoi ? ; o Gardé le même niveau que pendant les foires : Pourquoi ? ; o Baissé après les foires : Pourquoi ? 3. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : o Une augmentation du prix des biens et services dans le village : Pourquoi ? o Des conflits au sein d'un même ménage : Pourquoi ? o De la sérénité dans les ménages : Pourquoi ? o Des conflits ouverts entre voisins : Pourquoi ? o Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? o Autre : à préciser et dire pourquoi ? 4. Existe-t-il des conflits particuliers entre le projet "Diketemena" et la population? o Oui ou Non ? o Si oui, ces conflits sont dus à quoi? 5. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Attentes de la population sur le projet « Ditekemena » 1. Qu’attendiez-vous personnellement du projet "Diketemena"? 2. Vos attentes étaient-elles satisfaites? o Si non, pourquoi? 3. Pensez-vous que vos membres de famille nourrissaient les mêmes attentes vis-à-vis de ce projet? 4. Si non, dire pourquoi? 5. Pourriez-vous recommander que le même projet soit reconduit? Ditekemena – Final Evaluation 58 o Si non, pourquoi? 6. Quelle composante du projet "Diketemena" vous a-t-elle le plus déçu? o Quelles améliorations proposeriez-vous pour améliorer cette composante ? Impact sur les groupes particuliers surtout les femmes 1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? o Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 2. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de : o L’identification des familles vulnérables : Pourquoi ; o L’enregistrement : Pourquoi ? ; o Ciblage : Pourquoi ? o Mobilisation et implication communautaire : Pourqoui ? o Réclamation : Pourquoi ? o Transfert : Pourquoi ? 3. Que pouvez-vous proposer pour que le projet soit le plus inclusif possible? Pertinence 4. De façon générale, trouvez-vous que le projet est pertinent, compte tenu de besoins dans votre zone de responsabilité ? o Si non, pourquoi ? o Si non, quels besoins urgents le projet devait-il ou devrait-il adresser? Leçons apprises 1. Comment ont-ils CRS et Caritas expliqué le risque posé par COVID-19 aux ménages de votre village ? 2. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 3. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 4. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 5. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? o Si oui, lesquels ? o Si oui, les changements se persistent ? o Si non, pourquoi ? 6. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures de barrières lors des activités du projet dans votre village ? o Si non, que s’est-il passé ? 7. Avez-vous été consulté lors de l'élaboration du projet "Diketemena"? 8. Connaissez-vous les axes prioritaires du projet "Diketemena"? 9. Pensez-vous que ces axes ou composantes du projet étaient pertinents? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? Ditekemena – Final Evaluation 59 o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 10. Quelle activité avez-vous trouvé : o Inadaptée par rapport à votre milieu : Pourquoi? o Choquant vis-à-vis de vos coutumes : Pourquoi ? 11. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 12. En quoi estimez-vous ce projet particulier? 13. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Recommandations 1. Qu’est-ce que CRS/Caritas pourrait faire pour améliorer l’impact du projet en matière de la malnutrition ? 2. Qu’est-ce que CRS/Caritas pourrait faire pour améliorer la durabilité d’impact du projet en matière de la malnutrition ? 3. Qu’est-ce que CRS/Caritas pourrait faire pour réduire le risque de transmission de COVID-19 lié aux activités du projet ? 4. Avez-vous des autres recommandations que CRS/Caritas peuvent considère pour améliorer ces activités dans l’avenir ? Si oui, lesquelles ? Questions 5. Avez-vous des questions sur l’évaluation ou des autres questions que je peux partager avec CRS/Caritas ? Si oui, lesquelles ? Ditekemena – Final Evaluation 60 Annex 13 : Guide d’entretien : Informateur Clé – Leader Communautaire I. Identification Aire de santé Village # de Femmes # de Hommes Date d’entretien Entretien conduit par Notes prises par Message d’introduction Je m’appelle [votre nom]. Je suis enquêteur/enquêtrice engagé(e) par CRS. Nous participons à l’évaluation du projet DITEKEMENA dans certains villages qui ont bénéficié de l’assistance réalisé par CRS/Caritas. L’objectif de cette évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale de ses activités. L’évaluation s’appuie sur l’administration d’un questionnaire auprès des ménages; l’animation des discussions de groupe au sein de groupes communautaires et la conduite d’entretiens parmi les parties prenantes du projet. Nous voudrions vous poser quelques questions et nous comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité de nos interventions. Vos réponses sont anonymes et n’affecteront pas votre relation avec le projet. Vous avez le droit d’arrêter l’entretien si vous le souhaiter. Nous ne divulguerons aucune information reçue de vous. Les données collectées au cours de cet entretien seront analysées et les conclusions seront partagées avec le bailleur de fonds du projet, USAID/BHA. Notre conversation durera environ 45 minutes. Avez-vous des questions ? II. Consentement La personne accepte à participer [ ] Oui [ ] Non Objectifs et pertinence 1. Quelle est la raison que CRS et Caritas ont donnée pour le projet DITEKEMENA ? 2. Quels étaient les besoins urgents de la communauté au moment de l’intervention ? 3. Quelles sont les activités que CRS et Caritas à travers le projet DITEKEMENA ont entreprises pour assister les ménages de ce site/village ? 4. L'assistance a-t-elle adressée les besoins urgents de la communauté au moment de l’intervention? o Si non, quels besoins le projet devait-il adresser? o Si non, dont quelle assistance avait besoin plus les membres de la communauté ? Conception du projet 1. Pensez-vous que les activités étaient à la hauteur des objectifs du projet "Diketemena"? 2. Si "oui" : pourquoi? Et si "non": pourquoi? 3. Est-ce que la structure mise en place par le projet « Diketemena » vous a facilité l'accès aux services proposés par le projet? o Oui ou non. Ditekemena – Final Evaluation 61 o Si non, pourquoi? 4. Est-ce que tous les habitants de votre village ont bénéficié de l'aide apportée par le projet "Diketemena"? o Oui ou Non; o Si non, pourquoi ? 5. Qu'avez-vous reçu du projet "Diketemena"? 6. Etiez-vous satisfait(e) de ce que vous aviez reçu? o Oui ou Non ; o Si non : pourquoi étiez-vous insatisfait(e) ? 7. Il y a-t-il eu des mécontents dans votre famille vis-à-vis de l'aide apportée par le projet "Diketemena" ? o Si oui, pourquoi? 8. Pensez-vous que tout ce qui était distribué dans le cadre du projet était suivi? o Oui ou non ? o Si non : Pourquoi non ? 9. Est-ce que la vulnérabilité a diminué au sein de votre aire de responsabilité ? o Oui ou Non ; o Si non : qu’est-ce que le projet aurait pu faire pour améliorer la situation ? 10. Décrivez, s’il vous plaît, la vulnérabilité des ménages dans les territoires/zones/villages sous votre responsabilité… o Quelles sont les causes de vulnérabilité des ménages ? o A quelle assistance les ménages peuvent accéder un niveau de aire de santé s’il y un cas de malnutrition dans le ménage? o Quels sont les facteurs qui empêchent les ménages d’accéder à une assistance adéquate dans les zones du projet Ditekemena? 11. Qu’est-ce que le projet « Ditekemena » aurait pu faire pour améliorer davantage la situation des ménages dans sa zone d’influence ? 12. Les étapes ci-après auraient pu être améliorées du point de vue de la structuration du projet : o L’identification des ménages les plus vulnérables : Comment ? o L’enregistrement des ménages vulnérables : Comment ? o Le ciblage des bénéficiaires : Comment ? o La mobilisation et l’implication communautaire : Comment ? o Les modalités : Comment ? o Le transfert : Comment ? o Les réclamations et ou plaintes : Comment ? Activités et engagement des parties prenantes 1. Quelle information aviez-vous reçu avant le début des activités de la part de CRS/Caritas? o L’information était-elle suffisante? o Si non, quelle information additionnelle voudriez-vous recevoir? 2. Quelle information avez-vous reçu au cours du projet sur les activités prévues de la part de CRS et Caritas? 1. L’information était-elle suffisante? 2. Si non, quelle information additionnelle voudriez-vous recevoir au cours de la mise en œuvre des activités? o Pourquoi cette information est-elle importante? 3. Quel rôle avez-vous joué dans la mise en œuvre des activités du projet dans votre village ? 4. Dans quelle mesure êtes-vous satisfait dès votre participation dans la mise en œuvre des activités du projet dans votre village ? Ditekemena – Final Evaluation 62 5. Quelles recommandations donneriez-vous pour mieux impliquer les leaders communautaires dans la mise en œuvre des activités du projet? Attentes de la population sur le projet « Ditekemena » 1. Qu’attendiez-vous personnellement du projet "Diketemena"? 2. Vos attentes étaient-elles satisfaites? o Si non, pourquoi? 3. Pensez-vous que vos membres de famille nourrissaient les mêmes attentes vis-à-vis de ce projet? 4. Si non, dire pourquoi? 5. Pourriez-vous recommander que le même projet soit reconduit? o Si non, pourquoi? 6. Quelle composante du projet "Diketemena" vous a-t-elle le plus déçu? o Quelles améliorations proposeriez-vous pour améliorer cette composante ? Mise en œuvre du projet Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 1. Comment s’était déroulée la mobilisation dans le village ? 2. Avez-vous trouvé la mobilisation du projet efficace ? Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous apprécié ? o Pourquoi ? 4. Quelles sont les aspects de la mobilisation devraient être améliorés pour plus d’implication des habitants du village ? o Pourquoi vous n’étiez pas satisfait ? 5. Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ? 6. Qu’est-ce qui vous a frustré dans la communication du projet ? o Pourquoi cette communication vous a-t-elle frustré ? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? Ditekemena – Final Evaluation 63 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 1. Quels aspects de l’organisation des distributions de avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? o Pourquoi ? Plaintes et réclamations 1. Est-ce que quelqu’un du projet vous avait-il informé de la personne auprès de laquelle se plaindre en cas de nécessité ? 2. Quelle personne vous a-t-on indiqué comme point de réclamation ? 3. Avez-vous trouvé cette personne réactive et capable de répondre à vos plaintes ? 4. Comment vos réclamations ont été traitées ? 5. Quelles suggestions avez-vous pour améliorer : o Le traitement des plaintes ? o Le traitement des réclamations ? Impact sur les groupes particuliers surtout les femmes 1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? o Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 2. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de : o L’identification des familles vulnérables : Pourquoi ; o L’enregistrement : Pourquoi ? ; o Ciblage : Pourquoi ? o Mobilisation et implication communautaire : Pourqoui ? o Réclamation : Pourquoi ? o Transfert : Pourquoi ? 3. Que pouvez-vous proposer pour que le projet soit le plus inclusif possible? Effets sur le marché local 1. Après les foires, avez-vous continué à vendre dans les mêmes villages ? Oui ou non ; 2. Si non, est-ce que vos ventes ont : o Augmenté après les foires : Pourquoi ? ; o Gardé le même niveau que pendant les foires : Pourquoi ? ; o Baissé après les foires : Pourquoi ? 3. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : Ditekemena – Final Evaluation 64 o Une augmentation du prix des biens et services dans le village : Pourquoi ? o Des conflits au sein d'un même ménage : Pourquoi ? o De la sérénité dans les ménages : Pourquoi ? o Des conflits ouverts entre voisins : Pourquoi ? o Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? o Autre : à préciser et dire pourquoi ? 4. Existe-t-il des conflits particuliers entre le projet "Diketemena" et la population? o Oui ou Non ? o Si oui, ces conflits sont dus à quoi? 5. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Foires aux vivres (Si le village a participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si le village a participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si le village a participé à une distribution) 1. Quels aspects de l’organisation des distribution(s) avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner de cash? o Pourquoi ? Formations agricoles Ditekemena – Final Evaluation 65 1. Quels aspects de l’organisation des formations sur l’agriculture avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la formation dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des formations dans l’avenir? Leçons apprises 1. Comment ont-ils CRS et Caritas expliqué le risque posé par COVID-19 aux ménages de votre village ? 2. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 3. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 4. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 5. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? o Si oui, lesquels ? o Si oui, les changements se persistent ? o Si non, pourquoi ? 6. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures de barrières lors des activités du projet dans votre village ? o Si non, que s’est-il passé ? 7. Avez-vous été consulté lors de l'élaboration du projet "Diketemena"? 8. Connaissez-vous les axes prioritaires du projet "Diketemena"? 9. Pensez-vous que ces axes ou composantes du projet étaient pertinents? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 10. Quelle activité avez-vous trouvé : o Inadaptée par rapport à votre milieu : Pourquoi? o Choquant vis-à-vis de vos coutumes : Pourquoi ? 11. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 12. En quoi estimez-vous ce projet particulier? 13. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Ditekemena – Final Evaluation 66 Impact 1. D'après vous, comment le projet a-t-il changé les vies des bénéficiaires d'assistance de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des femmes du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des enfants du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des personnes âgées du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des personnes en situation de handicap du village de façon positive? 2. Le projet a-t-il affecté les vies de femmes du village de façon négative? o Si oui, comment? 3. Le projet a-t-il affecté les vies des enfants du village de façon négative? o Si oui, comment? 4. Le projet a-t-il affecté les vies des personnes âgées du village de façon négative? o Si oui, comment? 5. Le projet a-t-il affecté les vies des personnes en situation de handicap du village de façon négative? o Si oui, comment? Plus important changement 1. Dans l’ensemble, quel était le changement le plus important que vous avez constaté suite aux activités du projet dans le village ? o Combien de temps durera ce changement ? Ne pas nuire/Protection 1. Le projet a-t-il crée des risques sécuritaire pour votre communauté? o Si oui, que s'est-il passé? o Que pouvait faire le projet pour éviter ce risque dans l’avenir? 2. Le projet a-t-il crée du conflit au sein de la communauté? o Si oui, qu'est-ce que s'est passé? o Que pouvait faire le projet pour éviter ce type de conflit? 3. Il y avait-il un mécanisme de gestion de plaintes et réclamation mis en place par CRS ? o Si oui, lequel ? o L’avez-vous trouvé efficace ? o Le projet a-t-il crée du conflit avec des communautés voisions? o Si oui, qu'est-ce que s'est passé? 1. Que pouvait faire le projet pour éviter ce type de conflit? 2. Le projet a-t-il affecté les prix sur le marché?  Si oui, que s'est-il passé? Si oui, quelle était la durée de cet effet?  Perspective pour la suite 1. Quels sont les défis auxquels vous êtes confrontés actuellement? o Comment prévoyez-vous de les relever ou de faire face aux défis? Recommandations 2. Avez-vous des autres recommandations pour améliorer la façon de travail du projet ? Ditekemena – Final Evaluation 67 o Si oui, lesquelles ? Questions 1. Avez-vous des questions sur l’évaluation ou des autres questions que je peux partager avec CRS/Caritas ? o Si oui, lesquelles ? Ditekemena – Final Evaluation 68 Annex 15. Guide d’entretien : Informateur Clé – Partie prenante I. Identification Aire de santé Village # de Femmes # de Hommes Date d’entretien Entretien conduit par Notes prises par Message d’introduction Je m’appelle [votre nom]. Je suis enquêteur/enquêtrice engagé(e) par CRS. Nous participons à l’évaluation du projet DITEKEMENA dans certains villages qui ont bénéficié de l’assistance réalisé par CRS/Caritas. L’objectif de cette évaluation est de déterminer si le projet a atteint ses objectifs et d’aboutir ainsi à une appréciation générale de ses activités. L’évaluation s’appuie sur l’administration d’un questionnaire auprès des ménages; l’animation des discussions de groupe au sein de groupes communautaires et la conduite d’entretiens parmi les parties prenantes du projet. Nous voudrions vous poser quelques questions et nous comptons sur votre franchise. Votre participation est facultative mais vos réponses vont nous aider à continuer à améliorer la qualité de nos interventions. Vos réponses sont anonymes et n’affecteront pas votre relation avec le projet. Vous avez le droit d’arrêter l’entretien si vous le souhaiter. Nous ne divulguerons aucune information reçue de vous. Les données collectées au cours de cet entretien seront analysées et les conclusions seront partagées avec le bailleur de fonds du projet, USAID/BHA. Notre conversation durera environ 45 minutes. Avez-vous des questions ? II. Consentement La personne accepte à participer [ ] Oui [ ] Non Ditekemena – Final Evaluation 69 Objectifs et pertinence 2. Quelle est la raison que CRS et Caritas ont donnée pour le projet DITEKEMENA ? 3. Quels étaient les besoins urgents de la communauté au moment de l’intervention ? 4. Quelles sont les activités que CRS et Caritas, à travers le projet DITEKEMENA, ont entreprises pour assister les ménages de ce site/village ? 5. L'assistance a-t-elle adressé les besoins urgents de la communauté au moment de l’intervention? o Si non, quels besoins le projet devait-il adresser? o Si non, de quelle assistance avait besoin plus les membres de la communauté ? Conception du projet 1. Pensez-vous que les activités étaient à la hauteur des objectifs du projet "Diketemena"? o Si "oui" : pourquoi? Et si "non": pourquoi? 2. Est-ce que la structure mise en place par le projet « Diketemena » vous a facilité l'accès aux services proposés par le projet? o Oui ou non. o Si non, pourquoi? 3. Est-ce que tous les habitants de votre village ont bénéficié de l'aide apportée par le projet "Diketemena"? o Oui ou Non; o Si non, pourquoi ? 4. Qu'avez-vous reçu du projet "Diketemena"? 5. Etiez-vous satisfait(e) de ce que vous aviez reçu? o Oui ou Non ; o Si non : pourquoi étiez-vous insatisfait(e) ? 6. Il y a-t-il eu des mécontents dans votre famille vis-à-vis de l'aide apportée par le projet "Diketemena" ? o Si oui, pourquoi? 7. Pensez-vous que tout ce qui était distribué dans le cadre du projet était suivi? o Oui ou non ? o Si non : Pourquoi non ? 8. Avez-vous perçu de l'amélioration dans le service du projet "Diketemena" à cause du suivi des activités ? o Si non, pourquoi ? 9. Vous était-il arrivé de vous plaindre/réclamer pour l'un ou l'autre service du projet ? o Si oui, vous avait-on indiqué la personne auprès de laquelle introduire sa plainte ou sa réclamation ? 10. Avez-vous perçu une bonne coordination des activités du projet au niveau du village ? o Si non, pourquoi ? 11. Avez-vous perçu une bonne coordination des activités du projet au niveau de la province ? o Si non, pourquoi ? 12. Les étapes ci-après auraient pu être améliorées dans leur conception au niveau du projet : o L’identification des ménages les plus vulnérables : Pourquoi ? o L’enregistrement des ménages vulnérables : Pourquoi ? o Le ciblage des bénéficiaires : Pourquoi ? o La mobilisation et l’implication communautaire : Pourquoi ? o La communication du projet : Pourquoi ? o Les modalités : Pourquoi ? o Le transfert : Pourquoi ? o Les réclamations et ou plaintes : Pourquoi ? Ditekemena – Final Evaluation 70 13. Activités et engagement des parties prenantes 1. Quelle information aviez-vous reçu avant le début des activités de la part de CRS/Caritas? o L’information était-elle suffisante? o Si non, quelle information additionnelle voudriez-vous recevoir? 2. Quelle information avez-vous reçu au cours du projet sur les activités prévues de la part de CRS et Caritas? 3. L’information était-elle suffisante? 4. Si non, quelle information additionnelle voudriez-vous recevoir au cours de la mise en œuvre des activités? o Pourquoi cette information est-elle importante? 5. Quel rôle avez-vous joué dans la mise en œuvre des activités du projet dans votre village ? 6. Dans quelle mesure êtes-vous satisfait de votre participation dans la mise en œuvre des activités du projet dans votre village ? 7. Quelles recommandations donneriez-vous pour mieux impliquer les leaders communautaires dans la mise en œuvre des activités du projet? Mise en œuvre du projet Ciblage 1. Comment s’été déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage que dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Mobilisation et communication du projet 1. Comment s’était déroulée la mobilisation dans le village ? 2. Avez-vous trouvé la mobilisation du projet efficace ? Est-ce que les habitants de votre village se sont bien impliqués dans le projet ? 3. Quels aspects de l’organisation de la mobilisation avez-vous apprécié ? o Pourquoi ? 4. Quelles sont les aspects de la mobilisation devraient être améliorés pour plus d’implication des habitants du village ? o Pourquoi vous n’étiez pas satisfait ? 5. Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ? 6. Qu’est-ce qui vous a frustré dans la communication du projet ? o Pourquoi cette communication vous a-t-elle frustré ? Foires aux vivres (Si les ménages ont participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si les ménages ont participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? Ditekemena – Final Evaluation 71 o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si les ménages ont participé à une distribution aux vivres) 1. Quels aspects de l’organisation des distributions de avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner du cash? o Pourquoi ? Plaintes et réclamations 1. Est-ce que quelqu’un du projet vous avait-il informé de la personne auprès de laquelle se plaindre en cas de nécessité ? 2. Quelle personne vous a-t-on indiqué comme point de réclamation ? 3. Avez-vous trouvé cette personne réactive et capable de répondre à vos plaintes ? 4. Comment vos réclamations ont été traitées ? 5. Quelles suggestions avez-vous pour améliorer : o Le traitement des plaintes ? o Le traitement des réclamations ? Effets sur le marché local 1. Après les foires, avez-vous continué à vendre dans les mêmes villages ? Oui ou non ; 2. Si non, est-ce que vos ventes ont : o Augmenté après les foires : Pourquoi ? ; o Gardé le même niveau que pendant les foires : Pourquoi ? ; o Baissé après les foires : Pourquoi ? 3. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : o Une augmentation du prix des biens et services dans le village : Pourquoi ? o Des conflits au sein d'un même ménage : Pourquoi ? o De la sérénité dans les ménages : Pourquoi ? o Des conflits ouverts entre voisins : Pourquoi ? o Des conflits ouverts entre les habitants de deux villages voisins : Pourquoi ? o Autre : à préciser et dire pourquoi ? 4. Existe-t-il des conflits particuliers entre le projet "Diketemena" et la population? o Oui ou Non ? o Si oui, ces conflits sont dus à quoi? 5. Qu'est-ce qui aurait dû être fait pour éviter ces conflits et/ou tensions sociales au niveau du projet « Ditekemena »? Attentes de la population sur le projet « Ditekemena » 1. Qu’attendiez-vous personnellement du projet "Diketemena"? 2. Vos attentes étaient-elles satisfaites? o Si non, pourquoi? Ditekemena – Final Evaluation 72 3. Pensez-vous que vos membres de famille nourrissaient les mêmes attentes vis-à-vis de ce projet? 4. Si non, dire pourquoi? 5. Pourriez-vous recommander que le même projet soit reconduit? o Si non, pourquoi? 6. Quelle composante du projet "Diketemena" vous a-t-elle le plus déçu? o Quelles améliorations proposeriez-vous pour améliorer cette composante ? Impact sur les groupes particuliers surtout les femmes 1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet? Lesquels ? 2. Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? 3. Le projet « Diketemena » aurait pu inclure ces groupes défavorisés lors de : o L’identification des familles vulnérables : Pourquoi ; o L’enregistrement : Pourquoi ? ; o Ciblage : Pourquoi ? o Mobilisation et implication communautaire : Pourqoui ? o Réclamation : Pourquoi ? o Transfert : Pourquoi ? 4. Que pouvez-vous proposer pour que le projet soit le plus inclusif possible? Ciblage 1. Comment s’était déroulé le ciblage dans le village ? Quelles étaient les étapes du ciblage ? 2. Quels aspects de l’organisation du ciblage avez-vous apprécié ? o Pourquoi ? 3. Quelles sont les aspects de l’organisation du ciblage dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 4. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation du ciblage dans l’avenir? Foires aux vivres (Si le village a participé à une foire aux vivres) 1. Quels aspects de l’organisation des foires aux vivres avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux vivres dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Foires aux semences (Si le village a participé à une foire aux semences) 1. Quels aspects de l’organisation des foires aux semences avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la foire aux semences dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des foires aux vivres dans l’avenir? Distributions (Si le village a participé à une distribution) 1. Quels aspects de l’organisation des distribution(s) avez-vous apprécié ? o Pourquoi avez-vous appréciez ces aspects ? 2. Quels sont les aspects des distributions dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? Ditekemena – Final Evaluation 73 3. Qu’est-ce que le projet pourrait faire pour améliorer les distributions de vivres dans l’avenir? Préférence 1. A votre avis, est-il mieux d’organiser les foires de coupons, distribuer l’assistance en nature directement, ou de donner de cash? o Pourquoi ? Formations agricoles 1. Quels aspects de l’organisation des formations sur l’agriculture avez-vous apprécié ? o Pourquoi ? 2. Quels sont les aspects de la formation dont vous n’étiez pas satisfait ? o Pourquoi vous n’étiez pas satisfait ? 3. Qu’est-ce que le projet pourrait faire pour améliorer l’organisation des formations dans l’avenir? Leçons apprises 1. Comment ont-ils CRS et Caritas expliqué le risque posé par COVID-19 aux ménages de votre village ? 2. Quelles sont les mesures que CRS et Caritas ont présentées pour que les gens se protègent du COVID-19 ? 3. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 4. Quels aspects de la sensibilisation sur COVID-19 avez-vous appréciez ? o Pourquoi ? 5. Avez-vous constaté des changements d’attitude ou de comportement suite à la sensibilisation sur COVID-19 ? o Si oui, lesquels ? o Si oui, les changements se persistent ? o Si non, pourquoi ? 6. Les membres de l’équipe CRS/Caritas ont-ils respecté les mesures de barrières lors des activités du projet dans votre village ? o Si non, que s’est-il passé ? 7. Avez-vous été consulté lors de l'élaboration du projet "Diketemena"? 8. Connaissez-vous les axes prioritaires du projet "Diketemena"? 9. Pensez-vous que ces axes ou composantes du projet étaient pertinents? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 10. Quelle activité avez-vous trouvé : o Inadaptée par rapport à votre milieu : Pourquoi? o Choquant vis-à-vis de vos coutumes : Pourquoi ? 11. Qu'est-ce qui aurait pu être fait différemment pour plus de visibilité du projet? o Lors de l’identification : pourquoi ? o Lors de l’enregistrement : pourquoi ? o Lors du ciblage : pourquoi ? o Lors de la mobilisation et implication de la communauté : pourquoi ? Ditekemena – Final Evaluation 74 o Lors des communications du projet : pourquoi ? o Lors du transfert : pourquoi ? o Lors des réclamations : pourquoi ? o Autres : pourquoi ? 12. En quoi estimez-vous ce projet particulier? 13. En quoi ce projet pourrait inspirer d'autres projets de l'USAID ou des autres partenaires? Impact 1. D'après vous, comment le projet a-t-il changé les vies des bénéficiaires d'assistance de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des femmes du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des enfants du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des personnes âgées du village de façon positive? o Spécifiquement, comment le projet a-t-il changé les vies des personnes en situation de handicap du village de façon positive? 2. Le projet a-t-il affecté les vies de femmes du village de façon négative? o Si oui, comment? 3. Le projet a-t-il affecté les vies des enfants du village de façon négative? o Si oui, comment? 4. Le projet a-t-il affecté les vies des personnes âgées du village de façon négative? o Si oui, comment? 5. Le projet a-t-il affecté les vies des personnes en situation de handicap du village de façon négative? o Si oui, comment? Plus important changement 1. Dans l’ensemble, quel était le changement le plus important que vous avez constaté suite aux activités du projet dans le village ? o Combien de temps durera ce changement ? Ne pas nuire/Protection 1. Le projet a-t-il crée des risques sécuritaire pour votre communauté? o Si oui, que s'est-il passé? 1. Que pouvait faire le projet pour éviter ce risque dans l’avenir? 2. Le projet a-t-il crée du conflit au sein de la communauté? o Si oui, qu'est-ce que s'est passé? o Que pouvait faire le projet pour éviter ce type de conflit? 3. Le projet a-t-il crée du conflit avec des communautés voisions? o Si oui, qu'est-ce que s'est passé? o Que pouvait faire le projet pour éviter ce type de conflit? 4. Le projet a-t-il affecté les prix sur le marché? o Si oui, que s'est-il passé? Si oui, quelle était la durée de cet effet? Perspective pour la suite 1. Quels sont les défis auxquels vous êtes confrontés actuellement? o Comment prévoyez-vous de les relever ou de faire face aux défis? Recommandations Ditekemena – Final Evaluation 75 1. Avez-vous des autres recommandations pour améliorer la façon de travail du projet ? o Si oui, lesquelles ? Questions 1. Avez-vous des questions sur l’évaluation ou des autres questions que je peux partager avec CRS/Caritas ? o Si oui, lesquelles ? Ditekemena – Final Evaluation 76 Annex 16 : DITEKEMENA - Questionnaire Ménage A. Consentement Je m’appelle ………………………………. enquêteur indépendant chez CRS. Nous collectons des informations dans votre village ………………………… afin d’évaluer la pertinence de l’assistance du projet Ditekemena au sein de votre communauté. Nous voudrions vous poser, en votre qualité de chef de ménage, quelques questions sur votre ménage et nous comptons sur votre franchise. La participation à cette enquête est volontaire et ne vous exposera à aucun risque. Durant cette enquête, nous vous assurons que toutes les informations recueillies resteront strictement confidentielles chez CRS, et CRS ne les partagera pas avec d’autres organisations sauf avec votre approbation. Les informations agrégées de votre village seront partagées avec le bailleur de fonds du projet : USAID. L’enquête durera environ 30 minutes maximum. Avez￾vous des questions particulières à me poser ? (Enquêteur y répond) Consentez-vous à y participer ? » Oui (poursuivre l’enquête) /Non (aller dans le ménage suivant)  Oui  Non (Si non, arrêter l’entretien, et chercher un autre Participant) B. date de visite C. Scan la carte du participant D. Statut du répondant dans le ménage : Qui êtes-vous dans le ménage par rapport à l’assistance reçue de CRS/Caritas ? Bénéficiaire de l’assistance Mari/Epouse du bénéficiaire de l’assistance Enfant vivant dans le ménage Membre de famille vivant dans le ménage E. Consommation alimentaire E.1.1. Combien de repas le ménage prend-t-il actuellement par Jour? (1) Pour les adultes : ____ repas (2) Pour les enfants : ____ repas E.1.2. Combien de repas le ménage prenait-il par Jour avant l’assistance de « Ditekemena » de CRS? (1) Pour les adultes : ____ repas (2) Pour les Enfants: ____ repas E.2. Combien de Jours, au cours de 7 derniers Jours passés, le ménage a-t-il consommé les produits suivants comme ingrédient principal ? Coef 2.1. Nb Jours de consommation sur 7 (1) Mil, sorgho, riz, maïs, pain, blé, fonio… (Céréales) 2 ____ (2) igname, manioc, patate, taro, pomme de terre… (Tubercules) ____ (3) Pois, haricot,… (Légumineuses) arachide, sésame, (Oléagineux) 3 ____ (4) Feuilles et légumes - Protéines végétales 1 ____ (5) Fruits - Mangue, pastèques, avocat, orange, ananas, banane... 1 ____ (6) Viande, volaille, œuf, poisson/crustacés – (Protéines animales) 4 ____ (7) Sucre et produits sucrés (Sucres) 0.5 ____ (8) Lait, fromage, yaourt (Laitiers) 4 ____ (9) Huile et graisse 0.5 ____ F. Stratégie de Survie F1. Au cours des 7 derniers jours, si vous n'aviez pas assez de nourriture et que vous étiez incapable d'acheter de la nourriture, combien de fois votre ménage a-t-il dû : Ditekemena – Final Evaluation 77 Fréquence 1. Consommer des aliments moins coûteux ou moins préférés …… 2. Emprunter des aliments ou compter sur l’aide des amis, des voisins ou des parents/ famille …… 3. Réduire la quantité des repas …… 4. Réduire la consommation des adultes au profit des petits enfants …… 5. Réduire le nombre de repas journaliers …… H. Vivres H.1. Dans combien de temps avez-vous épuisé les denrées achetés/reçus ? *RAPPEL – si le ménage a les denrées toujours en stock, veuillez demander au ménage une estimation du temps d’épuisement  1 semaine  2 Semaines  3 semaines  4 semaines  Plus de 4 semaines H.2. Le montant transféré/la ration distribuée lors de la foire était suffisant pour couvrir les besoins du ménage en sécurité alimentaire ?  Oui  Non Si Non aller à G.2.1 H.2.1 Pourquoi ? Veuillez cochez tous les mentionnes utiles  Prix élevés des vivres  Quantité insuffisante dans le paquet alimentaire distribué G. Score de diversité alimentaire (SDAM) Il est question de demander au représentant du ménage quels sont les types d’aliments que le ménage a consommés hier, pendant la journée et la nuit (durant les 24 heures précédant l’enquête) : Répondre avec Oui/Non 1. Céréales (Nshima/bidia, pain, nouilles, biscuits, gâteaux secs, ou tout aliments faits à partir de mil, sorgho, Maïs, riz, blé, ou tout autre graine disponible) 1 = Oui 0 = Non 2. Racines et tubercules (Pommes de terre blanche, ignames, manioc, cassava ou autres aliments faits à partir des racines) 1 = Oui 0 = Non 3. Légumes (Feuilles de manioc, des haricots, Amarantes et autres légumes) 1 = Oui 0 = Non 4. Fruits (Banane, avocats, oranges, goyaves, ananas etc., …) 1 = Oui 0 = Non 5. Viande, volaille, abats 1 = Oui 0 = Non 6. Œufs de poule ou d’autres volailles 1 = Oui 0 = Non 7. Haricots, Niébé, petit pois, autres 1 = Oui 0 = Non 8. Huile de cuisson (huile de palme et végétale) 1 = Oui 0 = Non 9. Sucre et produits sucrés et miel 1 = Oui 0 = Non 10. Lait et produits laitiers 11. Divers 1 = Oui 0 = Non Ditekemena – Final Evaluation 78  Taille de famille élevée  Besoins élevés du ménage  Intention de partager avec les autres H.3 Quelles denrées avez￾vous achetées à la foire et/ou reçues lors de la distribution de CRS/Caritas ?  Farine de maïs  Farine de manioc  Haricots  Huile végétale  Huile de palme  Riz local  Riz Importé  Sel de cuisine  Niébé  Fretin Possibilité de faire plusieurs choix H.3.1 Quel est votre niveau de satisfaction avec la qualité des vivres achetés/reçus ?  Farine de maïs  Farine de manioc  Haricots  Huile végétale  Huile de palme  Riz local  Riz Importé  Sel de cuisine  Niébé  Fretin Dépend des denrées acheter Très satisfait  Satisfait  Non Satisfait Si Non Satisfait aller à H.3.1.1 H.3.1.1 Si vous êtes « Non Satisfait » avec la qualité des vivres, pourquoi ?  Donne des problèmes de santé  Le goût/odeur n’est pas bon (odeur, etc.)  Sa préparation est difficile/inconnu  Présence de beaucoup de déchets, moisissures, insectes, etc. dans les vivres achetés  Cette denrée ne rentra pas dans nos habitudes alimentaires  Péremption des vivres (Expiration de date de vie/consommation)  Aucun lieu de stockage pour conserver la nourriture H.4 Comment avez-vous utilisé les vivres/reçus (une partie ou la totalité) achetés/reçus par votre ménage la dernière fois ?  Consommation a 100% par le ménage  Distribution volontaire d’une partie des vivres aux proches  Payement des dettes avec une partie des vivres  Vente des vivres H.5 Quelle quantité en % pour chaque denrée estimez-vous avoir utilisée pour  Farine de maïs  Farine de manioc  Haricots  Huile végétale  Huile de palme  Riz local  Riz Importé  Sel de cuisine  Niébé  Fretin Consommé % Vendu % Echangé avec d’autres denrées % Paiement dettes % Don/Partagé/ % Perdu par mauvais stockage % Volé % Nourrir les animaux % Encore en stock % Si une partie de la ration a été vendue partager aller à G.5.1 Si une partie de la ration a été partager aller à G.5.2 H.5.1 Si une partie de l’aide alimentaire a été vendue, pourquoi ?  Aliments non préférés  Achat d’autres aliments  Achat des médicaments  Achat semence Ditekemena – Final Evaluation 79  Achat Articles Ménagers Essentiels  Paiement des dettes  Paiement loyer  Paiement scolarisation des enfants H.5.2 Si la ration a été partagée hors du ménage, avec qui ?  Partage volontaire  Obligation Chef de village/Camp/autorités  Obligation Chef religieux  Obligation Militaire/police/groupes militaires  Obligation famille d’accueil (Cochez toutes les mentions utiles) H.6 Avez-vous utilisé un des produits alimentaires achetés à la foire/reçus de CRS pour des Activités Génératrices de Revenus ?  Oui  Non Si oui aller à H.6.1 H.6.1 Lesquels  Farine de maïs  Farine de manioc  Haricots  Huile végétale  Huile de palme  Riz local  Riz Importé  Sel de cuisine  Niébé  Fretin H.7. Dans le ménage, qui décide du choix/utilisation de la ration achetée à la foire/reçue de CRS ?  Homme seul  Enfants seuls  Femme seule  Les deux conjoints  Femme et Enfants  Homme et Enfants  Toute la famille (Papa, Maman et Enfants) 1.Score d’échelle de la faim au niveau de ménage (HHS) : « L’enquêteur posera la question sur le nombre de jours que la situation est arrivée dans le ménage : 0 jr= Jamais ; 1-5 jrs= Rarement ; 6-10 jrs= Parfois ; 11-30 jrs= Souvent » I.1 Au cours des 4 dernières semaines (30 jours), vous êtes-vous déjà inquiété que votre ménage puisse ne pas avoir assez de nourriture ? (Pas de nourriture) Jamais = 0 ; Rarement = 1 Parfois = 1 Souvent = 2 I.2 Au cours des 4 dernières semaines (30 jours),) un membre du ménage a-t-il été incapable de manger ses aliments préférés à cause d’un manque de ressources (s’est couche en ayant faim) Jamais = 0 ; Rarement = 1 Parfois = 1 Souvent = 2 I.3 Au cours des 4 dernières semaines (30 jours), un Jamais = 0 ; Rarement = 1 Ditekemena – Final Evaluation 80 membre de votre ménage a-t-il été obligé de manger une variété limitée d’aliments en raison d’un manque des ressources (Passer toute la journée et la nuit sans manger) Parfois = 1 Souvent = 2 J. Semences J.1 Est-ce que le ménage a bénéficié de l’assistance en semence ?  Oui  Non Si non aller à la section K J.2 Etes-vous satisfait de la qualité des semences achetées à la foire organisée par CRS/Caritas ?  Oui  Non Si Oui satisfait aller à J.2.1 Si Non Satisfait aller à J.2.2 J.2.1 Pourquoi ?  Mauvaise qualité des semences  Période inapproprié pour le semi  Autre à spécifier J.2.2 Quels sont les principaux articles dont la qualité n’était pas bonne ?  Pastèque rouge  Maïs  Niébé  Arachide  Riz  Pistache  Soja J.2.3. Avez-vous constaté une augmentation dans vos récoltes due à la qualité des semences reçues et la formation sur les bonnes pratiques agricoles reçues du projet « Ditekemena » de CRS ?  Oui  Non Si Non aller à J.2.4. J.2.4. Pourquoi ? J.3. Le montant transféré lors de la foire par CRS/Caritas était-il suffisant à couvrir les besoins du ménage en semence ?  Oui  Non Si non aller a J.3.1 J.3.1 Pourquoi pas ?  Prix élevés des articles à la foire  Quantité insuffisante des semences  Besoins élevés du ménage  Intention de partager avec les autres Veuillez cochez toutes les mentions utiles) J.4 Avez-vous semé les semences que vous avez achetées lors des foires organisées par CRS/Caritas ?  Oui  Non Si Non aller à J.4.1 Ditekemena – Final Evaluation 81 J.4.1 pourquoi ?  Mauvaise qualité des semences,  Période de semi dépassée  Ne répond pas aux besoins de la communauté  Consommer par manque de nourriture Veuillez cochez toutes les mentions utiles J.5 Comment avez-vous utilisé les semences reçues (une partie ou la totalité) ou achetées par votre ménage la dernière fois ? Semer toutes les semences achetées par le ménage bénéficiaire Distribution volontaire d’une partie des semences aux proches Payement des dettes avec une partie des semences Consommation des semences sans les semer J.6 Avec les stocks de Semence/nourriture (prévision/provision) en votre disposition présentement (dans les champs et dans la maison) vous estimez avoir une autosuffisance alimentaire de combien de temps ? …… (Nombre de jours) J.7 Avez-vous mis en place un mécanisme pour vous procurer des semences pour la saison prochaine ?  Oui  Non J.8 Avez-vous utilisé les produits récoltés et provenant des semences que vous avez achetés dans la foire aux semences du projet DITEKEMENA pour des activités génératrices de revenus ?  Oui  Non Si Oui aller à J.8.1 J.8.1. Quels articles ?  Pastèque rouge  Maïs  Niébé  Arachide  Riz  Pistache  Soja J.9 Dans le ménage qui décide du choix/utilisation des semences achetés dans la foire CRS/Caritas ?  Homme seul  Enfants seuls  Femme seule  Les deux conjoints  Femme et Enfants  Homme et Enfants  Toute la famille (Papa, Maman et Enfants) Ditekemena – Final Evaluation 82 J.10 Aviez-vous participé aux séances de formations sur les bonnes pratiques agricoles dans le cadre du projet DITEKEMENA ?  Oui  Non Si non aller à J.10.1 Puis la section K (Redévabilité) J.10.1 pourquoi ?  Absent lors de la formation  La formation n’a pas eu lieu dans le village  Pas intéressé par cette formation  N’a eu aucune information sur la tenue d’une quelconque formation du projet J.11 Comment appréciez-vous les sujets abordés lors de la formation ? Très satisfait  Satisfait  Non Satisfait J.12 A votre avis la matière dispensée dans la formation vous a-t-elle servi dans vos activités champêtres ?  Oui  Non K. Conception du projet « Diketemena » K.1 Connaissez-vous le projet "Ditekemena"?  Oui  Non Si Oui aller à K.1.1/K.1.2 K.1.1 Quel était son but ? K.1.2 Quels sont ses objectifs ? K.1.3 Pensez-vous que les activités du projet "Ditekemena" étaient à la hauteur de ses objectifs?  Oui  Non Si Non aller à K.1.4 K.1.4 pourquoi ? K.1.5 Est-ce que l’organisation mise en place par le projet « Diketemena » vous a facilité l'accès aux services proposés par le projet?  Oui  Non Si Non aller à K.1.6 K.1.6 pourquoi ? K.1.7 Est-ce que tous les habitants de votre village ont bénéficié de l'aide apportée par le projet "Diketemena?  Oui  Non Si Oui aller à K.1.8 K.1.8 Qu’ont-ils reçu du projet ? Ditekemena – Final Evaluation 83 K.1.9 Avez-vous reçu des vivres du projet "Ditekemena" ?  Oui  Non Si Oui aller à K.1.10. K.1.10.Lesquels parmi ces articles ?  Farine de Maïs,  Farine de Manioc,  Riz Local  Riz importé  Huile végétale  Farine de palme  Fretin (sendama) K.2. Etiez-vous satisfait(e)  Oui  Non Si Non aller à K.2.1. K.2.1. Pourquoi ? K.3. Est-ce que tous vos voisins ont obtenu la même chose ?  Oui  Non Si Non aller K.3.1. K.3.1. Pourquoi ? K.3.2. Qu’est-ce qu’ils ont reçu K.4. Il y a-t-il eu des mécontents dans votre famille vis-à-vis de l'aide apportée par le projet "Diketemena"?  Oui  Non Si Oui aller K.4.1. K.4.1. Pourquoi ? K.5. Pensez-vous que tout ce qui était distribué dans le cadre du projet était bien suivi?  Oui  Non Si Non aller K.5.1. K.5.1. Pourquoi ? K.6. Avez-vous déjà bénéficié d’une assistance (en dehors de celle de CRS) ?  Oui  Non Si oui aller à K.6.1. K.6.1. Qu’avez-vous reçu? K.7. Avez-vous constaté l'amélioration dans le service du projet "Diketemena" à cause du suivi des activités ?  Oui  Non Si Non aller à K.7.1. K.7.1. Pourquoi ? K.8. Vous était-il arrivé de vous plaindre/réclamer pour l'un ou l'autre service du projet  Oui  Non Si oui aller à K.8.1. K.8.1. Quelles étaient vos plaintes ? K.8.2. Vous avait-on communiqué à l'avance où adresser votre plainte?  Oui  Non Si non, aller à K.8.3. K.8.3. Pourquoi ? K.9. Existe-t-il une bonne coordination de l'ensemble des activités du projet "Diketemena" au niveau de votre village?  Oui  Non Si Non aller à K.9.1. K.9.1. Pourquoi ? K.10. Les étapes ci-après auraient pu être améliorées dans leur conception au niveau du projet : L’identification des ménages les plus vulnérables :  Oui  Non Ditekemena – Final Evaluation 84 Le ciblage des bénéficiaires : La mobilisation et l’implication communautaire : La communication du projet : Les modalités d’assistance retenues par le projet : Les réclamations/plaintes : Pourquoi ?  Oui  Non Pourquoi ?  Oui  Non Pourquoi ?  Oui  Non Pourquoi ?  Oui  Non Pourquoi ?  Oui  Non Pourquoi ? L. Gestion des attentes des bénéficiaires L.11. Qu’attendiez-vous personnellement du projet "Diketemena"? L.12. Vos attentes étaient-elles satisfaites?  Oui  Non Si Non aller à L.12.1. L.12.1. Pourquoi ? L.13. Pensez-vous que vos voisins et membres de famille nourrissaient les mêmes attentes vis-à-vis de ce projet?  Oui  Non Si Non aller à L.13.1. Ditekemena – Final Evaluation 85 L.13.1. Pourquoi ? L.14. Pourriez-vous recommander que le même projet soit reconduit?  Oui  Non Si Non aller à L.14.1. L.14.1. Pourquoi ? L.15. Avez-vous participé à la formation agricole ?  Oui  Non Si Oui aller à L.15.1. L.15.1. La formation portait sur quelles pratiques agricoles ?  Respect des dates de semis (selon le calendrier agricole)  Respect de dates d’entretien/ sarclage/Binage  Rotation de culture sur un même terrain/  Assolement des cultures dans un champ  Le paillage  Bonne association de cultures  La profondeur de Labour (15 à 30 cm)  La non-incinération des champs (Eviter le feu de brousse)  Bon triage de la semence  Poids du grain/de la semence  Compostage/Compostière  Respect de Techniques de récolte/Stockage L.15.2. Quelles pratiques agricoles apprises appliquez￾vous ?  Respect des dates de semis (selon le calendrier agricole)  Respect de dates d’entretien/ sarclage/Binage  Rotation de culture sur un même terrain/  Assolement des cultures dans un champ  Le paillage  Bonne association de cultures  La profondeur de Labour (15 à 30 cm)  La non-incinération des champs (Eviter le feu de brousse)  Bon triage de la semence  Poids du grain/de la semence  Compostage/Compostière  Respect de Techniques de récolte/Stockage L.16. Avez-vous bénéficié à la fois des vivres et du kit agricole ?  Oui  Non Si oui, aller à L.17.1. L.17.1. Comment avez-vous apprécié cette combinaison d’appui du projet « Diketemena »  Pertinente  Non pertinente  Efficace  Inefficace Si inopportune, aller à L.17.1. Si inefficace, aller à L.17.2. L.17.1. Pourquoi pensez-vous que cette combinaison était inopportune ? L.17.2. Pourquoi pensez-vous que cette combinaison était inefficace ? L.18. Quelle composante du projet "Diketemena" vous a-t￾elle le plus déçu ?  Vivres  Kit agricole  Aucune Si aucune, aller à la section L.18.1. L.18.1. Quelles suggestions faites-vous pour améliorer la composante qui vous a déçu? Ditekemena – Final Evaluation 86 M. Effets du projet sur le marché (et sur la communauté) M.1. Est-ce que pendant la distribution des vivres et kits agricoles, on a assisté à : Une augmentation du prix des biens et services dans le village Des conflits au sein d'un même ménage La sérénité dans les ménages Des conflits ouverts entre voisins Des conflits ouverts entre les habitants de deux villages voisins Autre : à préciser  Oui  Non Si oui, pourquoi  Oui  Non Si oui, pourquoi  Oui  Non Si oui, pourquoi  Oui  Non Si oui, pourquoi  Oui  Non Si oui, pourquoi M.2. Après les foires, avez-vous continué à accéder aux mêmes articles/semences dans le village?  Oui  Non Si Non aller à L.2.1. M.2.1. Pourquoi ? L.3. Existe-t-il des conflits particuliers entre le staff du projet "Diketemena" et la population?  Oui  Non Si Oui, aller à L.3.1. Si Non, aller à M Ditekemena – Final Evaluation 87 M.3.1. Ces conflits sont dus à quoi ? M.3.2. Selon vous qu'est-ce qui devrait être fait pour éviter ces conflits ? N. Mise en œuvre du projet N.1. Comment s’était déroulé le ciblage dans votre ?  Tous les ménages étaient concernés  Seuls quelques ménages étaient impliqués  Ne sait pas Si ne sait pas, aller à M.1.1. N.1.1. Pourquoi ?  J’étais absent du village  Manque de communication  Pas intéressé N.2. Avez-vous trouvé l’identification juste et honnête ?  Oui  Non Si Non, aller à M.2.1. N.2.1. Pourquoi ? N.3. Qu’est-ce que CRS pourrait faire pour améliorer l’organisation de l’identification dans l’avenir? N.4. Comment s’était déroulée la mobilisation dans votre village ? N.5. Avez-vous trouvé la mobilisation du projet efficace ?  Oui  Non Si Non, aller à M.5.1. N.5.1. Pourquoi N.6. Est-ce que les habitants de votre village se sont bien impliqués dans le projet ?  Oui  Non Si Non, aller à M.6.1. N.6.1. Pourquoi ? N.7.Avez-vous trouvé la communication du projet à la hauteur des attentes de la population ?  Oui  Non Si Non, aller à M.7.1. N.7.1. Pourquoi ? N.8. Quels aspects de l’organisation des foires aux vivres/semences avez-vous apprécié ?  Le temps d’attente pour accéder au site de foire  La distance entre le village et le site de la foire  L’accueil au site de la foire  La prise en compte de la dignité  Le respect des mesures barrières dues à la Covid – 19  Autre Si autre, aller à M.8.1. N.8.1. Préciser N.9.Qu’est-ce que CRS pourrait faire pour améliorer l’organisation des foires aux Ditekemena – Final Evaluation 88 vivres/semences dans l’avenir? N.10.Quels sont les aspects de la distribution directe dont vous n’étiez pas satisfait ?  Quantité de vivres  Période de distribution  Nombre de bénéficiaires  Qualité des vivres  Autre  Aucun grief contre la distribution Si autre, aller à M.10.1. N.10.1. A préciser ? N.11.A votre avis, la meilleure modalité d’intervention serait :  D’organiser les foires avec de coupons  distribuer l’assistance en nature directement  donner du cash N.12. Est-ce que quelqu’un du projet vous avait-il informé de la possibilité d’introduire sa plainte/réclamation en cas de nécessité ?  Oui  Non Si Oui, aller à M.12.1. N.12.1. Par quel canal ?  Boîte à suggestions  Numéro vert  Table à plainte N.12.2. Lequel de ces canaux préférez-vous ? N.12.3. Avez-vous utilisé ce canal préféré ?  Oui  Non Si oui, aller à M.12.4. N.12.4.Comment vos réclamations ont été traitées ? N.13.Quelles suggestions avez-vous pour améliorer le traitement des plaintes/réclamations O. Impact sur les groupes particuliers surtout les femmes O.1. Pensez-vous qu'il existe des groupes particuliers qui ont été défavorisés par ce projet?  Oui  Non Si oui, aller à N.1.1. O.1.1. Lesquels ? O.1.2. Veuillez expliciter comment ces groupes ont été défavorisés O.2. Comment le projet « Ditekemena » aurait pu prendre en compte ces groupes? P. Redévabilité – protection transversal – do not harm P.1. Avez-vous payé pour être enregistré ?  Oui  Non Si Oui aller à P.1.1. Ditekemena – Final Evaluation 89 P.1.1. A qui ?  Staff CRS/Caritas  Autorité Locale  Responsable du camp  Journalier  Autres P.1.2. Comment avez-vous payé ?  Nature  Argent  Autre à spécifier Si en argent aller à P.1.3. Si en nature aller à P.1.4. P.1.3. Si en argent, combien avez-vous payé en FC |__|__| P.1.4. Si en nature, combien avez-vous payé en Kg ? |__|__| P.2. Par quel moyen êtes￾vous arrivés/retournés au/du Site de foire/distribution ?  Vélo  Moto  Véhicule  Pied P.3. Avez-vous dû payer le transport pour arriver au site de la foire ? ?  Oui  Non Si Oui aller à P.3.1. P.3.1. Si « Oui », combien avez-vous dépensé pour l’aller/retour en franc congolais ? P.4. Après la foire/distribution, avez-vous eu des difficultés à rentrer à votre domicile avec les articles/vivres que vous avez achetés/reçus ?  Oui  Non Si oui, aller à P.4.1. P.4.1. Quelles difficultés avez￾vous rencontrées ?  Sécurité/Tracasseries en route  Transport/Longue distance  Retour tardif provoquant la peur Ditekemena – Final Evaluation 90 Annex 18: Evaluation scope of work. 1. Introduction and Context In 2017, the provinces of Kasai Central and Kasai Oriental in the Democratic Republic of the Congo (DRC) became engulfed in a violent conflict between local militias and the military, displacing 1.6 million people. After two years, nearly 63% of the registered population has returned to destroyed houses, ravaged fields and dead livestock.5 Local infrastructure and market networks, already severely limited in the region, were further deteriorated as a result of the conflict. Many Kasaians missed up to three crop cycles during this period, and were unable to access quality seed certified by local government experts.6 Increasing population movements within the Kasai region has only added to the crisis and its strain on local resources; 400,000 Congolese refugees in Angola have forcibly or voluntarily repatriated between October 2018 and August 2019.7 As a result, the region has been teetering on near￾famine conditions, still struggling to recover from the crisis, and facing structural economic deficits.8 An in-depth assessment on food security in emergency situations in June 2019 carried out by the Ministry of Planning and Agriculture with the support of the World Food Programme (WFP) showed that 52.4% of Kasai Central and 45.6% of Kasai Oriental populations had poor food consumption scores and were all severely food insecure. In addition, 59.3% of interviewed respondents in Kasai Central and 37.5% in Kasai Oriental had used at least one negative survival strategy based on food consumption. The level of Reduced Coping Strategies Index (rCSI) averages at 7.9 points for Kasai Central and 3.8 points for Kasai Oriental. The two most common household survival strategies were 1) consuming less preferred and cheaper food, and 2) consuming fewer meals per day. The differentiated impacts of food insecurity on women and girls is also pronounced in the region. The Gender-Based Violence (GBV) Sub-Cluster has noted a strong link between the incidence of GBV- in particular, child marriage, and negative coping strategies - among women and girls in areas of the Kasais with poor food security, especially among displaced populations.9 Access to food and improved seeds: Access to sufficient quantity and quality of food remains one of the greatest obstacles to food security in many conflict-affected villages in the Kasais. The most recent Integrated Food Security Phase Classification (IPC 20th Cycle, September 2021) classifies several health zones in Kasai, Kasai Central, and Kasai Oriental in Phase 3 and 4, requiring immediate emergency food assistance due to the limited farming activities of the A and B seasons, lack of improved seed varieties that are resistant to pests and insects, the burning of many households’ food stocks during the conflict, and the disruption to markets in certain areas. 2. Project Justification In response to high rates of severe food insecurity in underserved, conflict-affected hotspots in the Kasais, Catholic Relief Services (CRS) proposed the Ditekemena program (“Hope” in the Tshiluba local language) to provide 18,500 HHs with lifesaving food assistance and 17,500 of these same HHs with seed and tool assistance in Kasai Central, a province that has been negatively impacted by 5 “Democratic Republic of Congo: January 2020”. FEWS Net. https://fews.net/southern-africa/drc 6 CRS Key Informant Interview with SENASEM Kananga Coordinator, February 7, 2020. 7 “Humanitarian Needs Report: Democratic Republic of Congo: 2020”. UN OCHA. December 2019. P. 59. https://reliefweb.int/sites/reliefweb.int/files/resources/drc_hno_2019_fr.pdf 8 Ibid. Humanitarian Needs Report. P.25 9 Ibid. Humanitarian Needs Report. P. 62. Ditekemena – Final Evaluation 91 the conflict between rebel and military groups. CRS focused on delivering food and seed assistance for agricultural seasons A and B in areas where the immediate needs and gaps were the most alarming in terms of food security. CRS’ approach is a rapid response emergency mechanism seeking to address the dire food needs of recent IDPs and returnees affected by conflict. Following a baseline assessment to evaluate needs and a targeted community’s IPC rating, CRS, and its implementing partner, Caritas Kananga, or its service contractor, Caritas Mbujimayi, delivered three rounds of unconditional food assistance per targeted HH calculated at 50% of a full food basket (a half ration) for an average household size of six due to acute levels of food insecurity (IPC 3 and 4) for direct distributions, and assistance tailored to household size in the case voucher fairs (Category 1: 1-3 people; Category 2: 4-7 people; and Category 3: 7 or more people). All targeted participants received unconditional food assistance via direct in-kind distribution, cash transfer, or voucher fair. To place these communities on a trajectory that facilitates their return to a subsistence level capable of participating in development activities, the project also implemented essential complementary activities (seed and tools fairs, agricultural training and supervision, and agricultural contact groups) for 17,500 HHs of the 18,500 HH target. 3. General and Specific Study Objectives In keeping with USAID Bureau of Humanitarian Assistance (BHA) FY20 Annual Program Statement (APS) and CRS’ Monitoring, Evaluation, Accountability and Learning (MEAL) Policies and Procedures,10 CRS Democratic Republic of the Congo (DRC) will conduct an evaluation at the conclusion of the program to: • Measure the project’s achievements against the goal, strategic objectives and intermediate results and compare to the results of available individual intervention baselines and targets, recognizing that the evaluation will take place during the project period and some post-activity monitoring may not be complete. • Evaluate the project’s effects on local markets, and how it affected certain groups of interest, particularly women. • Evaluate the effectiveness and relevance of the modality, transfers, and complementary interventions to achieve activity outcomes. • Identify best practices, lessons learned, unintended results, strengths, and challenges in the activity design and implementation. More specifically the evaluation criteria will focus on: • The relevance and appropriateness of the response. • The impact on targeted populations, aggregated for different sub-groups. • The relevance of the partnership with Caritas (i.e. successes and challenges, according to CRS and Caritas). • The effectiveness of delivering planned activities. • The efficiency in implementation. • Appropriateness of the chosen delivery method (distribution, cash or fair). • The effectiveness of feedback and accountability mechanisms. • The impact and efficiency of protection mainstreaming. 4. Evaluation Methodology The methodology for the evaluation will utilize participatory approaches and ensure inclusion of participants. Quantitative and qualitative methods will be used, and the consultant/evaluator will work remotely with CRS DRC staff to ensure the evaluation plan and methodology conforms to FFP Guidance for an Abbreviated Statement of Work (SoW) for a Baseline Study and Final Evaluation for Emergency 10 For all projects (or emergency responses) of $1-5 million total value, CRS conducts and documents an internal final evaluation; and, for projects (or emergency responses) of less than $1 million, staff conduct and document an After-Action Review. Ditekemena – Final Evaluation 92 Programs11 and FFP Policy and Guidance for Monitoring, Evaluation, and Reporting for Emergency Food Security Activities. The consultant will be responsible for proposing and finalizing the methodology for data collection and analysis through a Terms of Reference, which will be reviewed and approved by CRS’ Regional Technical Advisor for MEAL for validity. The final evaluation proposal, submitted by the evaluator, should include: - Desk review: CRS staff will provide key project documents to the consultant. Review of existing data collected throughout the implementation of the project including, but not limited to: baseline data, multisectoral assessment, onsite monitoring, post activity monitoring, market assessment, market price data monitoring, and feedback data. The consultant will perform secondary analysis remotely to compare those intervention-level (PDM) results that have been finalized up and until the final evaluation report draft is submitted to CRS, to baseline and targets. - Primary data collection: Collection of data through quantitative methods (household questionnaires) and qualitative methods (direct observation, focus group discussions, semi￾structured interviews) with clear justification on sampling, HH respondent selection, etc. Specify the software to be used for providing the primary data to CRS. Data collection must include contingency planning with alternative data collection methods, given the changing context of COVID-19. The consultant will remotely train Ditekemena staff on data collection techniques and establish a system for remotely monitoring the data collection by the team. - Sampling: The consultant will be responsible for proposing and finalizing the methodology for sampling that will reflect a representative sample size by using the existing participant registration system and the FFP’s Policy and Guidance for Monitoring, Evaluation, and Reporting for Emergency Food Security Activities for sample size estimation which match with cost-efficiency criteria as well as the pandemic context. Data generated should be comparable to the baseline data collected by health area prior to project activities. - Protocol for data analysis: Methodology for data cleaning, coding, analysis, and review. - Scope: The inclusion of two geographical areas (Kazumba and Demba Territories, Kasai Central Province). - Timeline: Proposed calendar with main activities and dates of completion. Coordination and Partnerships In coordination with the evaluator, CRS will review and approve the final evaluation methodology and data collection tools; propose data collectors for the evaluator’s selection; and provide logistical and technical support throughout the evaluation period. As needed, Ditekemena’s partners, Caritas Kananga and Caritas Mbujimayi, will participate in evaluation activities. Through a final written report, the evaluator will share the results with CRS; CRS may also deem that it is constructive for the consultant to have an oral presentation/debrief with USAID. 5. Deliverables In line with the objectives of this study, the deliverables will include: - Work plan for the evaluation. - Description of the evaluation methodology, including limitations and protocol for data analysis. - Qualitative and quantitative data collection tools. - Primary data (compiled, cleaned up and analysed), preferably in Excel. If this will be in a different software, the consultant will specify this in their proposed methodology for CRS’ approval. - An evaluation report assessing the project’s ability to meet all aforementioned criteria, including a summary report and recommendations to inform future CRS emergency food security programming. 11 https://www.usaid.gov/documents/1866/ffp-guidance-abbreviated-statement-work-baseline-study-and-final-evaluation￾emergency Ditekemena – Final Evaluation 93 - An updated ITT with analysis of secondary and primary data as an annex to their report. FFP requires a set of indicators including at minimum the following: ♦ Food Consumption Score (FCS): Required: Percentage of households with poor, borderline, and acceptable food consumption score. Recommended: FCS score mean, median, and confidence interval (95%) for all households, M&F households, MNF households, FNM households, and CNA households. ♦ Reduced Coping Strategy Index (rCSI): Required: Mean, standard deviation, confidence interval (95%), and median. ♦ Household Hunger Score (HHS): a. Required: Prevalence of households with moderate or severe hunger ♦ Percentage of people trained demonstrating an increase of knowledge of at least 20% on good agricultural and nutritional practices ♦ Percentage of beneficiary households who increase their production after receiving assistance ♦ Number of individuals who have applied improved management practices or technologies with BHA assistance - A team meeting to present and discuss findings to project staff and partners. The consultant should submit all deliverables, including a draft of the final evaluation narrative for review and approval to CRS’ DRC Country Program and Regional Technical Advisors, prior to their finalization. The final report should include the following sections: - Two-page summary - Introduction - Methodology - Sections on (with text and data visualization to optimize comprehension): o Results per indicator (measure project achievements against goal, objectives and intermediate results) o Planned and unintended results o The project’s partnership with Caritas o Best practices and lessons learned o Assess the relevance and appropriateness of the response and of the transfer modality o Impact on target populations - General discussion on: o Relevance and appropriateness of the response/strategy o Impact on target populations, with respect to specific sub-groups, particularly women o Participant accountability and mainstreaming of protection o Rapidity of interventions o Constraints faced by the project o Analysis of Strengths, Weaknesses, Opportunities, and Threats (SWOT) - Conclusion section, including recommendations 6. Provisional Calendar Next Steps Proposed Dates Responsible Comments Finalization of Terms of Reference 12/Nov/21 CRS Identification of evaluator 30/Nov/21 CRS With validation from BHA Elaboration of methodology, tools, calendar and budget 06/Dec/21 Evaluator/CRS With validation from CRS’ MEAL Regional Technical Advisor Ditekemena – Final Evaluation 94 Desk Review 20/Dec/21 Evaluator Finalization of data collection tools & methodology 07/Jan/22 Evaluator With validation from CRS’ MEAL RTA Trip to Kananga 14/Jan/22 Evaluator With CRS’ Support Trip from Kananga to Mbujimayi 19/Jan/22 Evaluator With CRS’ Support Enumerators training in Mbujimayi 09/30/20 Evaluator With CRS’ Support Data collection in Kabimba health area, Tshilenge territory 22 to 26/Jan/22 Evaluator Trip from Mbujimayi to Kananga 28/Jan/22 Evaluator With CRS’ Support Enumerators training in Kananga 31/Jan to 01/Feb/22 Evaluator Data collection in Kazumba (Matamba and Mfukumba health areas) 2 to 5/Feb/22 Evaluator Data collection in Dibaya (Bunkonde and Dibaya health zones) 7 to 13/Feb/22 Evaluator Trip to Kinshasa 14/Feb/22 Evaluator With CRS’ Support Data Cleaning and Analysis & Debrief with CRS (and USAID￾BHA if deemed necessary/constructive) 15/Feb/22 Evaluator Draft report 16 to 20/Feb/22 Evaluator Review draft report 20 to 22/Feb/22 CRS 7. Evaluation Limitations and Mitigating Measures The country is experiencing a pandemic (COVID-19), which will reduce movement of person in communities to carry out evaluation above activities. This challenge may limit CRS’s capacity to identify an external consultant and may result in delaying or canceling the final evaluations and limit access for on-site data collection as described in table above. In the case of a prolonged pandemic and government restrictions on movement and gathering, CRS will consider adjusting to working remotely with staff by conducting phone surveys and to shifting to virtual trainings/orientation sessions, conduct remote analysis of collected data and share this virtually with teams. CRS has a larger network of partner including Caritas with a considerable number of focal points in communities. The project MEAL team will establish a set of focal points within each selected community who will support remote data collection and will help to reach (by telephone) the selected households, facilitate discussions or share relevant information with the evaluation team based on direct observations. In order to ensure that the final evaluation is able to be carried out, project team will regularly evaluate the context to identify potential challenges and adapt strategies prior to evaluation activities. Ditekemena – Final Evaluation 95 Based on the context situation and the adaptive strategies identified, the Consultant will be responsible for recommending and applying a number of mitigating measures, including: • Extensive remote training on the tools, monitoring methods, data collection, and sampling procedures for the focal points and project staff; • Adaptive ICT4D solutions to support remote data collection and communication to participants during evaluation activities; • Statistically representative sampling with sufficient sample sizes that accounts for any potential biases due to clustering, relocation, dropouts, etc.; Triangulating data from beneficiary responses with observations, key informant interviews, focus group discussions. Given the challenges of conducting remote trainings and monitoring of the evaluation process, CRS will establish focal points for the evaluation within its Kananga office and provide additional Internet modems to its staff to improve connectivity on the ground. 8. Data Rights Clause Who owns your data? CRS will be the owner of all data generated generated in the course of the evaluation. Who gets to keep your data? Evaluators should expect to turn over all data collected to CRS. Who gets to use your data? Data can be used for no purpose other than the evaluation, except with the express written permission of CRS. 9. Ethical Consideration Per CRS ethical standards, the consultant must get a written authorization from the Ministry of Education before starting the field survey. All respondents will also be assured of a willing participation in the study or a willing withdrawal and the confidential treatment of all their answers. Moreover, selected consultant shall demonstrate how it will take into account other ethical consideration regarding the interviews with children. Responsible and open data In the framework of the present study, data should be collected in a way that protects constituent privacy and rights and is in accordance with CRS Responsible data values and principles and international and local regulations. For young students surveyed, surveyors will need to get assent from parents; also, that consent/assent will be obtained orally for those who cannot read. Returnees and displaced populations are considered vulnerable populations for studies and thus all team members involved in data collection and analyses should have completed an additional ethics training on children and/or vulnerable populations. Prior to data transfer and analysis data will be de-identified. Unique identification numbers will be used on all questionnaires to enable the production of the de-identified data sets. Particular care will be taken during the presentation of the research findings that the information presented is sufficiently aggregated to ensure that no single individual can be identified. The consultant should produce both complete and de-identified datasets. Per ethical standards, the consultant must ensure to have got a written authorization from the Ministry of Education before starting Ditekemena – Final Evaluation 96 the field survey. He shall also demonstrate how it will consider other ethical consideration regarding the interviews with children. Regarding the risk that participation may cause some discomfort answering certain questions, field supervisors and enumerators must remind participants that they have the right to terminate the interview at any time for any reason, especially if it is distressing to them. Field supervisors and enumerators must be trained to minimize any potential discomfort or harm to all subjects during all study activities to the greatest extent possible. Training must include a focus on skills related to being respectful and non-judgmental treatment of participants. CRS’ final evaluation consultants should be vaccinated against COVID-19 to travel to Ditekemena intervention sites. *For application/bid submissions please submit to: Ditekemena – Final Evaluation 97 Annex 19: Evaluation team leader’S PROFESSIONAL BIOGRAPHY is a senior Research, Monitoring and Evaluation (M&E) expert with over fifteen years of experience in the international development sphere. His most recent position was with USAID’s Monitoring, Evaluation and Coordination Contract (MECC) in DRC as Deputy Chief of Party. As DCOP, coordinated the evaluation designs of all USAID DRC evaluations and assessments including for the USAID DRC Health team. Prior to his role as DCOP, served as the Senior Research and Assessment Manager with USAID’s education project called Accelere!, spearheading data collection, research, assessments, and evaluations. He also led the DFID-funded Monitoring and Evaluation contract of the DRC Police and Security Sector reform program. is both familiar with qualitative and quantitative methods. He recently led the qualitative portion of the Final Evaluation of the Empowering Women project implemented in the eastern DRC by Women for Women International. holds a Ph.D. in Business Administration and Project Management from the Atlantic International University in Hawaii and speaks fluent English, French, Lingala, and Swahili.