IMPACT EVALUATION FOR THE USAID/ APRENDER A LER PROJECT IN MOZAMBIQUE Year 1 (Midline) IE/RCT Report February 11, 2014 This report was prepared for USAID/Mozambique by Magda Raupp, Bruce Newman, Luis Revés and Carlos Lauchande under Evaluation Services IQC Task Order AID-656-TO-12-00002 awarded to International Business & Technical Consultants, Inc. (IBTCI), with Global Surveys Corporation (GSC Research) as sub-contractor. The authors’ views expressed in this plan do not necessarily reflect the views of the United States Agency for International Development or the United States Government. IMPACT EVALUATION FOR THE USAID/APRENDER A LER PROJECT IN MOZAMBIQUE Year 1 (Midline) IE/RCT Report International Business & Technical Consultants Inc. Magda Raupp, Team Leader Bruce Newman, Statistician/Data Specialist Luis Revés, GSC Research, Deputy Team Leader Carlos Lauchande, Short Term Technical Assistance February 11, 2014 Evaluation Services IQC Task Order AID-656-TO-12-00002 Deliverable 7 USAID/Aprender a Ler Impact Evaluation: Midline Report Page i CONTENTS ACRONYMS.........................................................................................................................................................ii EXECUTIVE SUMMARY................................................................................................................................... 1 Methods................................................................................................................................................................ 1 Comparisons between control and treatment groups.............................................................................. 2 Summary of Findings.......................................................................................................................................... 3 Grade, Sex and Province Differences............................................................................................................ 4 Additional Findings and Impacts of the Project........................................................................................... 5 Conclusion............................................................................................................................................................ 6 Recommendations.............................................................................................................................................. 7 1. INTRODUCTION.................................................................................................................................... 9 1.1 Education Background.............................................................................................................................. 9 1.2 The USAID/Aprender A Ler (ApaL) Project....................................................................................10 1.3 Purpose of the Impact Evaluation........................................................................................................ 12 2. METHODOLOGY.................................................................................................................................. 13 2.1 The Randomized Control Trial (RCT) Design.................................................................................13 2.2 The Evaluation Questions..................................................................................................................... 15 2.3 The Sampling Strategy ............................................................................................................................ 15 2.4 Instrument Development ...................................................................................................................... 16 2.5 Data Collection........................................................................................................................................ 18 2.6 Data Processing ....................................................................................................................................... 20 2.7 Limitations of the Study......................................................................................................................... 20 3. DEMOGRAPHICS: Characteristics of students, teachers, directors and classrooms............21 3.1 Student Characteristics.......................................................................................................................... 21 3.2 Teacher Characteristics......................................................................................................................... 27 3.3 Director Characteristics ...................................................................................................................... 28 3.4 Classroom Characteristics ................................................................................................................... 29 4. SMA FINDINGS....................................................................................................................................... 30 5. INSIGHTS FROM THE INTERVIEWS CONDUCTED WITH DIRECTORS OF FULL TREATMENT SCHOOLS ..................................................................................................................... 37 6. EGRA FINDINGS.................................................................................................................................... 39 6.1 EGRA Results: February-March (Baseline) and September- October 2013 (Midline) Measurements.......................................................................................................................................... 39 6.2 Comparisons at Midline between Treatment and Control Groups...........................................49 6.3 Sex Differences at Midline by Treatment and Control Groups...................................................50 7. A MULTIVARIATE APPROACH TO IDENTIFYING FACTORS RELATED TO READING ACHIEVEMENT IN EARLY GRADES ................................................................................................52 8. SUMMARY OF FINDINGS ................................................................................................................... 57 9. CONCLUSIONS AND RECOMMENDATIONS............................................................................59 Recommendations............................................................................................................................................ 60 REFERENCES..................................................................................................................................................... 62 ANNEXES .......................................................................................................................................................... 64 ANNEX A: Student Questionnaire and EGRA Tool ...............................................................................64 ANNEX B: School Management Assessment (SMA) ...............................................................................74 ANNEX C: Interview Protocol and List of Interviewees .......................................................................93 ANNEX C-1: NAMPULA - List of Interviewed School Principals – FULL Schools..........................95 ANNEX C-2: Interview Transcripts with 30 School Principals in Nampula.....................................96 ANNEX C-3: ZAMBÉZIA - List of Interviewed School Principals – FULL treatment schools....111 ANNEX C-4: Transcripts of interviews with 29 school principals in Zambézia.............................112 USAID/Aprender a Ler Impact Evaluation: Midline Report Page ii ACRONYMS ADE Apoio Directo à Escola (Direct Support to Schools Fund) ApaL Aprender a Ler DPEC Provincial Directorate of Education EGRA Early Grade Reading Assessment EP1 Escola Primaria 1 GSC Global Surveys Corporation GER Gross Enrollment Rate GOM Government of Mozambique HLM Hierarchical Linear Model IBTCI International Business & Technical Consultants, Inc. ICC Intra-class correlation IE Impact Evaluation IFP Instituto de Formação de Professores (Teachers College) IGA Institutional Gap Analysis LEI Local Education Institution LTA Learning and Teaching Aids M&E Monitoring & Evaluation MINED Ministry of Education NER Net Enrollment Rates NGO Non-Governmental Organization RCT Randomized Control Trial SACMEQ Southern and Eastern Africa Consortium for Monitoring Educational Quality SDEJT Service for Education, Youth and Technology SMA School Management Assessment TL Team Leader TLA Teaching Learning Aids UIS (UNESCO Institute for Statistics) UNESCO United Nations Educational, Scientific, and Cultural Organization USAID U.S. Agency for International Development WEI World Education Inc. ZIP Zonas de Influência Pedagógica (Cluster of schools in an area around one lead school) USAID/Aprender a Ler Impact Evaluation: Midline Report Page 1 EXECUTIVE SUMMARY Teaching young children to read is the cornerstone of improving educational outcomes and has far￾reaching implications. Unless children learn to read at an early age, they cannot absorb more advanced content that relies on reading. Children who do not learn to read in the early grades risk falling further and further behind in later grades, as they cannot absorb printed information, follow written instructions, or communicate well in writing. These challenges, rooted in poor reading foundational skills, lead to early dropout from the education system. In the aggregate, reading and learning achievement are central to economic productivity and growth. Recent research reveals that it is learning rather than years of schooling that contributes to a country’s economic growth. 1 Over the past decades, countries in Sub-Saharan Africa have made great progress in expanding primary education. In Mozambique, net primary school enrollment rates increased from 45% in 1998 to 95.5% in 2010 (The World Bank, 2011). The marked increase in access to primary education in accordance with the 2000–2015 focus on Universal Primary Education (UPE) has not achieved an increase in quality, as judged by early-grade reading acquisition studies and evaluation reports (Gove and Cvelich 2011; UNDP 2011; UWEZO 2011; Martinez, Nadeau and Pereira, 2012). One response to this situation has been calls for more targeted instruction in reading, better measurement of progress and the setting of appropriate benchmarks against which to evaluate early reading acquisition in low- or middle-income developing countries. Previous evaluations in Mozambique such as the one conducted by the Aga Khan Foundation in Cabo Delgado2, have called attention to the low level of reading skills in the initial grades. To address this concern, the Ministry of Education (MINED) and USAID/Mozambique decided to collaboratively implement an intervention project, USAID/Aprender a Ler (ApaL), to improve reading skills in the early grades. ApaL is conceptualized as an evidence-based reading instruction program coupled with an Impact Evaluation (IE) designed to estimate the impact of ApaL on reading outcomes as measured by the Early Grade Reading Assessment (EGRA). This is the second of four reports that comprise the Impact Evaluation of the ApaL project. Methods The IE is designed as a randomized controlled trial and uses a counterfactual—e.g., a control group similar to the treatment groups—to estimate what would have happened without the intervention. In districts selected by USAID/ApaL along the economic corridors of the Nampula and Zambézia provinces, three groups of 60 schools each were randomly selected into Full treatment, Medium treatment, and no treatment or control groups. These schools were clustered in randomly selected Zonas de Influência Pedagógica (ZIPs).3 In February/March 2013, near the beginning of the academic year and prior to the implementation of ApaL activities students and schools in all three groups were assessed to provide a Baseline measurement.4 From September 16 to October 11, 2013, at the end of the academic year, data were again collected on the same 180 schools to assess the extent to which the abbreviated implementation of the project in 2013 had had any impact on second and third grade student reading skills as measured by the EGRA. ApaL started implementing activities three months 1 Hanushek, E. & Wolfmann, L. (2007) The Role of Education Quality in Economic Growth. World Bank Policy Research Paper 4122. 2 Aga Khan Foundation (2010) in Cabo Delgado by the Aga Khan Foundation, Mozambique (EQUIP2). 3 Schools in Mozambique are organized in groups (ZIPs) around a lead school. 4 Raupp, M, Newman, B. & Revés, L. (2013) Baseline Report USAID Evaluation Services IQC Task Order AID-656-TO-12-0000. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 2 prior to the data collection, thus the findings presented and discussed in this report should be seen as very preliminary. Data will again be collected at the end of the 2014 school year to investigate the impact of the project after one full year of implementation. In 2015, after one year without the intervention, a fourth data collection event is scheduled to allow assessment of the residual effects of ApaL. Comparisons between control and treatment groups The main objective of this report is to compare results obtained by students in Full and Medium treatment groups to those in Control schools that did not have the benefit of ApaL and to attempt to answer the question of what would likely have happened without the benefit of the project. In addition, the report compares scores obtained at Midline and at Baseline and discusses the relationships between specific variables such and sex, province, location of the school and characteristics of students, teachers, directors and classrooms that could affect student performance on the EGRA. Given that the IE uses a counterfactual, EGRA scores obtained by students in the Control group in the beginning and at the end of the 2013 school year can be attributed to the amount and level of instruction received during a typical school year and show students’ level of reading skills without the benefit of ApaL. It is reasonable to assume that without the project children in all three groups would have made comparable progress. Comparisons between scores obtained by students in control and in treatment groups allow us to answer the question typically posed by an Impact Evaluation (IE): Did the intervention make a difference? This report attempts not only to provide a ‘Yes’ or ‘No’ answer but, to the extent possible, describe how and why the intervention has made a difference.5 Table 1 below compares the scores on EGRA sub-tasks for second graders and shows that the students assessed at Midline in Full and Medium treatment classes outperformed their peers in the Control classrooms— gains were modest but nonetheless statistically significant. Where results are bolded in color, the means of the Full, Medium and Control groups in the two provinces are significantly different.6 In Section 3: Findings, these differences are further explained and disaggregated by sex for both grades. Table 1. Comparisons at Midline by Treatment Group and EGRA sub-tasks (2nd grade) Grade 2 EGRA Sub-task Average Scores Nampula Zambézia Full Medium Control Full Medium Control Oral comprehension (14 items) 7.7 7.1 6.5 8.5 7.9 8.3 Concepts about print (10 items) 5.1 5.3 4.5 4.5 4.3 3.8 Letter recognition (100 items) 11.8 9.7 5.2 7.2 5.1 4.3 Familiar word reading (30 words) 2.5 1.2 0.9 1.3 0.8 0.7 Oral reading fluency (120 words) 3.0 1.2 1.0 1.4 0.9 1.0 Reading comprehension (4 questions) 0.11 0.02 0.02 0.04 0.02 0.02 The differences between Full, Medium and Control groups are small but of importance and in many cases are statistically significant (where bolded/color). However, it is important to note that scores are below the level considered adequate for the grade. For example, by grade 3, students in low-income 5 At this point, to describe ‘how and why the intervention has made a difference’ may be premature given that the project started implementation in May 2013, a little over three months before the data collection took place. 6 Significant differences require that EGRA scores be disaggregated by province. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 3 countries could be expected to read fluently between 40-65 words per minute.7 Table 2 shows the same comparison for third graders. 8 Table 2. Comparisons at Midline by Treatment Group and EGRA sub-tasks (3rd grade) Grade 3 EGRA Sub-task Average Scores Nampula Zambézia Full Medium Control Full Medium Control Oral comprehension (14 items) 8.5 8.4 7.7 9.3 8.6 9.2 Concepts about print (10 items) 6.2 6.6 6.1 5.9 5.4 5.3 Letters recognition (100 items) 18.6 19.0 16.2 14.5 11.7 7.8 Familiar words reading (30 words) 4.7 4.6 4.4 3.0 2.1 1.2 Oral reading fluency (120 words) 6.6 5.7 6.4 4.1 3.2 2.2 Reading comprehension (4 questions) 0.19 0.16 0.15 0.13 0.09 0.09 In grade 3, EGRA results, with the exception of oral comprehension, are significant only in Zambézia in the first four sub-tasks of the EGRA. Confirming that words read by minute can be a proxy for reading ability, oral reading fluency and reading comprehension are so low that we cannot reach any conclusion except that third graders are barely now recognizing the letters and, when presented with connected text, cannot read words at the speed needed to understand what they read. These results refer to the end of the 2013 school year and could also be used as a Baseline that will allow comparisons with results obtained at the end of the 2014 school year after one full year of ApaL implementation. Summary of Findings In spite of the abbreviated implementation of ApaL in 2013, it appears that the project has the potential to improve student reading skills as shown by the comparisons between control and treatment groups at Midline (Tables 1 and 2). Major impacts are observed in second grade in letter recognition and familiar word reading. Third grade pattern is not as clear although letter recognition is significantly improved in Zambézia. The benefits accrued by the students in Full and Medium groups are summarized below: Oral language. When compared to Baseline, students in all three groups made progress in the sub-task Oral Language. This is expected after one full year of instruction. However, the differences in scores observed at Midline between treatment and Control groups are significant both for second and third graders, showing that treatment groups made more progress on the sub-task than children in the Control schools. Concepts about print. For second graders, significant differences were observed between treatment and Control groups both in Nampula and in Zambézia. No significant difference was found in the results obtained by third graders in Control or treatment groups on this sub-task. Letter recognition. Whereas at Baseline, all second grade groups averaged fewer than 2 letters correctly identified in one minute, by Midline clear differences emerge between the groups, with intervention groups more than doubling the results obtained in Control schools in Nampula and nearly that in Zambézia when compared to Baseline. At Midline, on the average, letter recognition went from 2 to 7 “Words per minute” (WPM) is used as a proxy indicator for the ability to read by the end of grade 3. 8 Abadzi, H. (2013). Literacy for all in 100 days? Global Partnership for Education. Series on Learning No. 7. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 4 11.8 letters per minute for second graders and from 6 to 18 letters correct per minute for third graders in the intervention schools. In control schools, improvement went from 2 letters per minute at Baseline to 5 at Midline. Familiar word reading. Though small in absolute terms the ApaL intervention has an effect despite the limited implementation period in this school year but extremely low scores predominate—children, even in third grade, simply cannot read more than a few words. Note that Zambézia lags behind Nampula and that boys consistently out-perform girls on this subtask. Oral reading fluency. By grade 3 some improvement is noted, especially in Nampula and, on average, scores go from 2 to over 6 words per minute for all groups. In Zambézia the treatment groups outperform the Control schools by one or two words. Following the pattern observed at Baseline, at Midline, this sub-task shows very modest gains and the differences among treatment and Control groups are not significant statistically or educationally—students, on the average showed gains of less than one word per minute. Grade 2 scores at Baseline were practically zero and at Midline both Control and treatment groups read one word per minute on average while students in Full treatment schools in Nampula, read an average of 3 words per minute. Reading comprehension. The results of the familiar word reading, clearly predict the results obtained on this sub-task: most students could not read with sufficient fluency to pass to the comprehension stage— less than 5% in grade 3, and less than 1% in grade 2. The majority of the students who were able to read enough words of the stories (14 students in grade 2 and 85 students in grade 3, out of roughly 1,800 students in each grade) answered the comprehension questions correctly. This finding could have been predicted by examining the information available at Baseline: less than 3% in grade 3, and less than 1% in grade 2 could read with fluency sufficient to pass to the comprehension stage. Grade, Sex and Province Differences Grade effects. On all EGRA sub-tasks grade 3 students scored statistically significantly higher than their counterparts in grade 2 (regardless of whether they had been assigned to treatment or Control groups) with more than three additional words read correctly per minute in the word reading EGRA sub-task. This is the expected grade effect since each full year of instruction adds to what the child has learned the prior year. At the end of 2014 the progress observed has the potential to be enhanced given that students who were in grade 2 in 2013 are third graders in 2014 and will have started grade 3 at a higher level than 2013 third graders. We can hypothesize that the combination of one year of instruction and a full year of project implementation will result in higher EGRA scores at the end of 2014 as compared to those obtained at the end of 2013. Sex differences. There are significant differences between boys and girls in all sub-tasks except oral language and concepts about print. This finding is of the utmost importance for USAID/ApaL—that needs to tailor its activities to address this gap. Analysis were run to determine whether the sex of the teacher had any impact on student performance on word reading in either grade 2 or 3. No effect is associated with the sex of the teacher and no interaction effect of teacher and student sex is observed. The reasons for the differences or what ApaL needs to do to ensure that girls benefit equally from project activities is beyond the reach of the IE. Jonas et al. (2009) observes that RCTs can answer ‘does it work?’ questions but not ‘how could it be improved?’ Cartwright and Munro (2010: 265) note that RCT experiments can answer the question ‘did it work here?’ but not ‘will it work for us (elsewhere)?’ In any case, this finding suggests that ApaL needs to devise strategies to increase the skills of the girls in the more complex aspects of reading in order to reduce the gender gap in the target schools. As girls’ performance improves EGRA scores in general will also improve. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 5 Province and urban/rural differences. A third area where differences were noted was the location of the school—urban or rural areas as classified by MINED. Because this difference seems to be associated with province, it was included in the Hierarchical Linear Model (HLM) to examine whether the differences were a result of province or of urban rural location of the schools. Results were inconclusive: while province appears as a factor that affects almost all sub-tasks, location of school (urban/rural) seems to affect only the sub-task oral comprehension. This goes against commonly held but perhaps unsubstantiated assumptions about how performance in rural schools is lower than at urban schools. While the IE is able to determine through the use of an HLM, that location of the school— urban or rural—does not affect the EGRA subtasks with the exception of oral comprehension, it cannot determine why this is so or whether this is true elsewhere. ApaL full implementation in 2014 in both rural and urban schools should use these results and seek to determine how implementation of project activities differs depending on the location of the school. Additional Findings and Impacts of the Project During the early phases of implementation of any project when results are not stable, it is risky to draw conclusions and make recommendations. This said, apart from the EGRA results summarized above, some interesting impacts are noticeable. Changing teacher practice through training. Training provided by ApaL seems to be effective in changing teachers’ instructional behaviors in the classroom (Please see Figure 8) and this finding is of utmost importance to USAID/ApaL. Given the limited pre-service preparation of teachers in the schools sampled—70% in Nampula and 84% in Zambézia have 10 +1 or 10 + 2 years of education—ApaL’s training provided to teachers is essential in that it influences teachers to use teaching reading practices that are considered more effective by reading specialists. For example, one of the instructional practices emphasized during training was Initiates the study of sounds of letters without showing the student a picture of the shape of the letter (phonemic awareness). The classroom observation, one of the sections of the SMA, shows that there are significant differences between teachers in the treatment and control groups—58% of the teachers in Full and Medium treatment schools were observed exhibiting the behavior while only 2% of those in the Control schools did so. The same pattern recurs when most items contained in the Classroom Observation instrument are analyzed (Please see Tables 9, 10 and 11). We hypothesize that at the end of 2014, these significant differences may be even more noticeable. After one full year of implementation, ApaL may want to run analyses using the project training dataset and the class observation data in order to determine whether the sex of the teacher has an effect on how teaching practices are modified by training. Impact of teacher practices on EGRA scores. A simple instructional practice emphasized during ApaL training, such as ‘teaches the names of the letters to students’, was observed in 86% of the treatment classes but only in 31% of the Control classes. On the average, Nampula second graders taught by teachers who teach the names of the letters scored significantly higher than students whose teachers do not do so—9.9 letters per minute as opposed to 6.7. The same pattern persists when we examine most of the items included in the Class Observation protocol (Tables 9, 10, 11). This is an important finding showing that teacher practices have the power to affect student achievement. At the end of 2014, after a full year of ApaL implementation, these data will be further analyzed. When teachers are provided with relevant teaching/learning materials, they use them. Teachers and school directors in treatment schools received with enthusiasm the learning and teaching materials (TLAs) provided by the project even though they were not sufficient for all grade 2 and 3 teachers (only one set of TLAs was provided per school; we were told that schools were to establish a shared Reading USAID/Aprender a Ler Impact Evaluation: Midline Report Page 6 Classroom). Observations in 344 classrooms show that teachers do use the materials to facilitate the task of teaching to read in early grades (Please see Table 12 on page 28 for significant differences in the use of materials by teachers in Treatment and Control classes). It is true that teachers would be more likely to be using materials provided by ApaL if they knew that their class was going to be observed. However, it must be noted that teachers and their respective classes were randomly selected for observation as the ApaL/IE teams arrived at school—in each school one second and one third grade teacher was randomly selected among those present on the day of the visit. As pointed out by the 55 school directors and the four pedagogical directors interviewed, ApaL did provide materials—even if they were insufficient in numbers for all teachers—that facilitate the work of teaching students to read.9 Teachers, as reported by the school directors interviewed, have no TLAs other that what ApaL has provided and were very enthusiastic about the materials provided by ApaL, which may have resulted in wider use. School Management Practices. Due to the abbreviated implementation of ApaL during 2013 the SMA (as analyzed by ApaL) show no significant difference between Treatment groups. One can hypothesize that as training for school directors is intensified during 2014 a noticeable difference in school management practices will be observed. It is also possible that better school management practices—with special focus on the reduction of director, teacher and student tardiness and absenteeism, one of ApaL indicators—will result in higher EGRA scores. At this point, however, it would be premature to say anything related to school management practices. Conclusion Assessments of student learning in the primary grades, such as the EGRA used at Baseline and at Midline, offer an opportunity to determine whether children are developing the fundamental skills upon which all other literacy skills build, and, if not, where efforts might be best directed. The analysis of EGRA scores presented in this report in combination with SMA findings provided to the IE by USAID/ApaL, the qualitative interviews and enriched by a review of the pertinent literature provide a multifaceted view of students’ reading ability as a function of student, teacher, director, classroom, and school characteristics traditionally associated with student performance. This is vital information to help improve the quality of education in the early grades. The findings show that the ApaL intervention, limited as it was in 2013, has the potential to produce positive impacts on student early grade reading skills in schools with characteristics similar to those that were part of the sample. While it is encouraging to see gains among all groups, and especially among treatment groups, after a very abbreviated intervention, the EGRA results reveal that by the end of grade 3, the majority of the 3,523 students assessed have not yet acquired sufficient foundational skills to allow them to read fluently with comprehension—only 8% of third graders in Nampula and 3% in Zambézia were able to read correctly 31 or more words of a text. As a consequence, reading comprehension scores were also low, with less than 1% being able to answer even the first of the eight reading comprehension questions. Poor attendance by students limits the ability of a project to impact learning. For this reason, one of the indicators selected by ApaL to measure the successful implementation of the management component at the Full school is expressed as “director, teacher and student tardiness and absenteeism reduced.” One can hypothesize that as management skills improve in Full Treatment schools and tardiness and 9 In 2013 Apal distributed 122 sets of TLAs, one per treatment school. There are 741 second and third grade teachers in the treatment schools. We have been told that the materials are set up in shared classrooms, one per school. ApaL has indicated that in 2014 the number of sets of LTAs provided to the schools will be expanded. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 7 absenteeism is reduced, more time will be available for teaching and learning. The added time might be instrumental in improving student reading skills and, consequently, increasing EGRA scores. ApaL has indicated that in 2014 it will collect data during regular visits to treatment schools to calculate an absentee rate that could be used to compare schools in the sample. This will be useful when attempting to assess the additional gains accrued by the implementation of the management component at the Full treatment schools. Recommendations Given the abbreviated implementation that occurred in 2013 and the fact that the IE is not a process or outcome evaluation of project implementation, very few recommendations are put forth at this point. The main focus of the recommendations presented here is on those issues that will provide better data at the end of 2014. Revise Section B of the SMA (Observation of Teaching Practices), subsume lesser behaviors into higher order ones, perhaps reducing the number of items (currently there are 49 practices for the observer to record); use a Likert scale in order to establish shades of difference between and among levels of practice—very good or good, average, insufficient, or poor. The YES/NO approach does not capture the full range of teacher practice and does not allow putting teachers into categories so that progress from one category to the next, which is expected to occur as a result of training, can be documented. Use a formula to create a weighted index that includes (i) attendance, (ii) punctuality, (iii) attendance at training sections and (iv) observed classroom practice to come to one number that represents the various facets of the work of a teacher so as to allow this index to be related to scores obtained by students on the EGRA.10 Thoroughly revise Section D of the SMA (Interview with the school director) and reduce the number of items (currently 94) to be recorded by the enumerators. Eliminate repetitious questions and all items to which the great majority of responses was NO. As suggested above, use a Likert scale to capture the nuances of the management style of a school director so that the number of school directors in one category can be assessed, i.e., how many school directors are classified as ‘poor’ judged by their school management practices? How many have moved from the ‘poor’ to the ‘acceptable’ category? Create an index similar to the one suggested above for the Classroom Observation instrument so that each school could be classified according to the performance of the school director and the index could be related to EGRA scores. Relating 94 individual items to the EGRA scores is not a viable option. Find more reliable ways to collect SMA data. When possible, data on (i) student, teacher and school director tardiness and absenteeism, (ii) student age and repetition and (iii) start and end of the school day and of class time should depend less on self-reporting and more on school records. It is possible that one key element of ApaL training should be the documentation by school directors and teachers of such information since good school management is associated with keeping good records that facilitate evidence-based decisions that will result in school improvement. Share with teachers and directors (possibly during training) the classroom observation and the school management instruments. Knowing where the project is going in terms of teaching reading and school management practices will clarify to all what is expected and direct their efforts to the desired 10 We do not recommend including teacher pre-service in the index since the HLM analysis did not see teacher pre-service status as a factor that affects EGRA scores. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 8 outcomes and ensure that ApaL and school personnel are on the same track. Focus on instructional practices shown to improve reading and reading instruction. Teachers in Control schools received no in-service training in teaching to read strategies. In Medium and Full treatment schools where focus on reading instruction was implemented by ApaL, scores on the EGRA show increase in letter recognition and word reading when compared to Baseline scores—when all groups averaged fewer than 2 letters correctly identified in one minute. At the Full treatment schools focus on school management strategies to expand the time available to teach and learn. The high rates of student and teacher tardiness and absenteeism in the sampled classrooms and of directors in the schools visited suggest that management training should focus on specific indicators that measure the reduction of tardiness and absenteeism rates. This should be communicated clearly during the training provided to directors at the Full treatment schools. Use the findings related to difference in performance by sex during training to make teachers aware of the situation and to examine more closely what is happening in their classrooms. The Midline data show that boys consistently outperform girls in all subtasks except oral comprehension and concepts about print. This means that girls are falling behind in the more complex sub-tasks, especially those that are the building blocks for learning to read. An overall increase in EGRA scores requires that girls’ achievement be raised. Examine in more detail the significant and consistent differences in early grade reading between Nampula and Zambézia. Only ApaL has the proximity to the conditions in the provinces to identify possible causes behind these differences and possible solutions. The gap observed between Nampula and Zambézia is consistent across all EGRA sub-tasks except, as noticed at Baseline, in oral comprehension and needs to be addressed to enhance the generalizability of the intervention. Set literacy benchmarks. The complex language environment in Mozambique with many local languages spoken in different provinces and Portuguese as the official language of instruction requires clarity about what reading outcomes children are expected to achieve at the end of each grade. Several influential studies have used the number of words a student is able to read correctly in one minute (words per minute-WPM) as a proxy for assessing reading ability.11 The number of words per minute read should be a target to achieve in treatment schools and clearly communicated to school director and to teachers. 11 Abadzi, H. (2011). Reading Fluency Measurements in EFA Partner Countries: Outcomes and Improvement Prospects, EFA, FTI Secretariat Update September 2011. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 9 1. INTRODUCTION This report examines the outcomes from EGRA assessment conducted in September/October 2013 to determine whether there was a program impact that could be identified. Unlike general evaluations, which can answer many types of questions, impact evaluations are structured around one particular type of question: What is the impact (or causal effect) of a program on an outcome of interest? The analyses presented in the report focus on the changes in outcome (early grade reading skills as measured by the EGRA) that are directly attributable to the ApaL intervention. Two types of comparisons are made: (i) differences in EGRA scores between Control and treatment groups at Midline; and (ii) EGRA differences in scores obtained by second and third grade students at Baseline and at Midline. In addition, the report contextualizes the EGRA information by examining and calling attention to factors that may affect scores—teacher practices as observed in the classroom, characteristics of schools, availability of teaching and learning materials and sex and provincial differences. It is in the interest of the project to consider these factors as it prepares for full project implementation in 2014. This report is structured as follows. In this section, we present the general education background in which the project operates and the design of the ApaL project as well as the objectives of the IE. Section 2 explains the methodology employed, the data sources and the instruments used to collect the data. Section 3 presents the general demographics and characteristics of students, teachers, school directors and classrooms. In Section 4 the results of the EGRA and the comparisons between Full, Medium and Control groups as well as differences between Baseline and Midline are explored to estimate the impacts of the program. Sections 5 includes the results obtained by the administration of the SMA as provided by ApaL and also includes some of the analyses that the IE team performed using SMA data (class observation and classroom characteristics). Section 6 reports findings of a multivariate analysis that simultaneously takes into consideration a number of contextual and intervention variables that impact outcomes (EGRA scores). Finally, in Section 7 we summarize findings and make recommendations for the next round of implementation of project activities. 1.1 Education Background During the 1990s, many low-income countries, Mozambique among them, committed to the United Nations Education for All goals of ensuring universal access to primary education. Since then, with support from donors, some countries have made impressive strides toward expanded access to schooling. However, improvements in enrollment rates are not automatically followed by better learning. While expanding coverage and enrollment rates is a first step to equity, the inclusion of new student populations into the education system is often accompanied by the late entry and repetition. To illustrate, the United Nations Educational, Scientific, and Cultural Organization (UNESCO) tracks both enrollment and quality in its Education for All Development Index. According to the UNESCO Institute for Statistics (UIS) Gross and Net enrollment rates for Mozambique are higher than the regional average—84% of the girls and 89% of the boys of the corresponding age population are in primary school with a Gross Enrollment Rate (GER) of 107%, higher than the regional average at 101%. Over ten years, enrollment in primary school had doubled from 43% in 1991 to 86% in 2011. However, only 56% of those enrolled complete a full primary course (UIS, UNESCO, 2012).12 12 Percentages of children in school are represented by Gross Enrolment Ratios (GER) and Net Enrolment Rates (NER). GER is the number of pupils enrolled in a given level of education regardless of age expressed as a percentage of the population in the theoretical age group for that level. NER number in the theoretical age group enrolled expressed as a percentage of the same population. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 10 After expanded coverage and access came the preoccupation with educational quality. The assumption was that, with enough inputs—such as better classrooms, better-trained teachers, and appropriate textbooks and educational materials—learning would naturally follow. This is not always the case. The inclusion of populations that previously had no access to education poses major challenges to an already fragile education system. To face the influx of new students, schools are frequently forced to function in shifts and depend on teachers not yet prepared for the task of teaching reading to young children or to children who speak a local language. This is coupled with the hiring of school directors who do not have the adequate managerial and instructional leadership skills to run a school focused on learning improvement. The government of Mozambique (GRM) is committed to create a more equitable system and has made significant progress since 1999. It is estimated that the school population in 2014 will increase by 6% from the current 6 million to almost 6.4 million students with 4.6% of increase in the first cycle of primary education (EP1) to reach a total of 4.8 million students in the initial grades in 2014.13 1.2 The USAID/Aprender A Ler (ApaL) Project The USAID/Mozambique ApaL project is an experimental intervention that is part of a collaboration between the Mozambique Ministry of Education (MINED) and USAID/Mozambique. The overall goal of the project is to improve reading outcomes of students in grades 2 and 3 in urban and rural target schools in the Zambézia and Nampula provinces of Mozambique. To achieve this goal, ApaL provides teacher training focused on the teaching of early grade literacy skills, coaching, and technical assistance to improve the quality of basic education services. One of the broad objectives is to build the capacity of Local Education Institutions (LEI) to implement and manage ApaL activities once the project ends. To facilitate this, the project is being implemented using participatory and learning-by-doing approaches to strengthen the technical and organizational skills of the LEIs and ensure sustainability of the effort. Project goals are closely aligned with the efforts of the Mozambican authorities to improve quality of education as stated in the Mozambique Strategic Plan for Education 2012-2016. The ultimate measure of project success is “more children reading,” in keeping with the overall goal of USAID’s Education Strategy. Figure 1 depicts the overall strategy of ApaL. 13 Source: Ministério de Educação (MINED), Maputo, Mozambique 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 11 Figure 1. USAID/ ApaL Strategy ApaL is being implemented in 120 treatment schools—62 in Nampula and 58 in Zambézia – benefitting approximately 43,700 students (29,000 in Nampula and 14,700 in Zambézia) in 853 classrooms. Table 3 below summarizes activities implemented that could improve the quantity and quality of reading instruction in grades 2 and 3, thereby affecting the EGRA scores. Note that these activities are above and beyond training already provided by MINED to teachers and directors. Table 3. Activities conducted by ApaL In-service teacher training & coaching in Medium and Full treatment schools Target Achieved % Achieved 2nd and 3rd grade teachers received training in early grade reading instruction 853 528 60% 2nd and 3rd grade teachers observed by Pedagogical Directors (PDs) 853 244 28% 2nd and 3rd grade teachers coached in reading instruction 853 61 7% PDs or Master Teachers trained as Lead Teachers (LTs) 88 88 100% PDs trained in coaching techniques and classroom observation 130 104 85% Increased Availability of Teaching and Learning Materials for 2nd and 3rd Graders and Teachers in Medium and Full treatment schools Early grade instructional materials distributed to schools (banners and cards with words) 853 122 14% Training packages distributed to LTs (trainers of teachers) 88 88 100% USAID/Aprender a Ler Impact Evaluation: Midline Report Page 12 Coaching packages distributed - 104 - In-service teacher training & coaching for school and pedagogical directors only in Full treatment schools School directors received training in school management to support the reading component 60 57 95% PDs or Master Teachers trained as Lead Trainers (LD) 80 88 110% PDs trained on reading materials and on coaching 122 104 85% School directors attended improved school management meetings at school cluster level 60 29 48% ZIP Coordinators received training in school management to support the reading component, coaching and meeting facilitation 12 12 100% * This information was provided by ApaL M&E local coordinator while the IE team was in Mozambique. It is not exactly clear the number of second and third grade teachers in the 120 schools and of those who have received or will receive ApaL training. ApaL initially was considering 4 teachers per school (480) but apparently there are many more 2nd and 3rd grade teachers in the 120 treatment schools. In 2014 we expect that training records will provide a more precise count of trainees and of the number of hours they were engaged in training. As part of its design, the project included an experimental impact evaluation whereby from a pool of eligible schools 180 were selected at random and assigned to one Control and two treatment groups— Medium and Full. A Baseline was collected at the beginning of the 2013 school year and a Midline14 was conducted close to the end of the 2013 school year (between September 16 and October 11). 1.3 Purpose of the Impact Evaluation Impact evaluations are structured around one particular type of question: What is the impact (or causal effect) of a program on an outcome of interest? An impact evaluation looks for the changes in outcome that are directly attributable to the program.15 The IE was designed around key causal questions aimed at better understanding how the intervention, in combination with other factors, contributes to improve early grade reading skills in a set of schools in the Nampula and Zambézia provinces. Impact evaluation questions can take two basic forms: one can simply ask if the intervention resulted in a desired impact to which we can reply either ‘yes’ or ‘no’. A second, usually more challenging question is to explain the causal link, to demonstrate how it was that the intervention led to or produced the impact. Understanding what works and what does not then feeds into a process of learning and the improvement of programs and policies. Most social scientists now recognize that causation without explanation is insufficient. Project and program staff, donors and implementers as well as policy-makers need to understand why as well as how if they are to use findings from research or evaluation for future policy-making. Besides assessing the causal links between an intervention and an outcome, the IE serves to build the knowledge base of what works. With an increasing demand for evidence of effectiveness, rigorous evaluations offer a method through which development successes can be highlighted. Therefore, to the 14 It is important to note that Midline is not really the case here since ApaL implementation started approximately three months before the data used in this report was collected. 15 According to the USAID Evaluation Policy (p. 4), “impact evaluations measure the change in a development outcome that is attributable to a defined intervention; impact evaluations are based on models of cause and effect and require a credible and rigorously defined counterfactual to control for factors other than the intervention that might account for the observed change. Impact evaluations in which comparisons are made between beneficiaries that are randomly assigned to either a treatment or a control group provides the strongest evidence of a relationship between the intervention under study and the outcome measured.” USAID/Aprender a Ler Impact Evaluation: Midline Report Page 13 extent possible, this report examines how some of the activities already implemented by ApaL contribute to the improvement of student reading skills represented by the scores obtained on the EGRA. In the section that follows we describe the methodological aspects of the IE. 2. METHODOLOGY The IE design uses a counterfactual—e.g., a control group similar to the treatment groups—to estimate what would have happened without the intervention. It is seldom sufficient to simply compare the treatment groups before and after the intervention. The world is constantly changing and we need to know what would have happened to the treatment groups without the intervention. A pre/post design does not have the power of an impact evaluation, which is given by the counterfactual analysis. The strength of counterfactual impact evaluation lies in quantified estimates of impacts at the micro level – “how much has changed because of the ApaL intervention?” and in identifying the most effective investments “what type of treatment generates the most impact?” The difference in outcomes between treated groups and control group is the estimate of impact. The IE is not a process or outcome evaluation of the ApaL project and does not seek to assess the level of implementation of the various project activities or whether project targets have been met. Rather it seeks to determine the effects of the intervention on a well-defined indicator—early grade reading outcomes as measured by the EGRA. The IE was designed around key causal questions aimed at better understanding how this specific intervention, in combination with other causal factors, contributes to bringing about intended impacts the design of the IE and the questions that guide the effort are presented in Sections 2.1 and 2.2. 2.1 The Randomized Control Trial (RCT) Design The general specification of the IE model is based on the evaluation objective of assessing the extent to which ApaL intervention has improved early grade reading outcomes. Thus, the model treats early grade reading outcomes as a function of the Medium or Full interventions. The model will be tested with direct comparisons under three scenarios: with the Medium treatment sample, with the Full treatment sample and with the Control, or no-treatment sample. The IE calls for analysis of data collected in 180 schools along the economic corridors of Nampula and Zambézia provinces using Randomized Control Trial (RCT) methodology, with 60 schools receiving Full treatment, 60 schools receiving Medium treatment, and 60 no-treatment or Control schools. The RCT allows for direct attribution of the ApaL intervention to improved reading outcomes because the model controls for other possible determinants of the outcome. The reading scores obtained will be compared to results obtained by the non-intervention Control group and provide an estimate of how students in the Medium or Full treatment groups would have performed without the benefit of the intervention. The original RCT design started with the collection of Baseline information in February/March 2013, shortly after the beginning of the Mozambican school year. Figure 2 displays the original design of the Impact Evaluation RCT. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 14 Figure 2: Original RCT design The Baseline study should have been followed by ApaL full implementation during the 2013 school year. However, implementation in 2013 was only partial, having started in the three months before the observation was conducted in September/October. As a consequence, the IE is to be extended to 2015 in the same schools. Note that the modifications did not affect the design itself but the number of observations—now four instead of the three originally planned. Figure 3 displays the updated design of the RCT. Figure 3: Update of the IE design Note that the IE design requires that USAID/ApaL independently apply the treatments to each group— Full and Medium during 2014. Furthermore, the Control schools must not receive any of the interventions during the 2013, 2014, and 2015 academic years. We recognize that these constraints are difficult and rigorous but the integrity of the IE design depends upon these conditions being respected for the three-year period in the 60 Control schools included in the sample. Data on reading outcomes and other variables were collected again at the end of the 2013 school year—Midline observation, the object of this report—and will be collected again in September 2014, at the end of the 2014 school year to measure reading outcomes after one full of ApaL implementation. In 2015 there will be no ApaL intervention in the 120 treatment schools, but the EGRA will still be administered to all schools in the sample. These data will be analyzed and compared to data obtained at the end of 2014 scores in order to assess whether the capacity to teach reading in the manner proposed by ApaL remains within the system. Another aspect of sustainability is whether the MINED— the district, the head school of the ZIP, the school—could develop and maintain the required capacity and allocate the funds required to successfully sustain the intervention. This can only be assessed when ApaL has ceased intervention in the target schools and the IE is able to observe residual effects of the intervention in those 120 schools. 2013 2014 Baseline Full Medium Control ApaL Full Medium NO Observ Full Medium Control ApaL NO NO NO Observ Full Medium Control 2015 – same schools Treatment Apal No No No Observation Full Medium Control USAID/Aprender a Ler Impact Evaluation: Midline Report Page 15 2.2 The Evaluation Questions The two overall evaluation questions to be addressed by the USAID/ApaL Impact Evaluation, Has the program made a difference? What would have happened without the program? and To what extent have USAID/ApaL treatment interventions improved early grade reading outcomes for students in second and third grades in the target schools in the Nampula and Zambézia Provinces? are made more specific in Table 4. Table 4. Evaluation questions and data required to answer them Evaluation Question Data Type Data Source 1. To what extent does the “reading instruction support” treatment intervention cause early grade reading outcomes to improve for students in grades two and three in target schools whose teachers have received training, coaching and support? Reading scores on six subtasks of the EGRA instrument Random sample of students in randomly selected grade 2 and 3 classes in all schools of randomly selected ZIPs from selected districts in Nampula and Zambézia provinces 2. To what extent does the treatment intervention of additional “school management” training, coaching and support to school directors cause a significant and additional improvement in early grade reading outcomes when coupled with “reading instruction support” in target schools? Reading scores on six subtasks of the EGRA instrument Random sample of students in randomly selected grade 2 and 3 classes in all schools of randomly selected ZIPs from selected districts in Nampula and Zambézia provinces 3. To what extent are the Medium and Full treatment interventions cost-effective? Information on ApaL ingredients and their cost To be provided to the IE by World Education International (WEI)/ApaL Note: Question to be addressed at the end of 2014 4. Of the most cost-effective intervention, which falls within the existing technical and financial management capacity of local education institutions personnel? Semi-structured qualitative interviews; IGA study (conducted by ApaL) MINED officials at the central, provincial and district levels; directors of head schools of ZIPs. Note: Question to be addressed at the end of October 2015 Evaluation question # 3 is related to the cost-effectiveness of the interventions, specifically whether the results obtained by the Full treatment justify the additional cost of training school directors in school management. To answer this question, the IE will require the cost of all the resources required to implement the ApaL intervention at the Full and at the Medium treatment schools. Once the ingredients and their cost are shared with the IE we will calculate them as incremental costs, i.e., taking into account resources utilized by the intervention beyond those already utilized by MINED. Once the cost metrics have been calculated, a cost-effectiveness ratio will be derived. The ratio will show the cost of increasing reading skills (expressed by the additional number of words read, for example) and compare the cost of Full and Medium levels of intervention. This question will be addressed at the end of 2014 when ApaL has completed a full year of implementation. 2.3 The Sampling Strategy The sampling strategy was developed taking into consideration the ZIP-centric model of the MINED. After the identification of the districts where ApaL would be implemented, ZIPs within these districts USAID/Aprender a Ler Impact Evaluation: Midline Report Page 16 were randomly assigned to Treatment or Control groups in a manner that ensured a range of similar ZIP sizes in each group. The sample included schools classified by the MINED as urban or rural. Settlement-type or bilingual schools were not included in the sample. Additional field-applicable methods were then developed to allow random selection of classrooms for each grade in schools where more than one classroom existed for a given grade as well as for the random selection of 10 students among those present on the day of the visit. The use of these techniques avoids selection bias from the field data collection teams themselves or from MINED personnel at the province, district, ZIP or school and classroom levels.16 Randomization of individuals or groupings (for example, classrooms or schools) into equivalent comparison groups depends on the availability of the necessary information. Proper randomization can be a challenge for all impact evaluations, but can be particularly complex in a developing-country context where reliable information is not always readily available. In Mozambique, this was not the case. A complete list of all schools in the two areas of interest and other related statistical information related to the schools—directors, teachers, and students—was made available to the evaluators by the MINED Department of Planning and Cooperation.17 2.4 Instrument Development Three types of instruments were developed or adapted to collect the necessary data: (1) EGRA tool adapted by the WEI/ApaL from the instrument utilized by the Aga Khan Foundation in Cabo Delgado, Mozambique (Please see Baseline report for a more detailed explanation); (2) the SMA developed/adapted by the WEI/ApaL; and (3) a semi-structured qualitative interview protocol developed and administered by the IE team. In this section we address the characteristics and usefulness of each instrument. 2.4.1 The Early Grade Reading Assessment Why Test Early Grade Reading? The ability to read and understand a simple text is one of the most fundamental skills a child can learn. Yet, measuring early literacy can be challenging since most tests are administered in higher grades, such as grades 4 or 6 and are aimed at higher-level skills and are not likely to capture the specific fundamental competencies that students need to become fluent readers.18 Such assessments often aim at measuring comprehension and assume that students are already proficient readers. Early assessment of the pre-reading and foundational skills required for fluency allows governments to implement measures to correct deficiencies where they exist.19 Structure and Content of the Final EGRA for Mozambique. The EGRA is an individually administered instrument developed to measure a child’s emergent reading skills essential to becoming 16 The strategy to ensure randomization including the instructions given to the enumerators to select second and third grade teachers among those present and the ten students in the selected classrooms are described in detail in the Baseline report (April, 2013). 17 The Baseline study details the sampling strategy, makes reference to the source of data (MINED) and demonstrated that the random sampling methodology was successful in creating treatment and control groups that were effectively equivalent at Baseline. 18 Emergent reading skills are “skills, knowledge, and attitudes that are developmental precursors to conventional forms of reading and writing. These skills are the basic building blocks for how students learn to read and write.” (Connor et al, 2006, p. 665). 19 Abadzi, Helen. (2009). “Instructional Time Loss in Developing Countries: Concepts, Measurement, and Implications.” World Bank Research Observer. 24 (2): 267-290 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 17 fluent readers who comprehend what they read. Because of its direct links with the skills indispensable for successful reading achievement, EGRA may inform ministries of education, donors, teachers, and parents about primary school students’ initial reading skills and assist education systems in setting standards and planning curricula to best meet children’s needs in learning to read. The EGRA can capture more subtle impacts from specific teaching approaches than pencil-and-paper tests, as it incorporates subtasks that measure pre-reading skills.20 Brief Explanation of EGRA Sub-tasks. The EGRA was administered in Portuguese to assess children’s competency in six sub-tasks explained below. 1. Oral comprehension: ability to understand basic Portuguese oral vocabulary. The first part of this subtask includes 8 prompts that required students to perform an action (e.g., “show me your arm”). A second part, with a maximum score of 6, requests that students follow instructions given orally (e.g., “place the pencil on the paper”). 2. Concepts about print (CAP) measures children’s emergent literacy skills by asking them to demonstrate how they read a book—recognition of the front and back covers, direction in which to read, identifying the title of the story, location of page numbers, etc.21 The maximum score was 10. 3. Letter recognition: ability to provide the names of the letters of the alphabet naturally and without hesitation. This is a timed test that assesses automaticity and fluency of letter recognition. Measured in letter names correct per minute. Students were shown 10 rows of 10 random letters (in uppercase and lowercase) and asked to name as many letters as they could.22 4. Familiar word reading: ability to read high-frequency words. This assesses whether children can process words quickly and accurately. Measured by words read correct per minute.23 5. Oral reading fluency: ability to read a passage, of about 120 words long that tells a story. Measured by words read correct per minute. 6. Reading comprehension: ability to answer comprehension questions based on the passage read. Measured by number correct answers out of a total of 8 comprehension questions, 4 per story. EGRA administration includes a “stop” rule, which requires assessors to discontinue the administration of a subtask if a student is unable to respond correctly to any of the items in the first line (i.e., the first 10 letters, the first five words, or the first line of the oral reading fluency story). This rule avoids frustrating students who lack the skills to respond. If a sub-task needs to be discontinued, the EGRA assessor marks a box indicating that the subtask was discontinued because the child had no correct answers. Annex A includes a copy of the EGRA administered in Mozambique together with the interview protocol used to gather information on student characteristics. Annex A includes a copy of the EGRA used at Midline. 20 The Early Grade Reading Assessment (EGRA) is a 15-minute test originally developed by the Research Triangle Institute (RTI) administered orally to students in the early grades of primary school. As pointed out by RTI, the EGRA evaluates students’ foundation literacy skills, including pre-reading skills like phonemic awareness and listening comprehension, which have been shown to predict later reading abilities. Research Triangle Institute (RTI), www.rti.org 21 The assessor used a book in order to determine the students’ facility in handling printed material. 22 Letters were presented in either block or cursive formats (one type on each side of a large plasticized card) as familiarity with the two formats was found to vary during field-testing of the instrument. 23 To facilitate recognition, a large plasticized chart of 30 words of 1 – 3 syllables was presented to the student. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 18 2.4.2 The School Management Assessment (SMA)24 The purpose of the SMA is to yield a multifaceted picture of school conditions and teacher and management practice. The instrument packet includes 5 sections: (i) school management survey (147 items); (ii) teacher structured interview (39 items); (iii) class observation (65 items); (iv) teaching and learning materials (5 items); and (v) classroom conditions (16 items). Following the administration at Baseline and identification technical problems, the SMA underwent extensive revisions in order to fulfill its mission. School management is assessed through interviews with school and pedagogical directors and the recording of director and teachers absences, length of the school day, etc. Reading instruction is assessed by the use of a structured class observation protocol, which includes an inventory of the classroom and of the teaching and learning materials available. The classroom observation requires that enumerators spend a whole class period (approximately 45 minutes) in the Portuguese language class where students had been randomly selected to take the EGRA. The objective is to observe and record teacher instructional reading practices in relation to the task of teaching young children to read. The observer also noted the classroom physical ambiance and conducted an inventory of the materials present in the classroom. Many of the items included in the school management of the SMA are of relevance to ApaL in its monitoring and possible adjustment of its interventions and are not directly relevant to the IE. When this was the case, such as with the class observation information, the availability of TLAs and the classroom characteristics, the IE conducted its own analyses. Annex B includes a final version of the instrument used in the field in September/October 2013. 2.4.3 Protocol for in-depth qualitative interviews with directors at Full treatment schools. A semi-structured interview protocol was developed to gather the perspectives of school directors in the 60 Full treatment schools. The interview questions focused on the training offered by ApaL to teachers and to school and pedagogical directors and on the teaching and learning materials provided to the schools by the project. The objective of the interview was to determine if that particular school had experienced an ApaL intervention and if so, the frequency, intensity and the perceived benefits of the activities implemented. The main purpose of collecting and analyzing qualitative data is to identify common themes or recurring ideas that can be part of a narrative and enrich the quantitative data collected. Annex C includes a copy of the protocol interview together with the full transcripts of the interviews and a list of interviewees.25 2.5 Data Collection A most important requirement for an impact evaluation is good data – not just for the treated units, but also for non-treated ones. Between 12 August and 6 September the USAID/ApaL M&E team, with support from Politécnica (LEI), recruited and selected 24 enumerators in each province (12 EGRA and 12 SMA) for the Midline study. Enumerator training was held simultaneously in both provinces from September 9 to September13. At the end of training, 32 enumerators were selected based on their performance during the training and the reliability of their observations. The observation protocol was refined and then piloted in eight schools (four schools in Quelimane City and four schools in Nicoadala). 24 The adaptation and field testing of the SMA, the training of the enumerators, the administration of the instrument, and the analysis of the information were under the responsibility of USAID/ApaL. The IE team was responsible for conducting the qualitative interviews with school directors, providing overall supervision and maintaining the quality of the data collected. Results obtained by the analysis of the SMA, as provided by WEI, are included in this report. 25 Administration of the Teacher Self-effectiveness survey was not repeated at Midline. The results obtained did not warrant, in the view of the evaluators, the added time and cost of administering the survey a second time. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 19 During the pilot, ApaL technical staff conducted joint classroom observations with the enumerators and the agreement coefficient was found to be greater than 80%.26 Based on feedback from the field-testing, the instruments were further refined and finalized. Data collection began simultaneously in both provinces on September 16, immediately following enumerator training. Enumerators were accompanied by supervisors drawn from USAID/ApaL staff, Politécnica, and educators from local MINED representation (SDEJT and DPEC) and by two supervisors from the IE’s data management sub-contractor, GSC Research (IE/GSC). Supervisors were responsible for ensuring that the teams arrived at schools on time with all needed materials and followed data collection recommended procedures. Before leaving each school, supervisors checked questionnaires for completeness and accuracy. The World Education International (WEI) Senior M&E Advisor, MINED’s ApaL National M&E Coordinator and the IE Deputy Team Leader oversaw the process. Overall data quality was checked jointly by ApaL and IE supervisors in the field to avoid missing data or missing instruments In each school, one grade 2 and one grade 3 class were randomly selected for participation (if there was more than one class in a school) and 10 students from each selected class were randomly selected to take the EGRA. Prior to EGRA administration, an interview was conducted to clarify the demographic and social contexts that might help explain students’ reading performance—student age and sex, their home environments, repetition history, school attendance and language spoken at home. Enumerators were instructed to use the local language to introduce themselves or give instructions if they noticed that the student did not possess mastery of Portuguese.27 The structured protocol that accompanied the EGRA was used to gather information on the teachers of the two classes that were observed. Demographic information included age, pre-service training, teaching experience, the days of training on early grade reading instruction received and other variables of interest to the IE. One ApaL enumerator completed the SMA school director survey while a second observed the selected grade 2 or grade 3 classes. Enumerators also took inventory of the school grounds and of the classrooms where the observation was conducted. IE/GSC supervisors conducted the interviews with the directors of Full treatment schools and were responsible for cleaning and entering the interview data in accordance with the Team Leader instructions. Table 5 summarizes the various types of data collected. Table 5. Count of data collected 28 Province EGRA Classroom Observation (SMA) School Management (SMA) Qualitative Interviews (Directors of Full Schools) Nampula 1,832 179 93 30 Zambézia 1,691 165 86 29 Subtotal 3,523 344 179 59 26 Inter-rater reliability coefficient indicates the extent to which two or more observers of the same phenomenon agree on what was observed. The closer to 1.00 the higher the agreement. 27 Tests such as EGRA are exempt from application of the Common Rule for the Protection of Human Subjects, 22 CFR 225.101(b).) 28 The original target was to administer the EGRA to 3,600 second and third graders, 360 teachers, 180 school directors (SMA) and 60 directors in Full schools. The differences observed between the target and the actual numbers are a result of absenteeism and tardiness of directors, teachers and students and of small classes (fewer than 10 students present or enrolled) USAID/Aprender a Ler Impact Evaluation: Midline Report Page 20 2.6 Data Processing Once the EGRA data packages were checked by the IE supervisors, they were sent to GSC, where data were prepared for entry into previously formatted databases. Information included in each data set of the study (each of EGRA, student and teacher cover sheets and teacher interview protocol had its own data set) was checked for consistent responses. Checks were conducted both within each data set and among the data sets and inconsistent responses were edited. The IE team merged all data sets and also the Baseline data into one database to conduct the various analyses. While the IE team was responsible for the EGRA data, the entry, processing and analysis of the SMA data was the responsibility of ApaL. However, the IE conducted the analysis of the observation protocols and of the teacher cover sheet given the relevance of these data to EGRA scores and the need to have those two data sets merged with the EGRA scores. The EGRA database as well as the SMA data sets were shared between the two organizations and a constant flow of communication between teams ensured that data processing problems were identified and corrected. The 59 qualitative interviews with directors of the Full treatment schools conducted by the IE supervisors were recorded, transcribed and statements were organized by question in an Excel document. The qualitative data were analyzed by the IE team to identify categories under which the statements could be grouped. The inductive approach utilized allowed findings to emerge from the frequent and significant themes found in the narratives. 2.7 Limitations of the Study As with all research projects, there is the need to tell the reader the factors that methodologically limit the extent to which findings can be generalized. By obtaining the data in a set of ZIPs along the economic corridors of Nampula and Zambézia at a pre-defined number of schools (180) and in schools reasonably accessible (for example, settlement type schools were not part of the sample), some bias was introduced with respect to proximity to roads. However, this is not critical to the overall accuracy assessment since ZIPs were randomly assigned to the Full, Medium, and Control groups and all schools within a selected ZIP were assigned to the same treatment group. Another limitation derives from the fact that the second measure (Midline) was taken after a very short implementation period rather than after a full year as originally planned. Therefore the scores obtained by students at Midline are neither representative of outcomes expected at Baseline nor of outcomes that would be obtained after one year of implementation. They are somewhere between the two and that makes results unstable and at times contradictory. As stated by Bamberger (2006), impact evaluations are usually of specific interventions in a specific context.29 It is not necessarily the case that the findings can be generalized to the same intervention in other contexts. A theory-based approach helps understand the context in which the intervention did or didn’t work, and so help generalize to other contexts in which the same findings may be expected. Descriptive data is included in this report to identify types of students, teachers, classrooms and schools from which the data were obtained. These descriptive data also are important for identifying the extent to which ApaL interventions are more effective or less effective in different settings or with different sub-populations of students and teachers. A few of the items in the student and teacher cover sheets required answers that could only be obtained by self-reporting—for example, language spoken at home or family, age, repetition, number of days absent in the past two months, etc. It is true that self- 29 Bamberger, M. (2006). Conducting Impact Evaluations under Time and Budgetary Constraints. The World Bank. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 21 reporting by students regarding their age, repetition and language spoken at home or by teachers regarding tardiness and absenteeism limits the reliability of the data. However, the primary measure for the IE is the scores obtained on the EGRA, a measure of established validity and reliability, administered by trained enumerators. Care should therefore be taken at this time before generalizing findings to other schools in areas not similar to those from where the sample was extracted. After one full year of implementation, when results are more stable, the question of generalizability will be revisited. 3. DEMOGRAPHICS: Characteristics of students, teachers, directors and classrooms In this section we describe the population sampled and the challenges associated with its characteristics. Understanding the characteristics of students, teachers, directors and classrooms provides schools, teachers and policymakers with useful information on how reading competency can potentially be improved. Sections 4, 5, 6 and 7 report the analysis performed on the information collected. 3.1 Student Characteristics The EGRA Student Cover Sheet was administered to a total of 3,523 students—1,836 in Nampula and 1,687 in Zambézia—randomly selected for EGRA administration. Number of students present, as displayed on Table 4, was obtained by counting the students present in the sampled classes on the day of the visit. If at Baseline these numbers were already low—at 70% in Nampula and at 65% in Zambézia, at Midline the attendance rate for enrollees was less than 50%. This has serious implications for teaching and learning and certainly affects outcomes that are dependent on daily skills practice. Table 6 shows the average attendance for males and females at Midline in all 180 schools. Table 6. Average male/female attendance as a percentage of enrollment At Midline, girls were more likely to be present relative to February/March and as a result the EGRA sample at Midline includes more girls than boys. Table 7 shows attendance on the day of the visit by sex. Table 7. Percentage of Male/Female assessed by grade At Midline, based on the number of those present the day of the visit, attendance is lower than observed at Baseline. The average enrollment in the 177 classes observed in Nampula was 55; 165 classes were observed in Zambézia with an enrollment average of 54. However, the average attendance rate on the day of observation was of 43% in Nampula (46% for girls and 40% for boys) and 46% in Zambézia (46% for girls and 44% for boys). The enrollment rates for boys are slightly higher than for Students Present as a Percentage of March 2013 Enrollment by Sex Nampula Zambézia Female 46.1% 47.5% Male 40.1% 44.4% Students Assessed with EGRA by Sex Grade 2 Grade 3 Female 52.1% 53.4% Male 47.9% 46.6% USAID/Aprender a Ler Impact Evaluation: Midline Report Page 22 girls but girls tend to come to class a little more often. No significant difference was observed between the two provinces or between enrollment and attendance of boys and girls. Table 8 below compares enrollment and attendance at Baseline and at Midline disaggregated by province as well as by sex. The table shows a large challenge noted in both occasions on the day of the visit. Note that while the enrollment in the classes sampled remains stable between Baseline and Midline, attendance drops significantly at Midline. Table 8. Enrollment and attendance in the classes sampled Indicators Baseline Midline Nampula Zambézia Nampula Zambézia Average class enrollment 55 58 55 54 Average attendance 38 37 23 24 Attendance rate 69.8% 65,3% 43% 46% % girls enrolled in the class 49.6% 49.5% 48.3% 47.8% % girls present that day 50.5% 50.8% 46% 48% Attendance rate girls 71.0% 67.6% 46% 48% Attendance rate boys 69.5% 63.9% 40% 44% N=344 The reason for low attendance is not clear. One may hypothesize that there is a dropout rate that is not being reported or is only reported at the end of the school year. Maybe enrollment is a little inflated by directors in order to increase the MINED ADE (School Support Fund), which is calculated on the number of students enrolled by March 3rd of each year. At Baseline, on the day of the visit, we did count the number of students present in the classrooms sampled and repeated the count at Midline. The issue is the decline of the numbers in counted children in September/October. It is possible that for some families there may be alternatives to school (work in agriculture or at home, for example) or that the quality of the school—which includes teacher absence, recorded to be on the average 25% on the day of the visit—does not encourage frequent attendance. 30 At the same time, these findings challenge a general belief that classrooms are overcrowded, making it difficult for teachers to do their job. For the most part, as shown by the data, per class enrollment hovers around 55 and if the day of the visit is used as a data point, about 27 or 28 students are present each day. However, if we assume that the 27 or 28 students present are not the same every day, then we can appreciate how difficult the job of the teacher becomes. At this crucial time for learning to read, the student who is routinely absent one or two days a week falls behind and as the difficulty increases is more apt to miss more classes and eventually drop out. As pointed out by Abadzi (2013), “In low￾income countries students in grades 1-3 attend rarely, though officially they may drop out in grade 4.” Poor student attendance limits the impact of the project on the learning outcomes. One of the indicators selected by ApaL to measure the successful implementation of the management component at the Full school is expressed as “student tardiness and absenteeism reduced.” At the end of 2014 this indicator should be measured against the rates current at the schools visited. The EGRA cover sheet provides an insight into the patterns of enrollment by grade by age in the 30 For some crops harvest season is in September and some school directors went on vacation at this time, possibly affecting attendance rates among students. This is anecdotal evidence, but could be part of the explanation. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 23 sampled classrooms. The table below breaks out reported student age (at the time of the EGRA assessment in September-October 2013) by grade and province. What is most striking is that almost one-half of the students in Nampula and nearly one-third in Zambézia are three or more years older than could reasonably be expected for their grade level, even assuming age measurement near the end of the school year. In 2014 and 2015 a review of school records—assuming that they are available— should be attempted to gather more reliable information regarding the age of the students sampled. Table 9. How old are the students assessed? Age of Student Assessed Grade 2 Grade 3 Age of Student Assessed Nampula Zambézia Nampula Zambézia 7 years or younger 17.6% 14.9% 15.2% 10.7% 8 years or younger 8 years 14.6% 22.0% 11.8% 18.7% 9 years 9 years 11.0% 14.4% 19.8% 28.4% 10 years 10 years 12.9% 15.5% 10.7% 15.6% 11 years 11 years or more 43.9% 33.3% 42.6% 26.7% 12 years or more N=3522 Classrooms are not just filled with a lot of overage students for their grade level, but also with a difficult mix of students with vastly different ages, making teaching more of a challenge. Specific teacher training is required to institute effective strategies to manage such classrooms and to conduct teaching and learning activities appropriately. Figure 12 summarizes how much of a problem overage is, by examining by province, grade and sex the percentage of students assessed that were 9 years old or older in grade 2, and 10 years old or older in grade 3. Figure 4: Significant overage for grade Assessed students were asked whether they had repeated the current grade or any of the prior grades. Figure 5 below shows the self-reported responses. The cumulative effects of high rates of repetition in each grade clearly impact the high percentage of grade 3 students with overage seen in Figure 4 above. High levels of repetition obviously increase the stress on an already overloaded capacity system. Students who are overage for their grade—due to late entry or repetition—have been shown to be at 66% 61% 70% 70% 72% 65% 77% 69% 0% 10% 20% 30% 40% 50% 60% 70% 80% Nampula Zambézia Nampula Zambézia Grade 2 - 9 years or older Grade 3 - 10 years or older % Significantly Overage for Grade Female Male USAID/Aprender a Ler Impact Evaluation: Midline Report Page 24 greater risk of leaving school early.31 The UNESCO UIS reports that in Mozambique 18% of students who are over-aged by 1-2 years leave school early while those whose over-age is 3 years or more have a 48% of probability of leaving school early. Repetition and dropout are recognized as key factors affecting the internal efficiency of education systems. Figure 5: Self-reported repetition in earlier grades Another variable that could be related to performance on reading assessments is language of instruction versus language(s) spoken at home. Thus, students were asked whether Portuguese was spoken at home and with whom they spoke it. As noted at Baseline, the use of Portuguese at home is clearly more prevalent in Zambézia (“Occasionally” or “Almost always” is 66%) than in Nampula (42%) and is “Never” spoken with adults in 49% of Nampula students’ homes versus 21% in Zambézia. The native language of most students is not Portuguese (only 2.8% in Nampula; 1.2% in Zambézia). Macua dominates (83.1%) in Nampula, while both Chuabo (50.9%) and Lomwe (20.2%) are dominant in Zambézia. Figure 6 below highlights the pattern of Portuguese use at home with adults in both provinces: 31 Global Education Digest 2012. Opportunities Lost: The impact of grade repetition and early school leaving. UNESCO Institute of Statistics. Montreal, Canada, www.uis.unesco.org 18% 21% 19% 20% 13% 21% 14% 20% 8% 19% 0% 5% 10% 15% 20% 25% Nampula Zambézia Nampula Zambézia Grade 2 Students Grade 3 Students % Reporting Repetition of an Earlier Grade Repeated Grade 1 Repeated Grade 2 Repeated Grade 3 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 25 Figure 6: Portuguese language use at home with adults Language use at home is one of the many variables that differ greatly between the provinces, and has guided the IE to examine results and relationships between variables separately by province. Note that in Zambézia, as already pointed out at Baseline, students report speaking Portuguese more often than in Nampula. However, the higher scores obtained on the EGRA in Nampula across all sub-tasks (with the exception of oral language) suggest that speaking more or less Portuguese outside of the school does not affect student reading ability as measured by the EGRA. Also as found at Baseline, language use at home was not found to vary by sex of the student. Another variable to keep in mind when looking at the different results by province is the areas from which the students are drawn and where schools are located—urban or rural 32 according to the MINED descriptor. As seen in Figure 15, the Midline sample also reflects the more rural characteristics of Zambézia. Figure 7: Grade 2 and 3 students assessed by urban/rural classification of the school Because the difference in EGRA scores was associated with province, it was included in the Hierarchical Linear Model (HLM) to examine whether the differences were a result of province or of urban or rural location of the schools. Results were inconclusive: while province appears as a factor that affects almost 32 MINED classification of schools used 25% 26% 17% 30% 10% 23% 49% 21% 0% 10% 20% 30% 40% 50% Nampula Zambézia Grade 2 and 3 Students % of Students Reporting Portuguese USe Almost always Occasionally Almost never Never 69.7% 82.2% 30.3% 17.8% 0% 20% 40% 60% 80% 100% Nampula Zambézia Rural Urban USAID/Aprender a Ler Impact Evaluation: Midline Report Page 26 all sub-tasks, location of school (urban/rural) seems to affect only the sub-task oral comprehension. This goes against commonly held but perhaps unsubstantiated assumptions about how performance in rural schools is lower than at urban schools. Whereas the IE is able to determine through the use of an HLM that, with the exception of oral comprehension, location of the school—urban or rural—does not affect the EGRA subtasks, it cannot determine why this is so or whether this is true elsewhere. ApaL full implementation in 2014 in both rural and urban schools should use these results and seek to examine how the implementation of project activities differs depending on the location of the school. The students were asked whether they lived with their mother and/or father. If one or both parents were absent, the student was asked why. The following table shows that fathers are more likely to be absent at the child’s home (21%) than mothers (12%). Similarly, when asked why the mother or father was absent, children identified themselves as orphans of their fathers more than three times as often (35% of those missing a parent) than as orphans of their mothers (10%). Being an orphan of both parents was mentioned in 11% of cases, while other reasons, mostly parental separation/divorce or separation due to one or the other parent working elsewhere, accounted for 44% of reasons why one or both parents were absent. Table 10 displays the information. Table 10. Student self-reported family situation The student: Nampula Zambézia Total Does not live with mother 12.8% 11.1% 12.0% Does not live with father 19.4% 22.5% 20.9% If student does not live with mother and/or father, why not? Orphan of mother 9% 11% 10% Orphan of father 29% 40% 35% Orphan of both 10% 11% 11% Other reason (separation, divorce, work elsewhere) 51% 38% 44% Although we have self-reported information regarding the presence of one or both parents at the home of the child and self-reported orphan status, it was not apparent that ApaL interventions specifically addressed the needs of these types of children. In this report we describe the population in order to inform ApaL of the types and magnitude of challenges faced in the classroom. It is not appropriate, nor is it possible, for an impact evaluation to test hypotheses regarding impacts of the interventions not yet implemented. At Baseline the teacher interview protocol included a question about children with disabilities in the classrooms sampled. Of the 341 teachers of students assessed, 218 (64%) indicated that they had no students with disabilities. Of the 123 teachers who did report students with disabilities, 70 indicated that they had one student with a deficiency; 28 said they had two; 15 said they had three; and 10 indicated that they had four or more. Given the dispersion of cases among schools, sensitivity towards the issues can be part of the ApaL training provided to teachers and school directors but it may be difficult to create a package of interventions that effectively address the issue of children with disabilities. At Midline this question was changed in the SMA (Entrevista com o/a professor/a # A.27) to inquire about students with “special learning needs”.33 In addition to not being a precisely defined term ‘special learning’ needs can cover a wide range of learning disorders such as Dyslexia, Dysgraphia, Dyscalculia, 33 For the Midline the question A.27 was phrased “Existem alunos com necessidade educativas especiais na sala de aula?” or “Are there students with special educational needs in your classroom?” USAID/Aprender a Ler Impact Evaluation: Midline Report Page 27 Dyspraxia, Auditory Discrimination, Visual Perception, Attention Deficit (Hyperactivity) Disorder (ADD/ADHD), Autism, etc. Given that there are no specialists in the target schools capable of identifying “special learning needs” 34 and much less to provide personalized learning 35 it might be more useful for 2014 to return to the physical disabilities descriptor, which can be more easily recognized by teachers. 3.2 Teacher Characteristics In this section we describe the characteristics of the second and third grade teachers who teach the classes randomly selected for EGRA administration. We also describe teacher instructional practices as recorded by the observations conducted in the classrooms. The teacher interview protocol was applied to a total of 341 teachers in 177 classes in Nampula and 165 second and third grade classes in Zambézia. Table 11 summarizes the information gathered. Table 11. Teacher Demographic Characteristics Nampula Zambézia Sex Female 52% 69% Age 25 years or less 24% 11% 26-30 years 28% 35% 31-40 years 29% 35% 41 or more years 19% 19% Native language of the teacher Macua * 83% 13% Chuabo ** Lomwe ** 4% - 51% 20% Level of formal training received Less than 10+1 22% 13% 10+1 or 10+2 70% 84% More than 10+2 8% 3% N=341 * Language most spoke in Nampula ** Languages most spoken in Zambézia As shown in the table above, a little over half of the second and third grade teachers observed in Nampula are female compared to almost 70% in Zambézia and 54% have been at the school visited between two and five years. In Nampula 94% of teachers report using the local language to facilitate teaching and learning of reading in Portuguese while 82% in Zambézia report doing so. Of the 28 teachers in Nampula who arrived at school late on the day of the visit, 64% cite “transportation problems” while 29% invoke “personal reasons.” In Zambézia, where 69 teachers arrived late, the main reason given by over half of the teachers (52%) was difficulty in transportation. If we consider that in Nampula 70% and in Zambézia 77% of the teachers reported living far and having no transportation to get to school. This could indeed be a challenge outside of the control of ApaL. 34 Alfred A. Strauss, M.D., in the 1940s, was the first to describe the behaviors of children now identified as learning disabled or LD. Children with learning disabilities are not mentally retarded or "slow to learn;" rather, most of have average or above￾average intelligence. 35 Personalized learning involves helping each child to reach his or her full potential - intellectually, personally and socially. To achieve this, teachers need to match learning opportunities to the learning styles and experiences of the children, taking into account individual differences in culture, language, background, ability and interests. (University of Illinois: Resources for working with children with special learning needs). USAID/Aprender a Ler Impact Evaluation: Midline Report Page 28 To relate teacher absenteeism and tardiness and EGRA reading scores would require that ApaL review its M&E system and identify the individual teachers in the classrooms selected for EGRA administration and their patterns of attendance. This would allow EGRA scores of the students in each classroom to be related to a specific teacher attendance pattern. At Midline, these data were mostly self-reported, incomplete, presented in the aggregate and may not be reliable. This information could also be shared with teachers and school directors and used during training to attempt to change the observed patterns that are shown to be detrimental to student performance. To illustrate the importance of examining teacher absenteeism, review of existing research shows that there is empirical evidence to support the hypothesis that higher absenteeism by teachers contributes to lower student performance. Research conducted in Indonesia to study the performance of students in developing countries found that “higher teacher absence significantly correlates with lower student scores in reading and mathematics tests” (Suryadarma et al. 2006, p. 423). Research conducted in Indonesia, India and Kenya, where typically, 20 to 40% of the teachers are absent each day provide evidence that students whose teachers miss more days of class have lower scores on achievement tests. In studies conducted at Duke University, Charles Clotfelter and colleagues found that schools having more low socioeconomic and minority students also had higher rates of teacher absenteeism and that then leads to lower student test scores. Given the evidence provided by the many studies conducted that relate teacher absenteeism and tardiness to student performance, we can hypothesize, with a high degree of certainty that teacher absenteeism and tardiness has a negative effect on student performance on the EGRA in the classrooms sampled.36 ApaL training provided to teachers. A large percentage of the teachers in treatment schools —84% in Nampula and 93% in Zambézia—report having received training in early grade reading from ApaL. Training in the teaching of reading to students in early grades is one of the key ingredients of the intervention. To contextualize the importance of ApaL training note that only 16% of the teachers in Nampula and 7% in Zambézia report receiving any training in 2013 from MINED (DPEC, SDEJT or ZIP) or from other providers such as an IFP or an NGO. This underscores the importance of ApaL training for the success of the intervention. 3.3 Director Characteristics 37 School directors play a critical role in the quality of education and their behaviors are believed to be central to the creation and facilitation of an effective teaching and learning environment within a school. The profile of the 74 school and pedagogical directors who completed the SMA is summarized below. Table 12. Demographic Characteristics of school and pedagogical directors Nampula Zambézia Sex Female 19% 15% Age 25 years or less 24% 11% 26-30 years 28% 35% 31-40 years 29% 35% 36 Muname & Willet (2007); Suryadarma et al., 2006); Clotfelter, C, et al (2009); Woods & Montagno (1997); Miller, R. (2008) 37 Data and results provided to the IE by the ApaL M&E senior and local coordinators USAID/Aprender a Ler Impact Evaluation: Midline Report Page 29 41 or more years 19% 19% Level of formal training received Less than 10+1 14% 23% 10+1 or 10+2 51% 65% More than 10+2 1% 6% College/University (B.A., Lic., Masters) 34% 6% Experience as a school/pedagogical director Less than one year 27% 44% 1 – 5 years 32% 38% 6 – 10 years 16% 9% 11 or more years 15% 9% N=140 (NPL 74; ZAM 66) School and pedagogical directors on the average are new to their function—59% in Nampula and 82% in Zambézia have five years or less of experience in the function, which underscores the need for better school management training. In Nampula 34% have a B.A. or higher whereas only 6% did in Zambézia. Better prepared school directors, as seen by the information displayed in Table 14, could be one of the factors that explains the higher EGRA results in Nampula. Given the very limited implementation of the management component in 2013, the impact of the Full treatment on school director performance was not clear. The IE design compares the scores of children in the Full, Medium and Control groups. At the end of 2014, after one whole year of implementation of the management component in the Full treatment schools, scores obtained by student in Full treatment schools will be again compared to the Medium and Control groups. Analysis of a relationship between the differences between Full and Medium treatment groups and the performance of school directors and pedagogical directors would require that ApaL develop an index that represents director performance on a well-specified set of criteria. (Item by item analyses are not appropriate with over 93 questions for directors and the same number for pedagogical directors.) 3.4 Classroom Characteristics 38 In this section, statistics on the classrooms observed are presented. Note that these are from the 344 classroom observations and are used to point out some areas of concern in the realm to early grade literacy. A variable “formal school” was created as a composite of five items such as: classroom is a fixed structure, built of cinder blocks or bricks, covered by a roof, etc. and was included in the multivariate analysis presented in Section 5. A number of items included in the SMA refer to the conditions of the school while others can be linked to the training and materials received by teachers and to the behaviors promoted by ApaL. Some of the differences observed between treatment and Control schools suggest that something may be happening in the treatment schools that would not have happened without the ApaL intervention. Table 13 summarizes the findings. Where significant differences were found the figures are shaded. Table 13. Conditions and environment of the classrooms observed Characteristics of the classrooms observed % YES Nampula % YES Zambézia F M C F M C Classroom is a formal structure (made of wood, cinder blocks or 87 79 85 67 63 66 38 Information provided by ApaL USAID/Aprender a Ler Impact Evaluation: Midline Report Page 30 bricks, etc.) Classroom has a roof 89 86 98 100 100 94 Classroom has desks for all students 32 33 27 14 26 34 Organization of the classroom space allows teacher to circulate among students 89 85 86 88 93 80 The classroom has a permanent alphabet chart 23 60 2 50 56 4 There are materials in the classroom to create words from letters 47 59 3 57 39 4 Classroom has pictures, drawings of letters/words (not fixed) 53 57 0 50 46 4 There are posters with printed letters words (fixed) 36 47 3 45 49 8 There are materials made by students on display 10 9 0 9 4 2 There are materials made by the teacher on display 31 33 2 38 28 0 There is a fixed, permanent blackboard 97 95 93 97 98 82 Boys and girls sit together (not separated by sex) 96 98 98 78 90 70 N=344 A few conclusions can be drawn from the data displayed on Table 13. • First, the great majority of the classrooms in the schools visited in both provinces—Full, Medium or Control—can be described as having a ‘formal’ structure having walls and a roof. Moreover, the space organization of 86% of the classrooms visited allows teachers to walk around and pay attention to individual students or groups of students. Research in classroom management techniques indicate that it is essential that teachers use the proximity to children as a classroom management technique in order to observe students more closely and keep their attention.39 • Second, the quantity of teaching and learning aids (TLAs) observed in the classrooms of the treatment schools is insufficient—one package per school, placed in a single classroom—to be shared by all second and third grade teachers. On average, only 44% of the classrooms in the treatment schools displayed posters with printed words; in Nampula, only 23% of the classrooms displayed a permanent alphabet chart. In the Treatment schools there are 741 grade 2 and 3 classes, and if TLAs are going to make a difference in EGRA scores they may need to match the number of teachers and classes found in the 120 treatment schools, not the number of the schools. • Finally, display in the classroom of teacher-made materials is significantly different between treatment and Control classrooms, but observed in fewer than 40% of the 344 classes visited. Student-made materials, however, were rarely observed in either Control or treatment classrooms. Display of student-made materials communicates to students that their work and their learning is important (Clayton, Responsive Classroom Newsletter 40).The data show that this practice, so often recommended by reading specialists, has still not taken hold in the treatment schools and needs to be reinforced. Both practices may need to be emphasized during training and supported by coaching and supervisory visits. 4. SMA FINDINGS As mentioned previously, the SMA package was developed by WEI/ApaL with input from the IE team. Most of the input focused on the Class Observation (Section B). Once administered, the SMA data were analyzed by WEI/ApaL and results reported to the IE for integration into the Midline report. Some of the information, which was directly related to EGRA scores (i.e., teacher instructional practices 39 Foley, D (2012). Six Management Tips Every Teacher Can Use. National Education Association (NEA) 40 Responsive Classroom Newsletter (https://www.responsiveclassroom.org/article/displaying-student-work) USAID/Aprender a Ler Impact Evaluation: Midline Report Page 31 observed in the classroom or teacher use of teaching and learning materials) were further analyzed by the IE team. The remaining information received was reported to help contextualize the intervention. It must be noted that, given the limited implementation of the intervention, it is premature to conduct analyses of days of training provided per province or per treatment school or how differences between provinces in the level of training provided affect EGRA scores. The training intervention was more abbreviated than initially planned in 2013; the intervention period lasted only two months and any analysis of this type conducted would not yield a valid perspective on the intervention. These analyses are more adequate after one full school year of implementation has been achieved. Table 14 displays the days of training teachers received from ApaL. Table 14. Days of training received from ApaL Days of training received Teachers in Nampula Teachers in Zambézia % Full % Medium % Control % Full % Medium % Control 0 10 4 85 7 18 98 1-5 8 7 2 5 24 2 6-8 82 89 3 88 58 0 N=344 The data displayed above show the amount of training in early grade literacy provided to teachers in Nampula and Zambézia in the Full and Medium treatment schools. This was done intensively (every two Saturdays) and for periods of 4 to 8 hours per session.41 Interviews conducted with 59 directors in Full treatment schools show high rates of agreement among respondents regarding the effectiveness of the training provided to teachers. Specifically, directors point to the consistency with which training was offered—every two weeks—which allowed the trainees to build on foundations that had been laid in the previous sessions; the usefulness preparation of teacher-made literacy materials; and the use of block rather than cursive letters as the most relevant aspects of training. The data displayed in Table 14 above show that ‘days of training received’ as an input indicator is still unstable—for example, 39% of the teachers in the two treatment groups report not having received any training from ApaL (25% in Zambézia making comparisons between provinces inappropriate. More detailed analyses will be conducted at the end of 2014 after one full year of implementation when all teachers in the treatment school have received the days of training. Figure 8 compares instructional practices observed in the two treatment classes with those observed in Control classes. Teacher instructional practices observed in the classroom. The instructional behaviors demonstrated by the 179 teachers observed in Nampula and of the 165 observed in Zambézia are key to understand the EGRA scores obtained by students. Rather than rely on self-reporting regarding activities teachers conduct in the classroom, 344 direct observations of teachers in action were conducted by trained observers. In spite of being costly and time consuming, class observation is the only way to record what goes on in the classroom. The observations provided crucial insights into teachers’ practices as related to the teaching of reading and allow us to establish linkages between training received and instructional behaviors observed and examine how both relate to students’ scores on the EGRA. Figure 8 summarizes the teaching practices observed in treatment and Control classrooms and tables 15, 16 and 17 disaggregate the observations by province indicating where they significant differences were noted. 41 In some schools training sessions seem to have been conducted over two days, four hours each day USAID/Aprender a Ler Impact Evaluation: Midline Report Page 32 Figure 8: Teaching practices observed in the classrooms In her May 2013 paper “Literacy in 100 Days?” Helen Abadzi draws heavily on neuroscience to explain the reasons so many children in low-income countries remain illiterate in spite of staying in school for three years or more. A literacy program to change this situation starts with the interactions that take place between teacher and student. In general, teachers pay more attention to students who choose to sit up front and often ignore students sitting in the back; they tend to stand in front of the class and only oversee the work of those who are closer; when asking questions, teachers often select among those who raise their hands and are ready to answer; and finally, teachers fail to give immediate feedback to students who give correct answers to questions or who make mistakes. Many of the practices discussed in the article are part of the ApaL training program implemented in the treatment schools and were included in the Teacher Observation Form. The fact that many of the differences observed between treatment and control groups are significant, shows that the training affected positively the teacher￾student interactions in the treatment schools classrooms. The tables that follow display information on a number of instructional practices observed in the classroom grouped in domains and disaggregated by province. The analysis of the 49 items included in the class observation section of SMA (Section B) showed that some teaching practices observed were significantly different among treatment and Control groups while others showed no significance.42 Tables 14, 15 and 16 display the information that could guide ApaL in the reinforcement of those teaching practices that teachers have started to adopt and emphasize teaching practices that, even when included in the training, could not be observed in the treatment schools. Table 14 presents information on teacher-student interactions. Where significant differences (p< or = 0.05) between treatment and Control groups were found the figures are shaded. 42 When differences between or among groups are not significant, one assumes that they could have happened by chance. Initiates study of sounds o fletters without… Uses printed material to show which letters… Uses illustrations, images or objects that do… Uses materials that show words or letters… Teaches the names of letters to the students Teaches a word pronouncing the sound of… Teaches a word pointing to each letter… Uses block lowercase letters when writing… Uses block letters to introduce new words Control Full or Medium USAID/Aprender a Ler Impact Evaluation: Midline Report Page 33 Table 15. Teacher instructional behavior: teacher/student interactions Instructional behaviors observed Province/Treatment Nampula Zambézia % F % M % C % F % M % C B.1 Selects students to answer questions even if they do not raise their hands or show themselves ready to respond. 95 98 86 88 84 54 B.4. Draws students from both sides of the classroom and front and back, to answer. 84 85 70 79 79 56 B.5 Demonstrates new skills to students in a way that keeps their attention. 92 88 87 79 86 62 B.6 Asks students to practice the new skill with him/her (teacher together with students). 97 98 71 78 74 66 B.7 Asks students to demonstrate the new skill without the help of the teacher. 97 100 68 98 91 78 B.8. Corrects students when they make mistakes, immediately providing the correct answer to the student who made the mistake. 81 81 66 86 86 70 B.9 After correcting a student, the teacher asks the question again so that the same student can answer correctly. 61 62 59 72 65 50 B.10 Give specific feedback to students orally when a correct answer is given (yes, that is correct - that word is ‘dog’). 89 88 58 81 75 50 B.11 Walks around the classroom to check the work that students are doing individually or in groups. 74 67 49 78 77 64 N=344 A set of practices grouped under the title “Foundational skills needed for decoding” is at the core of the process of learning to read. Latest research in reading shows that reading methods, such as whole language, still used in many low-income countries. are not appropriate for languages whose orthography is consonant with their phonology and/or for learners of foreign languages and difficult for low-skilled teachers to execute, in part due to levels of teacher preparation, inappropriate training and the paucity of appropriate materials in the classroom.43 Reading specialists recommend “…splitting words to the smallest readable phonemes, blowing up the print so that it is easily distinguishable early on, and getting enough practice for speed to build up and comprehension to take place.” 44 These practices are part of the ApaL teaching reading strategy and it is not surprising to observe them in the classroom when 84% or the teachers in Nampula and 93% in Zambézia report having received training on teaching reading to early grades. Table 16 displays observations of teacher instructional practices related to the foundational skills necessary to learn to read. Significant differences (p< or = 0.05) between Control and treatment groups are shaded. 43 Abadzi, H. (2013). Literacy for All in 100 Days? A research-based strategy for fast progress in low-income countries. Global Partnership for Education Working Paper Series on Learning No. 7, May 30, 2013. 44 Abadzi, H. (2013) Literacy for All in 100 Days? A research-based strategy for fast progress in low-income countries. Global Partnership for Education Working Paper on Learning No. 7. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 34 Table 16. Teaching foundational reading skills Instructional behaviors observed Province/Treatment Nampula Zambézia % Full % Medium % Control % Full % Medium % Control B.13 Initiates the study of sounds of the letters without showing students a picture of the shape of the letter (phonemic awareness). 55 62 2 55 53 8 B.14 Uses printed material to show which letters are associated with which sounds (phonetic). 52 67 0 59 54 4 B.15. Uses illustrations, images or objects that do not contain printed text (oral vocabulary learning). 34 35 19 29 42 2 B16. Uses materials that show words or letters large enough to be read by all students. 58 71 2 67 58 6 B17. Teaches the names of letters to the students. 92 85 32 83 84 30 B.18 Teaches a word pronouncing the sound of each letter. 66 72 2 60 63 6 B.19 Teaches a word pointing to each letter written to pronounce the sound. 66 71 0 60 61 6 B.20 Uses block lowercase letters when writing on the blackboard. 48 48 2 66 60 10 B.21 Uses block letters to introduce new words. 65 69 0 45 56 18 The data displayed in Table 16 shows that the training provided by ApaL has made a difference in the manner in which teachers in the treatment schools conduct their classes. Out of the nine items that recorded teacher instructional practices related to the teaching of the foundational skills necessary for the acquisition of literacy, eight show significant differences between Control and treatment groups in both provinces. One instructional behavior (“Uses illustrations, images or objects that do not contain printed text during class—oral vocabulary”) is significant only in Zambézia. This is important information for ApaL in that it allows the program to emphasize and focus on the areas where the training provided does not seem to have caused teachers to modify their teaching practices. A good example of how teacher practices can affect EGRA scores is the simple behavior “teaches the names of the letters to students” (item B.17 of the Class Observation protocol). This would seem an obvious practice to engage students who are beginning to learn to read. As seen in Table 16, on average 86% of the teachers observed in the treatment schools actually teach the names of the letters to their students while only 31% of their peers in Control schools do so. The impact of this simple teaching practice is shown in Figure 9 below. In the EGRA sub-task letter recognition, second graders in Nampula show an average of 9.9 letters read correctly per minute while students in Control schools remain at 6.7. The differences are statistically significant with a 95% confidence interval and there is no overlap between averages. This indicates that the differences did not occur by chance but as a result of some factor that was present in the treatment groups but not in the control groups, namely effective training in early grade reading instruction. Figure 9: Average means of scores on EGRA sub-task letter recognition USAID/Aprender a Ler Impact Evaluation: Midline Report Page 35 This relationship was one of the few that could be established. Due to the abbreviated implementation of ApaL during 2013 at Midline, the relationships between teacher practices observed and student scores on the EGRA are still tenuous and unstable—meaning that they are weak and not consistent across all groups. One can hypothesize that intensified training enriched by coaching during one whole year of implementation will make these emerging patterns more striking at the end of the 2014 school year. A third set of items recorded reading comprehension strategies utilized by the teachers in the classes observed. The data are displayed in Table 17. Table 17: Teacher instructional practice: reading comprehension Instructional behaviors observed Province/Treatment Nampula Zambézia % Full % Medium % Control % Full % Medium % Control B.23 Does the review of previously learned vocabulary words 61 62 39 36 25 14 B.24 Uses new vocabulary words in sentences as example 37 50 34 64 56 44 B.25 Selects students individually to use new vocabulary words in a sentence of their own 19 17 10 21 25 16 B.26 Reads aloud a text for students 82 85 32 29 32 22 B.27 Indicates new vocabulary words just taught in a story 18 10 34 31 37 42 B.28. Asks students ‘why’ and ‘how’ questions about the story read aloud 11 5 53 26 26 42 B.30 Asks students individually to read a passage aloud 15 9 41 52 35 42 N=344 Observing the data displayed above, an interesting pattern begins to emerge. During training it was emphasized that teachers should pay more attention to decoding and teaching letters and words rather than engage students in reading tasks for which they are not prepared—as shown by the EGRA scores on reading connected text and reading comprehension. In the classrooms observed, the effects of training on teacher practices can be assessed not only by what teachers were observed doing but also by what they chose not do. Item B.30 in Nampula (where a significant difference between treatment and Control groups was noticed) is a good example. With so few students able to read connected text, asking a student to individually read a story does not benefit the great majority of children in the class. Yet, 41% of the teachers in Control schools—who did not receive ApaL training in early grade reading—were observed conducting this activity while only 15% and 9% of teachers in Full and Medium treatment classrooms did so. This shows that trained teachers may be abandoning practices that during USAID/Aprender a Ler Impact Evaluation: Midline Report Page 36 ApaL training were shown to be inappropriate to the reading level of the students in early grades. Items 27 and 28 follow the same pattern. Again, this is the type of information that could guide ApaL training strategy in 2014. The SMA collected data on school and pedagogical directors on 93 different management practices. In an initial analysis provided by the M&E senior advisor from WEI, the vast majority of these questions showed no significant differences between treatment and Control groups effectively making this a Baseline.45 The SMA raw data, as it now stands, can be used to inform ApaL implementation. WEI has indicated that it believes that the 93 questions should be collapsed into one or more summary indices representing overall school management practice quality. The IE agrees with this approach and considers that it would be inappropriate to relate individual management practices to EGRA scores. When the summary indices are created by WEI, representing for example, ‘unacceptable’, ‘acceptable’ and ‘good’ levels of management practices, EGRA score outcomes could then be related to the school management quality ratings assigned to each school. Since the EGRA database was shared with ApaL this could easily be done once a ‘management quality index’ is developed. Delay in starting the school day. Even when good teaching techniques are applied, students cannot succeed if they are not given sufficient learning time at school and do not practice specific skills in the classroom and thus time-on-task is an important indicator when determining school effectiveness. On the day of the visit, on the average, the length of the school day was shortened by 38 minutes (32 in Nampula and 43 in Zambézia) each morning. The start of the afternoon shift was typically delayed by 18 minutes. This refers specifically to the one day when the ApaL/IE team visited the school when most schools had been advised of the visit. Increase of time dedicated to teaching and learning is a function of good management practiced. Well-managed schools do not allow the school day to be routinely shortened as observed in the 180 schools visited. Absenteeism and tardiness of teachers. Teacher absenteeism has been shown to be a major factor in school ineffectiveness and low student performance (Abadzi, 2007; Fehrler, Michaelowa and Wechtler, 2009). Surveys in several countries show that schools are routinely missing a quarter of their staff, with rural schools faring even worse.46 In the classrooms randomly selected for participation, 27% (24% in Nampula and 30% in Zambézia) of the second and third grade teachers were absent. It is possible that the pattern of absenteeism and tardiness is the same for teachers of other grades and continues throughout the year, thus reducing instructional time for all students. The late arrival of teachers undermines student learning time and is associated with lower performance (Glewwe, Hanushek, Humpage and Ravina, 2011). In both provinces the average absentee rate on the day of visit in much higher than the rate on school records. This is could signal inaccurate record keeping by school directors. ApaL has indicated that in 2014, more regular attendance data will be collected during quarterly school visits. These data will be extremely useful since ApaL has selected reduction of tardiness and absenteeism of teachers as one of the indicators of the success of the management component in the treatment schools (Please see Figure 2). ApaL should use the information collected by the SMA on director and teacher absenteeism and tardiness to establish the target for the indicator and also to guide program implementation in 2014. 45 10 cases in Nampula and 11 in Zambézia showed significant differences between treatment and Control groups. Also note that due to the extensive revising of the SMA data collected at Baseline are not comparable to data collected at Midline. 46 Abadzi, Helen. 2007. Absenteeism and Beyond: Instructional Time Loss and Consequences, World Bank Policy Research Working Paper No. 4376, p. v. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 37 Absenteeism and tardiness of school directors.47 Also noted was the frequent tardiness of school directors—on the average, 52% in Nampula and 60% in Zambézia arrived between 30 and 50 minutes late for the morning shift—and the absence of the school directors in the schools visited (21% in Nampula and 23% in Zambézia) were absent on the day of the visit. As mentioned several times in this report, the school management component (Full treatment) had very limited implementation in 2013 and few differences are observed between Full and Medium treatment schools. It is expected that the impact of the management training component will be seen at the end of 2014, after a full year of project implementation. It is expected that the Full treatment schools will be better managed as a result of the training provided. Better managed schools may be able to reduce the high rates of director, teacher and student absenteeism and tardiness observed. Since better results are related to the amount of targeted reading practice, one could hypothesize that the Full treatment schools will show significant gains in early grade literacy when compared to Medium treatment and Control groups. At the end of 2014, the success of the Full treatment will be measured not only by the EGRA scores but also by the indicator stated as reduction of tardiness and absenteeism rates among schools directors and students. 5. INSIGHTS FROM THE INTERVIEWS CONDUCTED WITH DIRECTORS OF FULL TREATMENT SCHOOLS The IE conducted in-depth interviews with 59 school directors—30 in Nampula and 29 in Zambézia. Their perception is that training provided to teachers by ApaL has improved teacher performance. They almost unanimously state “…I have visited classes and noticed improvements in teaching and learning…” or “…students participating in the project have a definite advantage over those that do not; I have noticed improvement as I visit classes…” Here the interviews are summarized in order to provide insights on the ApaL intervention (the transcripts are included in Annex C. The interviews focused on four questions: • How would you describe the ApaL intervention conducted in this school as it relates to the training provided to second and third grade teachers? • How would you describe the ApaL intervention conducted in this school as it relates to the training provided to school directors? • Which teacher/learning materials has this school received from ApaL? How useful are they? How relevant? • What materials specific for teaching reading to 2nd and 3rd grades has the school received from the MINED in 2013? Has the school received fewer materials as a result from participation in the ApaL project? The table below summarizes interviews by presenting recurrent ideas that emerged from the data. 47 Data for this section were provided to the IE by the ApaL M&E Senior and local coordinators USAID/Aprender a Ler Impact Evaluation: Midline Report Page 38 Table 18. Summary of interview findings Themes  Recurring ideas  Conclusions Training focused in early grade literacy. ApaL training promoted deeper understanding of concepts and strategies to achieve early grade literacy.  The use of small block letters and the strategies to teach letter recognition have facilitated the work of the teacher and improved students’ ability to read.  The fact that the training is intensive (every two Saturdays) and monitored is a key to its success. The training implemented by ApaL played a significant role in promoting a broad-based change in the way teachers approach early grade literacy. “Teachers were never absent even though training was conducted on Saturdays.” “Training is excellent…” “…very successful…” “…extremely important…” “…extremely useful…” “All we knew was cursive; ApaL has introduced the use of lower case block letters and it seems to make it easier for the students.” “I have noticed great improvement in the way teachers teach.” School management  The need for regular supervision—record absences, visit classes, etc.—and the tools to do so provided by ApaL were seen as one of the important aspects of the training. The strategies to involve the community and work with the school council were considered extremely useful.  The idea of daily, weekly and monthly planning was well received. The training provided may have been instrumental in promoting a more effective school management attitude. “I have been visiting classes to check that the teachers are following the strategies they learned during ApaL training.” “We learned how to manage a school, its human resources, how to plan weekly, monthly…” “I have not missed one day!” Materials delivered by ApaL to Full and Medium treatment schools  The material received is useful, relevant, and of good quality and facilitate the teaching and the learning of reading.  Materials are well accepted but delivered in insufficient quantity. Schools had no materials to support teaching and learning; the ApaL materials are a great incentive to teachers. “The material received is very relevant, of good quality and fits in with the MINED curriculum.” “We received forms to keep track of the material.” Materials and resources received by schools from MINED.  MINED continues to send the books necessary to teach reading in the early grades.  School directors rely heavily on the ADE fund. Treatment schools continued to receive from MINED the same amount of resources independently of their participation in the ApaL program. “In 2013 we received the same materials as 2012.” “We received the ADE that we use to buy materials needed at the school—chalk, paper, etc.” “We received books for all our classes.” N=59 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 39 6. EGRA FINDINGS In this section we attempt to answer the ‘did it make a difference’ IE causal question by comparing results obtained at Midline by the two treatment and Control groups. As mentioned before, the gains between Baseline and Midline in the Control schools represent the “expected” results after one year of instruction without the project interventions. To the degree that results from the treatment groups are significantly higher than those of the Control group, we can attribute these differences to the respective ApaL intervention. To provide the background, we will start our report on findings by making comparisons of results obtained at Baseline and Midline. Note that these comparisons constitutes a simple pre-intervention/ post-intervention design and not the IE design with a counterfactual—a Control group similar to the treatment groups—as explained in the Methodology section of the report. 6.1 EGRA Results: Comparison between February-March (Baseline) and September- October 2013 (Midline) Measurements This section focuses on comparing Baseline and Midline scores on each of the EGRA subtasks. Sex differences at Baseline are presented for reference only. They were fully analyzed in the Baseline report.48 At Baseline, since no intervention had begun, here we combine the scores of the three groups in order to compare the performance of boys and girls. Oral Comprehension. The first part of this sub-task includes eight prompts that required students to perform an action (e.g., “show me your arm”) to determine their level of understanding of basic Portuguese oral vocabulary. A second part of the Oral Comprehension sub-task, with a maximum score of 6, requests that students follow instructions given orally (e.g., “place the pencil on the paper”). The two parts are combined with a maximum score of 14. Table 19 below shows average scores at Baseline and Midline, broken out by province, treatment group and sex of the student: Table 19. Average scores at Baseline and Midline by province, treatment and sex Oral Comprehension (14 items) Average Scores Nampula Zambézia Full Medium Control Full Medium Control Grade 2 Baseline 6.0 5.2 4.5 8.8 7.8 8.2 Midline 7.7 7.1 6.5 8.5 7.9 8.3 Girls Baseline 5.3 8.2 Girls Midline 7.8 7.1 6.4 8.4 7.4 8.2 Boys Baseline 5.2 8.3 Boys Midline 7.7 7.1 6.6 8.5 8.5 8.4 Grade 3 Baseline 6.8 6.7 5.5 9.4 8.4 8.7 Midline 8.5 8.4 7.7 9.3 8.6 9.2 Girls Baseline 6.5 8.9 Girls Midline 8.4 8.4 7.7 9.3 8.3 9.4 48 Raupp, M, Newman, B. & Revés, L. (2013) Baseline Report USAID Evaluation Services IQC Task Order AID-656-TO-12-0000. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 40 Boys Baseline 6.2 8.7 Boys Midline 8.6 8.5 7.7 9.4 8.9 9.0 In general, Zambézia out-performs Nampula in this sub-task, reflecting the greater use of Portuguese outside of the school (discussed in detail later in this report). Modest gains in average score are observed in Grade 3, but little differential ApaL project impact is seen. For this sub-task, both sexes perform about equally. The average scores appear to have “flat-lined” at about eight or nine out of the 14 items at Midline. There is therefore little room to find project impact on this sub-task. Concepts about Print measures children’s emergent literacy skills by asking them to demonstrate how they get ready to read a book and assessing whether they can recognize the front and back covers of a book, the direction in which to read, what the title of the story is, where page numbers are located, etc. In this subtask, the assessor used a book in order to determine the students’ facility in handling printed material. The maximum score is 10. Table 20. Scores on concepts about print by Baseline, Midline, province and sex Concepts about Print (10 items) Average Scores Nampula Zambézia Full Medium Control Full Medium Control Grade 2 Baseline 3.7 3.5 3.2 4.2 3.6 4.1 Midline 5.1 5.3 4.5 4.5 4.3 3.8 Girls Baseline 3.0 3.9 Girls Midline 5.1 5.5 4.3 4.3 3.6 3.5 Boys Baseline 3.4 4.0 Boys Midline 5.1 5.2 4.6 4.7 5.2 4.1 Grade 3 Baseline 4.8 4.7 3.9 4.8 4.7 4.3 Midline 6.2 6.6 4.8 6.2 6.6 6.1 Girls Baseline 4.4 4.8 Girls Midline 5.9 6.4 4.7 5.9 6.4 6.2 Boys Baseline 4.5 5.1 Boys Midline 6.7 6.8 4.9 6.7 6.8 6.1 Virtually no difference between provinces is noted in this sub-task. In general, the effect of the school year is the major contributor to the scores, along with higher scores in third grade, as expected. The ApaL project interventions appear to have some effect, especially in grade 3, and boys generally start to out-perform girls in most comparisons. Overall, most of the students demonstrate some level of familiarity with the organization of printed materials. Letter Recognition. To learn to read, students must gain mastery at recognizing the symbols (letters) that words are composed of. It is not enough to “recite the alphabet” without associating the written letters with the sounds they produce by themselves or in combinations. This sub-task of the EGRA is designed to measure whether students can identify letters presented in random order, in both lowercase and uppercase. This is a timed subtest, in which students read as many letters as they can in one minute—the score is the number of letters correctly identified. The actual letters and their USAID/Aprender a Ler Impact Evaluation: Midline Report Page 41 frequency on the list are based on the frequency of their use in Mozambican Portuguese appropriate to the grade 3 level. During school visits prior to the Baseline, it was determined that some teachers emphasized block letters, some cursive, others used both. The official Portuguese language textbook for these grades uses both. We thus prepared a large, plasticized two-sided card with identical letters in both formats and asked the student to choose the one he or she was most familiar with. Average scores are presented in Table 21 below: Table 21. Average score for letter recognition by Baseline, Midline, province and sex Letter Recognition (100 letters) Average Scores Nampula Zambézia Full Medium Control Full Medium Control Grade 2 Baseline 2.0 1.8 1.2 1.4 1.2 1.9 Midline 11.8 9.7 5.2 7.2 5.1 4.3 Girls Baseline 1.2 1.0 Girls Midline 9.5 9.5 3.9 5.0 2.7 3.2 Boys Baseline 2.1 2.2 Boys Midline 14.0 10.0 6.3 9.6 7.9 5.6 Grade 3 Baseline 7.0 6.1 7.0 5.6 4.9 4.2 Midline 18.7 19.1 16.2 14.5 11.7 7.8 Girls Baseline 5.0 4.1 Girls Midline 15.7 17.3 14.0 11.3 9.8 5.3 Boys Baseline 8.1 5.6 Boys Midline 22.2 21.3 18.7 18.3 14.0 10.2 At Baseline the results were very low in both provinces and in both grades. Scores increased substantially by the end of the school year, and especially at project intervention schools. However, boys at Midline are now clearly out-performing girls in this sub-task. A full year of instruction only accentuated this bias in both grades in both provinces and APAL intervention did not reduce this gap. Simply stated, boys appear to be responding more productively to project interventions than are girls. ApaL needs to look into why this is happening and redouble efforts to make materials and instructional techniques more effective with girls. Table 22 below shows that fewer than one in five grade 2 students were able to correctly identify a single letter in the one-minute period; only about one in three could in grade 3. The similarity between the two provinces indicates that the greater oral comprehension scores earlier observed in Zambézia do not automatically transfer into the skills measured by this subtest suggesting that letter recognition is not being effectively taught and thus a key building block of reading acquisition has not been established. ApaL project interventions had a significant impact in both grades and both provinces. The gains between grade 2 and 3, while not in any way achieving satisfactory results, do show that grade 3 is addressing some of the deficits in this area. Enrollment rates remain relatively stable between grade 2 and 3, so it is not apparently an effect of differential dropout, which would leave better-performing students in grade 3. Even by the end of third grade, far too few students have acquired this skill essential to the development of actual reading ability. Letter recognition, and as we shall see later, word reading ability represent clear opportunities for the ApaL project to impact reading skills among these students. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 42 Table 22. Ability to identify and read letters at the Baseline (February-March 2013) Letter Recognition: Letters Read Correctly in One Minute at Baseline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 86.9% 83.5% 63.8% 64.0% 1-5 6.0% 7.8% 8.7% 11.6% 6-15 3.3% 6.8% 12.4% 14.9% 16-25 2.2% 0.7% 5.4% 4.2% 26 or more 1.6% 1.3% 9.7% 5.3% By the end of the school year, the Midline 2013 assessment found the following situation: Table 23. Ability to identify and read letters at the Midline (September-October 2013) Letter Recognition: Letters Read Correctly in One Minute at Midline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 52.3% 65.4% 30.8% 46.2% 1-5 9.7% 8.1% 6.9% 8.1% 6-15 15.6% 15.6% 17.4% 19.4% 16-25 11.4% 4.1% 17.2% 10.9% 26 or more 11.0% 6.8% 27.7% 15.4% Marked reductions in the proportion of students with no or limited letter recognition are clearly evident at Midline, especially in Nampula, where 28% of the grade 3 students were able to identify 26 letters or more in the one-minute duration of the test. Still, these are poor results to show at the end of either grade 2 or grade 3 in both provinces. These results show that Mozambican students in these districts have generally not learned to recognize letters at a reasonable level even by the end of third grade. By the end of grade 3, students in low-income countries such as Mozambique should be reading words (not letters) at the rate of 45-60 words per minute.49 For the purpose of the IE at these grade levels, we focus on the number of letters recognized, since the objective is to measure change resulting from project interventions, wherever they may happen. Student performance in Mozambique clearly falls short of any such international standard, even for low-income countries. From such a perspective, all attention should be placed upon those gains, which can be attained—starting with letter recognition (a foundation skills) and then moving towards words read. Figure 4 below compares Baseline and Midline letter recognition results for grade 2, by province and treatment group. Figure 10. Grade 2 Letter Recognition Scores 49 Abadzi, H. Efficient Learning for the Poor: Insights from the frontier of cognitive neuroscience. Directions in Development, The World Bank (2006) USAID/Aprender a Ler Impact Evaluation: Midline Report Page 43 Whereas at Baseline, all sub-groups averaged fewer than 2 letters correctly identified in one minute, by the Midline clear differences emerge between the treatment groups, with intervention groups more than doubling the results obtained in control schools in Nampula, and nearly that in Zambézia. Treatment groups scored better than the Control group in all cases, but most notably so in Zambézia, where the Full treatment scores nearly double those of the Control group at Midline. The persistent deficit of Zambézia in all groups suggests that there may be systemic problems in this province, and that the ApaL project is addressing some of these. Sex differences are analyzed in detail in a later section of this report. Figure 11. Grade 3 Letter Recognition Scores Word Reading. This EGRA subtest reflects the ability of the students to read the printed word and sound it out correctly. Consisting of 30 separate common words, the score is the number of words read correctly in one minute, and thus reflects both the fluency and accuracy of reading. Both factors are fundamental to developing a real ability to read and comprehend, that which is read. Table 22 summarizes average scores by province and grade level at Baseline and Midline, and highlights performance differences of boys and girls: Table 24. Average scores by province, grade and sex at Baseline and Midline Word Reading (30 words) Average Scores Nampula Zambézia Full Medium Control Full Medium Control Grade 2 11.8 9.7 5.2 7.2 5.1 4.3 0 2 4 6 8 10 12 Full Medium Control Full Medium Control Lettrs Correct per Minute NAMPULA ZAMBÉZIA Feb-Mar 2013 Sep-Oct 2013 18.6 19.0 16.2 14.5 11.7 7.8 0 5 10 15 20 Full Medium Control Full Medium Control NAMPULA ZAMBÉZIA Letters Correct per Minute Feb-Mar 2013 Sep-Oct 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 44 Baseline 0.47 0.31 0.44 0.34 0.27 0.33 Midline 2.45 1.19 0.89 1.33 0.79 0.66 Girls Baseline 0.3 0.2 Girls Midline 1.97 1.13 0.67 1.00 0.37 0.42 Boys Baseline 0.6 0.4 Boys Midline 2.94 1.28 1.10 1.68 1.28 0.93 Grade 3 Baseline 1.69 1.84 2.37 1.41 1.36 1.07 Midline 4.67 4.64 4.35 3.03 2.12 1.21 Girls Baseline 1.1 1.2 Girls Midline 3.85 4.04 3.41 2.25 1.71 0.83 Boys Baseline 2.7 1.4 Boys Midline 5.65 5.40 5.41 3.94 2.59 1.59 Extremely low scores predominate—children, even in third grade, simply cannot read even more than a few common words. We do note that Zambézia lags behind Nampula, and that boys consistently out￾perform girls. Though small in absolute terms, the ApaL interventions do have an effect despite the limited implementation period in this school year. Given the very low results of the letter recognition sub-task at Baseline, it is not unexpected to find similar results for this sub-task at Midline: the percentages of students with total non-performance at Baseline are very similar, in both provinces and both grades. In grade 3, scores are significantly better, but hardly adequate at this grade level. Only a very small percentage of students have attained the word reading fluency that will allow them to read connected text or answer questions about the text. Note that the number of words read per minute (wpm) is considered by reading specialists to be a predictor of the performance on those two more complex tasks. The mean number of correct words per minute observed at Midline simply reflects what we already know: most students assessed in grade 3 have not developed word-reading skills. Table 25 displays the distribution of the results for this sub-task at Baseline, Table 24 shows the results at Midline. Table 25. Distribution of scores for Word Reading at Baseline Words Read Correctly (of 30) in One Minute at Baseline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 85.9% 80.4% 67.2% 62.7% 1-2 11.7% 18.7% 21.9% 29.8% 3-10 1.5% 0.3% 5.3% 4.1% 11-20 0.4% 0.5% 1.4% 1.5% 21 or more 0.5% 0.0% 4.3% 1.9% The Baseline examined in great detail the data behind such low scores. Even among grade 3 students, extremely low fluency was evident by a word-by-word examination of response rates (correct or incorrect): by the sixth word non-response rates climbed to 73%; by the seventh word to 88%. Poor accuracy was also shown even among the students that do respond: incorrect answers far outstrip correct answers for all of the first seven words, achieving a remarkable 12:1 ratio for most of them. The Baseline concluded that almost all students lack the fluency and accuracy of simple word decoding USAID/Aprender a Ler Impact Evaluation: Midline Report Page 45 necessary to proceed to the next step of reading development, that of reading a text and understanding what it means. The comparison of the Baseline to the Midline shows what completing the school year contributes to acqusition of word reading skills among the students. For grade 2, the answer is not much—mostly moving some students from zero words to one or two words. Grade 3 has a much greater impact (dropping zero scores from 67% at Baseline to 39% at Midline in Nampula; 63% to 45% in Zambézia), but whereas Zambézia merely moves students from one category to the next higher, Nampula appears to have impacted students in a strong way: at Midline, 17% of grade 3 students correctly read 11 or more words, compared to the Baseline of less than 6%. By comparison, Zambézia shows less than 5% of its students at this level, compared to a little over 3% at Baseline. Table 26. Distribution of scores for Word Reading at Midline Words Read Correctly (of 30) in One Minute at Midline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 62.2% 67.2% 39.2% 44.7% 1-2 26.5% 26.8% 29.5% 37.9% 3-10 6.9% 3.8% 14.5% 12.9% 11-20 2.9% 1.5% 9.2% 2.0% 21 or more 1.5% 0.7% 7.6% 2.5% At Baseline, average word reading scores in grade 2 were similarly low in both provinces and the three treatment groups. By Midline scores increased somewhat, but greater gains are noted in treatment schools, especially Full treatment schools, as shown in the following graph: Figure 12. Word Reading Scores, Baseline and Midline, Grade 2 In absolute terms, of course, students in grade 2 have not learned how to decode even simple words with fluency and accuracy—they are still struggling with letter recognition. By grade 3 at the Midline, word-reading scores improve to an average of about five words per minute in 2.5 1.2 0.9 1.3 0.8 0.7 0.0 0.5 1.0 1.5 2.0 2.5 Full Medium Control Full Medium Control NAMPULA ZAMBÉZIA Words Correct per Minute Feb-Mar 2013 Sep-Oct 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 46 Nampula, regardless of treatment group. In Zambézia, it is clear that treatment schools have improved after a year of instruction while control schools have not at all. The graph (Figure 13) below illustrates this pattern, but, again, the low absolute words-per-minute values caution against drawing major conclusions: Figure 13. Word Reading Scores, Baseline and Midline, Grade 3 Text Reading Fluency and Reading Comprehension. This sub-task consists of a short (120 word) text passage of a story that is of appropriate level and interest to students. Students were given one minute to read as much as they could, then, based on how much they had read, up to four comprehension questions were asked and the results recorded. The first comprehension question required that at least 15 words of the story had been read. So few students were able to do so that, at least for 2013, any analysis of the reading comprehension sub-task is meaningless. The sub-task will be retained for 2014 as it will be sensitive to changes in higher order reading skills. Table 24 presents average scores for text reading. Table 27. Average scores for text reading by Baseline, Midline, province and sex Text Reading (120 words) Average Scores Nampula Zambézia Full Medium Control Full Medium Control Grade 2 Baseline 0.36 0.07 0.07 0.46 0.38 0.46 Midline 3.02 1.19 0.96 1.43 0.89 1.01 Girls Baseline 0.1 0.3 Girls Midline 2.37 1.28 0.39 1.03 0.41 0.54 Boys Baseline 0.3 0.6 Boys Midline 3.68 1.07 1.48 1.85 1.45 1.54 Grade 3 Baseline 2.04 2.14 4.04 1.89 1.47 1.64 Midline 6.56 5.68 6.45 4.11 3.18 2.23 Girls Baseline 1.4 1.5 4.7 4.6 4.4 3.0 2.1 1.2 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Full Medium Control Full Medium Control NAMPULA ZAMBÉZIA Words Correct per Minute Feb-Mar 2013 Sep-Oct 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 47 Girls Midline 5.20 4.75 4.51 1.92 2.50 1.41 Boys Baseline 3.8 1.8 Boys Midline 8.24 6.89 8.64 6.71 3.96 3.04 The results from the prior section on Familiar Word Reading clearly predicted the results obtained at Baseline: most students could not read with fluency sufficient to pass to the comprehension stage, less than 5% in grade 3, and less than 1% in grade 2. The next table shows the distribution of results at Baseline by grade level and province for text word fluency in words correctly read per minute: Table 28. Text word reading average scores at Baseline Text Reading: Words Correctly Read in One Minute at Baseline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 98.8% 72.9% 92.5% 56.0% 1-10 0.4% 26.7% 1.6% 40.3% 11-20 0.5% 0.2% 2.8% 1.9% 21-30 0.1% 0.1% 0.4% 0.7% 31 or more 0.1% 0.1% 2.7% 1.2% The reading of connected text at the Midline shows very modest gains relative to the Baseline, as shown in the following table. In grade 2, the results are mostly indistinguishable from the Baseline in either province. What is happening in grade 3 at Midline is interesting: although most students still have little to no connected text reading fluency, there is an increase in the proportion of grade 3 students who can read at a rate of 31 words per minute or more. This means that individual differences between students are increasing, and that teacher and classroom level effects are less apparent. For the ApaL project, therefore, increased attention needs to be placed on preventing or reducing the number of students who have fallen behind. Teaching must not be directed to only those students who can read, and training needs to provide strategies to early identification of students who are lagging behind and provide techniques to better manage the diverse situation found in the classroom. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 48 Table 29. Text word reading average scores at Midline Text Reading: Words Correctly Read in One Minute at Midline Grade 2 Grade 3 Nampula Zambézia Nampula Zambézia 0 93.4% 64.0% 77.8% 52.1% 1-10 0.7% 32.9% 1.8% 39.7% 11-20 2.9% 2.3% 7.8% 2.9% 21-30 1.3% 0.6% 4.6% 2.0% 31 or more 1.7% 0.2% 8.1% 3.3% As mentioned, grade 2 text reading scores were practically zero at the Baseline. At the Midline, most groups only achieved one word on average. Only Full treatment schools stand out in Nampula, with an average of three words per minute. Figure 14 below shows grade 2 text reading performance: Figure 14. Grade 2 Text Reading Scores By grade 3, some improvement is noted, especially in Nampula. Control schools in Zambézia are little changed from their Baseline average score of 1.6 words per minute (wpm). The Zambézia treatment schools perform better than Control schools at 4.1 wpm for Full and 3.2 wpm for Medium treatment groups. The next graph (Figure 15) illustrates this pattern clearly: 3.0 1.2 1.0 1.4 0.9 1.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 Full Medium Control Full Medium Control NAMPULA ZAMBÉZIA Words Correct per Minute Feb-Mar 2013 Sep-Oct 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 49 Figure 15. Grade 3 Text Reading Scores 6.2 Comparisons at Midline between Treatment and Control Groups This section focuses on comparing the two treatment and control groups at Midline for each of the six EGRA sub-tasks in each grade. This serves as a compact way of comparing whether there were significant differences between the RCT groups at the end of the school year and to gain a better sense of the relative magnitude of the differences. It is also meant to direct attention to the letter recognition, word reading and text reading subtests, where the IE expects to see the greatest gains after full implementation of the ApaL project interventions during the 2014 school year. Midline data were initially examined through descriptive frequencies. Given the significant differences between the two provinces and the two grades, data were subsequently analyzed separately for each of the EGRA sub￾tasks, comparing Midline results between the RCT groups (Full, Medium and Control). Table 27 summarizes, for each of the six EGRA sub-tasks, the average scores for Grade 2. Table 30. EGRA Sub-tasks per province and per treatment group-Grade 2 Grade 2 Nampula Zambézia Full Medium Control Full Medium Control Oral (comprehension 14 items) 7.7 7.1 6.5 8.5 7.9 8.3 Concepts about print (10 items) 5.1 5.3 4.5 4.5 4.3 3.8 Letters read correctly (100 items) 11.8 9.7 5.2 7.2 5.1 4.3 Words read correctly (30 words) 2.5 1.2 0.9 1.3 0.8 0.7 Text words read correctly (120 words) 3.0 1.2 1.0 1.4 0.9 1.0 Comprehension correct (4 questions) 0.11 0.02 0.02 0.04 0.02 0.02 Where results are bolded and highlighted in color, the means of the Full, Medium and Control groups within province are significantly different. In Nampula, treatment schools out-performed control schools on each sub-task in Grade 2, sometimes by a margin of two- and even three-to-one. In Zambézia, scores were generally lower than in Nampula for all except the oral comprehension sub-task, and did not differ 6.6 5.7 6.4 4.1 3.2 2.2 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 Full Mediu m Contr ol Full Mediu m Contr ol Words Correct per Minute Feb-Mar 2013 Sep-Oct 2013 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 50 between the groups for text reading and comprehension. Grade 3 results are shown in Table 28 below. Of particular interest is the increase in key sub-tasks, such as letter recognition and word and text reading, as compared to Grade 2. In Nampula, only the oral comprehension sub-task was significantly different between groups, while in Zambézia the same patterns observed in Grade 2 remain. Why almost no third grade treatment effects can be observed in Nampula is not at all clear; perhaps a result of better overall educational practices and the very limited period of implementation. In Zambézia, with lower scores by comparison, treatment effects generally are positive and significant. Lastly, the apparent difference favoring the treatment groups in Zambézia did not achieve statistical significance because of the large number of students with zero scores on the text reading sub￾task. In 2014, after a full year of implementation of the ApaL project, we expect these patterns to become clearer. Table 31. EGRA sub-tasks per province and per treatment groups-Grade 3 Grade 3 EGRA Sub-task Average Scores Nampula Zambézia Full Medium Control Full Medium Control Oral comprehension (14 items) 8.5 8.4 7.7 9.3 8.6 9.2 Concepts about print (10 items) 6.2 6.6 6.1 5.9 5.4 5.3 Letters read correctly (100 items) 18.6 19.0 16.2 14.5 11.7 7.8 Words read correctly (30 words) 4.7 4.6 4.4 3.0 2.1 1.2 Text words read correctly (120 words) 6.6 5.7 6.4 4.1 3.2 2.2 Comprehension correct (4 questions) 0.19 0.16 0.15 0.13 0.09 0.09 6.3 Sex Differences at Midline by Treatment and Control Groups We have reported in the sections above that girls are lagging behind boys at both Baseline and Midline for virtually all of the EGRA sub-tasks in both provinces. This is especially evident for the two most sensitive sub-tasks—letter recognition in grade 2 and word reading in grade 3. Here we present comparative graphs of Midline data to highlight this issue of significant concern. To facilitate this comparison, the two treatment groups are combined, and the results are presented by province. Earlier tables and graphs contain the full breakouts. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 51 Figure 16. Grade 2 Letter Recognition Scores by Sex Not only did treatment schools in Nampula significantly out-perform the other groups of schools, the relative gap between letter recognition performance of girls and boys is the smallest. This suggests that where overall performance is improved, the performance gap of girls and boys is reduced. Nonetheless, the gap between the sexes indicates a real problem that needs to be addressed. There are no other associated factors, such as age, repetition or language spoken at home, that explain these results. At baseline, no differences were observed regarding work responsibilities, either in the home or outside of the home, between boys and girls. Further analyses were run by province to determine whether the sex of the teacher related to the performance of the student. Consistently, in both provinces and in both grades, boys outperform girls on letter recognition, the sex of the teacher had no impact on scores, and there was no significant interaction between the sex of the teacher and that of the student. In the multivariate analyses presented in the next section of this report, student sex forms part of the models, where its importance can be estimated in conjunction with a series of other variables representing student, teacher and classroom characteristics and characteristics related to the school itself, such as urban/rural location, province and treatment group designation. The next graph shows that boys out￾perform girls by significant amounts on word reading in the third grade in both provinces and in both treatment and control schools: 9.5 3.9 3.8 3.2 12.3 6.3 8.8 5.6 0 2 4 6 8 10 12 14 Treatment Control Treatment Control Letters Correct per Minute Nampula Zambézia Female Male USAID/Aprender a Ler Impact Evaluation: Midline Report Page 52 Figure 17. Grade 3 Word Reading Scores by Sex Given that boys consistently outperform girls, analyses were again run to determine whether the sex of the teacher impacted the performance of the student on word reading in either grade 2 or 3. No effect is associated with the sex of the teacher and no interaction effect of teacher and student sex is observed. These results indicate that persistent biases exist wherein boys score higher on these key EGRA sub￾tasks and that these problems are not disappearing in third grade. Raising girls’ scores through ApaL project interventions will both address gender inequalities and boost the project’s potential for significant impact on early grade reading in Mozambique overall. Whereas the IE clearly can serve to identify where differences are observed it cannot suggest strategies to deal with them. The solutions to these challenges must be developed by ApaL due to its proximity to the field situation and its knowledge of the methodological and budgetary limitations or capacities to implement necessary activities to change the situation. 7. A MULTIVARIATE APPROACH TO IDENTIFYING FACTORS RELATED TO READING ACHIEVEMENT IN EARLY GRADES Most of the data presented in the previous sections isolate a limited number of factors when examining the September-October 2013 results: province, grade level, student sex and treatment group. While this is quite useful to understanding how EGRA scores are affected by these variables, it is clear that there are many other variables that were measured and can contribute to prediction models incorporating their combined effect on student reading outcomes. We know that the EGRA scores of the nearly 3,600 students are not all identical—the question then becomes whether the variation in the scores is simply the result of differences between students or whether there are differences between “groupings” of students (such as males versus females, urban versus rural schools, treatment versus control schools, etc.) In multivariate analysis, we are asking the question “how much does each factor affect the EGRA results, all other things being taken into account?” In order to carry out this multivariate analysis, the Hierarchical Linear Model (HLM) approach was used, incorporating 17 factors corresponding to student and teacher characteristics, observed teaching 3.9 3.4 2.0 0.8 5.5 5.4 3.3 1.6 0 1 2 3 4 5 6 Treatment Control Treatment Control Words Correct per Minute Nampula Zambézia Female Male USAID/Aprender a Ler Impact Evaluation: Midline Report Page 53 practices, observed classroom environment and school factors such as province, urban/rural location, as well as the treatment groups themselves. These variables were chosen in order to represent a range of potential factors influencing measured reading outcomes, and also reflect univariate and bivariate relationships that were noted with reading outcomes. The specific variables included in the analyses are listed in the following table. Table 32. Variables included in the HLM analyses Three steps were employed in the HLM: estimation of variances with no predictor variables (the null model), with the addition of student-level variables (Level 1) and then with the addition of school-level variables (Level 2). These models were developed for the EGRA sub-tasks of oral comprehension, concepts about print, letter recognition, familiar word reading fluency and accuracy, and text reading fluency and accuracy. The models were run separately by grade level. First, intra-class correlation coefficients were calculated using the null model—effectively determining whether there is significant variation between schools, as opposed to simply variation between individual students. Intra-class correlation coefficients closer to 1.00 mean that there are characteristics about the teacher, the classroom and/or the school that are associated with sub-task scores. The following table details these results for each of the sub-tasks by grade. Student Level Teacher / Classroom / School Level Student sex Teacher sex Frequency Portuguese spoken with adults at home Teacher pre-service training level Frequency Portuguese spoken with friends Teacher level of experience Repeated Grade 1 Observed teaching practices index (of 9 items) Repeated Grade 2 Teacher-made materials displayed in classroom Student-made materials displayed in classroom % of students enrolled present on day of visit Formal building construction Urban/rural location of school Full treatment Medium treatment Province USAID/Aprender a Ler Impact Evaluation: Midline Report Page 54 Table 33. Estimation of component variance in the null model The table below summarizes, for each sub-task, how much of the observed variation in scores is explained by the model, which of the 17 factors were significant components of the model and how many marginal score points it contributed (refer to Table for the sub-task grand mean as a reference for these point contributions). Table 34. Observed variation in EGRA scores per sub-task Grade 2: EGRA Sub￾task Percentage of Variance Explained Significant Factors Marginal Score Points Impact Oral comprehension 50% School location (Urban) Province (Zambézia) Frequency of speaking Portuguese with adults Frequency of speaking Portuguese with friends 1.6 0.8 0.5 0.4 Concepts about print 23% Province (Nampula) Teacher sex (Male) Student sex (Male) Frequency of speaking Portuguese with friends Frequency of speaking Portuguese with adults 1.2 0.5 0.4 0.3 0.3 Estimate Std. Err. Estimate Std. Err. 7.6 0.15  8.5  0.14 Student level 4.7 0.16  4.4  0.15 School level 4.0 0.48  3.2  0.39  4.5  0.11  5.9  0.11 Student level  4.7  0.16  4.1  0.14 School level  1.9  0.26  1.8  0.23  7.2  0.51  14.7  0.79 Student level  156.8  5.60  237.5  9.78 School level  32.3  5.1 84.2   11.9  1.2  0.12  3.3  0.25 Student level  12.0  0.42  35.3  1.2 School level  1.4  0.28  8.10  1.2  1.4  0.20  4.8  0.43 Student level  41.8  1.48  134.6  4.87 School level  3.2  0.79  19.9  3.88 Intra-Class Correlation Grand mean Intra-Class Correlation Grand mean Intra-Class Correlation  0.26  0.10 0.18 0.07 0.12 Letter recognition (100 letters) Variance component Variance component EGRA Sub-task  0.46 Familiar word reading (30 words) Text reading (120 words) Variance component Variance component Concepts about print (10 items) 0.28  0.17 Grand mean Grand mean Intra-Class Correlation Grand mean  0.30 Grade 2 Grade 3 Oral comprehension (14 items) Variance component  0.42 Null Model Component Intra-Class Correlation USAID/Aprender a Ler Impact Evaluation: Midline Report Page 55 Letter recognition 13% Full treatment Province (Nampula) Student sex (Male) Frequency of speaking Portuguese with friends 3.8 3.4 3.1 1.3 Familiar word reading 8% Full treatment School building formal Student sex (Male) 1.2 0.8 0.5 Text reading 12% Province (Nampula) 1.2 The table shows which student, classroom and school-level factors have a significant independent effect on predicting student scores. The percentage of variance in sub-task scores explained by the model ranges from a high of 50% (oral comprehension) to a low of 8% (word reading). The student sex, frequency of Portuguese language spoken at home and province dominate the foundational skills sub￾tasks. Full ApaL treatment was a significant component of the grade 2 models for letter recognition and word reading, adding 3.8 and 1.2 points, respectively, to the sub-task scores. To put magnitude of these effects into context, the grand mean for letter recognition was 7.2 and word reading was 1.2. Student sex favored boys by 3.1 and 0.5 points on the same sub-tasks. The grade 3 models are shown below: Table 35. Significant independent effect of student, classroom and school level factors Grade 3: EGRA Sub￾task Percentage of Variance Explained Significant Factors Marginal Score Point Impact Oral comprehension 53% School location (Urban) Teacher qualifications (negative) Medium treatment Full treatment Province (Nampula) Frequency of speaking Portuguese with adults Frequency of speaking Portuguese with friends Teaching practices index 1.6 -1.1 1.0 0.9 0.6 0.4 0.4 0.1 Concepts about print 29% Province (Nampula) Student sex (Male) Frequency of speaking Portuguese with adults Frequency of speaking Portuguese with friends 1.3 0.3 0.3 0.3 Letter recognition 39% Displaying student work in the classroom Province (Nampula) Student sex (Male) Frequency of speaking Portuguese with friends Frequency of speaking Portuguese with adults 9.6 9.2 5.1 2.4 1.3 Familiar word reading 22% Displaying student work in the classroom Province (Nampula) Student sex (Male) Frequency of speaking Portuguese with friends 4.0 3.1 1.4 0.6 Text reading 32% Province (Nampula) Displaying student work in the classroom Student sex (Male) Frequency of speaking Portuguese with adults 4.4 4.4 2.8 1.0 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 56 For grade 3, the percentage of variance in the sub-task scores explained by the model is higher for each sub-task as compared to the grade 2 models, ranging from 53% to 22%. Portuguese use at home and province are consistent components of all of the grade 3 models, and province has particularly strong marginal effects on scores. Student sex appears in all models except oral comprehension, favoring boys in all cases. Displaying of student work in the classroom (promoted by ApaL teacher training and a part of creating a print-rich environment) is a major influencer in the models for the more complex sub-tasks of letter recognition (adding 9.2 points to the score), word reading (adding 4.0 points) and text reading (adding 4.4 points). Mean values for each of these three sub-tasks are 14.7, 3.3 and 4.8, so these are important gains both statistically and practically. The teaching practices index and Full and Medium ApaL treatments were, independently, relatively modest contributors to the foundational oral comprehension sub-task of the EGRA, adding 0.1, 0.9 and 1.0 points, respectively, but combined for a total of 2.0 points (the mean value is 8.5). 50 The Grade 2 and Grade 3 HLM models have more similarities than differences regarding the factors showing significant effects on student achievement. Similar factors in both grades and in most of the models are: student gender, province and frequency of speaking Portuguese at home. In Grade 3 models, the classroom environment (indicated by the displaying student work in the classroom variable) became significant predictors of student achievement in most of the EGRA subtasks, especially in the more complex ones such as letter recognition, word reading and text reading. The HLM multivariate models validate the results presented in a univariate or bivariate fashion in the findings section of this report. They also highlight the need to refine the ApaL interventions to mitigate major influencing factors outside of the project’s control, such as student sex, Portuguese language use at home, and provincial and urban/rural differences. Factors that the project can directly influence, such as teaching practices and a print-enriched classroom environment, have been shown to cause improvements in EGRA scores and can be used to overcome some of the deficits associated with the larger factors affecting student performance. The limited implementation period of the ApaL project during 2013 also suggests that larger effects should be expected in 2014, as development of the more complex reading skills necessarily requires more student exposure to the interventions in terms of time and intensity. Even if changes in teacher practices and provision of TLAs can take place in a relatively short period of time, the students did not benefit from these interventions for enough of the school year to show major improvements in their EGRA scores. Nonetheless, the ApaL project did show an impact on the more complex sub-tasks of letter recognition and word reading in second grade, indicating that more students in treatment schools advanced farther in reading skills development during the school year than in control schools. In second grade, this is exactly what is required: it is not enough to merely consolidate fundamental skills such as oral comprehension in this grade. Lastly, the higher intra-class correlation coefficients for foundational reading skills for the grade suggests that school- and classroom-level characteristics are of greater importance than they are for the more complex reading skills measured by other EGRA sub-tasks, where individual differences in student reading ability dominate. When only a few students in a classroom have acquired a skill, individual variation will be greater; when most students in a classroom have reached a similar level, classroom-to￾classroom variations will show greater importance. This means that, particularly in third grade, that there is greater room for classroom-level interventions to exert an effect on EGRA scores. Since so 50 The teaching practice index includes items B.13 to B.21 of the Class Observation protocol, which address the teacher practices that relate to fundamental skills needed to learn to read. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 57 many other factors affect the development of reading abilities, we conclude that the ApaL project should focus on improving teaching practices and creating a more print-rich classroom environment during the complete coming school year. 8. SUMMARY OF FINDINGS In spite of the abbreviated implementation of ApaL in 2013, it appears that the project has the potential to improve student reading skills as shown by the comparison between Control and treatment groups at Midline. Major impacts are observed in second grade in letter recognition and familiar word reading. Third grade pattern is not as clear although letter recognition is significantly improved in Zambézia. The findings from the analysis of the data collected among 3,523 grade 2 and grade 3 students are summarized below. The project also seems to impact the way in which teachers conduct their classes specifically their practices when teaching reading to early graders. A comparison with Control schools suggests that this could have been a result of the training offered by ApaL as well as of the materials (LTAs) provided to teachers. Teacher instructional practices and the availability of teaching and learning materials are documented by the class observation section of the SMA. In the school management area—only 60 Full treatment schools receive this component—impacts are not yet noticeable due to the limited implementation in 2013. In 2014 we expect that the Full treatment schools will show a reduction in student, teacher and director tardiness. This, as seen in the literature cited in previous sections, could result in higher EGRA scores since tardiness and absenteeism are negatively correlated to student performance and scores. EGRA sub-task Oral language. When compared to Baseline students, all three groups made progress in the sub-task Oral Language. This is expected after one full year of instruction. The differences in scores observed at Midline between treatment and Control groups are significant both for second and third graders showing that treatment groups made more progress on the sub-task than children in the Control schools. EGRA sub-task concepts about print. For second graders significant differences were observed between treatment and Control groups both in Nampula and in Zambézia. No significant difference was found in the results obtained by third graders in Control and Treatment groups on this sub-task. EGRA sub-task Letter recognition. Whereas at Baseline, all second grade groups averaged fewer than 2 letters correctly identified in one minute, by Midline clear differences emerge between the treatment groups, with intervention groups more than doubling the results obtained in Control schools in Nampula and nearly that in Zambézia. In addition, marked reductions in the proportion of students with no or limited letter recognition skills are clearly evident at Midline, especially in Nampula, where 28% of the grade 3 students were able to identify 26 letters in one minute. At Midline, in treatment schools, on the average letter recognition went from 2 to 11.8 letters per minute for second graders and from 6 to 18.6 letters correct per minute for third graders. In control schools improvement went from 2 letters per minute at Baseline to 5 at Midline. Still, compared to international standards for low-income countries these are poor results to show at the end of grade 3.51 EGRA sub-task Familiar word reading. Extremely low scores predominate—in general children, even in 51 Abadzi, H. (2013). Literacy for All in 100 Days? A research-based strategy for fast progress in low-income countries. Global Partnership for Education Working Paper Series on Learning No. 7, May 30, 2013. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 58 third grade, cannot read even more than a few common words. At Baseline children in the Full treatment group in the two provinces could read no more than two words per minute; at Midline they are able to read five words in Nampula and three in Zambézia. Even though at Midline they read more words than children in Control schools (4.35 in Nampula and1.21 in Zambézia), the progress is insignificant when one considers that to read text with understanding children must be reading between 45 and 60 wpm at the end of grade 3.52 EGRA sub-task Oral reading fluency. This sub-task shows at Midline very modest gains relative to the Baseline. Grade 2 scores at Baseline were practically zero and at Midline both Control and Medium groups achieved one word on average, with Full treatment schools in Nampula, with an average of three words per minute. By grade 3, some improvement is noted, especially in Nampula and, on average, scores go from 2 to over 6 words per minute in Nampula for all groups. In Zambézia the Treatment groups outperform the Control schools by one or two words. EGRA sub-task Reading comprehension. The results of the familiar word reading, clearly predicted the results obtained at this sub-task: most students could not read with fluency sufficient to pass to the comprehension stage—less than 3% in grade 3, and less than 1% in grade 2. The majority of the students who were able to read enough words of the stories (14 students in grade 2, 85 students in grade 3, out of roughly 1,800 students in each grade), answered the comprehension questions correctly. Grade, sex and province differences On all EGRA sub-tasks grade 3 students scored statistically significantly higher than their counterparts in grade 2, with 2 - 3 additional words read correctly per minute in the word reading EGRA sub-task. This is the “grade effect” since each year of instruction represents an addition to what the student already knows. The progress observed has the potential to be enhanced in 2014 given that grade 2 students promoted to grade 3 in 2014 already start from a higher level than the current third graders. In addition, they will experience a full year of project implementation. There are significant differences between boys and girls in all sub-tasks except oral language and concept about print. This suggests that more work in necessary in order to increase the skills of the girls in the more complex aspects of reading and that the ApaL needs to find ways to ensure that girls benefit equally from the activities implemented by the project. Additional findings and impacts of the project As noted before, ApaL is in its initial stages of implementation but outside of the EGRA results summarized above some interesting impacts are noticeable. Changing teacher practice through training. Training provided by ApaL seems to be effective in changing teachers’ instructional behaviors in the classroom (Figure 8). In areas emphasized during training, for example, a behavior such as Initiates the study of sounds of letters without showing the student a picture of the shape of the letter (phonemic awareness) the differences observed in the classroom are significative—58% of the teachers in Full and Medium treatment schools were observed exhibiting the behavior while only 2% of those in the Control schools did so. The same pattern recurs when most items contained in the Classroom Observation instrument are analyzed (Tables 9, 10 and 11). 52 Value for low-income countries. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 59 Impact of teacher practices on students EGRA scores. As seen in Section 3, a simple instructional behavior emphasized during training such as “teaches the names of the letters to students’, was observed in 86% of the treatment classes but only in 31% of the Control classes. On the average, Nampula second graders taught by teachers who teach the names of the letters scored significantly higher than students whose teachers do not teach the names of the letters—9.9 letters per minute as opposed to 6.7. The same pattern persists when we examine most of the items included in the Class Observation protocol (Tables 9, 10, 11). This is an important finding showing that teacher practices can affect student achievement and will be further examined at the end of 2014 after ApaL’s full year of implementation. When teachers are provided with relevant teaching/learning materials, they use them. Teachers and school directors in treatment schools received with enthusiasm the learning and teaching materials (TLAs) provided by the project even though they were not sufficient for all grade 2 and 3 teachers (only one set of TLAs was provided per school). Observations in 344 classrooms show that that teachers do use the materials to facilitate the task of teaching to read in early grades. 9. CONCLUSIONS AND RECOMMENDATIONS Assessments of student learning in the primary grades, such as the EGRA used at Baseline and at Midline, offer an opportunity to determine whether children are developing the fundamental skills upon which all other literacy skills build, and, if not, where efforts might be best directed. The results presented in this report in combination with findings provided by the School Management Assessment (SMA) instrument and enriched by additional sources of information provide a multifaceted view of second and third graders’ reading ability as a function of student, teacher, director, classroom, and school characteristics traditionally associated with student performance. This is vital information to help improve the quality of education in the early grades. While it is encouraging to see gains among all groups, and especially among treatment groups, after an abbreviated intervention during 2013, the EGRA results reveal that by the end of grade 3, the majority of the 3523 students assessed have not yet acquired sufficient foundational skills to allow them to read fluently with comprehension—only 8% of third graders in Nampula and 3% in Zambézia were able to read correctly 31 or more words of a text. As a consequence, average reading comprehension scores were close to zero and are not worth presenting or discussing We consider that it would be premature to conclude that the project has not impacted girls’ performance or reduced the disparity between provinces. We are calling attention to these differences but with a caveat that no project can be evaluated after a three-month implementation period. The Midline report, in reality is closer to a Baseline since many of the planned activities were not implemented or were barely implemented. Our analyses also show that in spite of the limited pre-service preparation (10+1 or 10+2) reported by 77% of the 344 teachers interviewed in the classrooms sampled, given the right training teachers will adopt instructional practices that produce better results for students as shown by the statistically significant EGRA scores obtained in two key sub-tasks Letter Recognition and Word Reading by students in the Treatment groups. This is an important finding for ApaL but also for MINED as it attempts to reorganize teacher pre-service and in-service. Our results suggest that more time may need to elapse in order to observe ApaL impact and potential improvements in student reading ability. This study will be repeated at the end of 2014 and at that point USAID/Aprender a Ler Impact Evaluation: Midline Report Page 60 we will present a more complete picture of the project and a better description of its impacts. Recommendations Given the abbreviated implementation that occurred in 2013 and the fact that the IE is not a process or outcome evaluation of project implementation, the main focus of the recommendations presented here is on those issues that will provide better data at the end of 2014. • Revise Section B of the SMA (Observation of Teaching Practices), subsume lesser behaviors into higher order ones, perhaps reducing the number of items (currently there are 49 practices for the observer to record); use a Likert scale in order to establish shades of difference between and among levels of practice—very good or good, average, insufficient, or poor. The YES/NO approach does not capture the full range of teacher practice and does not allow putting teachers into categories so that progress, which is expected to occur as a result of training, can be documented. • Use a formula to create a weighted index that includes (i) attendance, (ii) punctuality, (iii) attendance to training sections and (iv) observed classroom practice to come to one number that represents the various facets of the work of a teacher so as to allow this index to be related to scores obtained by students on the EGRA. 53 • Thoroughly revise Section D of the SMA (Interview with the school director) and reduce the number of items (currently 94) to be recorded by the enumerators. Eliminate repetitious questions and all items to which the great majority of responses was NO. As suggested above, use a Likert scale to capture the nuances of the management style of a school director so that the number of school directors in one category can be assessed, i.e., how many school directors are classified as “poor” as a result of their management practices? • Create an index similar to the one suggested above for the Classroom Observation instrument so that each school could be classified according to the performance of the school director and the index could be related to EGRA scores. Relating 94 individual items to the EGRA scores is not a viable option. • Find more reliable ways to collect SMA data. When possible data on (i) student, teacher and school directors tardiness and absenteeism, (ii) student age and repetition and (iii) start and end of the school day and of class time should depend less on self-report and more on school records. It is possible that one key element of ApaL training should be the documentation by school directors and teachers of such information since good school management is associated with good recordkeeping and with having the information at hand to make decisions that will result in school improvement. • Share with teachers and directors (possibly during training) the classroom observation and the school management instruments. Knowing where the project is going in terms of teaching reading and school management practices, will clarify what is expected and direct their efforts to the desired outcomes and ensure that ApaL and school personnel are on the same. • Focus on instructional practices shown to improve reading and reading instruction. Teachers in control schools received no in-service training in teaching to read strategies. In treatment schools, where focus on reading instruction was implemented by ApaL, scores on the EGRA show substantial increase in letter recognition and word reading when compared to Baseline scores. 53 We do not recommend including teacher pre-service since the HLM analysis did not see teacher pre-service status as a factor that affects EGRA scores. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 61 • At the Full treatment schools focus on school management strategies to expand the time available to learn. The high rates of student and teacher tardiness and absenteeism in the sampled classrooms and of directors in the schools visited suggest that management training should focus on indicators that measure the reduction of tardiness and absenteeism rates • Pay special attention to gaps between sexes. The gap between the sexes observed is consistent across EGRA sub-tasks and grades and needs to be addressed. In order to raise EGRA scores girls’ achievement has to be raised. The Midline data show that boys outperformed girls in all subtasks except oral comprehension and concepts about print. This means that girls are falling behind in the more complex sub-tasks, especially those that are the building blocks for learning to read. This finding should be used during training to influence how teachers teach girls. To improve reading performance in treatment schools girls’ achievement needs to be raised. • There are statistically significant and consistent differences between the provinces. Whereas only ApaL can get to the reasons for these differences, they represent a challenge that needs to be taken into consideration when designing and implementing the 2014 intervention. The gap observed between Nampula and Zambézia is consistent across all EGRA sub-tasks except, as noticed at Baseline, the oral comprehension subtask. One may hypothesize that the difference between the provinces, is caused by the larger proportion of Zambézia schools in rural areas included in the sample (82% as opposed to 70% in Nampula) but the HLM does not support this assertion: the model identifies differences between provinces but not between location of the school (urban/rural). ApaL needs to examine its implementation strategy and look for instances when the implementation in one province deviates from the other. • Set literacy benchmarks. The complex language environment in Mozambique with many local languages spoken in different provinces and Portuguese as the official language of instruction requires clarity about what reading outcomes children are expected to achieve at the end of each grade. Several influential studies have used the number of words a student is able to read correctly in one minute (words per minute-WPM) as a proxy for assessing reading ability after three years of primary school. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 62 REFERENCES Abadzi, H. (2006) Efficient learning of the Poor: Insights from the frontier of cognitive neuroscience. Directions in Development. The World Bank. Abadzi, H. (2007). “Absenteeism and Beyond: Instructional Time Loss and Consequences”, World Bank Policy Research Working Paper No. 4376, p. v. Abadzi, H. (2009). “Instructional Time Loss in Developing Countries: Concepts, Measurement, and Implications.” World Bank Research Observer. 24 (2): 267-290. Abadzi, H. (2011). Reading Fluency Measurements in EFA Partner Countries: Outcomes and Improvement Prospects, EFA, FTI Secretariat Update September 2011. Abadzi, H. (2013). Literacy for All in 100 Days? A research-based strategy for fast progress in low-income countries. Global Partnership for Education Working Paper Series on Learning No. 7, May 30, 2013. Adelman, E., A.M. Moore, S, Manji. (2011) USAID EQUIP2. 2011. “Using Opportunity to Learn and Early Grade Fluency to Measure School Effectiveness in Mozambique.” Auerbach, C.F. & Silverstein, L.B. (2003). Qualitative Data: An Introduction to Coding and Analysis. Bamberger, M. (2006). Conducting Impact Evaluations under Time and Budgetary Constraints. The World Bank. Fehrler, S., K. Michealova and A. Wechtler (2009). The cost-effectiveness of inputs in primary education: Insights from the literature and recent surveys for sub-Saharan Africa. The Journal of Development Studies, Taylor & Francis Journals, vol 45 (9), pages 1545-1578. Finlayson, M. (2009) “The Impact of Teacher Absenteeism on Student Performance, Kennesaw State University. Foley, D (2012). Six Management Tips Every Teacher Can Use. National Education Association (NEA) Glewwe, P., E. Hanushek, S. Humpage, and R. Ravina (2011). School Resources and Educational Outcomes in Developing countries: A Review of Literature from 1990 to 2010. http://www.nber.org/papers/w17554. Paris: UNESCO. Global Education Digest 2012. Opportunities Lost: The impact of grade repetition and early school leaving. UNESCO Institute of Statistics. Montreal, Canada, www.uis.unesco.org Hanushek, E. & Wolfmann, L. (2007) The Role of Education Quality in Economic Growth. World Bank Policy Research Paper 4122. IAR Instructional Assessment resources: conduct research, reporting results. The University of Texas at Austin. (2011) Miller, R.T., Murnane, R.J., & Willett, J.B. (2008) “Do Teacher Absences Impact Student Achievement? Longitudinal Evidence from One Urban School District.” Educational Evaluation and Policy Analysis 30. New York: New York University Press. Raupp, M, Newman, B. & Revés, L. (2013) Baseline Report USAID Evaluation Services IQC Task Order AID-656-TO-12-0000. Stern, E., Department for International Development (DfID). “Broadening the range of Designs and methods for impact evaluations”. Working paper 38. April 2012. Suryadarma, D., Suryahadi, A., Sumarto, S., & Rogers F.H. (2006)”Improving Student Performance in Public Primary Schools in Developing Countries: Evidence from Indonesia.” Education Economics14: 401–429. Uehara, Denise. (1999). “Where are the Teachers? A Policy Report on Teacher Attendance in the Pacific Region.” Pacific Resources for Education and Learning. USAID EQUIP2. (Working Paper) “Using Opportunity to Learn and Early Grade Fluency to Measure School Effectiveness in Ethiopia, Guatemala, Honduras, and Nepal.” USAID/Aprender a Ler Impact Evaluation: Midline Report Page 63 Whelan, Debra L. (2008). “Teacher Absenteeism Affects Student Achievement.” School Library Journal. Woods, Robert C., Montagno, Ray V. (1997) “Determining the Negative Effect of Teacher Attendance on Student Achievement. Education, 118 (1997): 307-317. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 64 ANNEXES ANNEX A: Student Questionnaire and EGRA Tool USAID/ Aprender a Ler EGRA: Questionário para alunos e Instrumento COMPLETE TODOS OS CAMPOS NA TABELA ABAIXO ANTES DE INICIAR A ENTREVISTA. Nome do Inqueridor: ________________________________________________ Data: _____/_____/ 2013 Tipo de Tratamento oferecido à escola: Completo Médio Controlo Província: Nampula Zambézia Distrito: ________________________________________ Nome da Escola: _______________________________________ Código da Escola: _____________________ Nome da Escola Sede do ZIP: __________________________________________________________________ Classe: Segunda Terceira Número de Identificação do Professor: __________________ Secção 1. Formulário de Informação sobre os antecedentes do(a) aluno(a) Diga na LÍNGUA MATERNA DO ALUNO: Começarei por fazer algumas perguntas sobre ti, tá bom? 1.Sexo do Aluno Feminino Masculino 2.Quantos anos tens?__________ Não Sabe/Não Responde 3. Fala Português: [Marque com ‘X’ apenas uma resposta por linha] Quase Sempre Ocasio￾nalmente Quase Nunca Nunca Não Aplicável Com a sua mãe? Com o seu pai? Com os seus irmãos/irmãs? Com os seus amigos? 4. Alguém em tua casa lê para ti livros em português? SIM NÃO [Passe para a Questão 6] USAID/Aprender a Ler Impact Evaluation: Midline Report Page 65 5. Quem lê para ti? [Marque todas as respostas mencionadas] Pai Mãe Irmão/ã Avô/ó Tio/a Outro Especifique: ___________________________ 6. Costumas ler em casa? SIM NÃO [Passe para q Questão 8] 7. Se SIM, o que lês em casa? [Anote tudo o que o(a) aluno(a) menciona] 8. Vives com a tua mãe? SIM NÃO 9. Vives com o teu pai? SIM NÃO  [Se o(a) aluno(a) vive com os dois pais, passe para a Questão 11] 10.Por quê não vives com teu pai e/ou tua mãe? Orfã(o) de mãe Orfã(o) de pai Orfã(o) de pai e mãe Outro ______________________ 11.Frequentaste a pré-escola/escolinha/Créche? SIM NÃO Não Sabe/Não responde 12.Repetiste a: 1ª classe? SIM NÃO Não Sabe/Não se aplica 2ª classe? SIM NÃO Não Sabe/Não se aplica 3ª classe? SIM NÃO Não Sabe/Não se aplica 13. Ajudas no trabalho de casa? (cozinhar, limpar o chão, lavar a roupa, plantar/trabalho na machamba) SIM NÃO 14.Tens trabalhado fora de casa (vender no mercado, trabalhar em casa de alguém como empregado/a)? SIM NÃO 15.Tens faltado à escola? SIM NÃO [Passe para a Questão 17] 16.Porque faTLAs à escola? [Marque todas as respostas mencionadas] Doença da criança/familiar Longa distância da casa à escola Mau tempo Trabalhos de casa/fora de casa Outro Especifique:_____________________________________ USAID/Aprender a Ler Impact Evaluation: Midline Report Page 66 17.Tens chegado tarde à escola? SIM NÃO [Passe para a Questão 19] 18. Porque chegas atrasado à escola? [Marque todas as respostas mencionada] Doença da criança/familiar Longa distância da casa à escola Mau tempo Trabalhos de casa/fora de casa Outro Especifique:_____________________________________ 19. Quantos dias o aluno esteve presente na aula em Julho 2013? _______dias [Verifique no mês de Julho no livro de turma] 20. Quantos dias o aluno esteve presente na aula em Agosto 2013? _______días [Verifique no mês de Agosto no livro de turma] 21. Quantos dias de aula teve esta turma durante o mes de Julho 2013? ________dias [Verifique no mês de Julho o total de dias de aula oferecido] 22. Quantos dias de aula teve esta turma durante o mes de Agosto 2013? ________dias [Verifique no mês de Agosto o total de dias de aula oferecido] Secção 2. Vocabulário Oral INSTRUÇÃO PARA O INQUIRIDOR: • Se o aluno der uma resposta correcta: circule a resposta dada e dê parabéns ao(a) aluno(a). • Erro: Se a resposta fôr incorrecta, use o uma barra (/) para marcar a resposta errada. • Autocorrecção: se o(a) aluno(a) der uma resposta errada mas corrigi-la em seguida (autocorrecção), circule a resposta antes considerada errada, como correcta. A. COMPREENSÃO ORAL Eu vou dizer os nomes de algumas partes do teu corpo em português. E tu vais-me mostrar a que parte do teu corpo se refere cada nome. Por exemplo, "nariz" ( e tu vais apontar o teu nariz). Outro exemplo, "os teus olhos" (e tu vais apontar os teus olhos). Bravo! Vamos lá começar? Mostre-me O teu braço O teu pé O teu queixo O teu joelho O teu ombro As tuas costas A tua cabeça A tua sobrancelha  Leia as instruções na língua materna do(a) aluno(a). Leia as partes do corpo ao aluno(a) somente em português. Número total de respostas correctas: ____________/8 USAID/Aprender a Ler Impact Evaluation: Midline Report Page 67 B. COMPREENSÃO DE TERMOS ESPACIAIS - MATERIAL NECESSÁRIO: um lápis e uma folha de papel. Estás a ver este lápis, sim? Vais colocar o lápis onde eu te disser para colocar, está bem? Vamos lá começar? Coloca o lápis: Em cima do papel Atrás de ti No chão Por baixo do papel Na tua frente Ao lado do papel  Leia as instruções na língua materna do(a) aluno(a): (por favor traduza a instrução para a língua materna do(a) aluno(a)  Leia as frases ao aluno(a) somente em português. Número total de respostas correctas: ____________/6 TOTAL de respostas correctas: ________________/14 Secção 3: Conceitos sobre materiais impressos INSTRUÇÕES: entregue o livro ao aluno(a), na posição vertical, com a dobra apontada ao aluno e a parte oposta virada para si. Asinale o resultado por cada passo efectuado com um “X” na caixa. DIGA OS PASSOS NA LÍNGUA MATERNA DO(A) ALUNO(A) Diga: Vamos fazer um jogo com este livro da escola. 1. Diga: Mostra-me a frente do livro Correcto Incorrecto Não Responde 2. Diga: Abre o livro na página onde começa a história. Correcto Incorrecto Não Responde 3. Diga: Mostra-me onde devo começar a ler esta história Correcto Incorrecto Não Responde 4. Diga: Em que direcção se lê cada linha do livro? Correcto Incorrecto Não Responde 5. Diga: Quando eu termino de ler uma linha, onde vou para continuar? Correcto Incorrecto Não Responde 6. Diga: Vou ler algumas linhas desta história. Quero que tu apontes as palavras enquanto eu leio. Dê as instruções em língua materna, mas o texto deve ser lido apenas em português. Leia algumas linhas completas de forma lenta mas contínua. O/A aluno/a deve apontar para as palavras enquanto você lê: Tudo Correcto Maioria Correcto Maioria Incorrecto Tudo Incorrecto Não Responde 7. Diga: Mostre-me a parte inicial da história. Agora mostra-me a parte final da história. Ambos Correctos Apenas 1 Correcto Ambos Incorrectos Não Responde 8. Diga: Como tu sabes em que página estás? Agora passa para a página “8” Correcto Incorrecto Não Responde USAID/Aprender a Ler Impact Evaluation: Midline Report Page 68 9. Diga: Mostre-me uma letra e diz o nome da letra Correcto Incorrecto Não Responde 10. Diga: Agora mostre-me uma palavra e lê a palavra. Correcto Incorrecto Não Responde Secção 4: Conhecimento sobre o Nome das Letras  Entregue à criança o cartão nº 1 de letras (abecedário). Lembre-se que o cartão tem de um lado letras de imprensa e do outro letras cursiva. Perguntar ao aluno que lado prefere ler. Utilize o mesmo lado selecionado pelo aluno para o resto desta secção. Leia as seguintes instruções para o aluno: Nesse cartão, estão todas as letras do abecedário. Por favor, diz-me o NOME do maior número de letras que puderes Por exemplo, o nome desta letra é [aponte para a ante-penúltima da lista do cuadro, J] é jota”. Vamos praticar: diz-me o nome da letra [aponte para N, a última da lista da cuadra]. Se a criança responder correctamente diga: muito bem, acertaste o nome da letra é: “ene” Se a criança não responder correctamente diga: A resposta correcta do nome da letra é: “ene” Percebeste o que vamos fazer? Assegure-se que o aluno compreendeu o que deve fazer. Quando eu disser “começar”, por favor, comece a ler as letras, iniciando pela primeira letra na primeira linha. [Aponte para a primeira letra na primeira linha indicando que o aluno deve iniciar ali e ler da esquerda para a direita linha por linha]. Eu vou ficar calado (a) a ouvir-te, mas, se precisares de alguma ajuda, podes pedir-me. Pronto? Começar. Active o cronómetro quando a criança ler a primeira letra. Siga as letras com a sua caneta e marque no instrumento claramente com uma barra (/) a letra que for lida erradamente pelo(a) aluno(a). Se a criança errar e logo se corrigir, conte a resposta como correcta. Fique calado(a), excepto em situações como: se a criança hesitar mais de 3 segundos. Neste caso, diga o nome da letra, aponte para a próxima letra e diga “Por favor, continua”. Marque a letra que você leu como resposta incorrecta. APÓS 60 SEGUNDOS DIGA, “PARE” e marque a última letra lida com uma chaveta, na posição de fechar(]). Regra para interromper o exercício: Se a criança não fornecer nenhuma resposta certa na primeira linha, diga “Muito Obrigado”, pare o exercício, marque um X no quadro abaixo e passe para o próximo exercício. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 69 Marque um X se a criança não deu nenhuma resposta certa na primeira linha: 1. Caso a criança leia todas as letras em menos de 60 segundos, anote o número de segundos que o(a) aluno(a) levou a completar o exercício (Número de segundos): ________ 2. Anote o número TOTAL de letras lidas durante o tempo do exercício: _______ 3. Anote o número de letras CERTAS lidas durante o exercício: _________ 4. Anote o número de letras ERRADAS lidas durante o exercício: __________ 5. Secção 5: Leitura das Palavras  Entregue à criança o cartão nº 2 (Palavras) e diga: Nesse cartão, estão algumas palavras. Por favor, lê em voz alta o maior número de palavras que puderes. O objetivo do exercício é determinar quantas palavras os alunos podem ler correctamente em 60 segundos. O(a) aluno(a) começa com a primeira palavra da lista. O inquiridor marca a palavra lida como correcta ou incorrecta ou não respondida com um “X”. Se o(a) aluno(a) hesitar por mais de cinco segundos, ou fizer um esforço para ler a palavra sem conseguir por cinco segundos, o inquiridor deve marcar aquela palavra como não respondida e pedir ao (a) aluno(a) para ler a próxima palavra na lista. O inquiridor nunca deve corrigir a palavra dita pelo(a) aluno(a) nem ler a palavra correctamente para o(a) aluno(a). Active o cronómetro quando a criança iniciar o exercício. Siga as palavras com a sua caneta e marque no instrumento claramente com uma barra (/) a palavra que for lida erradamente pelo(a) aluno(a). Se a criança errar e logo se corrigir, marque a resposta como correcta. Fique calado(a), excepto em situações como: se a criança hesitar mais de 5 segundos. Neste caso, aponte para a próxima palavra e diga “Por favor, continua”. Marque a palavra que o aluno(a) não leu como “Não Responde” e continua até se completem os 60 segundos. AOS 60 SEGUNDOS DIGA, “PARE” e marque a última palavra lida com uma chaveta, na posição de fechar(]) L I H R S p E O N T (10) I E T D A t a D E N (20) H O E M U r L G R U (30) G R B E I f m T S R (40) S T C N P A F C A E (50) T S Q A M C O T N P (60) E A E S O F h U A T (70) R G H B S i g M I L (80) L I N O E o E R P X (90) N A C D D I O J E N (100) USAID/Aprender a Ler Impact Evaluation: Midline Report Page 70 No final deve somar o número de “X” de cada coluna: Correcto Incorrecto Não Responde 1 E 2 De 3 Ter 4 Dia 5 Ele 6 Segundo 7 Depois 8 Primeiro 9 Lá 10 Anos 11 Também 12 Cada 13 Vir 14 Triste 15 Um 16 Avô 17 Bandeira 18 Saúde 19 Lembrar 20 Ela 21 Classe 22 Descrever 23 Rua 24 Atrás 25 Olhos 26 Pai 27 Nunca 28 Através 29 Entre 30 Três TOTAIS  USAID/Aprender a Ler Impact Evaluation: Midline Report Page 71 Secção 6: Leitura e Compreensão do Texto DIGA: Aqui está um conto que quero que comeces ler, quando eu te disser ‘começa’, começas a ler o conto em voz alta, iniciando pela primeira palavra. DIGA: Começa por ler cada palavra. Se encontras uma palavra que não sabes ou não reconheces, eu digo-te qual é. Lê o melhor que saibas. Percebeste o que quero que tu faças? DIGA: Tudo bem. Podemos começar? 1. Active o cronómetro quando a criança começa a ler a primeira palavra do conto. Siga a leitura da criança na tua cópia, e marque as palavras incorrectas com uma diagonal (/). 2. Ao fim de 60 segundos assinale com uma chaveta vertical, na posição de fechar, logo após a última palavra que a criança tentou ler. ( ] ). 3. Se ao fim de 60 segundo, o(a) aluno(a) apenas tiver lido a primeira linha, ou nbão tiver lido nada, vá para o Conto # 2 e repita os passos. 4. Quando a criança terminar a leitura, diga: Muito obrigado(a), agora vou-te fazer algumas perguntas sobre o que estiveste a ler. Podes te referir ao conto se quiseres. 5. Faça as perguntas de compreensão. Se o(a) aluno(a) lê atá à linha 15 (Conto 1 e 2), faça a pergunta nº 1 Se o(a) aluno(a) lê até à linha 35 (Conto 1) ou até à linha 60 (Conto 2), faça a pergunta nº 2 Se o(a) aluno(a) termina de ler a linha 70 (Conto 1) ou até à linha 95 (Conto 2), faça a pergunta 3 Se o(a) aluno(a) termina de ler linha 110 (Conto 1) ou até à linha 135 (Conto 2), faça toda a pergunta 4. 6. Se ao fim de 60 segundos, o(a) aluno(a) não tiver lido nada ou tiver lido apenas a primeira linha do Conto não é necessário seguir com as perguntas de compreensão visto que a criança não consegue ler. Diga: Muito obrigado(a), podes agora regressar à tua sala de aulas. Obrigado pelo apoio que deste para este estudo. Por favor pede ao(a) teu(tua) professor(a) que mande o(a) próximo(a) aluno para fazer este jogo. Diga o mesmo para os alunos que tiverem terminado com as perguntas do conto 2. INSTRUÇÕES PARA ANOTAR AS CLASSIFICAÇÕES DOS ALUNOS. 1. Classifique os alunos apenas ao terminar o exame a TODOS os alunos. 2. Conte o número total de palavras lidas CORRECTAMENTE em 60 segundos. 3. Depois conte o número de todas as palavras lidas CORRECTAMENTE no conto. 4. Anote o número total de respostas correctas às perguntas de compreensão. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 72 Conto de Leitura 1 A. Tu já conhecias esta história ? SIM NÃO NÃO SABE/NÃO RESPONDE B. Número total de palavras lidas CORRECTAMENTE em 60 segundos _____________ C. Número total de respostas correctas às perguntas de compreensão ______________ A vida em comunidade 4 Era uma vez um macaquinho que 10 andava sempre triste. Um dia, 15 o mocho encontrou-o assim triste 20 e perguntou-lhe o motivo da 25 sua tristeza. -Eu gostaria de 30 ter muitos amigos que brincassem 35 comigo – respondeu o macaquinho. O 40 que é que faço para 45 arranjar amigos? O mocho, um 50 animal sábio, deu os seguintes 55 conselhos ao macaquinho: -Temos de 60 trabalhar para mostrar aos outros 65 que temos valor. É desta 70 maneira que conquistamos o coração 75 dos outros e fazemos amigos. 80 Então, o macaquinho decidiu seguir 85 o conselho do mocho. E 90 daí em diante, todos naquela 95 floresta passaram a gostar dele: 100 todas as mamãs macacas o 105 tratavam como filho, os outros 110 macaquinhos tratavam-no como irmão e 115 todos o tratavam como amigo. 120 1. Como se sentia o macaquinho? [O aluno(a) leu até à linha 15] (Resposta: triste) Correcto Incorrecto Não Responde 2. Porque o macaquinho andava triste? [O aluno(a) leu até à linha 35] (Resposta: Queria ter mais amigos) Correcto Incorrecto Não Responde 3. Para fazer amigos, que conselhos deu o mocho ao macaquinho? [O aluno(a) leu até à linha 70] (Resposta: Tem de mostrar aos outros que tem valor) Correcto Incorrecto Não Responde 4. Como as mamãs macacas tratava o macaquinho? [O aluno(a) leu até à linha 110] (Resposta: como filho) Correcto Incorrecto Não Responde USAID/Aprender a Ler Impact Evaluation: Midline Report Page 73 Conto de Leitura 2 A Sara visita os avós 5 Num domingo, a Sara foi 10 visitar os avós. Quando chegou 15 à casa dos avós, estes 20 estavam sentados debaixo da mangueira 25 em frente à casa. Então, 30 ela cumprimentou-os: -Bom dia, vovós. 35 -Bom dia, minha neta.-Como 40 é que estão?-Eu estou 45 bem, obrigada. O teu avô 50 é que tem andado com 55 dores nas pernas - disse a 60 avó. Ainda bem que vieste, 65 minha netinha - disse o avô. 70 -Tenho aqui esta receita e 75 estes medicamentos. Gostaria que tu 80 lesses a receita e que 85 me explicasses como fazer o 90 tratamento. -Com certeza, avô! – disse 95 a Sara recebendo a receita. 100 Depois de ler a receita 105 para o avô, a Sara 110 foi buscar um copo de 115 água para que ele tomasse 120 os comprimidos.-Obrigado, minha neta – 125 disse o avô a Sara, toda 130 orgulhosa de poder ser útil. 135 1. A quem a Sara foi visitar? [O aluno(a) leu até à linha 15] (Resposta: A seus avós) Correcto Incorrecto Não Responde 2. Que problema tem o avô da Sara? [O aluno(a) leu até à linha 60] (Resposta: Tem dores nas pernas) Correcto Incorrecto Não Responde 3. Porque o avô da Sara pediu para ela ler a receita? [O aluno(a) leu até à linha 95] (Resposta: Para que ela explicasse como fazer o tratamento) Correcto Incorrecto Não Responde 4. Porque a Sara ficou orgulhosa? [O aluno(a) leu até à linha 135] (Resposta: Porque ajudou a seu avô) Correcto Incorrecto c A. Tu já conhecias esta história? SIM NÃO NÃO SABE/NÃO RESPONDE B. Número total de palavras lidas CORRECTAMENTE em 60 segundos _____________ C. Número total de respostas correctas às perguntas de compreensão ______________ FIM DO EGRA USAID/Aprender a Ler Impact Evaluation: Midline Report Page 74 ANNEX B: School Management Assessment (SMA) USAID / Aprender a Ler SMA – Questionário sobre Gestão Escolar A.1 Nome do inquiridor: _____________________________________________ A.2 Data: _____/_____/ 2013 A.3 Tipo de Tratamento oferecido à escola: Completo Médio Controlo A.4 Província: Nampula Zambézia A.5 Distrito: _______________________________________ A.6 Nome da Escola: ___________________________________________ A.7 Código da Escola: __________ A.8 Nome da Escola Sede do ZIP: ________________________________________________________________ Secção A: Informações da Visita à Escola Hora em que o inquiridor: A.9 Entra na escola: ______hr ______min Hora em que o inquiridor: A.10 Sai da escola: ______hr ______min A.11 Hora oficial do início do día escolar: _____ hr ______min A.12 Hora em que o/a Director/a chegou à escola: ______hr ______min A.13 Hora em que o/a Director/a Pedagógica chegou à escola: ______hr ______min Não aplicável Secção B: Entrevista com o/a Director/a da Escola B.1 Sexo: Feminino Masculino B.2 Idade: _______anos B.3 Língua materna: Português Macua Chuabo Lomwe Outra _____________ B.4 Que tipo de curso de formação possui? [Apenas uma resposta] EHPP 9ª + 3 Anos (IMP) Bacharelato (UP/UCM) Magistério Primário (MP) CFPP 6ª/7ª + 3 Anos Licenciatura (UP/UCM) UEM/CFP 7ª/9ª Instituto Magistério Primário (IMP) ADPP UEM/CFP 10ª/11ª 10ª + 1 Ano USAID/Aprender a Ler Impact Evaluation: Midline Report Page 75 Curso 6ª + 3 Anos 12ª + 1 Ano Outra Especificar: ______________________________________________ B.5 Qual é a sua experiência SOMENTE como Director? _______anos completos B.6 Qual é a sua experiência SOMENTE como Professor? _______anos completos B.7 Qual é a sua experiência exercendo as duas funções (Prof/ Director) simultaneamente? ____anos completos B.8 Há quantos anos está nesta escola? ________anos completos B.9 Neste ano 2013, o/a Senhor/a Director/a lecciona alguma turma em forma regular? SIM NÃO [Passe para a questão B.12] B.10 Se respondeu SIM, qual é a classe que lecciona? _____________ B.11 Se respondeu SIM, quantas horas por semana ensina? ______ horas B.12 O/A Senhor/a Director/a participou em alguma formação/capacitação ou seminários destinados a Directores de Escolar durante 2013? SIM NÃO [Passe para a questão B.15] B.13 Quantos dias de formação recebeu durante 2013? _______ dias [Anote 0 (zero) se não recebeu formação durante 2013 e Passe para a questão B.15] B.14 Se você recebeu formação durante 2013, de quem recebeu essa capacitação? MINED IFP DPEC ZIP SDEJT USAID / ApaL ONG ou outro projecto diferente do ApaL Programa de extenção universitário Outra Especifique: _________________________________________ B.15 Quantas visitas de supervisão ou de acompanhamento recebeu durante 2013? ________ visitas [Anote 0 (zero) se não recebeu visitas de supervisão ou de acompanhamento durante 2013 e Passe para a questão B.17] B.16 Se você recebeu visitas de supervisão ou de acompanhamento durante 2013, de quem as recebeu? MINED IFP DPEC Coordinador do ZIP SDEJT Outra Especifique: ______________________ B.17 O/A Senhor/a Director/a é Coordenador/a do ZIP? SIM NÃO B.18 O/A Senhor/a Director/a desempenha igualmente as funções de o/a Director/a Pedagógica desta escola? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 76 Secção C: Entrevista com o/a Director/a Pedagógico Se a escola não conta com Director/a Pedagógica, marque aqui e vá para Secção D. C.1 Sexo: Feminino Masculino C.2 Idade: _______anos C.3 Língua materna: Português Macua Chuabo Lomwe Outra ___________ C.4 Que tipo de curso de formação possui? [Apenas uma resposta] EHPP 9ª + 3 Anos (IMP) Bacharelato (UP/UCM) Magistério Primário (MP) CFPP 6ª/7ª + 3 Anos Licenciatura (UP/UCM) UEM/CFP 7ª/9ª Instituto Magistério Primário (IMP) ADPP UEM/CFP 10ª/11ª 10ª + 1 Ano Curso 6ª + 3 Anos 12ª + 1 Ano Outra Especificar: ______________________________________________ C.5 Qual é a sua experiência SOMENTE como Director Pedagógico? _______anos completos C.6 Qual é a sua experiência SOMENTE como Professor? _______anos completos C.7 Qual é a sua experiência exercendo as duas funções (Professor e Director Pedagógico) simultaneamente? ________anos completos C.8 Há quantos anos está nesta escola? ________anos completos C.9 Neste ano 2013, O/A Senhor/a Director/a Pedagógico lecciona alguma turma em forma regular? SIM NÃO [Passe para a questão C.12] C.10 Se respondeu SIM, qual é a classe que lecciona? _________ C.11 Se respondeu SIM, quantas horas por semana ensina? ______ horas C.12 O/A Senhor/a Director/a Pedagógico participou em alguma formação/capacitação ou seminários destinados a Directores Pedagógicos durante 2013? SIM NÃO [Passe para a questão C.15] C.13 Quantos días durou a formação/capacitação durante 2013? _______ dias [Anote 0 (zero) se não teve formação/capacitação durante 2013 e Passe para a questão C.15] USAID/Aprender a Ler Impact Evaluation: Midline Report Page 77 C.14 Se você recebeu formação durante 2013, de quem recebeu essa capacitação? MINED IFP DPEC ZIP SDEJT USAID / ApaL ONG ou outro projecto diferente do ApaL Programa de extenção universitário Outra Especifique: _________________________________________ C.15 Quantas visitas de supervisão ou de acompanhamento recebeu durante 2013? ________ visitas [Anote 0 (zero) se não recebeu visitas de supervisão ou de acompanhamento durante 2013 e Passe para a SECÇÃO “D”] C.16 Se recebeu visitas de supervisão ou de acompanhamento durante 2013, de quem as recebeu? MINED IFP DPEC Coordinador do ZIP SDEJT Outra Especifique: ______________________ USAID/Aprender a Ler Impact Evaluation: Midline Report Page 78 Secção D: Entreviste com o Director da Escola e Director Pedagógico Os seguintes documentos podem fornecer a evidência necessária: • Um livro do ponto dos professores; • Registos da hora em que os professores chegam e saem da escola; • Actas/notas de reuniões entre a direcção da escola, professores e conselhos de escola; • Inventário do material escolar existentes na escola (livros ou outros materiais); • Regulamento interno da escola e otras documentos sobre regras de disciplina da escola; • Fichas/registos/guião da realização de observações das aulas pelo Director Pedagógico/Director da Escola; • O plano desenvolvimento da escola. NOTA: Apenas escolha SIM nos casos em que a documentação apropriada for apresentada. Uma resposta verbal sem a verificação visual dos documentos não constitui um registo SIM. Faça um X sobre a opção apropriada. Marque uma resposta para todas a perguntas. Gestão da Assiduidade dos Professores D.1 Os registos da assiduidade dos professores são guardados/arquivados? SIM NÃO D.2 O registo da assiduidade dos professores encontra-se actualizado diariamente? SIM NÃO D.3 Mapa de efectividade dos professores encontram-se expostos no gabinete do Director da Escola ou num lugar visivel? SIM NÃO D.4 Existe regulamento interno da escola acerca da assiduidade dos professores? SIM NÃO D.5 Existem medidas disciplinares a serem aplicadas aos professores com ausências não justificadas? SIM NÃO D.6 Existem práticas de reconhecimento para os professores assiduos? SIM NÃO D.7 As actas das reuniões mais recentes com os professores abordam os assuntos sobre a assiduidade dos mesmos? SIM NÃO D.8 Os registos da assiduidade incluem informação acerca da assiduidade dos Directores de Escola? SIM NÃO D.9 Existem mensagens/informações expostas em algum lugar na escola para promover a assiduidade dos professores? SIM NÃO Gestão da Pontualidade dos Professores D.10 Existem registos acerca da hora de chegada dos professores à escola? SIM NÃO D.11 Existe regulamento interno da escola acerca da pontualidade dos professores? SIM NÃO D.12 Existem medidas disciplinares a serem aplicadas aos professores com atrasos frequentes? SIM NÃO D.13 As actas das reuniões mais recentes com os professores abordam os assuntos relacionados com a pontualidade dos mesmos? SIM NÃO D.14 Existem mensagens/informações expostas em algum lugar na escola para promover a pontualidade dos professores? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 79 D.15 Os registos da pontualidade incluem informação acerca da pontualidade dos Directores de Escola?? SIM NÃO Assistência Pedagógica aos Professores D.16 Existem fichas/registos/guião na escola acerca da realização de observações das aulas pelo Director Pedagógico? SIM NÃO D.17 Existem fichas/registos/guião que indica que o Director da escola monitora as observações das aulas realizadas pelo Director Pedagógico (ex: um cronograma das datas, fichas de observações das aulas, actas de reuniões com debates sobre as observações ou planos de melhoria de desempenho baseados nas observações)? SIM NÃO D.18 Os registos de observação das aulas indicam que todos os professores foram observados pelo menos uma vez no actual trimestre? SIM NÃO Gestão e Planeamento Escolar D.19 Existe um plano de desenvolvimento/estratégico da escola? SIM NÃO D.20 Todos tem acesso do plano de desenvolvimento/estratégico da escola? SIM NÃO D.21 A escola tem um plano anual de actividades? SIM NÃO D.22 A escola tem um plano mensal de actividades? SIM NÃO D.23 A escola tem um plano semanal de actividades? SIM NÃO D.24 O plano anual encontra-se exposto de forma a que todos tenham acesso? SIM NÃO D.25 O plano mensal encontra-se exposto de forma a que todos tenham acesso? SIM NÃO D.26 O plano semanal encontra-se exposto de forma a que todos tenham acesso ? SIM NÃO D.27 O nível de implementação do plano anual encontra-se exposto numa parede que todos possam ver? SIM NÃO D.28 O nível de implementação do plano mensal encontra-se exposto numa parede que todos possam ver? SIM NÃO D.29 O nível de implementação do plano semanal encontra-se exposto numa parede que todos possam ver? SIM NÃO D.30 A escola tem uma Declaração de Missão? SIM NÃO D.31 A Declaração de Missão da escola encontra-se exposta numa parede para que outros possam ver? SIM NÃO Gestão do Calendário e Horário Escolar D.32 A escola tem um horário que indique os dias da semana e as horas para as aulas das diferentes disciplinas e actividades escolares? SIM NÃO D.33 O horário escolar encontra-se claramente exposto? SIM NÃO D.34 O calendário escolar encontra-se claramente exposto com datas para cada período escolar, incluindo as férias? SIM NÃO D.35 Existe um quadro/área para avisos onde são partilhados os avisos importantes acerca de reuniões a terem lugar e outras informações atempadas? SIM NÃO Regulamento da Escola D.36 A escola elaborou um regulamento interno? SIM NÃO D.37 O regulamento está acessivel de forma a que todos possam ver e consultar? SIM NÃO D.38 Existem práticas de reconhecimento pelo comportamento positivo do pessoal da SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 80 escola? D.39 Existem evidências de sanções aplicadas a um funcionário da escola? SIM NÃO D.40 Existem práticas de reconhecimento pelo comportamento positivo dos alunos? SIM NÃO D.41 No regulamento está escrito alguma sanção a aplicar aos alunos? SIM NÃO Gestão Escolar e Reuniões de Trabalho com a Equipe D.42 Existem registos que o Director da escola realiza reuniões semanais com o pessoal de apoio/colectivo de direcção? SIM NÃO D.43 Existem registos que o Director da escola realiza reuniões mensais com os professores? SIM NÃO D.44 Existem anotações das anteriores Assembleias Gerais da Escola? SIM NÃO D.45 Existem anotações das Assembleias Gerais de Turma anteriores? SIM NÃO D.46 Existem anotações da última reunião do conselho de escola? SIM NÃO D.47 Existem anotações da reunião de turma anterior? SIM NÃO Gestão do Desempenho Escolar D.48 A assiduidade dos alunos é registada diariamente? SIM NÃO D.49 Os dados da assiduidade dos alunos estão disponíveis onde os outros (qualquer pessoa) possam ver? SIM NÃO D.50 Os dados de desempenho escolar dos alunos, dos anos anteriores, encontram-se disponíveis na escola? SIM NÃO D.51 Os dados de desempenho escolar dos alunos, dos anos anteriores, encontram-se disponíveis na escola? SIM NÃO D.52 Os dados de desempenho escolar dos alunos do ano em curso, encontram-se disponíveis na escola? SIM NÃO D.53 Existem registos que o Director da escola implementou medidas para melhorar o desempenho dos alunos (ex: horas de recuperação)? SIM NÃO D.54 Existem registos que a escola realizou esforços para promover, especificamente, a leitura entre os estudantes (ex: dia de leitura ou o clube de leitura)? SIM NÃO Participação do Conselho de Escola D.55 As reuniões do conselho de escola são realizadas de acordo com a frequência esperada (pelo menos 3 vezes por ano)? SIM NÃO D.56 Existem registos que o Director da escola encontra-se presente nas reuniões do conselho de escola? SIM NÃO D.57 Existem registos de que o conselho de escola está envolvido na monitoria da assiduidade dos professores? SIM NÃO D.58 Existem registos de que o conselho de escola está envolvido na monitoria da assiduidade do Director da escola? SIM NÃO D.59 O conselho da escola participa de actividades que apoiam a obtenção de melhores resultados de leitura (ex: dias de leitura, fornecimento de livros de leitura)? SIM NÃO D.60 O Presidente do Conselho de escola participou na última reunião do conselho de escola? SIM NÃO D.61 Os representantes dos alunos participaram na última reunião do conselho de escola? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 81 D.62 Os representantes dos professores participaram na última reunião do conselho de escola? SIM NÃO Gestão do Orçamento da Escola D.63 A escola recebe algum orçamento para o seu funcionamento? SIM NÃO D.64 Existe um documento com informação sobre orçamento da escola? SIM NÃO D.65 A escola controla as despesas em relação ao orçamento? SIM NÃO D.66 A informação sobre o orçamento da escola encontra-se exposta na escola? SIM NÃO D.67 O plano orçamental da escola inclui recursos para aquisição dos materiais de ensino e aprendizagem (giz, apagador, papel, canetas, etc.)? SIM NÃO Gestão dos Recursos: Materiais de Ensino e Aprendizagem D.68 A escola tem biblioteca/baú pedagógico? SIM NÃO D.69 A biblioteca/baú pedagógico oferece segurança? SIM NÃO D.70 Existem registos de que a escola tem livros de leitura para todos os ciclos? SIM NÃO D.71 Existe um sistema de requisição de livros para os alunos utilizarem dentro da escola? SIM NÃO D.72 Existe um sistema de requisição de livros para os alunos utilizarem fora da escola? SIM NÃO D.73 Existem registos acerca de requisitos e devoluções de livros por parte dos alunos? SIM NÃO D.74 Existe um sistema de requisição de livros para os professores utilizarem dentro da escola? SIM NÃO D.75 Existe um sistema de requisição de livros para os professores utilizarem fora da escola? SIM NÃO D.76 A escola tem computador? SIM NÃO D.77 A escola tem materiais adaptados para o uso por alunos com necessidades educativas especiais (ex: livros em Braille)? SIM NÃO Gestão dos Recursos Humanos D.78 Existem fichas de classificação do desempenho do pessoal feito pelo Director da Escola? SIM NÃO D.79 O Director da escola tem um plano de formação/capacitação dos professores em serviço? SIM NÃO D.80 A escola tem Director Pedagógico? SIM NÃO D.81 A escola tem chefe de secretaria? SIM NÃO D.82 A escola tem responsável de higiene e saúde escolar? SIM NÃO D.83 A escola tem responsável de produção escolar? SIM NÃO D.84 A escola tem responsável de cultura? SIM NÃO D.85 A escola tem responsável de desporto escolar? SIM NÃO D.86 A escola tem coordenadores de ciclos? SIM NÃO Infra-estrutura e Serviços Escolares D.87 A escola tem muro /vedação? SIM NÃO D.88 A escola tem portão? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 82 D.89 A escola tem latrina(s)? SIM NÃO D.90 A escola tem latrinas separadas para rapazes e raparigas? SIM NÃO D.91 A escola tem uma sala para os professores? SIM NÃO D.92 A escola oferece lanche escolar aos alunos? SIM NÃO D.93 A escola oferece refeições aos professores? SIM NÃO D.94 A escola tem um/a enfermeiro/a ou outro pessoal formado em apoio médico? SIM NÃO → Certifique-se que marcou com um X a resposta apropriada para TODAS as questões deste Secção. Secção E: Assiduidade dos Professores E.1 No dia da visita, quantos professores deveriam estar presentes (por classe e sexo): Segunda classe: Feminino Masculino Terceira classe: Feminino Masculino E.2 No dia da visita, quantos professores ESTAVAM presentes (por classe e sexo): Segunda classe: Feminino Masculino Terceira classe: Feminino Masculino E.3 Quantos dias a escola deveria funcionar em Julho 2013? _________dias E.4 Quantos dias a escola efectivamente funcionou durante o mes de Julho 2013? _________dias E.5 Total de dias que os professores estivaram presentes durante o mes de Julho 2013 (por classe e sexo): Segunda classe: Feminino Masculino Terceira classe: Feminino Masculino E.3 Quantos dias a escola deveria funcionar em Agosto 2013? _________dias E.4 Quantos dias a escola efectivamente funcionou durante o mes de Agosto 2013? _________dias E.5 Total de dias que os professores estivaram presentes durante o mes de Agosto 2013 (por classe e sexo): Segunda classe: Feminino Masculino Terceira classe: Feminino Masculino Secção F: Número de Alunos Matriculados na Segundas e Terceiras Classes Anote o total da matrícula por sexo, para todas as classes de segunda e terceira em todos os turnos, ao início do ano escolar 2013. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 83 F.1 2ª Classe 3ª Classe Feminino Masculino Feminino Masculino Matrícula total em Março 2013 → Revise o instrumento para confirmar que TODAS as questões foram respondidas antes de entregar ao supervisor. Agradeça a todos que dialogaram consigo pela colaboração. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 84 USAID / Aprender a Ler SMA – Entrevista com o/a Professor/a APENAS para o/a professor/a das turmas onde o EGRA foi aplicado (2ª ou 3ª classe) Antes de Iniciar a Entrevista A.1 Nome do inquiridor: _____________________________________________ A.2 Data: _____/_____/ 2013 A.3 Tipo de Tratamento oferecido à escola: Completo Médio Controlo A.4 Província: Nampula Zambézia A.5 Distrito: _______________________________________ A.6 Nome da Escola: ___________________________________________ A.7 Código da Escola: __________ A.8 Nome da Escola Sede do ZIP: ________________________________________________________________ A.9 Classe: Segunda Terceira A.10 Nome do/a entrevistado/a (apenas para referência): __________________________________________________ Número de Identificação do Professor: ______________________ Secção A: Informações sobre o/a Professor/a A.11 Sexo: Feminino Masculino A.12 Idade: _______anos A.13 Número de Identificação do Professor: ______________________ A.14 Língua materna: Português Macua Chuabo Lomwe Outra __________ A.15 Teve formação como professor? SIM NÃO [Passe para a questão A.17] A.16 Se respondeu SIM na pergunta anterior, que tipo de curso de formação possui? [Apenas uma resposta] EHPP 9ª + 3 Anos (IMP) Bacharelato (UP/UCM) Magistério Primário (MP) CFPP 6ª/7ª + 3 Anos Licenciatura (UP/UCM) UEM/CFP 7ª/9ª Instituto Magistério Primário (IMP) ADPP UEM/CFP 10ª/11ª 10ª + 1 Ano Curso 6ª + 3 Anos 12ª + 1 Ano USAID/Aprender a Ler Impact Evaluation: Midline Report Page 85 Outra Especificar: ______________________________________________ A.17 Durante 2013, teve algum tipo de formação/capacitação em exercício? SIM NÃO [Passe para a questão A.21] A.18 Durante 2013, beneficiou de algum tipo de formação/capacitação em exercício sobre a leitura nas classes iniciais? SIM NÃO [Passe para a questão A.21] A.19 Quantos días de formação/capacitação em exercicio recebeu sobre a leitura nas classes iniciais durante 2013? _______ días [Anote 0 (zero) se não recebeu formação durante 2013 e Passe para a A.21] A.20 Se você recebeu formação/capacitação durante 2013, de quem recebeu essa capacitação? MINED IFP DPEC ZIP Programa de extenção universitário SDEJT USAID/ApaL ONG ou outro projecto diferente do APA Outra Especifique: ____________________________ A.20 Se você recebeu formação/capacitação durante 2013, de quem recebeu essa capacitação? ApaL Outra Especifique: ____________________________________ A.21 Quantos anos de experiência tem como professor/a? _______anos completos A.22 Há quantos anos está nesta escola? _______anos completos A.23 Tem livros suficientes para os alunos para o ensino da leitura? SIM NÃO A.24 Tem o programa de ensino basico? SIM NÃO A.25 Tem o guia/guião do professor? SIM NÃO A.26 Tem o manual do Projecto ApaL com Avaliação Continua da Leitura ? SIM NÃO A.27 Existem alunos que têm necessidades educativas especiais na sala de aulas? SIM NÃO A.28 Se SIM, quantos? ________meninas ________meninos A.29 Utiliza a língua local do aluno(a) para facilitar o ensino-aprendizagem da leitura em Português? SIM NÃO A.30 Esta turma participa do Programa Bilingue ? SIM NÃO A.31 O/A professor/a chegou tarde hoje? SIM NÃO A.32 Se SIM porque razão chegou tarde hoje? Problema de transporte Mau tempo Razões pessoais Assuntos administrativos Prefere não responder Outra _________________________ USAID/Aprender a Ler Impact Evaluation: Midline Report Page 86 A.33 Se o/a professor/a atrasou o início da aula de Português hoje, porquê? Atendendo outras matérias Chegou atrasado à aula Assuntos administrativos Alunos ocupados limpando escola/aula Outra _______________________________________ A.34 Segundo o/a professor/a, quantos días faltou em Julho 2013? _______días A.35 Segundo o/a professor/a, quantos días faltou em Agosto 2013? _______días A.36 Reside proximo da escola ? SIM NÃO A.37 O/A professor/a tem um caderno desempenho? SIM NÃO A.38 Se o/a professor/a tiver o caderno desempenho, está em uso? SIM NÃO A.39 O aproveitamento dos alunos está registado no caderno desempenho? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 87 USAID / Aprender a Ler SMA – Instrumento de Observação de Aula  Prática do/a Professor/a  Materiais de Leitura e Escrita  Condições da Sala de Aula Antes de Iniciar a Observação A.1 Nome do inquiridor: _____________________________________________ A.2 Data: _____/_____/ 2013 A.3 Tipo de Tratamento oferecido à escola: Pleno Médio Controlo A.4 Província: Nampula Zambézia A.5 Distrito: _______________________________________ A.6 Nome da Escola: ___________________________________________ A.7 Código da Escola: __________ A.8 Nome da Escola Sede do ZIP: ________________________________________________________________ A.9 Classe: Segunda Terceira A.10 Nome do/a professor/a a observar (apenas para referência): ____________________________________________ A.11 Número de Identificação do Professor: ______________________ Secção A: Informações sobre a Aula a Observar A.12 Horário oficial do início da aula de Português: ______hr ______min A.13 Horário REAL do início da aula de Português: ______hr _____ _min [verifique seu relógio] A.14 Horário oficial do término da aula de Português: ______hr ______min A.15 Horário REAL do término da aula de Português: ______hr _____ _min [verifique seu relógio] A.16 Día da semana quando foi realizada a observação: Segunda Terça Quarta Quinta Sexta →Selecione aleatoriamente (de acordo com as instruções) uma turma da 2a classe e uma turma da 3a classe para a observação. Pergunte o horário oficial de início da aula e dirija-se para a classe afim de iniciar a observação ou a aplicação do EGRA aos dez alunos que irá seleccionar de acordo com as instruções recebidas no treinamento. A observação será feita SOMENTE nas aulas onde os alunos de 2a e 3a classe a quem o EGRA foi aplicado. Peça ao professor para indicar um lugar ao fundo da sala onde poderá observar o que se passa. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 88 Antes de iniciar a observação pergunte ao professor quantos alunos (meninas e meninos) estão registrados ou matriculados nesta classe e escreva abaixo: A.15 Número de meninas: _________________ Número de meninos: __________________ Secção B: Observação da Prática do/a Professor/a Interacções entre professor/a e alunos e alunas: o/a professor/a ... B.1 Seleciona alunos para responderem a perguntas mesmo quando eles não levantam as mãos e nem se mostram prontos para responder. SIM NÃO B.2 Chama pelo menos duas meninas para participarem da aula SIM NÃO B.3 Chama pelo menos dois meninos para participarem da aula SIM NÃO B.4 Chama alunos de ambas as partes, frontal e traseira, para responderem a perguntas SIM NÃO B.5 Demonstra novas habilidades aos alunos de uma forma que mantém a sua atenção (APENAS O PROFESSOR FAZ). SIM NÃO B.6 Pede aos alunos para praticarem a nova habilidade (acabada de ensinar), juntamente COM ele/ela (PROFESSOR E OS ALUNOS FAZEM). SIM NÃO B.7 Pede aos alunos para demonstrarem a habilidade nova sem a ajuda do professor (ALUNOS FAZEM) SIM NÃO B.8 Corrige os alunos na sala de aula quando eles cometem erros, fornecendo imediatamente a resposta correcta ao aluno que cometeu o erro SIM NÃO B.9 Depois de corrigir um aluno, o professor faz a pergunta novamente para que o mesmo aluno possa responder correctamente SIM NÃO B.10 Dá um feedback específico aos alunos oralmente quando uma resposta está correcta dizendo-lhes o que está correcto na resposta (p.ex: sim, isso está correcto - essa palavra é "cão") SIM NÃO B.11 Anda pela sala de aula para verificar o trabalho que os alunos estão a fazer individualmente ou em grupos. SIM NÃO B.12 Utiliza a língua local para facilitar a compreensão SIM NÃO Ensino de Habilidades Fundamentais de Descodificação: o/a professor/a ... B.13 Inicia o estudo dos sons das letras aos alunos sem lhes mostrar uma imagem da forma das letras. (consciência fonémica) SIM NÃO B.14 Usa material escrito no quadro ou impresso para mostrar quais as letras que estão associadas a que sons. (fonética) SIM NÃO B.15 Usa ilustrações, imagens ou objectos que não contêm texto impresso durante a SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 89 aula. (aprendizagem do vocabulário oral) B.16 Utiliza materiais que mostram palavras ou letras (grandes o suficiente para serem legíveis para todos os alunos) durante a aula SIM NÃO B.17 Ensina os nomes das letras aos alunos SIM NÃO B.18 Ensina uma palavra pronunciando o som de cada letra SIM NÃO B.19 Ensina uma palavra apontando cada letra escrita ao pronunciar o som SIM NÃO B.20 Usa letras minúsculas de imprensa quando escreve no quadro SIM NÃO B.21 Usa letras minúsculas de imprensa para introduzir novas palavras SIM NÃO Ensino de Habilidades de Compreensão da Língua: o/a professor/a ... B.22 Introduz novas palavras do vocabulário durante a aula e explica o seu significado SIM NÃO B.23 Faz a revisão das palavras do vocabulário aprendidas anteriormente SIM NÃO B.24 Usa novas palavras do vocabulário em frases como exemplo SIM NÃO B.25 Selecciona alunos para individualmente usarem novas palavras do vocabulário numa frase de sua autoria SIM NÃO B.26 Lê em voz alta um texto para os alunos SIM NÃO B.27 Indica as novas palavras do vocabulário que foram acabadas de ensinar, presentes na história SIM NÃO B.28 Faz perguntas do género "porquê" e "como" sobre a história lida em voz alta, aos alunos SIM NÃO B.29 Convida os alunos a recontarem partes de uma história que foi lida em voz alta SIM NÃO B.30 Pede aos alunos para lerem uma passagem, individualmente, em voz alta SIM NÃO B.31 Pede ao aluno que leu em voz alta para responder às perguntas sobre a passagem lida (compreensão da leitura) SIM NÃO Gestão da aula B.32 O/A professor/a deixou a turma sozinha durante o período da aula SIM NÃO B.33 Houve alunos (mais de um) que não estavam atentos durante a aula SIM NÃO B.34 Se alguns alunos não estavam atentos durante a aula, o/a professor/a chamou-os à atenção para estarem atentos a aula SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 90 B.35 O/A professor/a permitiu que os alunos mudassem de lugar durante a aula SIM NÃO B.36 O/A professor/a permitiu que os alunos saíssem da sala sem permissão. SIM NÃO B.37 O/A professor/a interrompeu a aula para atender/fazer um telefonema ou mandar mensagens durante a aula SIM NÃO B.38 A aula foi interrompida para atender alguém SIM NÃO B.39 Alguns alunos chegaram depois da aula ter começado SIM NÃO B.40 O/A professor/a ficou a espera dos materiais sem envolver os alunos numa actividade SIM NÃO B.41 Quando o/a professor/a organizava os materiais não envolveu os alunos em alguma actividade SIM NÃO Planificação e Sequência do Ensino/Aprendizagem: o/a professor/a ... B.42 Faz a revisão dos tópicos da aula anterior antes de introduzir novos tópicos SIM NÃO B.43 Ao fazer a revisão das aulas anteriores, o professor chama pelo menos dois alunos para responderem a perguntas SIM NÃO B.44 Prepara os alunos para a nova aula, explicando o que irão aprender nessa aula SIM NÃO B.45 Verifica se cada aluno fez o trabalho de casa da aula anterior SIM NÃO B.46 Corrige o trabalho de casa de uma aula anterior SIM NÃO B.47 Corrige exercícios feitos na aula SIM NÃO B.48 Consulta um plano de aula ou guia durante a aula SIM NÃO B.49 Marca o trabalho de casa para os alunos SIM NÃO → Registe a hora em que o professor termina a aula de Português na Secção A, item A.15 → Certifique-se que marcou com um X a resposta apropriada para TODAS as questões deste Secção. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 91 Secção C: Materiais de Leitura e Escrita → Após completar a observação (al término da aula) e antes de sair da sala, peça ao professor(a) permissão para fazer quatro perguntas aos alunos. Vá para frente da sala, agradeça a todos e diga: “Gostaria de fazer umas perguntas a vocês. Vocês vão ajudar-me muito se responderem. Posso começar?” Faça as perguntas na LÍNGUA DE COMPREENSÃO DOS ALUNOS. Para cada pergunta, peça para ver os materiais, primeiro com as meninas, depois com os meninos. Os alunos devem mostrar os materiais. Diga “Primeiro vou perguntar as meninas e depois aos meninos.” C.1 Quantas meninas temos na sala hoje? Meninas, por favor levantem as mãos (CONTE E ESCREVA AO LADO). Quantos meninos estão presentes hoje? Meninos, por favor levantem a mão (CONTE e ESCREVA AO LADO). Meninas: _______ Meninos: _______ C.2 Quantas meninas têm livro(s) de Português? Quantos meninos têm livro(s) de Português? Meninas: _______ Meninos: _______ C.3 Quantas meninas têm livro(s) de leitura (que não seja o livro de Português)? Quantos meninos? Meninas: _______ Meninos: _______ C.4 Quantas meninas tem um caderno(s)? Quantos meninos? Meninas: _______ Meninos: _______ C.5 Quantas meninas tem um lápis/caneta(s)? Quantos meninos? Meninas: _______ Meninos: _______ Secção D: Observação das Condições da Sala de Aula A ser realizada antes ou depois da observção da aula de Leitura (Português) Infraestrutura da sala de aula D.1 A sala de aula observada consiste numa estrutura fixa (madeira ou outro material), que não seja ao ar livre ou debaixo de uma árvore? SIM NÃO D.2 A sala de aula é uma construção de blocos/tijolos? SIM NÃO D.3 Todas as paredes da sala de aula chegam até à estrutura de cobertura em todos os lados? SIM NÃO D.4 A sala de aula tem uma cobertura? SIM NÃO D.5 Se a sala de aula tiver uma cobertura, esta tem defeitos (buracos que permitem a entrada de chuva)? SIM NÃO D.6 A sala de aula tem cadeiras, bancos ou troncos para todos os alunos? SIM NÃO D.7 A sala de aula tem carteiras para todos os alunos? SIM NÃO USAID/Aprender a Ler Impact Evaluation: Midline Report Page 92 D.5 A sala de aula tem porta? SIM NÃO D.7 Existe espaço suficiente na sala de aula para o professor andar entre os alunos? SIM NÃO Ambiente de aprendizagem: Posso observar que a sala de aula… D.8 Tem o alfabeto afixado na parede SIM NÃO D.9 Tem materiais para criar palavras a partir de letras SIM NÃO D.10 Tem gravuras de letras ou palavras SIM NÃO D.11 Tem cartazes com palavras/letras impressas SIM NÃO D.12 Tem o quadro permanente SIM NÃO D.13 Tem os materiais expostos feitos pelos alunos SIM NÃO D.14 Tem os materiais expostos feitos pelos professores SIM NÃO D.15 Tem alunas e alunos sentados juntos (os alunos não estão sentados separados das alunas) SIM NÃO D.16 Tem alunos sentados em filas/grupo SIM NÃO → Revise o instrumento para confirmar que TODAS as questões foram respondidas antes de entregar ao supervisor. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 93 ANNEX C: Interview Protocol and List of Interviewees USAID / Aprender a Ler Entrevista com o/a Director/a Antes de iniciar a entrevista certifique-se que houve intervenção ApaL na escola (treinamento de professores ou de directores ou distribuição de materiais). Caso a escola tenha recebido nenhuma intervenção não é necessário fazer a entrevista. A.1 Nome do inquiridor: A.2 Data: _____/_____/ 2013 A.3Tipo de Tratamento oferecido à escola: Completo Médio Controlo A.4Província: Nampula Zambézia A.5 Distrito: A.5 Nome da Escola: A.7 Código da Escola: A.6 Nome da Escola Sede do ZIP: A.7 Nome do/a entrevistado/a (apenas para referência): Fóco da Entrevista Investigar quais os recursos que chegaram à escola através da ApaL –treinamento para directores e professores e materiais - e como os directores avaliam o impacto e a pertinência desses recursos. 1. Por favor, descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos professores. O que foi feito que não havia sido feito antes pelo MINED, ou por outro projeto, por exemplo? Qual foi a intensidade do treinamento, quantas horas de treinamento os professores receberam? Todos os professores tiveram presentes em todas as sessões de treinamento? Como os professores reagiram ao serem convocados para o treinamento aos sábados? Quais foram os principais problemas a enfrentar? O treinamento recebido foi relevante para as necessidades dos professores? Como você avalia os sucessos obtidos? Você tem visitado as aulas para saber se os professores estão utilizando o que foi trata do durante o treinamento? Especificamente, houve melhora no desempenho dos professores que possa ser atribuída ao treinamento recebido? Se afirmativo cite alguns exemplos. Sugestões para melhorar. 1. Por favor descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos directores. O que foi feito pela ApaL que não havia sido feito antes pelo MINED, por exemplo? Qual foi a intensidade do treinamento? Você, como director, esteve presente em todas as sessões de treinamento? USAID/Aprender a Ler Impact Evaluation: Midline Report Page 94 Quais foram os principais problemas a enfrentar? O treinamento recebido foi relevante para as suas necessidades? Quais foram os aspectos mais importantes do treinamento e como o treinamento melhor ou seu trabalho como director de escola? O que você faz agora – como resultado do treinamento – que não fazia anteriormente ao treinamento? Sugestões para melhorar. 2. Quais os materiais recebidos pela escola directamente fornecidos pela ApaL? Decreva os materiais proporcionados pelo ApaL e recebidos pela escolar. Os materiais vieram em número suficiente para os destinatários (professores e alunos)? Qual a relevância dos materiais recebidos da ApaL para o currículo tal como desenhado pelo MINED? A qualidade dos materiais é satisfatória? Quais os comentários feitos pelos professores em relação aos materiais? Que materiais foram recebidos da ApaL que anteriormente não existiam na escola? Sugestões para melhorar. 3. Por favor, descreva o que esta escola recebeu do MINED no ano de 2013 até este momento - treinamento, materiais, etc. Foi o mesmo que foi recebido em 2012? Quais as diferenças? Por estar participando no projeto ApaL, a escolar deixou de receber recursos do MINED? Recebeu menos recursos? USAID/Aprender a Ler Impact Evaluation: Midline Report Page 95 ANNEX C-1: NAMPULA - List of Interviewed School Principals – FULL Schools Nampula Province ZIP School School Principal C. Nampula District Nampaco EP1 DE NAHENE 1 Pedro Cuvehali Marere EP1 DE NAMATHERA Bernardo Side Barragem EPC DA BARRAGEM Fernando Paulino Serra Da Mesa EPC DA SERRA DA MESA José Muquisiriua Muatala EPC DE COSSORE Alcacia Feliciano Marere EPC DE MARERE Sergio Alberto Joaquim Muatala EPC DE MUATALA Muanacha Consolo Serra Da Mesa EPC DE MUEGANO Armando Pahare Nampaco EPC DE MUTAVA REX Orlando Paua Barragem EPC DE NAENE Teimoso Macario Chamo Marere EPC DE NAMIGONHA Mucotoreia Muiua (pedagogico) Nampaco EPC DE NAMPACO Amisse Moneia Serra Da Mesa EPC DE NAMUATHO A José Severino Marere EPC DE NAPUEIA Bernardo Artur Barragem EPC DE NIARRU Gonsalves Viador (pedagogico) Barragem EPC DO IFP Luisa Naweta(pedagogica) Serra Da Mesa EPC MARIA DA LUZ GUEBEUZA Mateus Mpomba Barragem EPC MECUTA Alfredo Amanze Murrupula District Murrupula Sede EP1 DE MOTHI Helena Antonio Murrupula Sede EPC DE MURRUPULA SEDE Isabel Rivano Murrupula Sede EPC NACURARE Paulo Caetano Murrupula Sede EPC ROVUMA 2 Valerio Armando (pedagogico) Monapo District MURALENE EP1 DE 25 DE SETEMBRO Carlitos Carlos MURALENE EP1 DE MUELEGE Francisco Pinar MURALENE EP1 DE NAWORO Mussa Paulo (pedagogico) MURALENE EP1DE RAMIANE Abacar Luis MURALENE EPC DE MURRALENE José Napuana MURALENE EPC DE MURROMONE Natai Adamugi MURALENE EPC DE NICANE Antonio Oliveira MURALENE EPC MUTOCONE Cristovão Joaquim USAID/Aprender a Ler Impact Evaluation: Midline Report Page 96 ANNEX C-2: Interview Transcripts with 30 School Principals in Nampula QUESTÃO # 1 Descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos professores. 1.1. Treinamento recebido: de duas em duas semanas o treinamento leva por volta de 8h por dia; recebemos como material, gravuras, livrinhos e dísticos. O MINED exclusivamente ensina a escrita cursiva enquanto o ApaL tem ensinado a letra de imprensa. Todos os professores das classes envolvidas no projecto têm participado ao treinamento, isso resulta num sucesso considerável visto que os professores têm ganhado experiência e os alunos lêem. Tenho assistido às aulas para ver se os mesmos ensinam com exactidão segundo ao que aprendem junto ao ApaL. Os alunos já conhecem as letras, as junções e já fazem grande parte deles a leitura. Sugestão: O ApaL deve continuar com os treinamentos e monitorar de forma a incentivar cada vez mais os professores a seguirem pela via certa. 1.2. Referentemente ao treinamento oferecido aos professores tem sido optimo, visto que já estamos colhendo frutos do mesmo (a maior parte dos alunos já conseguem ler), por outra, o processo de mediação de aulas entre os professores que fazem parte do projecto e dos outros é extremamente diferente a nivel de estrategias. Os treinamentos levam por volta de 9h/dia, tdos os nossos professores das classes alvo nunca faltaram. Os professores têm reclamado da situação de valor de transporte e a situaçao da insuficiência do dístico. O treinamento é extremamente util visto que ambas as partes gozam de benefícios (prof e alunos). Sugestão: O ApaL deve fazer supervisões semestrais de forma a garantir o sucesso deste trabalho 1.3. Treinamento dos Professores, o ApaL trouxe grandes capacitações onde os professores aprenderam muito bem de como lidar com os alunos e as novas estratégias de ensinamento, ate agora verificamos melhorias satisfatórias na parte dos alunos e professores. Tudo que a ApaL nos ensina já havia nos dado pelo MINED embora não aprofundado, a exclusividade do ApaL é de fazer a monitoria e insistir que isso seja cumprido. O treinamento levou por dia cerca de 4h/dia. Os professores e inicialmente faltavam pelo facto dos treinamentos serem dados aos sábados, outro problema era a parte logística por parte do valor de transporte e isso inicialmente foi um grande transtorno (50 mtn). O treinamento foi extremamente relevante para aquilo que é a necessidade do professor. Tenho feito visitas às turmas e vejo que existem mudanças significativas. 1.4. Recebemos livros, dísticos e pastas. Recebemos os ensinamentos que são na pratica os treinamentos, frizar que o MINED já vinha dando coisas do genero apenas não fazia acompanhamento como o ApaL tem feito, isso faz do ApaL diferente do MINED e isso é de grande louvor. Os treinamentos proporcionados pelo ApaL levam cerca de 8h/dia. Nem todos os professores tem se feito presentes. Os professores inicialmente não apareciam devido aos mesmos decorrerem aos sábados. Os problemas enfrentados pelos professores constam na insuficiência do materia, na insuficiência do fundo do transporte. O treinamento recebido foi importante para as necessidades do professor, os alunos abrangidos pelo projecto estão em vantagem em comparação com os que não estão abrangidos. Tenho feito supervisões constantes às aulas. 1.5. Os recursos que chegaram a escola vindo do ApaL são: dísticos, livrinhos, gravuras de letras, figuras de palavras. Chegou o apoio de fabrico de material junto com cartolinas, sacos e técnicas de como fazer os materiais. O MINED nunca havia dado antes nenhum dístico ou treinamento sistemático aos USAID/Aprender a Ler Impact Evaluation: Midline Report Page 97 professors. Os treinamentos chegavam a levar 10h/dia. Todos os professores faziam-se presentes ao treinamento embora os mesmos dados aos sábados. Temos como problemas a insuficiência dos materiais aos alunos. O treinamento recebido foi extremamente importante para aquilo que é a necessidade da Escola. O projecto já esta gerando vantagens pois uma parte dos alunos ja consegue ler e os professores sentem-se mais capacitados. Sugestão: o aumento do material poderia ajudar muito. 1.6. Treinamento dos professores dura 8h/dia, todos professores têm participado ao treinamento, o ApaL tem dado formações contínuas, o treinamento é dado aos sábados e isso influenciava negativamente, a questão do fundo do transporte é problemática visto que so dão 50mtn e esse valor é insuficiente. O treinamento recebido do ApaL foi totalmente relevante para as necessidades da escola. Graças ao treinamento, os alunos já sabem ler e os professores sentem-se mais confiantes devido a formação 1.7. Os recursos que chegaram a escola a partir do ApaL são os dísticos, livrinhos e gravuras, tivemos um total de 8 treinamentos intensos dos professores, os treinamentos levam volta de 8h/dia. Nas primeiras sessões de treinamento nem todos aderiam pelo facto do mesmo ser dado ao sábado, mas depois esse comportamento mudou. Devido aos treinamentos os alunos já conseguem distinguir uma letra da outra, alguns já conseguem ler e isso é de louvar, apenas temos um dístico e isso constitui grande dificuldade para o lecionamento das classes abrangidas. O treinamento recebido foi importante para as necessidades da escola e eu tenho assistido às aulas para verificar isso. O valor de transporte também era grande dificuldade (50mtn). Sugestão: seria bom se o treinamento iniciasse na primeira classe, isso ajudaria de forma sistemática nas classes posteriores. 1.8. Treinamento oferecido aos professores já é algo que nunca havia sido feito pelo MINED, visto que o MINED apenas por vezes da formação, mas não faz o acompanhamento. O treinamento leva em media 8h por dia, todos os professores têm participado aos treinamentos embora o mesmo seja dado ao sábado. O problema que se tem verificado é a questão do transporte devido às distâncias. O treinamento recebido é estremamente importante às necessidades da Escola. Tenho visitado as aulas para ver se eles têm dado exactamente o que são ensinados no projecto. O outro probleme é a insuficiência do material como quadro de pregas, mas dizer que os alunos já têm lido e isso nos deixa mais confortáveis e confiantes. Sugestão: Sugeria que todos os professores participassem no projecto. 1.9. O ApaL interviu nesta Escola com base na formação dos professores com exercicios, e isso certamente esta surtindo positivamente pois os aluos estao aprendendo o ensino da leitura com muito sucesso como resultado destes treinamento. Os treinamentos levam por volta de 9h/dia, alguns faltavam, mas a maior parte participava. O principal problema enfrentado nos treinamentos é a insuficiência do material. O treinamento vai de acordo com as necessidades da Escola. Tenho visitado as aulas para ver se eles ensinam exactamente o que aprendem e tenho visto grande melhoria. 1.10. Temos tido capacitações aos sábados e se tem verificado melhorias, ApaL introduziu algumas metodologias viáveis para acompanhar as leituras nas primeiras classes. O ApaL fornece ainda o material didáctico e isso tem dado resultados plausíveis. Os treinamentos são dados aos sábados e todos professores têm participado, reclama-se bastante a questão do subsídio de transporte e a insuficiência do material usado para o leccionamento. O treinamento é extremamente relevante às necessidades da escola, o sucesso obtido é totalmente considerável e isso já é bom pois tenho feito o seu acompanhamento durante a assistência as aulas. Sugestão: As ZIPS não abrangidas pelo projecto deviam também fazer parte e devia haver uma troca de experiência entre os directores a nível dos distritos. 1.11. O ApaL trouxe-nos extremas vantagens, dizer que o ApaL não trouxe nada de novo, mas sim aprofundou aquilo que o MINED já havia introduzido, os treinamentos duravam cerca de 8h/dia e todos USAID/Aprender a Ler Impact Evaluation: Midline Report Page 98 eles participavam embora isto decorria aos sábados. Os problemas até aqui verificados são da insuficiência do material. O treinamento trouxe sucessos quer para os professores e para os alunos. Tenho assistido às aulas e vejo que ambas as partes melhoraram. Sugestão: que o ApaL vá avante e não pare por aqui. 1.12. O projecto ApaL diferentemente do MINED tem ajudado sistematicamente com as formações aos sábados e já é possível vermos as mudanças positivas por parte dos alunos e professores. Os treinamentos levavam volta de 5 a 6h por dia. Os professores têm queixado tanto pelo facto do valor do transporte ser muito pouco, o treinamento recebido foi extremamente importante para aquilo que sao as necessidades dos professores. Tenho feito visitas constantes para acompanhar o andamento das aulas do ApaL. Sugestão: Seria muito bom se o projecto contemplasse a primeira classe. 1.13. O ApaL em diferenciação com o MINED tem feito a capacitação sistemática em forma de jornada pedagógicas, tem também o fornecimento de pequenos livrinhos especificos para leitura. O treinamento dos professores levou cerca de 8h/dia, grande parte dos professores têm participado embora convocados aos sábados. O problema enfrentado e a insuficiência do material. O treinamento que o ApaL proporciona é importante para aquilo que são as necessidades do professor, no entento que ambas as partes estão gozando de melhorias no processo de aprendizagem. Sugestão: se este programa abrangesse todas as classes seria muito bom. 1.14. Para esta Escola o ApaL tem ajudado muito em questões do treinamento dos professores e fornecimento do material e isso nem o MINED fez ainda. Os treinamentos são dados aos sábados e todos os professores participam e leva ainda por volta de 8h/dia. O treinamento é extremamente relevante para as necessidades da escola, tenho assistido às aulas para ver qual tem sido a evolução do programa e vejo que existe melhoria por parte dos professores e alunos. 1.15. O ApaL tem se feito presente nesta Escola com base nos treinamentos, fornecimento de material didáctico e ensinamento de produção de algum material. Diferentemente do MINED, o ApaL ajudou na produção de material e isso garante mais a escola. O treinamento era dado aos sábados e todos os professores aderiram e durava cerca de 8h/dia. A inquietação era causada pela insuficiência do subsídio de transporte. Tenho visitado as aulas para ver se os professores tem dado com exactidão aquilo que aprendem no projecto, tenho notado grande melhoria na parte dos professores e dos alunos. Sugestões: apenas mais capacitações e mais seminários. 1.16. O ApaL tem contribuído bastante no que concerne a introdução de novas estratégias da leitura, apoia também em materiais que reforça esta leitura, dizer que essa estratégia o MINED nunca havia dado antes. Os encontros tem duração de 8h/dia, e todos os professores participavam com muita dedicação embora seja aos sábados. O treinamento recebido foi extremamente importante para as necessidades dos professores e consigo ver melhorias a quando das visitas em forma de supervisão semanal que tenho feito, é notável que os alunos já lêem e os professores tem mais firmeza no leccionamento. Sugestão: o projecto continue e seja abrangente. 1.17. A intervenção do ApaL nesta escola verifica-se a partir dos treinamentos oferecidos aos professores e materiais fornecidos com vista a melhorar a leitura nas primeiras classes, o treinamento leva por dia volta de 7h. Os professores embora o treinamento seja dado aos sábados têm aparecido. O treinamento recebido foi extremamente importante para a escola, tenho assistido às aulas e tenho notado grandes melhorias. Sugestão: seria muito bom se o projecto fosse abrangente. 1.18. O ApaL intervém nesta escola com base nos treinamentos sistemáticos com vista a melhorar a leitura na 2 e 3ª classe. O que difere o ApaL do MINED é que o ApaL faz capacitações constantes USAID/Aprender a Ler Impact Evaluation: Midline Report Page 99 acompanhadas pela monitoria e isso o MINED não faz. O treinamento leva cerca de 8h/dia e acontece de 2 em 2 semanas. Os professores embora convocado aos sábados tem se feito presente embora lamentando o valor de transporte que são dados por ser exíguo. O treinamento recebido foi relevante visto que quando vou ao encontro das turmas durante as aulas tenho notado uma melhoria. 1.19. Treinamento recebido: O treinamento tem decorrido de duas em duas semanas o treinamento leva em volta de 8h por dia; recebemos como material vindo do ApaL gravuras, livrinhos e dísticos. O MINED exclusivamente ensinara a escrita cursiva enquanto o ApaL tem ensinado a letra de Imprensa. Em nossa Escola todos os professores das classes envolvidas no projecto têm participado ao treinamento, isso resulta num sucesso considerável visto que os professores têm ganho experiência e os alunos lêem. Eles já conhecem as letras, as junções e já fazem grande parte deles a leitura. Tenho assistido às aulas para ver se os mesmos ensinam com exactidão segundo ao que aprendem junto ao ApaL. 1.20. O ApaL intevém nesta escola com base nas suas contribuiçoes em forma de capacitaçoes que são dadas sábado sim, sábado não. Diferentemente do MINED as capacitaçoes do ApaL são feitas acompanhamento, fornecem-nos material e o treinamento aos professores O treinament leva em volta de 8h, embora o treinamento dado aos sábados grande parte dos professores tem participado. o grande problema é dos professores faltosos e a questão de logistica de transporte. O treinamento recebido é importante para as necessidades dos professores. Tenho visitado as turmas para ver se os professores tem ensinado aquilo que aprendem na formação e é notavel que o sucesso é possitivo em ambas as partes, quer por parte dos alunos quer por parte dos professores. 1.21. O ApaL na pratica não inovou, mas sim fortificou aquilo que o MINED implementou, o ApaL tem uma metodologia de controlo mais credivel e sustentavel por isso estamos vendo resultados super plausiveis por parte dos professores e alunos. O treinamento oferecido aos professores leva por volta de 8h, o mesmo é dado aos sábados e todos os professores têm aderido. O obstáculo encontrado no treinamento são os valores de transporte. O treinamento recebido foi extremamente importante as necessidades da escola pois tenho visto isso ao supervisionar as classes que estão gozando de grandes melhorias por parte dos alunos e professores. 1.22. A intervenção do ApaL em nossa escola é visivel pelo facto de darem-nos treinamentos constantes e isso traz-nos melhorias quer por parte dos alunos quer por parte dos professores. Os professores têm se feito presente aos treinamentos, embora o mesmo decorra aos sábados. Os treinamentos têm durado volta de 8h/dia. Em diferença com o MINED o ApaL luta em fazer perceber os alunos a respeito da letra de imprensa. O treinamento recebido é primordial às necessidades dos professores e da escola, tenho visto isso durante a assistência das aulas e é notavel que os professores melhoraram muito. 1.23. O ApaL presencia-se nesta Escola com base nos treinamentos, fornecimento de material didáctico e ensinamento de produção de algum material para o respectivo uso na Escolar nas lições. Diferentemente do MINED o ApaL ajudou na produção de material e isso garante mais a escola. O treinamento era dado aos sábados todos professores aderiram e duravam cerca de 8h/dia. A inquietação era causada pela insuficiência do subsídio de transporte. Tenho visitado as aulas para ver se os professores tem dado com exactidão aquilo que aprendem no projecto, tenho notado grande melhoria na parte dos professores e dos alunos, graças ao ApaL os alunos na sua maioria ja conseguem ler. 1.24. O ApaL nesta escola tem feito a contribuiçaõ das tecnicas de como os professores devem levionar com total eficácia. O projecto ApaL acresceu à metodologia que foi implementada pelo MINED e trouxe-nos alguns instrumentos que ajudam na tal acção. Referente ao treinamento dos professors, o ApaL ocupava 8h/dia e o mesmo decorria aos sábados mesmo assim os professores participam. O nosso USAID/Aprender a Ler Impact Evaluation: Midline Report Page 100 desafio é por todo aluno a ler e isso esta mesmo acontecer pois durante as supervisões tenho notado grande evolução por parte dos mesmos. 1.25. O ApaL veio abrir a visão no que se refere ao ensinamento estrategico com vistas a melhorar a leitura nas primeiras classes. Diferentemente do MINED que dá treinamentos anualmente, no ApaL os treinamentos são feitos de quinze em quinze dias. Os treinamentos chegavam a levar 7h/dia. Todos professores envolvidos neste processo participavam. As partes negativas deste processo é a questão do material e isso causa grande disturbio. O treinamento recebido foi estremamente importente para as necessidades do professor, gozamos dos lucros disto quando conseguimos verificar a interação dos alunos e professores durante a supervisão das aulas que tenho feito. 1.26. O ApaL intervém nesta escola com base nos treinamentos de forma a melhorar a leitura nas classes iniciais. Diferentemente do MINED o ApaL ensinou a trabalhar com as letras e assim o fazemos e verificamos grande sucesso. Os treinamentos chegam a levar 7h/dia e são dados aos sábados mas mesmo assim todos participam. O treinamento recebido é extremamente importante para as necessidades do professor pois eles sentem-se mais confiantes no trabalho que fazem. Tenho assistido às aulas para certificar com exactidão se os professores têm dado exactamente aquilo que aprendem 1.27. Temos recebido em nossa escola o pessoal do ApaL, que vem preparar os professores em questões de leitura. Dizer também que o ApaL não inovou apenas desenvolveu aquilo que são os ideais do MINED. O treinamento decorre em 8h/dia. Tenho feito visitas de forma a ver se os professores ensinam exactamente o que aprendem, o treinamento é de extrema importancia e estamos tendo muito sucesso pois os alunos na sua maioria já sabem lêr. 1.28. O ApaL beneficiou-nos extremamente, dizer que o ApaL não trouxe nada de novo mas sim aprofundou aquilo que o MINED já havia introduzido, os treinamentos duravam cerca de 8h/dia e todos eles participavam embora isto decorria aos sábados. Os problemas até aqui verificados são da insuficiência do material. O treinamento trouxe sucessos quer para os professores e para os alunos. O treinamento recebido foi extremamente importante para as necessidades do professor e dos alunos. 1.29. O ApaL tem dado avanços significativos com vista a melhorar a leitura nas primeiras classes, eles baseiam-se numa metodologia sólida e viável. Quanto ao treinamento os mesmos são dados de 2 em 2 semanas e nos já conseguimos notar algo de positivo e isso nos felicita. O treinamento tem levado ate 8h/DIA, todos participam embora o mesmo decorra aos sábados. O valor de transporte é o grande constrangimento pois é pouco demais. Tenho visitado as turmas para ver se os professores ensinam exactamente o que aprendem. 1.30. O projecto ApaL traz algumas metodologias que com muito esforço podem ajudar as crianças a lêr. O ApaL não trouxe nada de novidade mas sim veio desenvolver e monitorar o que o MINED não consegue fazer. O treinamento é dado aos sábados e todos professores tem participado, os professores levam cerca de 8h/dia no treinamento. O ApaL deve rever a questão do fundo de transporte e a questão do aumento do material. Graças ao treinamento algumas crianças já sabem ler e eu tenho visto isso a quando das supervisoes. QUESTÃO # 2 Descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos diretores. 2.1. Aprendemos algo totalmente inédito que é a gestão Escolar, velar pelo regulamento interno em nossa Escola, o treinamento leva cerca de oito horas por dia, o mesmo é dado de duas a duas semanas. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 101 Apenas participei em um treinamento pois sou novo em esta Escola. O treinamento deixa-me com uma visão totalmente diferente pois agora já sei que deve-se chegar mais cedo a Escola e poder controlar os professores e os demais e com o treinamento passei a fazer planos: diário, semanal, mensal, semestral e anual. Em suma, sinto-me um bom gestor. Sugestões: O ApaL deve ir avante com as capacitações, melhorar a questão do fundo de transporte e pastas para conservação do material. 2.2. Referentemente ao treinamento dos directores temos tido muita prática na gestão visto que deve ser participativa é algo que o ApaL frisa tanto aprofundando mais a liderança, nunca faltei em nenhum treinamento e o treinamento tem levado cerca de 9h/dia. A dificuldade enfrentada é do subsídio de transporte (50 mtn). O treinamento é extremamente relevante às necessidades da Escola visto que o aspecto de gestão escolar, interação com os colegas e a conservação do material sao aspectos cruciais que aprendi junto ao projecto. Sugestão: O ApaL deve ir avante com o treinamento e deve abrangir todas as escolas, não exclusivamente a nossa. 2.3. Treinamento dos directores, o ApaL não fez nada que o MINED não tenha feito apenas o ApaL o fez de forma sistemática enquanto o MINED já não o faz. Estive presente em todas as sessões de treinamento. O principal problema foi a insuficiência do valor de transporte. O treinamento para mim como director foi extremamente relevante visto que ficou bem claro que o gestor deve acompanhar toda situação da escola, agora como resultado de treinamento controlo bastante a assiduidade e os atrasos. 2.4. O treinamento dos directores engloba registro, avaliação e assistência às aulas, controlo da assuidade e o preenchimento de qualquer actividade realizada são aspectos que o MINED já fazia mas o ApaL faz diferente pois eles fazem a supervisão constante diferentemente do MINED que so forma e não faz o acompanhamento, o ApaL faz do director um grande gestor. O treinamento tem sido trimestralmente, tem sido intenso e satisfatório. Tenho estado presente em todos os treinamentos. O constrangimento é a situaçao do fundo de transporte. Junto à ApaL aprendi que tenho de fazer o registo das actividades gerais constantemente. Sugestão: devia haver um treinamento constante, de forma a haver um sucesso mais eficaz. 2.5. Treinamento do director está decorrendo da melhor maneira possivel visto que aprendemos muito a respeito da gestão escolar, temos ferramentas que ajudam a controlar a assuidade dos professores como a Planificaçao semestral, semanal e agenda diaria. O ApaL fornece-nos material de gestão escolar, alguns documentos orientadores de gestão escolar e os acompanhamentos e treinamento dos directores isso o MINED não fazia. A intensidade do treinamento era de volta de 8h, treinamento era intenso, tenho participado em todas sessões de treinamento. O treinamento foi extremamente importante acima de tudo nos aspectos organizacionais e isso melhorou bastante a minha tarrefa. Como resultado do treinamento, faço agora a planificação diaria, semanal e mais. 2.6. Treinamento dos directores, diferentemente do MINED o ApaL deu uma formacao aos directores a respeito da Gestão do tempo na sala de aulas, organizaçao dos documentos, regulamento interno da Escola, Plano anual, plano semanal. Eu estive presente em todos os treinamentos. o obstsculo consiste no dinheiro de transporte que nos dão. O treinamento recebido foi extremamente importante para as necessidades da Escola. A aplicação das ferramentas acimas mensionadas sao as inovaçoes que o ApaL trouxe-nos. Sugestões: deviam prolongar os treinamentos ate aos distritos para que haja troca de experiência entre os directores, ou seja, não só treinar-se em NPL. 2.7. O ApaL ensina como controlar o professor, ensina como fazer o plano diario, semanal e anual, ensina a fazer uma gestão geral daquilo que é a nossa escola, são aspectos que o MINED não aprofunda como o ApaL, o treinamento levava cerca de 8h/dia. Participei em todas as secçoes de treinamento. O USAID/Aprender a Ler Impact Evaluation: Midline Report Page 102 treinamento recebido foi extremamente importante para as necessidades da Escola, o grandioso problema é a distância. Sugestões: o treinamento deve ir avante e o ApaL deve manter esse ritmo controlo das escolas. 2.8. O ApaL não fez nada que o MINED não fazia, mas sim o ApaL aprofundou e fez o acompanhamento em forma de monitoria de forma a fazer com que tudo saia conforme o planejado. A intenidade do treinamento tem sido totalmente boa. Tenho participado em todas sessões de treinamento. O treinamento tem sido importante para aquilo que são as necessidades da escola, o aspecto mais importante do treinamento foi a elaboraçao de alguns documentos como plano amual, projectos educativos, plano do desenvolvimento, plano trimestral, agenda diaria e o plano semanal. Agora, graças ao ApaL, eu já consigo controlar o efectivo ainda na formatura e dantes eu não fazia. 2.9. Treinamento dos directores trouxe-nos temas como liderança onde nunca o MINED havia posto isso em prática, o treinamento levava cerca de 8h/dia, eu estive ausente apanas em uma sessão de treinamento. O principal problema foram as faTLAs de alguns directores. O treinamento foi importante para as necessidades da escola, como resultado do treinamento agora faço o controlo da pontualidade, acompanhamento das aulas de assistencia. Sugestões: o treinamento devia ser regular e acrescer-se o mais o material. 2.10. O ApaL no treinamento dos directores foi de identificar e mostrar as desvantagens da má gestão de um gestor e com base nisso foram criadas balizas para que isso não aconteça nas Escolas. A intensidade desse treinamento foi extremamente boa, participei em todos os treinamentos e isso foi muito importante. Os principais problemas enfrentados foram mesmo a situação da insuficiência do valor de transporte. Como resultado do treinamento agora falo de 2 em 2 meses com o conselho da escola de forma a mantermos boas relações. Sugestões: mais sessões de treinamento para que as melhorias também aumentem. 2.11. O ApaL reforçou aos directores a situação de gestão, foram dados instrumentos que ajudariam naquilo que é a gestão escolar. O treinamento foi extremamente importante nas necessidades da Escola. Agora já controlamos com muito prazer a assiduidade, mas agora já o fazemos. 2.12. O ApaL deixou bem claro qual é a função dele na Escola, o ApaL deixou claro que o director é o gestor da Escola e o MINED não havia conseguido fazer isso. O treinamento levou cerca de 6h/dia, estive presente em todos os treinamentos, o maior problema foi a questão da distância. Graças ao treinamento já faço a gestão participativa e dantes não fazia. Sugestão: seria muito bom se o projecto contemplasse todas as zips. 2.13. O MINED nunca havia feito a capacitação dos directores em matéria de direcção escolar e o ApaL esta fazendo. O treinamento leva volta de 8h/dia, eu tenho participado em todas sessões de treinamento. Como dificuldade, temos a questão da insuficiência do material, o treinamento recebido ajuda bastante. o aspecto mais importante do treinamento dado Pelo ApaL é a gestão do tempo na sala de aulas de forma a gerir o tempo lectivo na sala de aulas. Agora já tenho instrumentos que ajudam a avaliar a assiduidade dos professores e dantes não tinha isto. 2.14. O ApaL em diferença com o MINED deu-nos uma formação a respeito da gestão escolar, fez perceber aos directores como gerir a escola. O treinamento dos directores chega a levar 3h/dia. Apenas participei em 1treinamento. A dificuldade foi causada pela demora da chegada do facilitador, o treinamento recebido foi importante para as necessidades da escola. A elaboração do plano das actividades é um aspecto que dantes eu não fazia, mas que graças ao treinamento passei a fazer. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 103 2.15. Não aplicável. 2.16. Quanto ao treinamento dos directores, o ApaL reforçou na planificação das aulas e reforçou muito a elaboração do plano de actividades, frisou qual é o papel do director dizendo quais as suas actividades como gestor. O treinamento dado pelo ApaL foi importante para as necessidades da escola, antes a maneira de trabalhar e de relacionar-se com os professores mudou muito. Sugestão: seria bom se os directores fossem sempre treinados de forma a melhorarem ainda mais. 2.17. O ApaL melhorou muito a capacidade de gestão nos directores e definiu ainda quais as sua actividades e competências para que a escola possa decorrer da melhor maneira possível. Os pontos chaves deste treinamento foram como lidar com a situação de gestão no seu todo para garantir a qualidade no leccionamento. O treinamento levava em media 8h/dia e eu apenas participei em uma sessão. Como resultado do treinamento, agora faço o controlo eficaz e permanente dos docentes. Sugestão: que o treinamento continue decorrendo para que haja frutos excelentes. 2.18. Quanto ao treinamento dos directores, o ApaL trouxe muitos conhecimentos ligados a gestão escolar. Estive presente em todos os treinamentos. O problema enfrentado foi a situação do valor de transporte. O treinamento foi de acordo com as necessidades da escola, o aspecto que passei a seguir após o treinamento é a Assuidade do professor e o dialogo. Passei a seguir esses passos, passei ainda a fazer o controlo diário, semanal e mensal. Sugestão: que este projecto não pare por aqui e que haja frutos. 2.19. Quanto ao Treinamento dos directores, o ApaL não fez nada que o MINED não fez nada de novidade, mas sim o ApaL fez de forma sistemática enquanto o MINED já não o faz. Estive presente em todas as sessões de treinamento. O problema que nos afligiu foi a insuficiência do valor de transporte. O treinamento para mim como director foi extremamente relevante visto que ficou bem claro que o gestor deve acompanhar toda situação da escola, agora como resultado de treinamento controlo bastante a assiduidade e os atrasos. 2.20. No treinamento dos directores tivemos varias formações, onde passamos a ter intrumentos que educam o professor naquilo que é o seu serviço. Passamos a fazer mesmo aquilo que é a gestão em geral e tudo isso benefecia o aluno pois ele tem tido bons resultados por causa disso. Este treinamento leva por dia volta de 5h. A maior dificuldade está na situação de alimentação, visto que não tinhamos o pequeno almoço. O treinamento recebido foi importante para as necessidades da Escola. Como resultado do treinamento, agora controlo a assuidade do professor. 2.21. O ApaL ensinou na prática a perceber o elemento gestão de tempo, esse é um aspecto que durante a minha formação eu não tive. Dantes perdiamos muito tempo não fazendo nada, mas graças ao ApaL isso já não acontece. A formação diaria do director leva cerca de 6h/dia. Tenho participado em todos os treinamentos, a maior dificuldade é a reclamação do valor do transporte que o ApaL nos proporciona. O treinamento foi extremamente relevante para as necessidades da escola. Devido ao ApaL melhorou o nosso trabalhoa na questão de planificação, gestão e liderança. 2.22. O ApaL ajudou muito no que concerne a formação dos directores pois ganhou-se experiência de como diminuir o atraso, o desleixo, controlo da assuidade, são pontos que o MINED não fazia menção. O treinamento levou cerca de 10h/dia. Participei em todos os treinamentos dados. O grande problema era a falta de planificação, mas graças aos treinamentos ja temos feito e fazemos também o controlo das presenças dos professores e isso faz-nos perceber que vale muito. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 104 2.23. O ApaL desenvolveu a Gestão Escolar, aprofundou e fez o acompanhamento em forma de monitoria de forma a fazer com que tudo saia conforme o planejado. A intensidade do treinamento tem sido totalmente boa. Tenho participado em todas as sessões de treinamento. O treinamento tem sido importante para aquilo que são as necessidades da escola, o aspecto mais importante do treinamento foi a elaboração de alguns documentos como plano anual, projectos educativos, plano do desenvolvimento, plano trimestral, agenda diária e o plano semanal. 2.24. Referentemente ao treinamento dos directores muita coisa mudou, desde a gestão escolar e até a produtividade, o ApaL tem feito perceber que uma exigencia, pontualidade e servir de exemplo são aspectos que podem melhorar muito o nosso trabalho. O treinamento dos directores leva ate 6h/dia. Não participei em 2 secçoes de treinamento por motivos de força maior. O treinamento foi muito relevante para as necessidades da escola visto que já faço um plano antecipado para poder velar, controlar e garantir a productividade em minha escola. 2.25. Não aplicável. 2.26. O ApaL formou o director com vista a saber gerir a escola. O treinamento durou cerca de 2 a 3h/DIA. Participei em todos os treinamentos. O treinamento recebido foi importante para as necessidades da escola. O que aprendi de muito importante na formação foi a gestão. Já aplico o aprendizado da formação de forma a gerir com eficácia a escola esse é um aspecto que dantes não fazia. Sugestão: os treinamentos devem continuar, os materiais devem ser acrescidos. 2.27. O ApaL diferentemente do MINED tem ajudado muito naquilo que é a gestão escolar. O treinamento dos Directores dura volta de 6h, participo em todas secsoes de treinamento. O treinamento recebido é de total relevancia a nossa Escola. Devido ao treinamento, hoje ja faço o controlo do trabalho e exijo com que todos sejam dedicados no seu trabalho, tenho uma agenda que é feita diariamente de forma a fazer com sucesso o trabalho. Sugestão: o treinamento deve ir avante. 2.28. O ApaL tem ajudado muito naquilo que é a gestão escolar. O treinamento dos Directores dura volta de 6h, participo em todas as sessões de treinamento. O treinamento recebido é de total relevancia à nossa Escola. Devido ao treinamento hoje já faço o controlo do trabalho e exijo com que todos sejam dedicados no seu trabalho. 2.29. O ApaL diferentemente do MINED tem ajudado muito no processo de formação na área de gestão. A intensidade do trinamento é muito boa e eu participei em todas as sessões do treinamento. O treinamento recebido foi totalmente importante para as necessidades da Escola. Os aspectos mais importantes que aprendi foi passar a fazer o balanço com base nos instrumentos que o ApaL nos ajudou. 2.30. O ApaL diferentemente do MINED deu algumas capacitações e fez a monitoria com vista a fazer com que os directores fortificam o zelo na escola. Os treinamentos do ApaL levam volta de 8h, tenho participado em todas sessões de treinamento. Graças ao treinamento hoje eu faço o plano diario, mensal e anual. A escola recebeu do ApaL dísticos e quadro de pregas. QUESTÃO # 3 Quais os materiais recebidos pela escola directamente fornecidos pela ApaL? USAID/Aprender a Ler Impact Evaluation: Midline Report Page 105 3.1. Arquivos, livros, livrinhos e cartazes e dísticos. O número de material recebido segundo as necessidades da Escola foi suficiente. Este material enquadra-se no curriculum desenhado pelo MINED, a qualidade é duradoura. O material fornecido pelo ApaL e a Escola não tinha antes são: cartazes, livrinhos e dísticos. Sugestões: melhorar o tamanho das letras do dístico e no livrinho. 3.2. O material recebido do ApaL são os livrinhos, dísticos, cartazes e pastas de saco. Os livrinhos são insuficientes. A qualidade é boa e os alunos bem como os professores estão satisfeitos. O material é aplicável ao curriculum tal como desenhado pelo MINED. O material recebido do ApaL que dantes a Escola não tinha são os dísticos e os livrinhos. 3.3. Recebemos do ApaL livros, treinamentos, dísticos. o material não foi suficiente aso professores e alunos. o material enquadra-se no curriculum do MINED, a qualidade é boa. Os professores e alunos estao satisfeitos. Recebemo do ApaL o seguinte material que dantes não tinhamos na Escola: dísticos e livrinhos e alguns textos de apoio. 3.4. Os materias recebidos pela escola vindo do ApaL são: brochuras, pastas, material didatico e o dístico, sendo que este material veio com respectivas caixas. O material não foi suficiente. O material tem enquadramento no curriculum desenhado pelo MINED. A qualidade do material é satisfatoria. O material que recebemos do ApaL e que a Escola não tinha são: dístico e livrinhos. Sugestão: se houvesse forma de o projecto entrar em coordenação com o MINED para reduzir o peso dos livros dados às crianças. Isso nos livros do MINED seria de louvar, tendo a titulo de exemplo os livrinhos que nos proporcionam pelo ApaL. 3.5. Recebemos como materia o kit de conservação do material, livrinhos; dísticos, cartões, saco de fabrico de pregas. Material não é suficiente para todos. O material é aplicável no curriculum desenhado pelo MINED. O material tem boa qualidade. Todo material recebido pela Escola vindo do ApaL não existia na Escola. 3.6. O material que a Escola recebeu vindo do ApaL são os livrinhos, balde para conservar os livrinhos, quadros silábicos e pastas de arquivo. O material não foi suficiente a todos. Material recebido enquadra￾se no curriculum desenhado pelo MINED. A qualidade é boa. O material que a escola dantes não tinha que recebeu do ApaL sao os livrinhos e o quadro silábico. 3.7. Recebemos do ApaL manuais, gravuras, arquivos, livrinhos, dísticos e esse matéria tem total aplicação para o curriculum desenhado pelo MINED, apenas lamentar a sua insuficiência. Os professores têm comentedo a respeito da insuficiência do mesmo. Oque a escola dantes não tinha são os livrinhos e os dísticos. Sugestão: o ApaL deve aumentar o material. 3.8. Os recursos materias fornecidos pelo ApaL são: brochuras, livrinhos, pastas, cadernos e canetas. Esse material é aplicável no curriculum desenhado pelo MINED. O material distribuido pelo ApaL que a escola não tinha foi a ficha de controlo da efectividade. 3.9. Material recebido vindo do ApaL: livros, dísticos, material de reforço às leituras para professores, textos e arquivos. O material veio em número insuficiente. O material é aplicável no curriculum desenhado pelo MINED. A qualidade é satisfatoria e os professores dizem que os livrinhos tem muito conteúdo e vale a pena. Material recebido pelo ApaL e a Escola não tinha são: dísticos, manual do professor, reforço à leitura e cartazes. 3.10. Os materiais recebidos pela escola vindo do ApaL são dísticos, livrinhos e as informações ou treinamentos. O material fornecido é suficiente, o material é aplicável no curriculum desenhado pelo USAID/Aprender a Ler Impact Evaluation: Midline Report Page 106 MINED, a qualidade do material é boa. O material recebido do ApaL que a Escola não tinha são os livrinhos e o dístico. 3.11. O ApaL forneceu-nos um kit completo (com livrinhos e muitos outros materiais). Esse material para nossa escola foi suficiente. A qualidade desse material é satisfatória. O material que nos não tínhamos, mas agora temos graças ao ApaL são: dísticos, quadro de pregas, desenhos. Sugestão: recordar que em cada ano aumente mais o número de material visto que o número também irá crescer. 3.12. Os materiais fornecidos pelo ApaL são as pastas, o quadro silábico, os livrinhos, canetas, dísticos e pregas. O material foi insuficiente. O material é aplicável no curriculum desenhado pelo MINED, a qualidade do material é boa. O material que a escola não tinha que foi fornecida pelo ApaL foram os livrinhos e o quadro silábico. 3.13. Recebemos do ApaL livrinhos, fichas de gestão do tempo, fichas de controlo do material recebido e o pacote de capacitação. o material não foi suficiente para os alunos e professores. o material tem aplicação para o curriculum desenhado pelo MINED. A qualidade desse material é boa. Os professores reclamam da insuficiência do material. O material que a escola recebeu do ApaL que antes não tínhamos são os livrinhos. 3.14. O material recebido pela Escola directamente fornecido pelo ApaL são os cartazes, dísticos, cartolinas e diversos livros. O material foi insuficiente para os professores e alunos. O material tem enquadramento no curriculum desenhado pelo MINED. O material recebido pelo ApaL que dantes não tínhamos: cartazes, dísticos e livrinhos. 3.15. A escola recebeu do ApaL livrinhos, manuais de reforço a este trabalho, dísticos e cartazes. Os materiais foram insuficientes. Esse material tem total aplicação para o currículo desenhado pelo MINED. A qualidade deste material é satisfatória. O material que recebemos do ApaL que a escola não tinha é o dístico e o quadro de pregas. Sugestão: sugiro que o material fosse mais abrangente. 3.16. O material que recebemos do ApaL são dísticos, livrinhos e quites de gravuras. O material recebido não foi suficiente. O material recebido é de boa duração e enquadra-se no curriculum desenhado pelo MINED. O material recebido pela escola que dantes não tínahmos: dísticos, livrinhos e kits de gravuras. 3.17. Recebemos do ApaL livrinhos, dísticos, pastas, papel para textos e imagens. O material é insuficiente, mas é de boa qualidade. O material que a escola não tinha é dístico e imagens. 3.18. Os materiais recebidos pela Escola vindo do ApaL são: livrinhos, cartazes com imagens, dísticos e a caixa para sua conservação. O material é insuficiente, mas é totalmente aplicável ao curriculum desenhado pelo MINED e é de boa qualidade. O material que recebemos do ApaL que dantes não existia na Escola são os livrinhos e o dístico. Sugestão: aumento das quantidades do material. 3.19. Em passos gerais, o material que a Escola recebeu vindo do ApaL são os livrinhos, balde para conservar os livrinhos, quadros silábicos e pastas de arquivo. O material não foi suficiente a todos. Material recebido enquadra-se no curriculum desenhado pelo MINED. A qualidade é boa. O material que a escola dantes não tinha que recebeu do ApaL sao os livrinhos e o quadro silábico. 3.20. Os materiais directamente fornecidos pelo ApaL são: livrinhos, dísticos, marcadores, pastas de arquivos, guioes, linhas e pacotes do kit. O material recebido foi insuficiente para os professores e USAID/Aprender a Ler Impact Evaluation: Midline Report Page 107 alunos. Os professores têm reclamado a insuficiência do material. A qualidade do material é boa. O material que a Escola recebeu do ApaL e dantes não tinha são os dísticos e os livrinhos. 3.21. Recebemos do ApaL livrinhos, arquivos, dísticos, kit do material e quadro de pregas. O material não é suficiente para todos. O material fornecido pelo ApaL enquadra-se no curriculum desenhado pelo MINED e tem ainda boa qualidade. Os professores têm lamentado muito a insuficiência do material. O material que recebemos do ApaL que dantes não existia na escola é o cartaz e o dístico. 3.22. Os materiais recebidos pela escola directamente fornecidos pela ApaL são: livrinhos, dísticos, quadro alfabético, pastas e os treinamentos. O material recebido foi insuficiente aos alunos. O material recebido é totalmente aplicável ao curriculum desenhado pelo MINED e a qualidade do material é satisfatoria. Os professores têm reclamado da insuficiência do material e exortam que o programa devia contemplar as primeiras classes. O material recebido do ApaL que a escola não tinha antes é o quadro silábico, dísticos e livrinhos. 3.23. Recebemos como material vindo do ApaL o kit de conservação do material, livrinhos; dísticos, cartões, saco de fabrico de pregas. Material não é suficiente para todos. O material é aplicável no curriculum desenhado pelo MINED. O material tem boa qualidade. Todo material recebido pela Escola vindo do ApaL não existia na Escola. 3.24. Recebemos do ApaL os livrinhos, o kit do material, dísticos, pastas e atas. O material recebido é insuficiente para os professores e alunos. Este material tem enquadramento total no curriculum desenhado pelo MINED. A qualidade desse material é satisfatoria. Os professores lamentam a insuficiência. A Escola não tinha antes do ApaL o dístico, cartões e livrinhos. 3.25. Recebemos do ApaL dísticos, cartolinas, livrinhos e pastas. O material é duro, mas a capa do livrinho é meio frágil, devia ser revisto. Os professores têm reclamado devido à insuficiência do mesmo. O material que recebemos do ApaL que a escola não tinha são os dísticos e livrinhos 3.26. Recebemos do ApaL o seguinte material: livrinhos, dísticos, cartões e gravuras. Esse material tem aplicação no curriculum desenhado pelo MINED. Esse material é de boa duração. Os professores reclamam a insuficiência. Dantes a escola não tinha dísticos, livrinhos e cartões. 3.27. Recebemos do ApaL livrinos, kit de textos, imagens, cixas de lips, dístico de letras, arquivos e pregas. O material foi insuficiente. Esse material tem enquadramento no curriculum desenhado pelo MINED. O meterial é de boa duração. O Material que a escola não tinha é o dístico e os livrinhos. 3.28. Materias recebidos pela escola vindo do ApaL são: brochuras, material didático e o dístico, este material veio com respectivas caixas. O material não foi suficiente. O material tem enquadramento no curriculum desenhado pelo MINED. A qualidade do material é satisfatória. o material que recebemos do ApaL e a Escola não tinha são: dístico e livrinhos e a vinda desse material foi muito importante. 3.29. Vindo do ApaL recebemos livrinhos, cartazes, dísticos. O Material que recebemos é insuficiente. O material tem enquadramento no curriculum desenhado pelo MINED e é de boa duração. O material que a escola não tinha são os cartazes, dísticos e livros de histórias. 3.30. O material é insuficiente. O material recebido do ApaL tem enquadramento no curriculum desenhado pelo MINED. A qualidade é boa e os professores reclamam a insuficiência. O material recebido que a escola não tinha são os dísticos e livrinhos. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 108 QUESTÃO # 4 Descreva o que esta escola recebeu do MINED no ano de 2013 até esse momento-treinamento, materiais etc. Foi o mesmo que foi recebido em 2010? Quais as diferenças? Por estar participando no projeto ApaL, a escola deixou de receber recursos do MINED? Recebeu menos recursos? 4.1. Treinamento recebido dois, livros gratuito para as classes, fundo do ADE, fundo permanente. Foi o mesmo material recebido em 2012. Não houve diferença alguma. 4.2. Este ano de 2013 recebemos vindo do MINED carteiras, livros e o fundo do ADE. Em 2012 recebemos também algumas carteiras, livros e o fundo do ADE. Não houve nenhuma diferença do Material e o Mined não olha para o beneficio oferecido pelo ApaL, mas sim ao material que eles têm disponiveis no respectivo ano com base no número de alunos inscritos. 4.3. No ano de 2013 recebemos do MINED o fundo do ADE e o fundo permanente, em 2012 recebemos o fundo do ADE, fundo permanente e livros. O envio dos bens do MINED não tem nenhuma relaçao com o ApaL. 4.4. A escola recebeu em 2013, o fundo do ADE, livros e em 2012 o número foi diferente visto que o número de alunos este ano cresceu. A disponibilizaçao do material dada pelo MINED não tem nenhuma relaçao com o ApaL no meu ponto de vista. 4.5. No ano de 2013 recebemos vindo do MINED o fundo do ADE, fundo permanente, e os livros de distribuição gratuita e em 2012 recebemos as mesmas quantidades embora o fundo permanente. Este ano recebemos muito mais devido ao elevado número de alunos que temos. Continuamos recebendo os recursos do MINED normalmente e acredito que os benefícios vindosdo MINED não têm nenhuma relação com o do ApaL 4.6. Este ano de 2013 vindo do MINED recebemos o fundo permanente, recebemos tabem o valor do ADE. Em relação ao ano de 2012 não tenho informação visto que sou novo nesta escola. O fundo do ApaL e o fundo do MINED não tem nenhuma relação, ou seja, nada diminuiu nem nada aumentou. Sugestoes: agradecer o ApaL pela inovação e aconselhar a expandir-se cada vez mais. 4.7. A Escola recebeu do MINED este ano de 2013 livros e o fundo do ADE. No ano de 2012 a escola recebeu o mesmo material, não relaciono o material porque não tem nenhuma co-ligaçao, o MINED disponibiliza material segundo as necessidades da Escola. 4.8. Este ano a escola recebeu do MINED livros, fundo do ADE e o fundo permanente, em 2012 o material recebido foi o mesmo, mas na prática em2013 recebemos um pouco mais visto que o número de alunos tende em crescer, não tem nenhuma relação de dependência entre esses fundos. 4.9. Este ano 2013 recebemos do MINED livros, fundo do ADE, fundo permanente e em 2012 recebemos do MINED livros, fundo do ADE, fundo permanente. Não houve nenhuma mudança na recepção do material. Sugestões: se este projecto continuar trará muito sucesso à Educação. 4.10. Este ano de 2013 a escola apenas recebeu o ADE e em 2012 recebemos somemte o fundo permanente. O APA L e o MINED não tem nenhuma relação quanto aos fundos. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 109 4.11. Em 2013 recebemos do MINED livros de distribuição gratuita, manuais de ensino e em 2012 recebemos do MINED livros de distribuição gratuita, manuais de ensino. Não houve nenhuma diferença no fornecimento do material. 4.12. Este ano de 2013 recebemos do MINED livro de distribuição gratuita, fundo do ADE e recebemos treinamentos, em 2012 recebemos do MINED livro de distribuição gratuita e fundo do ADE, mas este 2013 o material recebido era demasiado em comparação com o de 2012. Não tem nenhuma relação com ApaL. 4.13. Vindo do MINED em 2013 recebemos livro gratuito e em 2012 recebemos também livro gratuito. Este ano recebemos mais material em comparação com 2012 pois o número de alunos cresceu. Não vejo nenhuma relação entre o material vindo do ApaL e do MINED em questões de dependência. 4.14. No ano de 2013 recebemos a partir do MINED o fundo do ADE, fundo permanente e os livros em 2012 recebemos fundo do ADE, fundo permanente e os livros, não houve nenhuma diferença em questões do material. Mas sinto que o MINED não repara para o material proporcionado pelo ApaL para aumentar ou baixar o seu material, mas sim olha para as necessidades da escola. 4.15. A escola recebeu do MINED para o ano de 2013 livros gratuitos, programas de ensino e manuais e em 2012 recebemos livros e programas de ensino. Houve alguma diferença pois em 2013 o material foi acrescido devido ao aumento do número de alunos. O material do MINED e do ApaL não tem nenhuma relação. 4.16. Este ano de 2013 Recebemos do MINED são os livros e o fundo do ADE, não tenho informação referente a 2012 porque não estava aqui ainda. Acredito que o MINED para fornecer-nos o material não olha para o material fornecido pelo ApaL. 4.17. Este ano de 2013 vindo do MINED recebemos o ADE e livros de distribuição gratuita, no ano de 2012 recebemos também o ADE e os livros de distribuição gratuita. Não houve nenhuma diferença de material. Acredito que não há nenhuma relação entre o material oferecido pelo MINED com o material disponibilizado pelo ApaL. 4.18. Recebemos do MINED no ano de 2013 livros de distribuição gratuita e fundo do ADE em 2012 recebemos o mesmo material sem diferença alguma. 4.19. Este ano a escola recebeu do MINED livros, fundo do ADE e o fundo permanente, em 2012 o material recebido foi o mesmo, mas na prática em 2013 recebemos um pouco mais visto que o número de alunos tende em crescer, não tem nenhuma relação de dependência entre esses fundos. 4.20. Este ano de 2013 vindo do MINED recebemos livro do aluno, treinementos e o ADE no ano de 2012 recebemos livro do aluno, treinementos e o ADE. Este ano o número de material recebido foi baixo em comparação com o material ano passado. O MINED forneceu pouco material este ano devido a insuficiência do mesmo, não tem haver com o ApaL. 4.21. Este ano de 2013 recebemos vindo do MINED livros e recebemos o fundo do ADE e em 2012 recebemos livros e recebemos o fundo do ADE. A diferença é que este ano os livros recebidos este ano não foram suficientes, em geral este ano o material foi escasso em comparação ao ano passado. Não vejo nenhuma relação em questões de Material entre o ApaL e o MINED. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 110 4.22. No ano de 2013 a escola recebeu do MINED livros, fundo do ADE, fundo do doadecimo e em 2012 tivemoa fundo do ADE, fundo do doadecimo. Em comparação houve uma baixa de material visto que em 2013 o material foi pouco em relação ao ano de 2012, mas isso não tem nenhuma relação com a vinda do ApaL. 4.23. Este ano de 2013 vindo do MINED recebemos o ADE e livros de distribuição gratuita, no ano de 2012 recebemos também o ADE e os livros de distribuição gratuita. Não houve nenhuma diferença de material. Acredito que não há nenhuma relação entre o material oferecido pelo MINED com o material disponibilizado pelo ApaL. 4.24. Vindo do MINED este 2013 a escola recebeu livros, fundo do ADE e 1treinamento, no ano de 2012 recebemos o mesmo material, mas em pequenas quantidades. Acrescento ainda que a oscilação do material não tem nada haver com a existência ou não do ApaL. 4.25. Vindo do MINED em 2013 apenas recebemos o fundo do ADE e no Ano de 2012 também recebemos esse valor, quanto à questão do treinamento tem sido ocasional e nestes anos não se tem se verificado. 4.26. Este ano de 2013 recebemos vindo do MINED livros, treinamentos trimestrais e em 2012 recebemos o mesmo material de igual forma e isso é desvantajoso pois o número de alunos aumentou muito. 4.27. Vindo do MINED em 2013 recebemos livros e o fundo do ADE e em 2012 recebemos livros e o fundo do ADE. Nesse material não houve nenhuma diferença e acredito que não tem nenhuma relação com o ApaL. 4.28. Este ano de 2013 recebemos vindo do MINED livros e recebemos o fundo do ADE e em 2012 recebemos livros e recebemos o fundo do ADE. A diferença é que este ano os livros recebidos este ano não foram suficientes, em geral este ano o material foi escasso em comparação ao ano passado. Nãovejo nenhuma relação. 4.29. Vindo do MINED em 2013 recebemos livros fundo do ADE e doadessimo, e em 2012 recebemos o mesmo material, mas em pequenas quantias. Não sei dizer se esse material tem uma relação com o ApaL. 4.30. No ano de 2013 recebemos do MINED livros, fundo do ADE e em 2012 recebemos a mesma quantia de material e sinto que não há nenhuma relaçao com o ApaL. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 111 ANNEX C-3: ZAMBÉZIA - List of Interviewed School Principals – FULL treatment schools Zambézia Province ZIP School School Principal Mocuba District 09 Madal EP1 de CUNHEIA Artur Mussiua 09 Madal EP1 de MUSSOLONE Dinis Anela 13 Mangulamelo EPC DO AEROPORTO 1 Azevedo Armando 13 Mangulamelo EPC ANTIGOS COMBATENTES Manuel Chipepue Meta 09 Nadala EPC BIVE Damassene Artur 13 EPC MACUVINE Lidia Campos Calima 9 EPC MALOPA 1 Albino Mário Capuro 09 Nadala EPC MALOPA II Regina Silvestre 13 Mangulamelo EPC MANGULAMELO António Mariano 09 Nadala EPC NADALA Adriano Aly 09 Nadala EPC SELEMANE Raul Silva 13 Mangulamelo EPC TOMBA DE ÁGUA Ramadane Ismael Nicoadala District 15 Licuar EP1 BATE MUZIVA Cessario Vussane Stamba 01.25 de junho EP1 DE OELA Bento Horacio 15 licuar EPC 04 DE OUTUBRO Armando Tayobe 01. 25 de Junho EPC 25 DE JUNHO Moises Artur 01. 25 de Junho EPC BOTAO Sergio Barrata da Silva 03 Namacata EPC CHICO Abrao Eriques Sabino 03 Namacata EPC DOMELA Joao Artur Mamunagade 15 licuar EPC EDUARDO MONDLANE Alberto Jonassane 03 Namacata EPC ILALANE Sidinho Carlos Gravata 03 Namacata EPC INPURRUNE Benedito Silverio Daude 15 licuar EPC JOSINA MACHEL Terezinha Morta Terula 15 licuar EP1 NAMULILOIMUINE Francisco Alcolete Suludane 03 Namacata EPC MUCOCORA Clara Jose Salencia 01. 25 de Junho EP1 NAMITA Beatriz Portugal Alfamo 01. 25 de Junho EPC NIRIR Latiza Niamadela 03 Namacata EPC DE MAGECUA Ângelo João Aqui 03 Namacata EPC SAPANHA Guilhermina Gabriel Morreira USAID/Aprender a Ler Impact Evaluation: Midline Report Page 112 ANNEX C-4: Transcripts of interviews with 29 school principals in Zambézia QUESTÃO # 1 Descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos professores. 1.1 Os professores passaram a ter treinamento de 15 em 15 dias em vez de trimestral como vinha sendo antes do MINED. Os professores recebiam em cada sábado 4 horas de treinamento. Todos os professores desta escola estiveram presentes no treinamento. Primeiramente os professores não sabiam como é que os temas seriam tratados e qual seria o sucesso para eles nem para o trabalho como docentes, mas depois do segundo sábado passaram a gostar e habituar porque da vantagem no sector de trabalho. Os primeiros problemas enfrentados para os professores foram referentes ao fim de semana e a deslocação porque tinham que se localizar novos lugares, mas depois habituaram. Apesar do projecto estar há poucos meses na ZIP há sucessos porque mesmo quando tivemos uma capacitação a nível da ZIP os professores inseridos no projecto ApaL consoante seus temas de simulação de aulas os outros professores que ainda não estão com essas classes de 2ª e 3ª ficaram emocionados e a concorrência é maior bem como a satisfação. Apesar de ter turmas tenho disponibilizado um tempo a fim de concretizar aquilo que eles ou nós recebemos no treinamento. Houve melhoria e grande mudança, por exemplo, com relação ao regulamento não atender o telefone no recinto escolar ou na sala de aulas, algumas melhorias são a respeito do uso do próprio material e as exigências dos professores porque aqui no campo tanto os alunos bem como os pais não conhecem o valor do material. Sugestão: Gostaria que esse treinamento fosse abragente para as classes que não são do ApaL porque o saber não ocupa lugar. 1.2 O ApaL fez um esforço de mudança na aprendizagem das nossas crianças das primeiras classes. Os professores tem tido 7 horas de treinamento aos sábados. Estavam presentes todos os professores. Bom tratando-se duma inovação e mudança houve resistência mas agora já vêem a necessidade de mudança no ensino. Os principais problemas enfrentados foram os financeiros e escassês de material. Foi relevante pois tinhamos professores que não dignificavam o seu trabalho. Do trimestre passado a este verifico sucessos que vão surtir efeitos na parte do ApaL, pois os empenhos do professor e do aluno estão em paralelo. Tenho feito até controle e assistência de aulas bem como do material em uso para aquelas aulas. Aplicam as metodologias. Houve melhoria no desempenho dos professores, por exemplo, na participação dos alunos. Sim quero deixar como recomendação que o professor deve ser dedicado, saber entregar-se e ter maior mudança, e apelar aos pais e ecarregados de educação a participarem deste processo de ensino e aprendizagem das crianças. 1.3. Os professores passaram a ter uma formação todos os sábados. Os professores tinham 6 horas de formação.Todos os professores estiveram presentes.Como primeira vez eles ficaram curiosos e depois do segundo sábado já se mostravam interessados pelo projecto.Os problemas foram as sessões de letras como sendo primeira vez que aprendiam tinham dificuldades que foram ultrapassadas com o andar do tempo.O treinamento foi relevante.Os sucessos obtidos foram positivos porque hoje verificamos grandes melhorias durante as aulas.Tenho visitado as aulas e dou assistência a 6 professores.Houve melhoria por parte dos professores aquando do projecto,por exemplo os alunos tiram boas notas nos testes e em termos práticoas o aluno já consegue ler qualquer livro.Deve-se incentivar mais o professor em termos de material didático,sendo pastas de conservação do material para os professores. 1.4 O que foi feito pelo projecto ApaL foi capacitar os professores no âmbito de leitura e escrita das crianças da 2ª e 3ª classes. Desta ZIP os professores são treinados aos sábados, sendo três formaçôes em cada mês á nivel da zip e não por escolas.Grande número de professores participa,aqui numa primeira fase tinhamos algumas dificuldades pelo facto de alguns professores estarem a fazer ensino á distância modular,caso de IEDA que dá a sua formação aos sábados.Tratando-se de sábados que para nós não são dias de descanso a reacção foi boa, mesmo a sua participação tem sido aceitavel, porque para além de estarem lá a aprender são capacitados também a saber como dar aulas e lidar com as crianças e são motivados e são dados diversos incentivos. Os problemas que muitas vezes temos confrontado à nivel da ZIP são ausências dos professores. O treinamento recebido foi relevante e faz com USAID/Aprender a Ler Impact Evaluation: Midline Report Page 113 que garanta o bom desempenho dos professores e assimilação da matéria por parte dos alunos, se formos a ver aqui na minha escola grande parte dos alunos já sabem ler e escrever. Nós temos avaliado os sucessos obtidos de várias formas, primeiro fazemos sempre supervisão e assistência às aulas dos colegas e quando um professor falta é substituido por um outro professor e ou até mesmo o directos da escola. Sim tenho feito visita onde trabalhamos com base no plano dos professores. Houve melhoria por parte do treinamento e dos incentivos e sensibilização por nossa parte. Temos como exemplos do desempenho do professor o material que usamos que é produzido pelo professor bem como os quadros silábicos para melhorar as aulas Eu sugeria que os professores fossem capacitados por mais tempo e de forma constante. 1.5. O professor tinha falta de treinamento que com o projecto ApaL passamos a ter onde são vistos novos metódos de ensino e garante a motivação para o aluno.O treinamento foi feito entre 7 ou 8 sessões das 8 ás 13 horas.Muitas das vezes todos os professores estavam envolvidos.Os professores face a este convinte aos sábados,tratando-se de uma inovação houve primeiramente uma resistência por parte dos professores.O problema que se verificou foi o facto de trabalharem aos sábados e não tinham tempo para outros afazeres. O treinamento foi relevante e era bom que o projecto abrangisse a todos ou mesmo de 1ª a 5ª classe.Depois da intervenção do ApaL tivemos sucesso porque na 2ª e 3ª classes já temos crianças a lerem.De principio fazemos visitas nas salas para avaliar os professores e os alunos.Houve melhoria sim,por exemplo: os alunos ja aderem as aulas com maior frequência.Para o caso do treinamento de professores podiam dar um pequeno subsídio para motivar ainda mais o professor a aderir ao projecto. 1.6 Os professores que participaram deste projecto ApaL em termos de treinamento estão a melhorar e há transformação das próprias crianças. O treinamento tinha duração de 5 horas aos sábados. Aqui na minha escola todos os professores mostraram interesse e participaram em todas as sessões. Os professores mostraram muito interesse de aprender porque tinham necessidade de conhecimentos cientificos e pedagógicos. Durante o treinamento os problemas enfrentados foram relativos aos sons das letras. Eu avalio de forma positiva porque antes do projecto tinhamos muitos alunos que não sabiam ler mais agora ja estão muito adiantados. O treinamento foi relevante. Eu tenho assistido às aulas e os professores estão a implementar o que aprenderam no treinamento. Houve melhoria por isso gostaria que o projecto fosse abrangente para todas as classes em particular a 1ª classe por causa dos sons. Exemplos de melhoria: os alunos não sabiam ler e tinham mal desempenho nos testes e agora sabem ler em maior número e vão bem nos testes. Para melhorar o treinamento gostaria que a capacitação fosse contínua e mais material. 1.7 Com a entrada do projecto ApaL há uma comparação aumentativa naquilo qué a sua perspectiva a cerca da assiduidade, pontualidade e planificação constante. O treinamento foi de 10 sessões aos sábados das 8 ás 12: 30 horas. Nem todos os professores estiveram presentes porque aqui nesta escola para a 2ª classe tivemos perda de uma professora. Os professores aplaudiram pela entrada do projecto porque para além de treinamento aos sábados os professores ja faziam as planificações. O problema chave que se notou foi no deslocamento. Foi relevante, uma vez que depois do treinamento verificou-se uma mudança nas classes do treinamento. De uma maneira geral os sucessos foram bons. Sim nós temos feito o plano mensal e semanal de observação de aula onde conectamos as situações reais dos professores que estão no projecto. Bom melhoria existe, mais não vem só do ApaL, foi um reforço de cada um. Como exemplos, durante o principio do ano as crianças da 3ª classe não sabiam pronuciar as sílabas nem ler, mas com este projecto já se verificam mudanças tanto no aluno como no professor.Gostaria que reforçassem a parte de transporte para os professores. 1.8 O projecto ApaL tem oferecido boas metodologias tanto para os alunos como para os professores.Quanto a intensidade os professores tem tido treinamento aos sábados das 8 as 13 horas.Sim todos professores desta escola estiveram presentes.No começo foi muito dificil os professores aderirem ao treinamento,alegando que estavam ocupados aos sábados mais depois de um certo tempo compreenderam porque ja estavam a gostar.Os problemas enfrentados foram da parte logistica,transporte e alimentação.O treinamento foi muito relevante,ajudou na prática do ensino na escola.Eu avalio os sucessos obtidos de forma positiva e gostaria que para o ano o projecto aumentasse o material.Sim tenho visitado as aulas e vejo que os professores estão a seguir com o que adquiriram do treinamento.Sim os professores melhoraram bastante no desempenho e estão a se empenhar e ser mais criativos,por exemplo,os alunos ja sabem escrever os próprios nomes,sabem falar e ser mais activos durante as aulas. Sugeria que se melhorasse o trabalho dos professores e o programa de reforço de leitura. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 114 1.9 Em relação ao treinamento há muita coisa nova que nos foi transmitida como a tecnica de transmissão dos conhecimentos e introdução das novas metodologias de ensino e a forma de abordagem dos temas.Tivemos 7 sessões de treinamento de 3 a 4 horas.A maior parte dos professores participaram no treinamento.A reacção dos professores foi positiva apesar de na primeira fase eles sentirem uma fadiga,mas com estimulo eles foram se inteirando do assunto.Os problemas enfrentados no treinamento foram questões de introdução de novas metodologias em que requer adaptabilidade dai a existência de pequenas dificuldades.Foi relevante porque para os professores que aplicaram efectivamente o treinamento tiveram êxitos.A avaliação é notória para aqueles professores que aplicaram devidamente esta metodologia,porque os seus alunos ja sabem ler e são muito dinámicos e abertos.Tenho visitado sim. Houve melhoria sim mas varia de professor para professor,por exemplo os alunos de uma das professoras da 2ª classe com 50 alunos e deste número a ultima avaliação que fizemos 25 já sabem ler e comparando ao estágio anterior é um avanço.Para melhoria os treinamentos podiam começar mais cedo, quase no inicio do ano. 1.10 Em relação ao treinamento dos professores o ApaL fez com os professores ficassem consciencializados que os sábados são para planificação semanal, melhoria das metodologias de ensino. Tinhamos treinamento das 8 às 13 horas em nove sessões.Nem todos professores tiveram treinamento por questões de doenças.Os professores não reagiram bem porque era um programa novo que estava a surgir e foi preciso fazer o esforço de mobilizar estes professores.Os principais problemas que enfrentamos foram de ordem financeira porque os professores queriam ser pagos e outro problema estava relacionado ao material. Os sucessos foram bons relativamente as competências e organização dos professores nas salas de aulas. Sim tenho feito visitas as aulas para verificar a questão de organização e uso do material. Houve melhorias,como por exemplo a questão da assiduidade por parte dos professores e planificações. Como sugestão gostaria que o treinamento continuasse e os professores fossem capacitados para planificação de cada aula. 1.11 Com ApaL evoluimos bastante em termos do projecto, aprender a ler e tivemos novas metodologias de ensino e seminários que ajudaram o professor a evoluir bastante.O treinamento era feito aos sábados em 6 sessões. Nem todos os professores participaram do treinamento por questões de saúde. Não houve lamentações com relação aos treinamentos nos sábados por parte dos professores. Não me constataram nenhum problema,talvez as deslocações.Foi relevante. Os sucessos obtidos neste projecto são de louvar. Tenho visitado sim. Houve melhoria sim como por exemplo: a pontualidade por parte do professor para incentivar os alunos melhorou bastante .O projecto devia continuar por muito tempo,reforçar os materiais e os professores deviam ter um comprovativo como diploma que certifica que o professor participou do treinamento. 1.12 Relacionado ao treinamento dos professores o projecto trouxe muita coisa nova. O treinamento tem sido aos fins de semana da 8 as 14,sendo 6 horas de treinamento.Todos os que estavam abrangidos no projecto participaram do treinamento. Primeiro houve resistência por ser sábado, mas depois com o efeito do projecto começaram a aderir. Cada professor com o projecto foi detectando vários problemas que ele tinha e em conjunto foram superados. O treinamento foi relevante. Avalio de maneira positiva os sucessos obtidos já que se verifica melhoria por parte dos professores. Tenho feito assistência de aulas dos professores para ver se estão a aplicar aquilo que obteve no treinamento. Sim melhoraram a partir do treinamento que tiveram, por exemplo, assiduidade, uso do tempo alocado e pontualidade. O que devia ser melhorado é a divulgação do legislamento do professor e uma maneira de estimular as crianças para garantir o sucesso padagógico. 1.13 O ApaL trouxe ensinamentos ligados ao controle como assidiudade e frequência e preenche se as fichas. O treinamento foi intensivo e as sessões comecavaom das 8h as 13h. Participaram todos os professores excepto um e outro. Foi necessario senssibiliza los mostrando os que o projecto veio ajudar a eles no ensino dos alunos. Houve problemas da falta de material, mas foi ultrapassada.O treinamento contribui para que os trabalhos andem devidamente.Temos dialogado com os professores e temos notado as mudanças e tenho visitado as aulas e discutimos em com junto. Na concretizacao das aulas tenho notado o sucesso e o uso dos materiais. Sugiro que possam nos apoiar com capacitacoes e materiais. 1.14 Neste projecto da ApaL foram capacitados os professores em materia de leitura a nivel de 2 e 3 classe.Tivemos mas ou menos 8 sessões durante o periodo das 8h as 12h por dia.Todos os professores participaram do treinamento, os professores reagiram de bom grado quando foram convocados.Os problemas que infretaram durante esse periodo tem haver com o fundo que era disponibilizado para transporte diarios que não USAID/Aprender a Ler Impact Evaluation: Midline Report Page 115 era suficiente para outras dispesas. O treinamento foi relevante sim pois cada professor tinha que participar para melhorar o seu trabalho. Bom partindo do projecto as vantagens que trouxe foi uma, mas valia na leitura dos alunos,tenho assistido algumas aulas e tem implementado os ensinamentos adiquiridos no treinamento. Houve melhorias sim. Sugiro que o precesso seja continuo,haja mais capacitacoes e disponibilidade de mais material, não esquecendo de falar do fundo de transporte para que possam acrescentar alimentação. 1.15 Quanto ao treinamento e de louvar o projecto ApaL, pois ela trouxe uma nova dinâmica no processo de planificação e no processo de ensino e aprendizagem,nota se uma mudança significatica no seio dos alunos e professores.Hoje ha previlegio de classe,antigamente havia o mesmo tratamento para todas as classes,mas hoje não pois ha um enfoque para as classes iniciais cpm objectivo de ensinalas a ler e escrever e esta a surtir grandes efeitos. A sessão de treinamentos durava das 8h ate às 13h e era de 15 a 15 dias por mes, e foram treinamentos intensivos.Todos não estiverem presentes pois uma e outra vez faltava um professor por motivos justificados,mas no geral 98% dos professores estiveram presentes e activos em todo o processo de treinamento. Numa primeira fase houve revolta quando foram informados do treinamento aos sabados pois a capacitação que vinhamos tendo não era com a intensidade do ApaL,era quinzenalmente mas durava apenas 1h,não foi fácil convence los mas com tempo aceitaram mas houve reclamacao com relacao ao subsidio,pois so tinham de transporte e não das refeicoes enquanto ficavam muito tempo.Pediram para que o projecto pudesse aumentar o valor como um incentivo para que pudessem trabalhar com garra.Os problemas que tivemos logo no principio foi a questão do tempo e a chegada tardia dos materias e dos fundos,e desta forma era dificil planificar as actividades.Foi muito relevante,pois alguns dos professores tinham aquela formação antiga,entao foram aprimorando os seus conhecimentos no processo de ensino.Avalio de uma forma positiva,embora gostavamos que tivesse comecado mas cedo o projecto,por exemplo que se tivesse comecado no principio do ano lectivo.Tenho visitado as aulas sim.Houve melhoramento sim,porque antes os professores so se baseavam no ensino com o material do MINED e não existia um metodo especifico para ensinar a integracao das letras sem involver a componente do som. Apelo que haja mais treinamentos, e nos casos dos professores faltosos pudessemos substitui-los com professores disponíveis. 1.16 ApaL traz uma inovação, pois os professores estão a se empenhar cada vez mais e tem se notado cada vez mais e isso tem se notado dentro e fora da escola,o treinamento era intensivo e iniciávamos as 8h ate as 14h por causa dos intervalos.Todos estavam presentes no treinamento,podia haver um e outro que pudesse faltar mas em seguida tentava compensar.Os professorereceberam de bom grado embora alguns constragimentos por causa do horario mas logo foi ultrapassado.Problemas foram mais nos incentivo por causa do valor dos transportes e a adequação aos materiais novos. Quanto ao sucesso avalio de uma maneira positiva,pois os professores comecaram a ser mais pontuais e vigilantes,e os alunos comecaram a ter melhorias na leitura e mais ânimo com os materiais que temos vindo a trabalhar com eles.Tenho visitado as escolas. Notamos grandes melhorias pois alguns professores tinham problemas no pronuciamento de algumas palavras,mas com o projecto foram sanadas.Gostaríamos que mais treinamentos houvessem para que possamos responder positivamente na educação dos alunos. 1.17. Em relacao ao treinamento o projecto do ApaL esta a criar dinâmica no processo de ensino e aprendizagem, o treinamento foi intensivo que tinha como inicio da 8h as 12h. Os professores reagiram bem embora alguns haviam mostrado alguma indisponibiliidade por terem outros compromissos familiares. Alguns dos problemas verificados e em relacao ao subsidio de transporte e alimentação que eles consideravam pouco.O treinamento foi relevante pois houve melhorias na propria planificação das aulas do professor e na qualidade de ensino.Avalio positivamente pois depois do treinamento ha interiracao entre o aluno e professor,tenho participado e visitado as aulas e tenho visto grandes progressos.Sugiro que durante ou antes do treinamento haja uma clarificacao aos professores da utilidade do treinamento e pudessem ter a chance de opinar e xpressar em como gostavam que o treinamento fosse. 1.18 Quando introduziu se o projecto aprender a ler ajudou os professores a melhorarem o seu desempenho e foram feitas supervisões ate que verificou se mais mudanças no projecto aprender a ler com ApaL,o treinamento foi intensivo e tinha como inicio as 8h embora muitas vezes acabava iniciando as 9h e tinha como termino às 14 ou 15h. Quando foram socilitados os professores houveram alguns que haviam mostrado indisponibilidade porque estavam em seminários. Numa primeira frase os professores estavam timidos com o projecto, mas logo a seguir vimos os resultados na qualidade de ensino e aprendizagem com os alunos.O treinamento foi relevante sim para os professores.Temos avaliado os sucessos a partir daquilo que e a evolução dos alunos.Tenho visitado as aulas e aos USAID/Aprender a Ler Impact Evaluation: Midline Report Page 116 professores tem usado os materiais recomendados e estão a aplicar os conhecimentos obtidos.Sugerimos mais capacitações para os professores e reciclagens e aplicação dos novos conhecimentos. 1.19 O que foi feito que o MINED não havia feito e mesmo em termos da dinâmica e os próprios treinamentos.Os professores tiverem treinamentos intensos que tinha início das 8h ate por volta das 16h. No primeiro treinamento acredito que possa ter faltado um e outro professor mas na segunda fase não porque tinha consciência de quanto estavam a perder pois todos queriam ser melhores professores depois da formação. Aceitaram de bom grado quando receberam a informação do treinamento aos sabados. Não tivemos problemas, o treinamento foi relevante sim pois poderam aprimorar os seus conhecimentos.Tenho avaliado o sucesso com supervisões,Tenho sim visitado as aulas sim. Houve grandes melhorias de desempenho sim pois agora elaboram o seu proprio material que substancia o material oferecido pelo ApaL e MINED. Sugiro que tenhamos mais treinamentos e que esse treinamento possa se estender as outras provincias e escola para o melhoramento da leitura e aprendizado de todas criancas. 1.20 ApaL deu um apoio muito grande pois ajudou no desenvolvimento do ensino e aprendizagem.Temos notado que os alunos da 1e 2 classe ja estão a saber ler e escrever.Tivemos sessões intensivas de treinamento e nem todos poderam se fazer presente por motivos justificados.Tiveram uma boa reacao porque ja havia passado um documento a informa los sobre o treinamento e também haviam sido informados do subsídio de transporte que poderia ser um dos motivos da fraca aderencia.Um dos problemas verificados e da queixa do subsídio de transporte que não corresponde às necessidades dos mesmos.O treinamento foi relevante sim e ja podemos colher os frutos.Tenho avaliado o sucesso obtido através da assistência de aulas que tenho efectuado dia a pois dia e como ja era habitual antes do projecto tenho notado grande evolucao. Os professores tem usado a metodologia e os materiais adquiridos.Houve melhoramento sim,porque os professores estão mais assiduos e preocupados com o ensino.Gostavamos que os directores participassem também do treinamento da escrita e leitura e não so no treinamento de gestão. 1.21 O ApaL trouxe um treinamento diferente e um treinamento intensivo que eleva a capacidade do professor para o melhoramento do ensino, não sei ao certo da intensidade pois estava ausente por motivos de doença. As sessões tinham inicio das 8h às 13h,mas nem todos os professores estiveram presentes. Numa primeira fase os professores receberam de bom grado embora alguns tiveram dificuldades em assimilar o projecto. Enfrentamos algumas dificuldades apenas quanto ao subsídio.O treinamento recebido foi relevante para os professores assim como para os alunos. Tenho avaliado os sucessos atravas das visitas efectuadas nas salas de aula e vejo que os alunos tem melhorias significativas e com o uso dos materiais tudo fica mais fácil. Os professores têm melhorias significativas mesmo na planificação das suas actividades. Gostaríamos de poder ter mais treinamentos a todos os niveis. 1.22 Depois do aparecimento do ApaL houve grandes mudanças tal como para os professores assim como para os directores e alunos. Hoje a planificação de tudo, preparacao em que os resultados sao visiveis e controlamos devidamente e registo de todas as aulas. O treinamento foi intenso que tinha inicio das 8h ate as 14 ou 15h pois para além do treinamento havia simulacao das aulas.Todos os professores estiveram presentes nos treinamentos. Receberam bem a informação pois antes do treinamento explicamos que era importante para ele e para os seus aluno. Na primeira semana deparamo nos com a chegada tardia do material, de dísticos letreiros mas logo de seguida foi ultrapassado.Foi exactamente relevante pois percebeu se com o materia e o treinamento dos professores eram fundamentais.Quanto ao sucesso estamos a 70%.Tenho visitado sim as aulas e verifico melhorias nas leituras e escritas. Especificamente houve melhorias gracas ao empenho dos professores por exemplo eles tem planificado melhor as aulas,tem conseguido ganhar a confiançaa dos alunos e existe uma grande interação entre eles.Nós gostariamos que houvessem mais capacitações e melhorias nos materiais de ensino. 1.23 Em relacao ao treinamento do projecto ApaL ha lacunas que o MINED não teria traçaado e acabaram sendo supridas pelo ApaL. Os professores aprenderam e estão a ensinar as criancas e estão a melhorar no processo de leitura. O treinamento foi intenso e tinha inicio das 8h às 15h.Nem todos os professore estiveram presentes porque um e outro tinha os seus motivos.Os professores reagiram com um pouco de dificuldades mas pelos incentivo mas acabaram aceitando.Não tivemos problemas efectivamente mas alguns constragimentos com relacao aos subsídios.O treinamento foi relevante sim para o melhoramento do ensino dos professores.Avaliamos o sucesso apartir das assistências que tenho feito.Tenho visitado as aula e esta sendo emplementada a USAID/Aprender a Ler Impact Evaluation: Midline Report Page 117 metodologia.Especificamente houve melhorias no desempenho dos professores sim pois tornaram se mais pontuais,preocupados com a planificação das aulas e quanto a frequência dos alunos.Sugerimos que hajam mais incentivos para que os professores sejam motivados a participar sempre dos treinamentos. 1.24 Quanto a essa parte do treinamento que o ApaL fez antes do MINED, fez um treinamento positivo em capacitar os professores em materia de aprender a ler e escrever, a forma como os capacitou de tal forma que incentivou os alunos a terem um rendimento positivo.Tivemos muitas sessões,e foi realizado no intervalo das 8h as 13h ou 14h,e nem todos participaram intensivamente. Reagiram positivamente,porque além deste projecto eles tem planificação aos sábados e quando receberam a informação foi de bom grado. Em principio antes de receber o material esse era o principal problema, mas depois ultrapassamos e depois foi mas por questão de nos ambientar porque não conhecíamos as questoes de som das letras porque leccionavamos sem ter em conta isso. Foi relevante mesmo e mudou muita coisa,o sucesso foi positivo.Tenho visitado sim as aulas,e tenho trabalhado com numa professora. Houve bmelhora sim,relativamente no que diz respeito a leitura dos alunos, porque muitos tinham dificuldades e depois do treinamento algum alunos comecaram a ler significativamente,e advem do treinamento que tiveram, pois antes dele era normal chegar o final do ano sem nem ter 5 alunos a lerem.Bom gostaria que na próxima abarcassem as classes,e continuassem com o mesmo projecto aumentando material, formando mais professores. 1.25 Foi feito pelo ApaL os treinamentos dos professores relativos à leitura e escrita.Os treinamentos foram intenso e tinham inicio das 8h ate às 15h.Os professores a princípio mostraram uma fraqueza mas depois dos conselhos com os colegas e em conversa acabaram aderindo em massa.Tivemos alguns problemas na recepção das informações, questão da logistica e subsídio. O treinamento foi relevante para os professores pois hoje eles tem mais fácilidade de ensinar os alunos na leitura. O sucesso obtido tenho visto como positivo pois tenho visitado as aulas e verifiquei que os professores têm emplementado os ensinamentos recebidos.Temos notado que os professores não tem faltado muito,tem procurado atingir os seus objectivos no que concerne a leitura e escrita. Sugerimos que haja mais treinamentos e capacitações para a melhoria da qualidade do ensino no país. 1.26 O ApaL veio capacitá-los e dotá-los de mais conhecimentos para lhe facilitar no ensino dos alunos.As sessões tinham inicio da 8h ate às 15h,tivemos 11 sessões que foram muito intensas.Todos estiveram presentes embora possa ter faltado um e outro.Os professores numa primeira fase ficaram receoso mas logo de seguida nos fomos explicando para que era o projecto e qual a finalidade e depois aceitaram participar.Tivemos alguns problemas de chegada de material tardio mas pode se sanar de imediato. O treinamento foi relevante sim e houveram muitos sucessos no quesito de leitura.Tenho visitado as aulas quando posso e destas vezes verifico que eles estão a emplementar as metodologias ensinadas.Houve melhorias no desempenho do professor no que diz respeito a leituras das letras,nos sons emitidos nessa leitura que e adequada. Sugiro que hajam mais treinamentos a nivel onde todas as províncias do país. 1.27 O ApaL veio nos ajudar na leitura e escrita porque antes do programa tinhamos muitas dificuldades pois ele passavam para a 4 classe com muitas dificuldades na leitura.Os professores tiveram sessões intensas e todos participaram, eu estive ausente nos dois primeiros dias por motivo de doenças. Ao serem informados do projecto eles reagiram bem. Não tivemos nenhum problema durante o treinamento. O treinamento recebido foi relevante para as necessidades dos professores pois tenho avaliado o sucesso através de assistências quando visito as aulas. Especificamente houve melhorias porque havia professores desleixados que chegavam tarde e faltavam sem pré aviso, mas depois do treinamento mudaram. Gostaria que a capacitação existisse sempre. 1.28 O treinamento feito pelo ApaL para os professores é completo e trouxe-nos muita ferramenta de ensino. Por mês tinhamos 4 vezes o treinamento aos sábados com duração de 6 horas.Todos os professores aderiram ao treinamento.Os professores não tiveram uma reação positiva por ser aos sábados e levar muito tempo, mas com o andar do tempo foram vendo que os que iam ao treinamento traziam coisas boas e novas.O treinamento foi relevante. Avalio os sucessos obtidos de forma positiva porque pelo balanço feito depois do projecto verificou-se que a maior parte dos alunos já sabem ler.Tenho feito assistência ao professor e o ajudamos consoante as necessidades que ele apresenta.Houve melhoria sim,por exemplo, podemos falar da gestão do próprio tempo e com as fichas de controle do harário, diário e semanal e mensal e cada professor esta ciente que tem que cumprir com o tempo e cada um foi melhorando até no comportamento. Sugeriria que os colegas envolvidos no projecto USAID/Aprender a Ler Impact Evaluation: Midline Report Page 118 ApaL para além daquilo que fazem em termos de melhoria da qualidade de leitura,tem tido algumas dificuldades no caso de introdução de novas matérias e podiam se juntar a aqueles que entendem melhor a matéria. 1.29. Com o treinamento os professores tiveram mais conhecimentos e aprenderam novas estratégias de ensino e a priorizar mais o tempo de aulas. O treinamento era aos sábados das 8 às 15 horas ou mais em quase dois meses. Todos estiveram nas sessões de treinamento embora alguns faltavam. A ideia de terem treinamento aos sábados para os professores foi boa e os professores reagiram bem porque eles ja usavam os sábados para doseficação das aulas. Durante o treinamento não constatei nenhum problema por parte dos professores. Avalio por meio de assistência de aulas e em conversa que tivemos depois do treinamento. Sim tenho visitado as aulas e eles têm implementado o que eles aprendem no treinamento. Houve melhoria dos professores porque as aulas do ApaL são bonitas e sequenciadas, por exemplo, os professors não tinham hábito de fabricar material didáctico mais agora fabricam. Sugeria que possa haver mais capacitações para o ano. Questão # 2: Descreva a intervenção da ApaL nessa escola no que se refere ao treinamento oferecido aos directores. 2.1 O treinamento por parte dos directores, por exemplo, a partir de mim mesmo já tenho 12 capacitações e apesar dos directores terem a sua formação como disciplina de gestão e administração escolar, o ApaL veio impulsionar ainda mais liderança, gestão escolar, administração e mais. A intensidade foi forte e com rigor. Participei em todas as sessões de treinamento. Os principais problemas enfrentados foram referentes à abordagem da matéria com a população. O treinamento foi relevante e pessoal em termos de conhecimento e melhoria para o desempenho da escola. O que ajudou bastante no meu trabalho é a gestão participativa e quando debatemos nesta área ganhamos mais força para lidar com os líderes e a população. Agora estou mais acelerado e impulsionado para melhoria da propria escola, há mais rigorosidade para o bom desempenho dos professores. Para melhorar o treinamento dos directores devem continuar a liderança e a gestão escolar, disciplina de gestão e administração escolar. O ApaL veio impulsionar ainda mais liderança, gestão escolar, administração e mais. A intensidade foi forte e com rigor. Participei em todas as sessões de treinamento. Os principais problemas enfrentados foram referentes a abordagem da matéria com a população. O treinamento foi relevante e pessoal em termos de conhecimento e melhoria para o desempenho da escola. O que ajudou bastante no meu trabalho é a gestão participativa. Quando debatemos nesta área ganhamos mais força para lidar com os lideres e a população. Agora estou mais acelerado e impulsionado para melhoria da propria escola, há mais rigorosidade para o bom desempenho dos professores. Para melhorar o treinamento dos diretores devem continuar a liderança e a gestão escolar. 2.2. De todas as sessões em que participei notei que é preciso um rigor de mudança daquilo que estava um pouco adormecido no processo de ensino e aprendizagem, e fomos ver que existe a liderança, organização escolar e governação participativa e tudo isto comparticipado pode trazer um avanço para a educação. É preciso ter um elo de ligação com as criança e só pode ser através do ensino por isso houve esse treinamento para os directores estarem habis. Principais problemas que enfrentamos foram os atrasos das crianças, isso na zona rural.O treinamento foi muito relevante. Os aspectos mais importantes foram as sessões em que participei onde colhi muita informação de como dirigir e liderar. Sempre é preciso seguir todas as regras por exemplo a pontualidade dos professores como incentivo para as crianças. Como sugestão gostaria que esse treinamento fosse benéfico e sempre pois é daí que teremos alavancas para um ensino eficaz e fiel. 2.3. Esta capacitação está a abrir visões aos professores de coisas que não estavam a ser implementadas. O treinamento dos directores foi intenso na mesma proporção que os professores. Eu participei de todas as sessõe de treinamento. O que verifiquei como problema é a assiduidade do professor e a interacção entre os professores. Sim, o treinamento foi relevante. Agora com o treinamento faço apartir do plano anual, o plano semestra,mensal e semanal. Gostaria que se capacitassem mais aos directores e os seminários devem ser constantes. 2.4. A capacitação dos directores está sendo com base no objectivo do projecto onde adquirimos diversos conhecimentos como: gerir uma escola,resolver problemas com professores,trabalhar com professores, alunos e com a comunidade. Em termos de intensidade dependeu do que estava programado pelo projecto, mas quando a gente vai ao terreno os trabalhos tem decorrido bem, e na altura em que são formados os professores acho que USAID/Aprender a Ler Impact Evaluation: Midline Report Page 119 os directores também podiam ter formação porque no fim do trimestre os directores em particular não fazem nada. Eu participei em todas as sessões a nivel provincial e distrital. Principais problemas para esta zona é um pouco dificil especificar porque acredito que nem todos assimilaram a matéria. O treinamento foi relevante para as minhas necessidades porque são debatidos assuntos do dia á dia. Agora fazemos supervisão dentro da escola e antes só tinhamos plano semestral e anual,agora temos o semestral,trimestral anual,semanal e diário. Uma das sugestões a deixar é de introdução de temas de legislação para adquirirmos experiência como directores para que possamos fazer debates dos documentos normativos que o país tem. 2.5. Nós como gestores dirigiamos as coisas de forma aleatória, mas aprendemos que existe uma supervisão interna que é feita dentro da escola pelo director para os seus colegas de direcção e professores,aprendemos quando é que se diz que este director é lider,vimos a gestão escolar e participartva no seu todo.Eu participei em todas as sessões de treinamento.Os principais problemas encontrados foram a resistência a mudança ,menor número de dísticos para as aulas,atrasos e faTLAs sistemáticas dos alunos. Foi muito relevante. Nós temos a ficha 13 de controle e assiduidade do aluno e do professor criada no ApaL por causa do desperdício de tempo para as aulas afim de que estes mudem de comportamento com relação aos atrasos. Como resultado do treinamento faço muita coisa como, divisão de tarefas e supervisão pedagógica, assistência as aulas constantemente e dou algumas recomendações aos professores e e aos alunos com relação ao material. Acho que deviam distribuir as fichas em número suficiente e que haja capacitação especifica para os conselhos de escola para saberem quais as suas missões e que o ApaL introduza temas de legislação e gestão financeira bem como intercâmbio entre distritos. 2.6. Fomos treinados e aprendemos gestão de direcção, como gerir uma escola, como gerir recursos humanos como componentes da escola. A intensidade foi forte. Não falhei nenhuma sessão. Não tivemos muitos problemas. Foi muito relevante e sugeria que continuasse e abrangisse muitos directores. Aprendi a planificar e fazer calendário diário. Agora faço plano diário. Para melhorar o treinamento dos directores gostaria que se treinassem todos directores antes de o mandarem para uma determinada escola. 2.7. Para a parte dos directores das escolas, já estamos a aprender como ser líderes das escolas. Eu participei de todas as sessões num total de 11. Os problemas que posso mencionar são questões de liderança porque existem muitos obstáculos. O treinamento foi relevante porque tratamos assuntos relacionados á direcção e liderança. O treinamento melhorou o meu trabalho porque antes não sabia identificar as tarefas e para quem eram e aprendi também que existem tarefas que não podem ser delegadas. Bom penso que são coisas semelhantes porque no MINED existe sempre uma capacitação talvez falar do reforço que temos. Para melhorar gostaria de pedir ao projecto mais material informativo. 2.8. O ApaL forneceu muitas capacidades e novas metodologias de ensino. Quanto à intensidade ajudou muito porque numa primeira fase iam só os directores e não os pedagógicos sendo que estes é que estão mais ligados aos alunos, mas agora com essa proposta de alinhar também os pedagógicos tem mais valia. Não houve nenhum problema a destacar no treinamento dos directores. O treinamento foi relevante colhi novas metodologias e mais experiência. Aprendemos coisas novas neste projecto ApaL. 2.9. Muita coisa foi feita pelo ApaL, no âmbito de direcção as pessoas são designadas directores sem perceber até algum momento a tarefa do directore o projecto ajudou em função da liderança e o tipo dfe liderança, própria gestão,vimos a questão de planificação e suas componentes. Houve uma grande intensidade de treinamento porque nós por nossa iniciativa criamos o intercâmbio com as outras escola e iamos trocando experiência.Sim participei em todas as sessões.O problema que enfrentamos no treinamento foi a introdução novas metodologias e aceitar mudanças. Foi muito relevante,porque há coisas que eu só fazia sem nenhuma base mas hoje ja faço analise de desempenho do professor. Os aspectos importantes foram os aspectos de gestão e liderança. Como resultado do treinamento já sou mais organizado e planifico o trabalho diáriamente.Para os próximos treinamentos deviam introduzir o componente simulação. 2.10. O ApaL veio melhorar a componente de gestão dos directores porque alguns são directores e nunca tiveram nenhuma formação e outros ainda nem sabem porque são directores, mas o ApaL já abriu em termos de gestão e os directores já conhecem o seu papel, sabem o que é um plano de desenvolvimento anual,semestral,trimestral,semanal e diário,objectivos das actividades, já conhecemos a nossa intervenção da organização participativa e muitos outros aspectos da organização e do aprendizado e aspectos de liderança no USAID/Aprender a Ler Impact Evaluation: Midline Report Page 120 geral. O treinamento foi intenso principalmente a parete de gestão e há temas que vão para além das nossas capacidades. Participei de todas as sessões. O problema verificou-se quando recebemos temas no mesmo momento ou dia de treinamento. Sim foi relevante. Os aspectos mais importantes foram o plano de desenvolvimento e enquadramento das actividades nos objectivos,relacionamento da escola e comunidade e gestão do tempo alocado evitando o seu disperdicio. Agora garanto que não haja desperdicio e para tal sou totalmente pontual e faço uma monitoria total da escola envolvendo a comunidade. Eu sugeria que conhecessemos a legislação referente ao plano escolar,gestão financeira e ficha de gestão de aulas. 2.11. Neste projecto aprendi muita coisa em matéria de gestão escolar, como controle do sistema do ensino e deu-me mais capacidade e dinámica de ser bom gestor. Eu participei de todas as sessões de treinamento. Neste treinamento tivemos problemas de deslocação e alojamento quando necessário. O treinamento foi relevante para as minhas necessidades porque hoje estamos a falar de plano de desenvolvimento que é um novo documento que aprendemos aquando do projecto ApaL. Os aspectos mais importantes da treinamento estão relacionados com a organização da direção e hoje eu já consigo controlar os professores em termos de assiduidade e faço o acompanhamento do processo de ensino e aprendizado. Antes só trabalhavamos com o livro de ponto em termos de controle mais agora com o treinamento temos as fichas de controle de pontualidade e esse controle parte de mim mesmo até aos professores e temos o nosso próprio regulamento de tempo. Apenas agradecer pelo esforço feito pelo projecto,e que o projecto é bem vindo e que se pudesse se coordenar com a MINED já nos ajudava na organização das escolas porque esse pacote de assiduidade ainda é uma dor de cabeça, portanto em conjunto podiam melhorar em certos aspectos como residências para os professores e ou transporte. 2.12. O ApaL trouxe seminários que estão a valer muito para os directores. A intensidade verifica-se por parte da liderança e da gestão,os directores aprenderam como gerir e como exercer o seu papel como lider. Estive presente a partir do mês de Junho quando entrei nesta escola.Há treinamento fora e dentro do distrito e o de fora do distrito é que apresentaram um pouco de dificuldade no âmbito de transporte. Foi relevante.Os aspectos mais importantes foram o estabelecimento na gestão e liderança.Agora como o resultado do treinamento melhorei muito no âmbito de gestão de trabalho e recursos humanos e houve também troca de experiência que esta a ter sucesso.Sugeriria que houvesse mais treinamento para os directores e mais material para o treinamento. 2.13. No projecto do ApaL, aprendemos a controlar o tempo, assiduidade dos professores e alunos e ainda a conservação dos materias.O treinamento foi intenso e eu participei em todas as sessões de treinamento. Problemas que tivemos foi mais da conservação todos materias. O treinamento recebido foi relevante pois aprendemos a lhe dar com o conselho de escola. Um dos aspectos que pude aproveitar pois um director deve saber ser lider. Um gestor é aquele que sabe ser lider, hoje eu não trabalho sozinho mas sim em equipe. Recomendo que haja mais seminários e treinamentos. 2.14. Houve bastante diferença sim por exemplo, nos como gestores devemos planificar bem as nossas actividades semanais e mensais,enquanto com o MINED so se planificava anualmente,temos também o documento do horário de controle do horário dos alunos e prefessores também.E no ambito da leitura involvemos os encarregados de educação também a incentivarem os alunos na leitura que não é somente feita na escola mas também nas suas casas. Nós também tivemos uma forte capacitação onde tivemos 8 sessões e também seminários. Estive presente em todas as sessões sim, tivemos como problemas verificados ao longo do treinamento, naõ temos fichas de controlo de horario e não temos um fundo para reproduzir sempre essas fichas. Foi relevante sim no âmbito da gestão escolar.Os principais aspectos mais importantes que melhoraram o desempenho dos professores são o gestão escolar, como gerir os recursos humanos existentes. Agora já faço meus planos mensais ja que antigamente so fazia anuais e controlo dos horarios através das fichas e controle do material disponivel aos alunos e professores. Sugiro que haja mais formações e capacitações em termos de gestão escolar para garantir o bom funcionamento da própria escola. 2.15. O ApaL treouxe muita mudanca no âmbito de gestão didactica e dos espacos. O MINED oferecia apenas curso modelares e agora com ApaL os cursos sao regulares.Com o aparecimento dele houve maior infoque para a gestão do tempo e criou uma dinâmica nove em todos aspectos e houve muitas melhorias. A intensidade foi boa e era quinzelanal,eu não estive presente pois assumi a direcao apartir do mes de junho. Durante o treinamento os problemas que tivemos foi a fraca participacao e o envolvimento da comunidade pois existiram conflitos. Foi uma mais valia pra mim, como director e que a planificação era anual e trimestral e hoje e mais uma planificao diaria. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 121 Agora tenho balisas para actuar como director, pois antigamente não havia sustento na minha actuação. Bom, gostavamos que houvesse um seminário ou material na área de gestão de conflitos, e técnicas na tomada de decisões. 2.16. Penso que o MINED sempre fez o que pode dai o projecto ApaL veio acrescer as exigencias do dia a dia, tinha dificuldades em entender a área de gestão mas depois do treinamento tive mas fácilidade.O treinamento foi intensivo, tivemos 9 sessões e tinhamos por ai 3 a 4h de tempo de treinamento.Estive ausente em duas sessões por motivos de saúde mas pude delegar um outro colega para participar. Problemas como tal não tivemos. O treinamento foi relevante mesmo e gostavamos que houvesse mais reforçoos na parte de gestão. Aspecto importantes foram quanto as inovacoes na área de gestão, no uso das fichas de controlo na área pedagogica. Bom, agora tenho planificado mais as actividades e tenho tido grandes progressos na área de gestão. Gostavamos que houvessem mas capacitações na área de GRH e aumento de incentivos. 2.17. Em relacao ao nosso treinamento ajudou os directores a fazerm os seu planos diarios,semanais e anuais,criacao bde novos metodos de controlo de assiduidade de frequência dos professores e bem como dos alunos.O treinamento foi intensivo e iniciava das 8h as 13h,não estive presente em todas sessões de treinamento.Não houveram problemas pois todos estavam animados com a formação.O treinamento foi relevante pois perante o programa de ensino e aprendizagem ja estou em altura de ver o que e certo e errado.O treinamento melhorou as minha habilidades pois hoje melhorei nos aspecto referentes a convivencia com os professores e alunos no dia a dia.Os professores melhoraram bastante nos metodos de ensino e aprendizagem.Gostariamos que o treinamento houvesse mas vezes. 2.18. O ApaL tem ajudado no que diz respeito a gestão das escolas,o controlo de asssiduidade e frequência dos professores. Este projecto abrangi aos alunos, professores e directores e isso e que e importante. Eu estive presente em todas as sessões e foram muito intensivas. Os problemas que tivemos logo a priori foi a questão dos atrasos de chegada a hora dos treinamentos e acabavam chegando tarde. O treinamento recebido foi relevante sim. Os aspectos mais importantes do treinamento foi quanto ao horário escolar e tem se tornardo permante, porque viamos que ainda não se cumpria na integridade em todas as escola.Tenho feito revisoes das licoes dadas e procuro implementar.Sugerimos que o treinamento seja intensivo pois quando acabam ficando sem eles podem ganhar preguiça. 2.19. O ApaL veio ajudar no conceito e quesito de gestão a entender e a superar as dificuldades que tinha nesse âmbito,foi um treinamento de uma mais valia para todos.O treinamento foi muito intenso, porque não era fácil ter que sair de casa às 7h e só voltar às 17h mas aceitamos de bom grado e com muita garra.Os problemas que enfrentamos foram mais no que diz respeito a noções de como fixar os assuntos ao publico e apresentar o meu plano diario,semanal e mensal e expor ao colegas para que possam se informar do que são as minhas actividades,o treinamento foi relevante para mim sim. Ajudou-me a saber lidar com os meus colegas, com a comunidade e alunos e saber ouvir as opiniões dos outros. Depois do treinamento com o que aprendi estou masis exigente, querendo ver os professores a porem em pratica tudo o que aprenderam e mostrar a transparência em todos aspectos. Sugiro que haja mais treinamentos, debates e conselho na administração dos assuntos da escola. 2.20. O ApaL deu nos a oportunidade do treinamento de gestão escolar, agenda diaria e plano de desenvolvimento o que o MINED não havia nos dado. Houve muita intensidade e estive presente em todas as sessões de treinamento.Não enfrentamos problemas que possam ter colocado em causa o treinamento.O treinamento foi relevante sim,o aspecto mais importante do treinamento tem haver com o aprendizado de gestão,da assiduidade e controlo de frequências.Como resultado do treinamento e o controlo da assiduidade,planificação das actividades e da agenda. Que haja mais treinamentos intensivos. 2.21. O ApaL ajudou no que diz respeito a gestão das escola,como planificarmos as actividades,a organização do proprio director e demais. O treinamento foi muito intenso e tinha como inicio das 8h às 12 ou 13h,não estive presente em todas as sessões pois não primeira não pude participar por motivos de doença e havia operado,mas as restantes estive presente. Não tivemos problemas apenas questões organizacionais mas foi resolvido tudo o mais rápido. O treinamento foi bastante relevante pois eu como director ja devia ter essas informacoe para a melhoria da organização e gestão da escola. Agora tenho melhorado bastante no que diz respeito a organização da USAID/Aprender a Ler Impact Evaluation: Midline Report Page 122 escola,dos professores e alunos,tenho planificado melhor as actividades e procuro me informar de tudo a nivel da escola. 2.22. O ApaL deu nos a chance de melhorarmos os nossos metodos de gestão dentro das nossas escolas a execucao dos planos de accao e mudanca nos comportamentos de todos intervenientes das escola. Pude participar do treinamento e foi muito intensivo.Não houve problemas que enfrentamos. O treinamento foi relevante sim porque depois dele pude colocar em pratica tudo para o melhoramento do ensino. O treinamento ajudou a planificar as nossas actividades,no cumprimento do horario e do tempo alocado nas salas de aulas. Agora tenho controlado a presenca do professor na sala de aulas, controla a chegada e a saida do professor e acima de tudo a pontualidade.Gostavamos que este processo de treinamento seja contínuo e melhoramento de conservação da conservação dos materiais. 2.23. O Projecto ApaL veio nos ensinar que as planificaçõe das nossas actividades não devem ser só anuais mas diarias, semanais e mensais.Ensinou nos como gerir as nossas escolas e os possiveis conflitos que possam existir.O nosso treinamento foi intenso e tivemos 8 sessões e participei em todas elas. Não tivemos problemas ao que me recordo.O treinamento foi relevante pois melhorou o meu trabalho. Ao em vez de trabalhar so devia trabalhar em conjunto e melhorei bastante nesses aspectos.Em resultado dos ensinamentos do projecto ApaL tenho feito plano mensal que e dele onde estraio o plano diario,planificar melhor as actividades em conjunto.Sugiro que o treinamento seja abrangente a todos os directores das escolas. 2.24. Ha mudanças na execução das suas tarefas, ele consegui gerir e executar melhor as suas tarefas. Houveram muitas sessões,quase a mesma carga horaria com a dos professores.Estive quase presente em todas as sessões excepto um dia em que estive doente. Quando alguem lida com coisas novas sempre há dificuldades mas com ajuda dos fácilitadores superou-se tudo.O treinamento recebido foi relevante mesmo,ajuda bem no trabalho pedagogico.Os aspectos mas relevantes tem haver com a melhoria dos nossos servicos,ja não trabalhamos como antes e planificamos melhor as nossas tarefas. O que faço agora é que consigo planificar as minhas actividades porque ali fomos orientados a seguir algumas regras que antes não estavam bem delineadas, mas agora programo melhor as minhas actividades. Sugeria que continuassem com as formações, assistências e mais material. 2.25. O ApaL veio acrescentar os conhecimentos na área de gestão aos directores, e na área de controlo em todas as áreas. Estive presente em todas as sessões de treinamento e foram sessões intensas. Não tivemos problemas a referenciar.O treinamento recebido foi relevante sim porque nos dantes assistiamos as aulas com um guiao que não nos favorecia.Os aspectos importantes no treinamento foram a implementacao do que nos foi ensinado com relacao a leitura das letras,o som que se imite e o uso da linguagem mas simples para que o aluno assimile com fácilidade o que lhe foi passado.Depois do treinamento tenho dado assistência aos professores com dificuldades na emplementacao do que lhe foi ensinado.Sugerimos mais treinamentos e capacitaçãoes contnuas. 2.26. Aos directores houve um trabalho intenso no ambito da gestão,´como organizar as suas actividades e como planifica-las. Estive presente em todas as sessões e tivemos 9 sessões bem intensa que tinham inicio das 8h ate às 14h.Tivemos problemas de alguns constragimentos de atrasos dos outros colegas. O treinamento recebido foi relevante as suas necessidades em relação ao melhoramento do ensino e assimilacao da materia do aluno. O aspecto mais importante para mim é em relacao a gestão da escola. Agora tenho feito assistências aos professores, palestras e maior controlo de frequência dos alunos e professores gracas ao treinamento que tive. Sugiro que haja mais treinamentos e que chegue a mais escolas e directores. 2.27. Com a chegada do ApaL fazemos encontros constantes que antes só faziamos trimestralmente. Este treinamento foi intenso.Não estive presente em todas as sessões devida a minha saúde. Não constatamos nenhum problema só apenas o constragimento do subsídio. Para mim o treinamento foi relevante pois pude melhorar no controlo,na planificação e execucao dos planos no tempo previsto.Sugiro que estes treinamentos sejam contínuos ou pelo menos possamos ter reciclagens do que aprendemos. 2.28. O ApaL trouxe muita coisa nova porque não sabiamos que tinhamos que ter um plano de melhoramento de leitura, e a própria gestão escolar que deve ser totalmente participativa envolvendo tanto os directores como os professores. A intensidade foi boa porque os temas eram e interessantes bem como a sua durabilidade. Sim participei em todas as sessões. Durante o treinamento as dificuldades enfrentadas eram acatar as modalidades USAID/Aprender a Ler Impact Evaluation: Midline Report Page 123 trazidas pelo ApaL. Foi muito relevante o treinamento recebido.Os aspectos mais importantes do treinamento falo da gestão escolar,concretamente a avaliação e o apoio ao professor.Agora com o treinamento ja faço a produção do material.A sugestão que deixo é que podiam incluir num dos treinamentos o presedante da LEG. 2.29. De princípio para os directores não foi uma matéria nova, mas foi um reforço daquilo que nós não faziamos,como planos de aulas e gestão da escola. A intensidade do treinamento dos directores, foi num periodo de Maio para cá, mas não posso definir um numero exacto. Estive presente em todas as sessões. O grande probema foi o envolvimento do conselho de escola porque por mais que sejam convocados não participam. O treinamento foi relevante, porque aprendi coisas novas. Dizer que todo treinamento foi importante para mim, e agora como resultado do treinamento eu faço planos semanal e diário. Para melhorar ainda mais esta componente gostaria que repetissem próximo ano e que haja uma supervisão mensal para os directores. Questão # 3: Quais os materiais recebidos pela escola directamente fornecidos pela ApaL? 3.1. O material que recebemos do ApaL para 2ª classe foram livros como: EU SEI DESENHAR, EMA VAI A ESCOLA, EU PINTO, EU POSSO FAZER ISTO, AVENTURAS COM LETRAS E PALAVRAS ALFABÉTICAS, e para 3ª classe recebemos: EU GOSTO MUITO DAS ÁRVORES, NÃO ASSUSTE AS COBRAS, NÃO SEI FAZER COMO O PROFESSOR, TIC TAC,AVENTURAS COM PALAFRAS E FRASES, para alem das caixas para conservação e dísticos. Sim vieram,são suficientes. Para 2ª classe não ha problemas só para 3ª classe porque vieram livros do MINED para os alunos que não tem concordância com os livros do professor. Bom é satisfatório. Os professores comentam que se o MINED tivesse um acordo com ApaL os livros de português do aluno teria uma concordância com o do professor.O ApaL trouxe dísticos e quadros silábicos para esta escola. Eu sugiro que dentro das possibilidades o ApaL aumentasse o material porque cada ano o gráfico da intensidade de alunos sobe para que não faltem livros para os alunos. 3.2. Do ApaL recebemos 1 dístico,3 arquivos reflectores do professor,1 caixa de chiples de 100,46 gravuras,153 provinhas de 10m e diversos livros como: EU PINTO, EMA VAI A ESCOLA, EU SEI FAZER ISTO, EU SEI DESENHAR, AS AVENTURAS COM LETRAS E PALAVRAS,EU GOSTO MUITO DAS ÁRVORES, NÃO ASSUSTES AS COBRAS,TIC TAC,EU SEI FAZER COMO O PROFESSOR,AS AVENTURAS COM PALAVRAS E FRASES. O material não foi suficiente. O material ajuda durante as aulas e faz com que tenham um avanço no aprendizado.A qualidade é muito satisfatório. Os professores não comentaram nada. O ApaL trouxe os dísticos,gravuras e provinhas. Como sugestão gostaria que acrescentassem mais materias que chegue para cada aluno em cada turma. 3.3. Do ApaL recebemos livros da 2ª e 3ª classes, dísticos do alfabeto, imagens com gravuras e malas para conservação deste material. O material não é suficiente. Há um pouco de coincidência do material do MINED e ApaL. A qualidade do material como uma fase inicial é satisfatória. Com relação ao material os professores comentam o facto de estarem em número reduzido. O ApaL trouxe livrinhos,dísticos,gravuras com seu próprio nome. melhorar gostaria de insentivar na produção de material didático. 3.4. Do ApaL recebemos livrinhos com imagens e frases para interpretar as imagens, postais de letras,dísticos e caixas para conservação do material. Os materiais, como as aulas de leitura não são para todas turmas na mesma hora,são alternadas os professores vão trocando de livros e sendo assim o material acaba sendo suficiente.Há concordância do material do MINED como do ApaL. Os professores não teceram nenhum comentário acerca do material, apenas há concorrência de certos livros,como A EMA VAI A ESCOLA que segundo eles tem frases completas. O ApaL trouxe de novo o jogo de letras, introdução de quadros silábicos e o uso de som de letras. sugestões sâo de melhorar mais a componente de letra nos livros, mais frases e livros em quantidades superiores para facilitar o ensino das crianças. 3.5. Do ApaL a escola recebeu livrinhos em quantidades suficientes, dísticos e cartazes em números insuficientes, quadro de prega.São relevantes porque estes livrinhos são complementares no processo de ensino.A qualidade do material é muito satisfatória. Ainda não ouvi nenhum comentário dos professores.O material recebido do ApaL USAID/Aprender a Ler Impact Evaluation: Midline Report Page 124 que anteriormente não havia é o dístico e cartazes. Em relação aos materiais recebidos podiam aumentar mais os cartazes e outros meios didáticos para motivar mais as crianças. 3.6. Do ApaL recebemos livrinhos, postais, dísticos e caixas para conservar material.Para os professores o material foi suficiente mas para o aluno não. O material recebido vai de acordo com o que foi desenhado pelo MINED, basta conhecer o sistema nacional por causa do novo curriculo. A qualidade do matérial é satisfatória embora em pouca quantidade. Os professores conmentam que os temas devem vir consoante os livrinhos. Recebemos livrinhos, postais e dísticos. Para melhorar esta componente do material,os livrinhos devem ser suficientes para todos os alunos. 3.7. Do projecto ApaL recebemos livrinhos que vem em temas diversos. O número é suficiente porque a maneira de utilização destes livros não é simultânea. O material que recebemos do ApaL tem relação com o curriculo desenhado pelo MINED.A qualidade é satisfatória.Os professores só comentam a cerca da carga horária,que especificassem o tempo para se usar este ou aquele livro,isto é, do MINED e do ApaL. O ApaL trouxe livrinhos, pastas de arquivos, algum material didático como: cartazes de imagens,quadros de grelha e os baldinhos onde conservamos os livrinhos. Para melhorar gostaria que nos dessem material para conservação de material didático. 3.8. Do ApaL recebemos dísticos, gravuras,clipes,livrinhos,caixas para conservar livros e sacos de pregação.O material não veio em número suficiente,mas a escola não tem muitas turmas do projecto por isso dá para manusear.O material que recebemos do ApaL é compativel ao material obtido pela MINED.A qualidade dos materiais é satisfatório.Os professores comentavam acerca do novo material recebida que lhes dava muito trabalho.De novo o ApaL trouxe para escola os distícos. Nós gostariamos que de ter mais material de manuseamento de certas aulas práticas. 3.9. Do ApaL recebemos diferentes livrinhos, cartazes,postais,exemplares de quadros de pregas,malas para conservação de livros e manuais. Os materiais que recebemos não foram suficientes nem para os alunos, nem para os professores e ou escola.Em relação a relevância dos materiais recebedos do projecto estão enquadrados no curriculo do MINED. A qualidade dos materiais é satisfatória. Os professores comentam que os manuais são muito bem feitos e os programas bem especificados. O ApaL trouxe para escola os cartazes, novos livros de leitura e cartazes. Para mim seria bom que aumentassem a quantidade de materiais e na introdução das letras podiamos ter cartazes. 3.10. Os materiais fornecidos pelo ApaL foram arquivos, dísticos,diferentes tipos de livrinhos,imagens e cordas.O material não é suficiente para alunos,mais para professores sim. O material é relevante porque este material veio complementar o que o MINED desenhou e não conseguiu cumprir.A qualidade dos materiais é satisfatória sim.Os professores comentam acerca da insuficiência do material.O material que recebemos do ApaL que anteriormente não existiam na escola foram: imagens,dísticos e quadros de pregas. Gostaria que o ApaL nos ajudasse em termos de material e revisse a falta de recursos financeiros na escola. 3.11. Os materiais proporcionados pelo ApaL foram arquivos para guardar os documentos, material que é o guião para o processo de ensino e aprendizagem,dísticos,cartazes, livrinhos ekites para conservar este material .Os materiais não foram suficientes para os destinatários,o número de alunos é maior que os livros em particular na 2ª classe. O material fornecido pelo ApaL está relacionado com o curriculo do MINED e o próprio guião do professor vindo do ApaL coincide com o programa do MINED. A qualidade dos materiais é satisfatória sim.Não houve comentários,talvés da insuficiência do material.Do ApaL que anteriormente não tinhamos recebemos kits para conservar material,arquivos. Para melhorar nesta componente gostaria que tivessemos brochuras que acompanhassem os livrinhos e reduzir o número destes livrinhos porque estes têm o mesmo conteúdo. 3.12. O material fornecido pelo ApaL para esta escola temos arquivos dos directores,pedagogicos e professores,livrinhos,dísticos e algumas fotografias de imagem para leitura. Os materiais foram suficientes para os professores, mas para as crianças envolvidas no projecto não foram suficientes. Há uma concordância do material recebido do ApaL com o curriculo desenhado do MINED.A qualidade do material é satisfatória. Os professores comentam que a escola não tem condições para conservar os materiais. Do ApaL a escola recebeu como novo: dísticos, com imagens e letras que fácilitam o processo de leitura das crianças. Sugiro que houvesse mais material tanto para os alunos como para os professores. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 125 3.13. Recebemos kits, livrinhos,gravuras,dísticos e clips, vieram em número suficiente.E relevante pois no Material que obtivemos do ApaL tem materia que no material do MINED não tem e assim simplifica o aprendizado dos alunos. Este material tem boa qualidade. Os professores louvaram a ideia do projecto pois aprenderam bastante e melhoraram no ensino.Recebemos dísticos enquanto so tinhamos quadros silabicos e não era fácil ensinar o aluno com ele. Gostavamos que pudessemos ter ajuda em material didactico e reforçasse se material do aluno,por exemplo, lapis, borrachas e mais. 3.14. O material disponibilizado pela ApaL e uma parte do material didactico,livrinhos da 2 e 3 classe,2 dísticos,gravuras,2 kits da conservação do material didactico e clips.Os materiais foram suficientes. O material disponibilizado pelo ApaL dentro do curriculo do MINED e relevante pois ajuda no dominio da leitura dos alunos.tem boa qualidade sim. Em relação a chegada do material os professores ficaram motivados. O ApaL trouxe nos dísticos,gravuras que não recebemos do MINED. Sugiro que se acrescente mais materiais de leitura, quadros, mapas, giz e muito mais materiais que nos ajudem na leitura. 3.15. Recebemos livrinhos, gravuras, dísticos,baldes para conservar os materiais e clips. Foram suficientes sim.O material traz um sustento para o curriculo do MINED, faltavam alguns elementos pra completar no ensino, há novos metodos e esses materiais levam o aluno a aprender, tiramo lo do abstracto para o concreto.A qualidade foi muito satisfatória, quanto aos comentários dos professores foram benovolentes e louvam o projecto. 3.16. Em termos do projecto do ApaL recebemos livrinhos, dísticos, clips e kits para colocar o material,os materiais não vieram em numero suficiente.Os materiais recebidos do ApaL foram muito relevante pois as criancas tem mais vantagens de apendizagem.Os materiais foram satisfatórios,os comentários foram bons e de boa qualidade e de fácil percepçao. Recebemos do ApaL dísticos e gravuras que não existiam anteriormente. Gostavamos que houvessem mais materiais para melhor processo de ensino e aprendizagem. 3.17. Recebemos do ApaL, dísticos,os cartoes de letras com figuras, livrinhos de diversos titulos,kits para a conservação do material,arquivos para conservar os resultados dos alunos e gravuras. Os materiais foram razoavelmente suficientes e conseguimos usar.Para o curriculo e relevante pois nos conduz a um sentido positivo que e aquilo que e desejavel pelo MINED e pelos encarregados de educação instruindo os alunos de uma maneira boa e sadia. Os professores receberam de bom grado o projecto,recebemos do ApaL que não tinhamos anteriomente os dísticos,gravuras,cartoes de letras e figuras e livrinhos de diversos titulos.Sao materiais de boa qualidade. Para melhorar o ensino,pedimos mais dísticos e mais materiais de ensino ao aluno. 3.18. Recebemos do ApaL livrinhos, dísticos que contem o alfabeto e cartazes que tem as letras do alfabeto que os alunos tem usado para a formação de palavras. Os materias não foram suficientes,mas por exemplo, no meio de três crianças é possivel haver um livrinho,dísticos sao usados somente na sala de aula. O material do ApaL está interligadao aos materiais do MINED,pois ajuda na percebcao dos alunos. A qualidade do material é satisfatória. Não tinhamos livrinhos que muito nos ajudam nos sons e pronuciamentos das letras do alfabeto. Gostavamos de apelar para o aumento de mais materiais de aprendizagem, aumento de dísticos que tem feito falta nas nossas salas de aulas. 3.19. Recebemos dísticos, livrinhos com vários títulos e os professores receberam manuais do professor e guia dos mesmos.Os materiais para professores foram suficientes ,mas quanto aos alunos não foram suficientes e por isso que não era possivel que cada aluno tivesse um livro para si. Aqueles temas trazem consigo visoes futura e quando materializa com o professor na sala de aulas ha um consenso e entendimento. A qualidade dos materiais e satisfatória, em relação aos comentários dos professores eles louvaram o projecto. Recebemos os dísticos,livrinhos e gravuras. Esperamos que acrescentem os materiais para os alunos. 3.20. Recebemos do ApaL livrinhos de varios titulos,dísticos,clips,gravuras,caixas de conservação e letras do alfabeto. Os materiais não foram suficientes para abrangir todas as criancas mas consoante o metodo usado pra leitura conseguimos avancar. O material recebido e de grande relevancia pois nos livros de leitura ha imagens ilustradas e ajuda no intersse do aluno na leitura e vai de acordo com o curriculo desenhado pelo MINED e ha concordância. material tem uma qualidade satisfatoria.Os professores comentaram que o projecto e bom so lamentaram o facto do material ser em poucos quantidades. Recebemos do ApaL livrinhos,dísticos e gravuras que USAID/Aprender a Ler Impact Evaluation: Midline Report Page 126 não tinhamos anteriormente. Gostavamos que podessem se criar mas materiais de conservação dos livros e aumentar os livros também. 3.21. Nós recebemos do ApaL kits,dísticos,livrinhos de varios titulos e gravuras,mas ele não e suficiente era importante reforcar mais os materiais. o curriculo desenhado pelo MINED o material do ApaL tem uma grande concordancia pois veio fácilitar a leitura nos alunos.O material tem boa qualidade satisfatoria sim. Os professores tem comentado do material que não e suficiente e que por vezes acaba atrasando o desempenho dos alunos. Recebemos do ApaL dísticos, livrinhos de apoio e kits que não tinhamos antes. Pedimos os materiais a tempo e hora e em maior quantidade. 3.22. Recebemos do ApaL um dístico letreiro, gravuras,clips,kits,arquivos,livrinho e planos de aulas. Os materiais não vieram de forma proporcional, mas conseguimos gerir na medida do possivel. O material impulsiona os alunos de modo a intensificar a leitura. A qualidade e satisfatória.Temos recebidos elogios quanto ao projecto e material do ApaL. Antes não tinhamos livrinhos, gravuras e dísticos de leitura. Gostariamos que acrescentassem os materiais. 3.23. Recebemos do ApaL aqui nesta escola os seguintes materiais,dísticos,gravuras,livrinhos e kits.Os materiais vieram em numero consideravel embora não suficientes a todos. Os materiais foram relevantes pois ajudaram os professores como os alunos nas pronucias e no melhoramento da leitura.Os materiais têm uma boa qualidade sim. Os professores notaram que o treinamento foi importante para o uso desses materiais. Recebemos do ApaL dísticos, gravuras e livrinhos que não tinhamos anteriormente. Gostariamos que nos fornecessem mais ajuda para a conservação dos materiais. 3.24. Recebi 2 dísticos,uma caixa de clips,46 cartões de gravura, programa de recurso a leitura,5 livros para desenhar,5 livros para pintar,10 livros se aventuras na leitura,10 livros do alfabeto. Os materiais não vieram em número suficiente para os professores e alunos. Tem muita relevancia nos materiais pois para alem do material vindo do MINED ha partes onde encaixamos o materiasl vindo do ApaL e insentiva bastante fácilitando para que o aluno crie interesse nas aulas,ha concordancia no curriculo desenhado pelo MINED sim. Em termo de qualidade do material é satisfatorio sim. Os professores comentam de uma maneira positiva e louvam a iniciativa do ApaL . O ApaL trouxe muitos materias que nos faziam falta, por exemplo não tinhamos dísticos,gravuras,livrinhos,etc porque o MINED não dava esse material. Sugiro para que se enriqueca mais o material e se houver oportunidade de produzir mais material. 3.25. Recebemos do ApaL arquivos,livrinhos,uma agulha para fazer o quadro de pregas,dísticos e gravuras.Os materiais não foram suficientes e isso obriga os alunos a sentarem em grupo para poderem acompanhar todos juntos.Oferecem nos ferramentas para o professor poder leccionar melhor. O que se trata no ApaL e o que o MINED luta também,então os dois estão em concordância. A qualidade dos materiais é satifatoria. Eles estão satisfeitos com os materiais e o treinamento. Recebemos do ApaL ,dísticos,guiao de professores,livrinhos e arquivos. Pedimos materiais em quantidades suficientes. 3.26. Recebemos mapas do abecedario, clips,kits, gravuras e livrinhos. Estes recebidos foram suficientes para todos.Esse material recebido do ApaL com o material do MINED ha concordancia. O material oferecido pelo ApaL tem boa qualidade e satisfatória. Os professores apelam que das próximas vezes o material do ApaL chegue logo no princípio do ano para que o aproveitamento dos alunos melhore ainda mais. Recebemos do ApaL gravura e livrinhos que não tinhamos antes. Sugiro que haja disponibilidade de mais materiais para os alunos e professores. 3.27. Recebemos do ApaL livrinhos, gravuras,balde de conservação dos materiais e dísticos.Não foram suficientes para todos mas como os alunos sao muitos vao sentando dois a dois.Dos materiais tanto como do ApaL e do MINED ha concordancia de ambos pois complementam se. A qualidade dos materiais é satisfatória sim. Eles estão de acordo com a disponibilidade do material pois lhe ajuda no ensino.O ApaL trouxe de novo gravuras e livrinhos. Gostavamos que o material viesse em quantidades que cheguem a todos os alunos. 3.28. Do ApaL recebemos dísticos, cartazes e livrinhos. Os materiais não foram suficientes para o número de turmas que temos.A relevância foi enorme porque acabou ajudando o professor a trazer o aluno á realidade e há uma concordância em termos de material recebido com o curriculo desenhado pelo MINED,com exceçãoo da 3ª USAID/Aprender a Ler Impact Evaluation: Midline Report Page 127 classe.A qualidade dos materiais é satisfatória. O ApaL trouxe de novo os dísticos,algumas gravuras e os livrinhos interessantes com histórias bonitas. Os professores comentaram que os materiais foram bem vindos sendo que a escola não dispunha do material suficiente. Sugiro que os materiais fossem bem fabricados. 3.29. Os materias proporcionados pelo ApaL e recebidos pela escola foram: livrinhos, dísticos,gravuras,pastas de arquivos,kits e outros materiais como fichas de assistência e controle de material.Tendo em conta que temos poucos alunos o material foi suficiente em algumas classes,e para os professores tem material. É positiva porque com os livros do ApaL e MINED eles seguem uma sequência porque há concordância dos livros do ApaL com o curriculo do MINED. A qualidade é satisfatória. Para os professores o material foi bem vindo porque é mais um livrinho para os alunos aprenderem. Do ApaL recebemos livrinhos e dísticos como material novo para a escola. Sugiro que aumentassem mais os livrinhos para que cheguem para cada aluno e os dísticos. Questão # 4: Descreva o que esta escola recebeu do MINED no ano de 2013 até este momento - treinamento, materiais, etc. Foi o mesmo que foi recebido em 2012? Quais as diferenças? Por estar participando no projeto ApaL, a escolar deixou de receber recursos do MINED? Recebeu menos recursos? 4.1. Do MINED, neste ano de 2013 a escola recebeu o livro da caixa escolar de todas as classes e o ADE. O material que recebemos este ano foi o mesmo que recebemos em 2012 como reforço. Não existe grande diferença de material sendo esta escola pequena.A escola não dexou de receber recursos do MINED e nem recebeu poucos por estar a participar do projecto ApaL. Bom para terminar eu gostaria que o livro de português em particular devia ser único,existir uma concordância entre o MINED e o ApaL. 4.2. Do MINED a escola recebeu no ano de 2013, um orçamento do ADE,cujo valor oscila de 46.000,00 onde compramos material necessario para a escola. Em 2012 recebemos um valor menor que o 2013,mas tivemos formação em 2012 e não em 2013. Por estar a participar do projecto ApaL a escola não deixou de receber recursos do MINED,e os recursor são os mesmos.Agradeço por este projecto em si, e que desse continuidade porque o ensino precisa de mais entrega e mudança por parte dos professores. 4.3. Do MINED a escola recebeu livros de todos os cilclos e o ADE. O material que a escola recebeu não foi o mesmo que 2012,este ano foi em maior número. Este ano não houve treinamento por parte do MINED. Por estar a participar do projecto a escola não deixou de receber recursos do MINED e nem em número reduzido. Gostaria de agradecer pelo projecto,pois trouxe avanços positivos para a escola e acho que os professores bem com os directores deviam ter certificados de participação. 4.4. Do MINED esta escola recebeu no ano de 2013 livros de várias disciplinas e várias classes embora não sejam em quantidades elevadas. O material que recebemos foi o mesmo que recebemos em 2012 para as primeiras classes e recebemos novos livros para a 3ª e 6ª classes,mas os professores não tiveram capacitação para lidar com estes novos livros. A escola não deixou de receber recursos provenientes do MINED e nem recebeu em número reduzido. Para fechar gostaria que o treinamento dos professores e dos directores fosse contínuo,principalmente nas primeiras classes para que o professor acompanhe os seus alunos. 4.5. Esta escola recebeu do MINED no ano de 2013 livros escolares insuficientes da 1ª a 5ª classes e suficientes da 6ª a 7ª classes e o fundo da ADE, e este ano não tivemos treinamento. Com relação ao material não há diferença do que recebemos em 2012. Por estar a participar do projecto ApaL a escola não deixou de receber materiais,e o ADE só recebemos uma vez este ano diferente dos anos passados que recebiamos duas vezes. 4.6. Recebemos do MINED em 2013 livros de leitura de português e a capacitação geral. O material que recebemos este ano foi mair que o que recebemos em 2012. A escola não deixou de receber recursos do MINED e nem recebemos menos por estar a participar deste projecto. Para terminar gostaria que o treinamento fosse abrangente porque muitos professores não tem nenhuma formação pedagógica. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 128 4.7. Do MINED, esta escola recebeu este ano de 2013 livros do aluno da 1ª a 5ª classes e o ADE. Este material não veio em mesma quantidade que em 2012, sendo nós recebemos os livros consoante o número de alunos nas primeiras classes. A escola não deixou de receber recursos do MINED por estar a participar do projecto ApaL e nem em menor número. Gostaria que revissem a parte do transporte para que possa motivar o professor. 4.8. Esta escola recebeu do MINED no ano de 2013 apenas livros do aluno de 1ª e 2ª classes em número suficiente, de 3ª a 7ª o material foi insuficiente e não tivemos formação este ano. O material recebido este ano foi o mesmo que recebemos em 2012 com excepção de alguns livros do novo curriculo e a diferença é que os livros do ano passado ja não servem para este ano. Este ano teve uma pequena redução dos livros para além de terem chegado muito tarde. A escola não deixou de rteceber recursos do MINED por estar a participar do projecto. Só tenho a parabenizar o projecto pelas inovações e espero que continue e venha com mais material pedagógico. 4.9. Do MINED esta escola recebeu no ano de 2013 livros de todas aas classes e o fundo do ADE, em termos de treinamento não recebemos este ano apenas organizamos seminários de capacitação á nivel da zip. A diferença de material verificou-se em termos de quantidade, porque em 2012 recebemos mais e este ano veio em menor número. A escola não deixou de receber recursos do MINED por estar a participar do projecto. 4.10. Do MINED no ano de 2013, a escola recebeu livros do aluno da 1ª a 7ª classes embora em números oscilantes. O material não foi o mesmo recebido em 2012 tanto em conteudo como em quantidade. Por estar a participar do projecto a escola não deixou de receber material do MINED. Gostaria que houvesse troca de experiência entre as diferentes escolas á nivel provincial e distrital. 4.11. Do MINED este ano de 2013 recebemos os livros do pacote escolar e o fundo do ADE,tivemos capacitações trimestrais. O material que recebemos em 2013 não tem diferença com o que recebemos em 2012 mesmo em termos de treinamento. A escola não deixou de receber recursos do MINED por estar a participar do projecto ApaL e nem recebemos poucos materiais por isso. Eu agradeço bastante por essa oportunidade,e dizer que o projecto é bem vindo,mas gostaria que esse projecto fosse expandido por diferentes escolas para que mesmo no caso de transferência quer do professor como do director,nem estes e nem a escola sejam prejudicadas. 4.12. Esta escola recebeu do MINED neste 2013 livros escolares, treinamento para os directores e seminários para os professores no fim de cada trimestre. O material que recebemos este ano é diferente do que recebemos em 2012, porque este ano houve mudança de alguns livros de algumas classes tanto em quantidade como no conteúdo. A escola não deixou de receber recursos do MINED por estar a participar do projecto ApaL, recebemos poucos recursos mas não por estar a participar do projecto. Gostaria que fossem melhoradas as condições da escola para que se possam conservar os materiais. 4.13. Recebemos do MINED somente livros do aluno e não recebemos nenhum treinamento so apenas capacitacoes a nivel da zip. Recebemos o mesmo material dos outros anos. Não deixamos de receber materiais do MINED e recebemos as mesmas quantidades. Gostavamos de ter reforcos em termos de materiais, planificações em maior parte das escolas e que os pais contribuam no ensino e aprendizagem dos alunos que não seja somente uma tarefa da escola. 4.14. Recebemos do MINED este ano livros do aluno que foram da 1 a 5 classe e não foram suficientes e giz,no que diz respeito ao treinamento não houve. Em relação ao material recebido em 2012 e a mesma quantidade não houve melhorias. Por participar no projecto ApaL o MINED não deixou de fornecer o material. Sugiro que nas proximas capacitacoes haja mas troca de informação,experiencias com outras escolas. 4.15. Recebemos do ApaL as gravuras que contem os alfabetos e os baldes para a conservação dos mesmos. Sugeriamos que se aumentasse os baldes de conse rvação para reforcar os que temos pois os materiais estão em maior número que os baldes.Em termos de treinamento não tivemos do MINED,quanto ao materias recebemos livros distribuidos no ano lectivo,e material didactico para os professores. O material e o memso0 que recebemos,não deixamos de receber nenhum material do MINED,continuamos a receber os mesmos materiais e nas mesmas quantidades. Gostavamos que o Projecto ApaL continue para que continue a propagar essas novas maneira de ensino. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 129 4.16. Recebemos do MINED livros do aluno e em número reduzido. Em 2012 recebemos mais quantidade em relação a este ano. O livro de leitura este ano veio em menor quantidade, Não deixamos de receber recursos do MINED. Sugerimos que haja material em maior quantidade,mais treinamentos para responder as necessidades do homem para que possam crescer e saber resolver os seus conflitos. Que pudessem nos ajudar nos subsidios e houvessem mais treinamentos. 4.17. Do MINED recebemos o fundo da AD, livros do aluno, giz e canetas. Nóa tivemos treinamento mas sim capacitacoes ao nivel da zip.Em 2013 houve maior defici porque ha livros que nem chegamos a receber do MINED e em relacao ao ano passado este ano houve maior defici. Não deixamos de receber recursos do MINED. Gostamos do treinamento e pedimos que se crie mas treinamentos e sugerir que não sejam somente aos sábados porque acaba sendo complicada a participacao de todos pois e no sábado que todos aproveitam para participar em outros compromissos. 4.18. Recebemos do MINED somente os livros dos alunos e recentemente recebemos o fundo do AD para nos ajuda nos resto das dispesas,treinamento como tal não tivemos mas sim capacitacoes nas zips. O material que recebemos este ano não foi suficiente, em 2012 tivemos um numero de material considerável. Não deixamos de receber recursos do MINED. Sugerimos com que haja mais capacitações para a melhoria do ensino. 4.19. Este ano recebemos do MINED livros de distribuição gratuita que nem foram suficientes e o fundo da AD,não recebemos nenhum treinamento. O material recebido em 2012 da 1 e 2 classe não tivemos queixas e no resto das outras classes tivemos alguns defici. Nos não deixamos de receber recursos do MINED. Gostavamos de ter intercâmbios com outros professores, mais capacitações e mais disponibilidade de materiais. 4.20. Recebemos do MINED no presente ano o livro escolar, giz,bolas e ajuda do fundo AD. Recebemos apenas a capacitação das zips,houve uma diferenca porque em 2012 os materiais foram mais satisfatorios. Por participarmoa do projecto ApaL não deixamos de receber recursos do MINED. 4.21. Ate o momento recebemos do MINED poucos livros que não foram suficientes. Não recebemos treinamento mas capacitacoes a nível das zips e este ano recebemos os materiais em menor quantidade que o ano passado,mas continuamos a receber recursos do MINED. Sugeriamos que o projecto continuasse para a melhoria da educação dos nossos educandos e professores. 4.22. A escoloa recebeu do MINED livros de distribuicao gratuita, quadro,giz ,apagadore e recentimente recebemos o fundo da AD. Tivemos seminários de capacitaoes.Do MINED recebemos o mesmo material e este ano tivemos em maior quantidade que o ano passado. Não deixamos de receber recursos do MINED. Para finalizar gostavamos de sugerir que o projecto continue para o melhoramento do ensino a todos os niveis. 4.23. Recebemos do MINED este ano livros gratuitos e o fundo da AD. Tivemos capacitações ao nivel da zip. Recebemos os mesmos materiais que o ano anterior em menos quantidade este ano. deixamos de receber recursos do MINED. Gostariamos que o projecto continuasse para os proximos anos e que facam mas esforcos em relacao aos materiais recebidos 4.24. O MINED alocou-nos o material de ensino como de habito,livros do aluno so0 que este ano não tivemos acesso ao programa do professor e o treinamento que oferecem sao as capacitacoes das zips. Há diferença sim no material nos livros da 3 e 5 classe de português porque nos anos anteriores o livro era outro e este ano e outro e as quantidades não sao satisfatorias porque este ano recebemos menos e não tivemos o livro de ciencias naturais da 3classe. Não alterou nada o MINED continua a dar o material normalmente não ha excepcao. Bom pra terminar, gostava de salientar que se houver mais material possam mandar pra dar cobertura aos alunos, pois ele não vem completo e torna dificil leccionar sem que ele tenha material. 4.25. A nossa escola recebeu do MINED este ano os livros gratuitos, giz,resmas e o fundo da AD. Não recebemos nenhum treinamento. Estes livros não foram em grandes quantidades e em relacao ao ano anterior foi mesmo em menor quantidade. Por estarmos no projecto o MINED não deixou de nos fornecer recursos. Gostaríamos de pedir a continuação do projecto nos outros anos e em mais escolas. USAID/Aprender a Ler Impact Evaluation: Midline Report Page 130 4.26. Recebemos apenas livros escolares que foram em numero maior em relacao ao ano passado. Este ano cada aluno tem o seu livro o que não era possivel ano passado.Tivemos diferenca dos livros de portugues da 5 classe mas foram os mesmos materiais. O MINED não deixou de nos fornecer recursos pelo facto de termos ajuda do ApaL. Neste momento penso que já sugeri tudo. 4.27. Recebemos do MINED no presente ano livros escolares, resmas,canetas,caixas de giz e ajuda do fundo AD. O material que recebemos este anos e o mesmo que recebemos no ano passado. Continuamos a receber os mesmos recursos que vinhamos recebendo do MINED. Pedimos para que as capacitações sejam contínuas e reforcem os materiais. 4.28. Do MINED no ano de 2013 tivemos capacitação e o ADE. O que recebemos em 2012 não tem muita diferença com o que recebemos este ano. O recurso é sempre o mesmo e não deixamos de receber e nem recebemos menos do MINED por estar a participar do projecto ApaL. Para terminar, agradeço pelo projecto por trazer de volta a leitura e apelo para que continue assim. 4.29. Esta escola recebeu do MINED no ano de 2013 até este momento os livros do aluno. As diferenças dos materias de 2012 para 2013 constataram-se nos livros de português da 5ª classe e 3ª classe em que houve inovação destes livros que este ano não foram suficientes. A escola não deixou de receber recursos do MINED e nem em número reduzido por estar a participar do projecto. Para terminar, dizer que o projecto foi bem vindo e estamos a fazer os possiveis para agradar o aluno e fazemos perceber a comunidade para nos ajudar por parte dos filhos e apelamos aos pais e encarregados de educação para que ajudem as crianças em casa no ensino e na conservação dos livros.