Evaluación Participativa

.... .. .. .. Manual de Evaluación Participativa del Programa . . . . . . . Involucrando a los participantes del programa en el proceso de evaluación Por: Judi Aubel Edición No. 2 Publicación conjuta de Catholic Relief Services y Child Survival Technical Support . . . .. .. .. .. .. Manual de Evaluación Participativa del Programa . . . . . . . . . Involucrando a los participantes del programa en el proceso de evaluación Por Judi Aubel Edición No. 2 Febrero 2000 La primera edición de este manual se desarolló por Catholic Relief Services bajo el apoyo financiero para aporte institucional número FAO-0801-G-00-3034-00 de la Agencia de los Estados Unidos para el Desarollo Internacional (USAID). El proyecto de Asistencia Técnica para Supervivencia Infantil (Child Survival Technical Support—CSTS) es financiada por la Oficina de Cooperación Privada y Voluntaria (Private and Voluntary Coooperation—PVC) de Respuesta Humanitaria del Buró de USAID, bajo el contracto número FAO-C-00-98-00079-00, estando a cargo de su ejecución la corporación ORC Macro de Calverton, Maryland, EE.UU. Las opiniones expresadas aquí son las de los autores, y no necesariamente reflejan las opiniones de USAID. Para más información sobre el Proyecto de Asistencia Técnica para Supervivencia Infantil, por favor, pongase en contacto con ORC Macro, Proyecto CSTS, 11785 Beltsville Drive, Calverton, Maryland 20705; (301) 572-0200, correo electrónico: [email protected]; Internet: www.macroint.com/csts . .. .. .. .. .. P R E F A C I O INTRODUCCION Las evaluaciones representan una oportunidad para que los programas o proyectos examinen la calidad de implementación de sus actividades, para medir el progreso logrado para obtener resultados y para formular las lecciones aprendidas. Desde una perspectiva más amplia las evaluaciones representan una oportunidad para determinar si las estrategias del programa funcionan o si realmente son las más apropiadas. Si bien un evaluador externo puede ofrecer una nueva visión y dimensión de la experiencia, una mejor manera de institucionalizar el uso de los datos y de la información para mejorar el proyecto, es pedir a la persona encargada de la evaluación que actúe como facilitador de la misma. Esta persona puede involucrar y enseñar tanto a los encargados de implementar el programa como a otros actores acerca del proceso de evaluación, mientras que se beneficia de sus observaciones y de su directa involucración con el programa. Los asocios se pueden fortalecer y los canales de comunicación pueden abrirse si los actores claves en todos los niveles del programa o proyecto están involucrados en un proceso participativo de evaluación. El proceso de estar involucrado se inicia con el diseño de las preguntas a ser investigadas y continúa con la recolección de datos, análisis e interpretación que conllevan a la formulación de lecciones aprendidas y no termina hasta que se formula un plan de acción para acciones futuras. A pesar de que este enfoque necesita de muchos recursos y toma el tiempo de numerosos participantes, se ha demostrado que es una experiencia de valor incalculable, si se realiza de forma estructurada y si tiene como líder a un facilitador dinámico. Un enfoque de evaluación participativo y colaborativo brinda a los socios y actores involucrados además de una experiencia práctica, una capacitación basada en experiencia sobre técnicas de monitoreo y Manual de Evaluación Participativa del Programa Francés y Español. evaluación y procesos representan el medio para llegar a un fin. Si bien las buenas técnicas de monitoreo. Se les ha incentivado a pensar en forma creativa y a ser innovadores en la resolución de problemas. Los participantes han aprendido nuevas habilidades para el monitoreo y la evaluación y se han enfrentado al desafío de examinar diferentes formas de realizarlas. Como parte de la misión del Proyecto Técnico de Apoyo de Supervivencia Infantil (CSTS) para trabajar en competencia de manejo de proyectos. estamos complacidos de colaborar con Catholic Relief Services para actualizar y expandir la primera edición de este manual y ofrecer su versión en Inglés.P R E F A C I O evaluación. La metodología de evaluación participativa desarrollada por Judi Aubel y que se presenta claramente en este manual ha sido utilizada por varios facilitadores de evaluaciones con muy buenos resultados. Sandra Bertoli Especialista en Monitoreo y Evaluación Proyecto Apoyo Técnico a Supervivencia Infantil ORC Macro Manual de Evaluación Participativa del Programa . Se ha trabajado en el empoderamiento de los actores para que discutan y compartan sus preocupaciones e ideas. también puede contribuir a la institucionalización y uso de la información para que el proyecto pueda ser mejorado por los actores locales. Invitamos a los proyectos de supervivencia infantil. El acceso y la participación por parte de las personas locales a los procesos de toma de decisiones han sido identificados como resultados que USAID busca apoyar y son considerados como fundamentales para el desarrollo sostenible. para las metas de aprendizaje continuo y para la mejora de programas y actividades la participación puede ser considerada tanto un medio como un fin. organizaciones voluntarias privadas y actores de programas de desarrollo a usar y adaptar la metodología de 20 pasos descrita en el Manual de Evaluación del Programa Participativo en la búsqueda de fortalecimiento de sus capacidades y aquellas de sus socios locales para lograr prestación de servicios sostenibles y apoyar a las comunidades menos privilegiados en todo el mundo a mejorar y sostener la salud de sus poblaciones. si es que existe una mejor forma. Bangladesh (CARE) y Sierra Leona (CRS). pero conceptualmente sólido para evaluar programas con los implementadores de los mismos. Senegal (World Vision). Su convicción respecto a que cualquier ejercicio de evaluación debe constituirse en una experiencia de aprendizaje para aquellos a cargo de la implementación de programas tiene repercusión a nivel mundial. Manual de Evaluación Participativa del Programa . Asimismo. Michael Quinn Patton. responde de alguna manera a los desafíos de Korten. Korten argumenta que tanto las instituciones como los programas necesitan desarrollar mecanismos que promocionen el "aprendizaje organizacional" continuo. Esta metodología de evaluación que tiene como meta desarrollar las destrezas de aquellos a cargo de implementar programas para analizar y aprender de sus propios programas. Dichas evaluaciones se llevaron a cabo en Burkina Faso (AFRICARE).P R E F A C I O RECONOCIMIENTOS La metodología de evaluación participativa presentada aquí. la metodología está influenciada por los recientes avances en "Rapid Rural Appraisal" (RRA) y "Participatory Research for Action" (PRA) ambos provenientes del área de competencia del desarrollo rural y por "Rapid Assessment Procedures" (RAP) proveniente de las áreas de competencia de la salud y la nutrición. India (CRS). se apoya en gran medida en el trabajo del educador norteamericano. especialista en manejo del desarrollo. Cada una de esas experiencias contribuyeron al desarrollo de un enfoque práctico. Una segunda importante influencia en el desarrollo de la metodología es el trabajo de David Korten. El manual también se basa en las experiencias que he obtenido personalmente durante el transcurso de 10 años usando la metodología participativa en evaluaciones de la comunidad y programas de salud en distritos en diferentes países. Camerún (ILO). Esta metodología de evaluación toma en cuenta muchos de los conceptos claves de RRA. Varios de sus libros están incluidos en la bibliografía y recomendamos su lectura a todos los que necesiten ampliar sus conocimientos sobre metodologías participativas y cualitativas. Senegal (ILO). Estos avances en metodologías tratan de desarrollar enfoques para recolección de datos que sean más rápidos que los métodos convencionales de investigación y que fomenten relaciones de tipo más horizontal e informal entre los evaluadores. PRA y RAP. aquellos a cargo de implementar el proyecto y los miembros de la comunidad. Nigeria (AFRICARE). Gambia (GAFNA/CRS). en idioma inglés. Fiji Islands Email: jatao@is. desde entonces la metodología ha sido mejorada basándose en la experiencia de su uso. sin embargo era sólo accesible para aquellos que hablaban inglés. con el apoyo de CRS y del Proyecto de Apoyo de Supervivencia Infantil (CSTS) administrado por Macro International.P R E F A C I O La primera edición de este manual fue publicada por "Catholic Relief Services" (CRS) en l994. Muchos administradores de programas e implementadores la han encontrado útil. de como mejorar la metodología o el manual en sí. pudimos revisar y expandir el manual y traducirlo a los idiomas francés y español. si las hubiera. MPH c/o South Pacific Commission Private Mail Bag Suva. por el hecho de que existe poco material usario-amigable sobre evaluación participativa disponible en esos idiomas.com. Judi Aubel.fj Manual de Evaluación Participativa del Programa . o en su forma modificada. En l999. Me gustaría saber de aquellos que usen esta metodología como se presenta. Agradecería me envíen copias de los informes de las evaluaciones participativas que realicen juntamente con sugerencias. PhD.. Esto ha sido un gran logro. .......................21 Paso 1: Definición de metas y objetivos de la evaluación .................... Una metodología Participativa para la Evaluación: Conceptos y Alternativas .....................41 Paso 9: Desarrollo de instrumentos para la recolección de información .......... E...1 A.....9 Procedimiento Riguroso y Proceso de Aprendizaje: Dos formas de considerar la evaluación de programas ................................................................48 Manual de Evaluación Participativa del Programa i ......................................................................................1 B............... B................ C.....3 C....13 Evaluación de resultados o evaluación de proceso? ..................................................................................................................................................................................................... ............ Propósito de este manual ........................................................................................10 Personas que deben involucrarse en la realización de una evaluación.................................................................36 Paso 7: Definición de los aspectos de la evaluación ...........22 Paso 2: Identificación de los miembros del equipo de evaluación.......9 Funciones del seguimiento y de la evaluación ........38 Paso 8: Identificación de fuentes y técnicas de recolección de información ...... ...................................................................................................................................... Glosario de términos ...................... ......27 Paso 4: Desarrollo del marco de trabajo visual del proyecto ...................................................................... C ONTENIDO Prefacio Reconocimientos Capítulo I: Introducción .....................................................................................................24 Paso 3: Planificación de los aspectos logísticos y administrativos ...................................... ............31 Paso 5: Orientación a los facilitadores del taller de planificación de la evaluación......................34 Paso 6: Organización de los participantes en torno a un grupo de trabajo ..........................18 Fase I: Reuniones de pre-planificación .....................16 Capítulo III: La planificación y la realización de una evaluación participativa ................................. Organización del manual ........................................................................33 Fase II: Taller de planificación de la evaluación ................................15 Enfoque en los problemas o lecciones aprendidas?........................ D............4 Capítulo II: A.45 Paso 10: Conclusión de muestra de lugares para la recolección de información y de personas a encuestar ................ ........................................................................72 Fase VII: Finalización........................................84 Conclusiones y advertencias relacionadas a la participación comunitaria en actividades de seguimiento y evaluación...............................................................................................................................84 ¿Qué métodos pueden ser utilizados con y para los miembros de la comunidad en actividades de seguimiento y evaluación? .......................................................50 Paso 12: Realización de entrevistas y observaciones.........................71 Paso 18: Desarrollo de un plan de acción en base a los hallazgos de la evaluación .......70 Paso 17: Resumen de los hallazgos y lecciones aprendidas de la evaluación.............................................................................50 Paso 11: Preparación de los equipos de trabajo de campo: Técnicas de recolección de información logística ......................................... recolección y análisis de la información ...............................................81 ¿Quién debe ser involucrado en actividades de seguimiento y evaluación?..........................................................................73 Paso 20: Distribución y discusión de los resultados de la evaluación con personas que colaboran con el programa................................................................................................................73 Capítulo IV: Conclusiones acerca de la Metodología Participativa ......................................82 ¿Cuándo deben ser los miembros de la comunidad involucrados en actividades de seguimiento y evaluación?...........................................................................64 Paso 15: Formulación de lecciones aprendidas para cada pregunta de la evaluación...........................................................................93 Participatory Program Evaluation Manual ii ..........77 Capítulo VI: A: B: C: D: E: Participación de las Comunidades en Actividades de Seguimiento y Evaluación ........................................................59 Paso 14: Resumen de los hallazgos del trabajo de campo.............................81 ¿Por qué involucrar a los miembros de la comunidad en actividades de evaluación?....................56 Paso 13: Análisis de la información recolectada....................................................................................................63 Fase IV: Taller para la formulación de lecciones aprendidas ...85 Capítulo VII: Otras Referencias .....................65 Paso 16: Análisis del proceso de evaluación por parte del equipo ...................................................75 Capítulo V: Advertencias sobre la Aplicación de la Metodología .............. Diseminación y Discusión del Informe de la Evaluación.............68 Fase V: Resumen de los resultados de la evaluación.......................72 Paso 19: Redacción del informe de evaluación.Fase III: Trabajo de Campo: preparación........................70 Fase VI: Desarrollo del Plan de Acción....................... . la metodología es particularmente útil para ser aplicada en evaluaciones de medio término de programas en plena ejecución. así como en el desarrollo de "las lecciones aprendidas" que pueden ser aplicadas en el futuro. utilizada aquí. Este manual describe de una manera simple y directa la forma en que los participantes del programa deben ser involucrados tanto en la planificación como en la realización de la evaluación del mismo. ONGs. los co-voluntarios del gobierno y otros socios para ser utilizado en la evaluación de proyectos y programas de desarrollo. El procedimiento de evaluación presentado aquí es particularmente relevante a la evaluación de procesos donde el objetivo es evaluar el proceso de implementación del programa. OPVs. El concepto de "metodología de evaluación participativa". Esta es una actividad muy exigente y retadora... C A P Í T U L O I Introducción A. las Organizaciones no Gubernamentales. El éxito de una evaluación participativa depende en gran medida de la experiencia y de la habilidades del coordinador de la evaluación quién es responsable del diseño y de la ejecución de la tarea. resultando ser muy efectiva. mi opinión es que la participación es efectiva solo cuando el objetivo de la participación se encuentra claramente establecido y cuando el proceso para estructurar y canalizar la participación se encuentra claramente definido. . Mientras que los procedimientos participativos son actualmente muy populares en programas de desarrollo.. Considerando estas pautas. . Esta metodología ha sido utilizada en la evaluación de programas en numerosos países. Propósito de este manual Este manual tiene el propósito de constituir una herramienta para el personal de las Organizaciones Privadas Voluntarias. La metodología de evaluación se concentra en el análisis de las actividades y estrategias del programa implementadas. implica que los implementadores del programa se encuentran activamente involucrados en todas las etapas del proceso de evaluación. La elección del procedimiento más adecuado a utilizar depende en gran medida de las metas y los objetivos de la evaluación así como de la disponibilidad de recursos humanos y materiales para las actividades.... razón por la cual la persona que actuará como Manual de Evaluación Participativa del Programa 1 . . quienes. relacionado con el adecuado entendimiento acerca del proceso.C A P Í T U L O I coordinador debe ser elegida muy cuidadosamente. También se basa en la creencia que los participantes del programa involucrados en la evaluación no solo pueden contribuir en el proceso de evaluación sino también aprender de los demás. éstos sean ampliamente compartidos. Puede tratarse de un consultor externo o de una persona perteneciente a una organización afín. en la mayoría de los casos. Sin embargo. muchos de sus conceptos y técnicas pueden ser también utilizados tanto en las evaluaciones finales de los proyectos como en el seguimiento de las actividades del programa en ejecución. Cada vez que la metodología ha sido utilizada. esto no quiere decir que la metodología sea perfecta o que su diseño sea inflexible. La actividad de compartir y aprender que se fortalece a través de la dinámica de grupo generada. Este apoyo para el procedimiento participativo constituye un elemento crítico para el éxito del ejercicio durante su realización. Tengo la esperanza de que si al utilizar esta metodología se encuentran medios para modificarla. contribuye al aprendizaje organizativo. Desde 1993. Otra clave para el éxito de una evaluación participativa es el apoyo que puedan proporcionar los gerentes del programa. Mientras la metodología presentada aquí se encuentra orientada hacia una evaluación estructurada y comprensiva de un programa en plena ejecución. También constituye un factor crítico para determinar si los resultados y recomendaciones de la evaluación han sido adoptados una vez que la evaluación ha concluido. La intervención de los participantes del programa (las personas que deciden y que utilizarán la información) durante el proceso completo de la evaluación está basada en la suposición que ésta contribuirá al logro de una mayor relevancia de la evaluación y de mayor exactitud en los resultados de la evaluación. constituyen los implemetadores del programa. fecha en que la primera Manual de Evaluación Participativa del Programa 2 . se ha visto por conveniente realizar modificaciones basadas en experiencias previas. La metodología participativa continuará evolucionando y mejorando. dependiendo dónde pueda encontrarse el candidato con la experiencia requerida. La secuencia de etapas que constituyen la metodología presentada aquí ha sido utilizada exitosamente en numerosas situaciones. simplificarla o mejorarla. Como se mencionó anteriormente el principio de la metodología presentada aquí se basa en una serie de etapas y tareas que serán realizadas por los participantes en el programa. La participación de actores comunitarios en este proceso se encuentra limitada a su intervención como encuestados durante la fase de recolección de información. Junto con la presentación de cada etapa se incluyen ilustraciones con ejemplos de lo que se hizo durante la evaluación de un proyecto de nutrición comunitario implementado por una organización cliente de Catholic Relief Services en Gambia. Mientras los miembros comunitarios puedan y deban ser involucrados en programas y actividades comunitarias de evaluación no estoy segura que es o debe ser aconsejable y posible involucrarlos en este proceso de 20 pasos. sobre quién debe ser involucrado en dicha evaluación y porqué el proceso de evaluación se concentra en la formulación de lecciones aprendidas para programaciones futuras. La metodología participativa propuesta aquí puede resultar muy efectiva. Africa Occidental. En el capítulo III se presenta la descripción de cada uno de los 20 pasos a realizar durante la planificación y el proceso de evaluación participativa. En los capítulos I y II se presentan numerosos conceptos sobre procedimientos participativos para realizar evaluaciones. sin embargo.C A P Í T U L O I edición de este manual fue publicada. El capítulo IV incluye conclusiones acerca de la utilización de la metodología participativa. Organización del manual Este manual proporciona a los lectores guías prácticas para llevar a cabo una evaluación participativa. que constituyen información preliminar para decidir en qué forma y en qué medida se debe utilizar la metodología participativa. se han incrementado las discusiones relativas a la importancia de la intervención activa de miembros comunitarios en la evaluación de sus propios programas. no resulta una tarea fácil. En el primer capítulo se presenta un glosario de términos. B. Para aquellos que están planificando realizar una evaluación de este tipo se recomienda enfáticamente que lean cuidadosamente los capítulos 1 al 5 antes de comenzar a planificar y a presupuestar la actividad. la forma en que se encontrarán innvolucrados y los resultados a alcanzar en cada etapa. determinando los actores a ser involucrados en cada etapa. titulado "involucrando actores comunitarios en actividades de seguimiento y evaluación" se discuten varios conceptos clave y herramientas simples que pueden ser utilizadas complementariamente a la metodología principal para asegurar mayor responsabilidad comunitaria en las actividades comunitarias de seguimiento y evaluación durante la ejecución. y que requiere que los participantes sean letrados. En el capítulo 4. A fin de resolver la cuestión de la intervención comunitaria en el seguimiento y la evaluación. se ha incluido un capítulo adicional en la presente edición del manual. que se lleva a cabo en un período de 3 1/2 a 4 semanas. En el II capítulo se incluye un análisis sobre cómo la evaluación participativa difiere de otros procedimientos. El éxito de la actividad Manual de Evaluación Participativa del Programa 3 . Aquí se incluye una discusión sobre actividades de Reflexión y Acción Participativa (PRA/RAP) y Aprendizaje y Acción Participativa (PLA/AAP) que pueden ser utilizadas como herramientas de seguimiento y evaluación. Preguntas cerradas: Preguntas que merecen una respuesta corta generalmente sí o no. definidos en el “mapa” del programa. encontrarán en el capítulo VII una lista de referencias prácticas fácilmente accesibles en Norte América y en Europa. A través de este procedimiento las respuestas de un individuo o de un grupo se organizan de acuerdo a categorías identificadas en las mismas respuestas a través de un proceso de identificación. Manual de Evaluación Participativa del Programa 4 . En el capítulo VI se presenta una discusión acerca de la forma en que los actores comunitarios deben ser involucrados en el seguimiento y evaluación de programas y proyectos de salud comunitaria. Estos métodos alternativos pueden ser utilizados ya sea con las comunidades o por las comunidades para complementar la recolección y análisis de la información llevada a cabo a través de la metodología comprensiva de evaluación de 20 etapas. Generalmente estas preguntas no requieren que el encuestado piense detenidamente antes de responder. En el capítulo V se enumera una serie de precauciones en el uso de la metodología participativa. No es recomendable que los miembros de la comunidad sean involucrados en la metodología de evaluación participativa de 20 etapas presentada en los capítulos anteriores. C. Análisis de contenido: El procedimiento básico para el análisis de información en investigaciones cualitativas. capacitación y evaluación participativa. En este capítulo se presentan formas alternativas en las que los miembros de la comunidad pueden participar en actividades de seguimiento y evaluación.C A P Í T U L O I depende de la planificación cuidadosa y de la disponibilidad de recursos humanos clave y otros recursos materiales. Metodología rígida (de evaluación): Una metodología vertical de arriba hacia abajo para realizar evaluaciones. Para el propósito de esta discusión estos términos han sido definidos en este breve glosario. que mide los logros del programa en referencia a sus objetivos. Glosario de Términos En este manual se utiliza un número de términos que pueden ser definidos de diferentes maneras. Para aquellos que deseen leer más sobre la recolección y análisis cualitativo de la información. por ejemplo. Evaluación de impacto: Un tipo de evaluación de programa que pretende determinar si han ocurrido cambios en los miembros del grupo meta o en sus actividades a causa de la ejecución del programa.C A P Í T U L O I Recolección de información: La recolección de información cuantitativa y/o cualitativa a través del uso de varias técnicas para responder preguntas de importancia relativas a la evaluación o al estudio. Procedimiento del proceso de aprendizaje (para la evaluación): Un procedimiento de evaluación enfocado en el desarrollo de lecciones para la implementación de programas futuros basado en el análisis de los logros y dificultades del programa. Este tipo de preguntas deben ser evitadas durante las entrevistas. Preguntas de evaluación: Preguntas acerca del programa sobre las que los participantes o los miembros del equipo de evaluación desean encontrar respuestas durante la etapa de evaluación. etc de una manera continua. Lecciones aprendidas: Basadas tanto en logros como en dificultades durante la implementación del programa identificadas en la evaluación del programa. Preguntas combinadas: Preguntas que contienen dos conceptos diferentes al mismo tiempo. Preguntas de encuesta: Las verdaderas preguntas hechas a los encuestados durante encuestas individuales o grupales. Metodología: Una serie de etapas definidas que se siguen al llevar a cabo una tarea dada. se revisa. Preguntas dirigidas: Preguntas que se formulan de tal manera que sugieren una respuesta esperada. experiencia o conocimiento. se aplica. lecciones que son desarrolladas para mejorar el programa en el futuro. Estas no deben ser confundidas con las "preguntas de encuesta". Por ejemplo. Por ejemplo "¿Qué piensa sobre la capacitación y la supervisión que recibió?". Proceso iterativo: Un proceso en espiral en el que se adquiere. una metodología de planificación del programa o una metodología de evaluación del programa. la pregunta "¿Está de acuerdo en que la capacitación ha sido bien realizada?" sugiere al encuestado que responda afirmativamente. se modifica. Manual de Evaluación Participativa del Programa 5 . Preguntas relacionadas: Preguntas que siguen a la respuesta del encuestado para obtener información adicional o más detallada. problemas. relativa a la pregunta original. en términos cuantitativos. puede incluir la recolección de algunos elementos de información cuantitativa. básicamente en términos cualitativos. las estrategias utilizadas exitosamente y su razón. organización y programa. etc. y que tiene un panorama no influenciado de los logros.C A P Í T U L O I Seguimiento: Documentación y análisis sistemático o continuo de las actividades del programa con el propósito de mejorar la manera en que las actividades están siendo implementadas. los problemas que se encontraron. Este tipo de evaluación se enfoca. sobre el número de objetivos y actividades que han sido alcanzados. de la comunidad. Estas evaluaciones pueden ser realizadas durante la ejecución del programa o al final del mismo. que refleja actitudes. Recolección de información cualitativa: La recolección de información detallada. Sin embargo. Evaluación de programa: El análisis de las estrategias. necesidades. organización o programa. Perspectiva objetiva: La perspectiva de alguien que se encuentra fuera de la comunidad. Los resultados de esta información consisten en Manual de Evaluación Participativa del Programa 6 . Muestreo específico: La determinación de una muestra de población o grupo de personas a encuestar que presenta ciertas características o conocimientos de interés al investigador o evaluador. valores o prioridades de los "involucrados" con respecto a tópicos de interés. Evaluación de los productos: Un tipo de evaluación de programa que tiene por objetivo evaluar los logros del programa en contraste con los objetivos y actividades planificadas. Este tipo de preguntas se utiliza ampliamente en la recolección de información cualitativa. Evaluación de proceso: Un tipo de evaluación de programa dirigida a tratar de entender la forma en que las actividades del programa fueron implementadas. implementación y productos de un programa con la finalidad de determinar la manera de mejorar la efectividad del programa. Preguntas abiertas: Preguntas que implican respuestas detalladas y profundas de parte de los encuestados. Las evaluaciones de proceso buscan determinar los procedimientos utilizados. El procedimiento fue desarrollado para ser utilizado en las áreas de agricultura y desarrollo rural. con la diferencia de que la PER/RAP se utiliza específicamente en proyectos de salud y nutrición. permite al investigador generalizar los hallazgos del estudio sobre la población total. aspectos sobre el conocimiento y las prácticas comunitarias. El procedimiento fue desarrollado por un grupo de antropólogos que estaban involucrados en el desarrollo de programas de salud pública. para la obtención de información sobre el conocimiento y prácticas comunitarias relacionadas a la salud y a la nutrición. en la década de 1980. La recolección de información utilizando una muestra aleatoria de la población. con la finalidad de determinar su frecuencia y magnitud. entrevistas. Es similar a la ERR/RRA. organización o programa. semi estructurada. etc. Esta información es utilizada para contrastar. registros. etc. ERR/RRA (Evaluación Rural Rápida): Un procedimiento para recolectar información a nivel de la comunidad que involucra la utilización de diversas técnicas de recolección de información destinadas a ayudar a los ejecutores de programas a comprender de manera rápida y progresiva. etc. observaciones. Manual de Evaluación Participativa del Programa 7 .C A P Í T U L O I datos descriptivos que explica patrones o tendencias en las actitudes. creencias. PER/RAP (Procedimiento de Evaluación Rápida): La utilización de técnicas de recolección de información primaria cualitativa. cuya visión acerca de los valores. en un período corto de tiempo. tales como informes. Fuentes de información secundaria: Información que es obtenida a partir de fuentes previamente existentes. Recolección de información cuantitativa: La recolección de información sucinta sobre varias variables o factores predeterminados. Perspectiva subjetiva: La perspectiva de alguien que forma parte de la comunidad. archivos. cruzar o complementar la información obtenida de manera directa a través de encuestas. Participantes: Personas que tienen relación directa en una evaluación y que son potencialmente usuarios de los resultados de la evaluación con la finalidad de tomar decisiones relacionadas a las estrategias o a la implementación del programa. Los resultados de esta recolección se presentan como números o porcentajes. Muestreo aleatorio: La determinación de una muestra de población o grupo de personas a encuestar que tiene la característica de ser representativa de la población total. Manual de Evaluación Participativa del Programa 8 . organización o programa.C A P Í T U L O I problemas y necesidades se encuentra influenciada o dirigida por el hecho de encontrarse dentro del ambiente de la comunidad. Con frecuencia se utilizan metodologías de evaluación sofisticadas que tienden a mistificar los procesos de evaluación y confunden al personal del programa. . A. C A P Í T U L O I I Un Procedimiento Participativo para la Evaluación: Conceptos y alternativas En años pasados.. . información referente a la forma en que los recursos proporcionados han sido utilizados. pero lamentablemente no en todos. Sin embargo. las actividades de evaluación no se encontraban incluidas de manera sistemática dentro de los programas de desarrollo. . en qué proporción se han alcanzado los objetivos planteados y cómo se han realizado las actividades planificadas. Actualmente. Funciones del seguimiento y de la evaluación Las evaluaciones de programa tienen el rol de cumplir dos funciones importantes.. sino que constituyen un elemento importante de ayuda en la toma de decisiones adecuadas referentes a la forma en que las estrategias adoptadas para la ejecución de programas deben ser fortalecidas.. se incluye un componente referente a la evaluación. .. En segundo lugar. Manual de Evaluación Participativa del Programa 9 . Como resultado de estas prácticas. La mayoría de los gerentes o coordinadores de programas coinciden en el hecho de que las evaluaciones no son solo necesarias.. las evaluaciones no responden con frecuencia a las expectativas esperadas. La primera se refiere a que los resultados de las evaluaciones deben proporcionar a los gerentes de los programas y a las agencias financiadoras. en la mayoría de los programas. Muchas evaluaciones proporcionan información para propósitos administrativos. pero no generan lecciones que puedan ser aplicadas en el futuro.. que consiste en la no-utilización adecuada de los resultados de las evaluaciones. se evidencia un problema ampliado en todo el mundo. la evaluación debería asegurar la implementación de las lecciones aprendidas que ayudarían al personal del programa a mejorar la implementación del programa en el futuro. Procedimiento del Plan Riguroso y el Proceso de Aprendizaje: Dos formas de considerar la evaluación del programa El Procedimiento del Proceso de Aprendizaje para la implementación de programas El procedimiento metodológico para la evaluación desarrollado en el presente manual. el enfoque hacia el seguimiento y la evaluación del programa es fundamentalmente diferente. Dentro de ambos procedimientos para la implemnentación de programas. Este procedimiento difiere considerablemente del método riguroso para la implementación de programas que constituye la forma tradicional y que es el más utilizado actualmente. La elección de la metodología de evaluación más apropiada. se basa en la idea del "procedimiento del proceso de aprendizaje" para la implementación de programas. Es necesario comprender las diferencias Manual de Evaluación Participativa del Programa 10 . • ¿Quién debe ser considerado dentro del proceso de evaluación? • ¿Se requiere una evaluación a nivel de productos o de proceso? • ¿La prioridad debe ser enfocada a la identificación de debilidades o al desarrollo de lecciones aprendidas para el futuro? Veamos algunas diferencias existentes entre la manera en que estas tres preguntas pueden ser contestadas a través de un procedimiento tradicional y un procedimiento participativo. Los gerentes de los programas deben elegir el procedimiento que se ajuste con mayor exactitud a sus necesidades.C A P Í T U L O I I Funciones de seguimiento y evaluación de programas Auditoría para gerentes agencias financiadoras y Desarrollo de lecciones aprendidas que ayudan al personal del programa a mejorar la implementación del mismo Existe un sinnúmero de formas para la realización de evaluaciones de programas. B. involucra la consideración de varios aspectos claves. sino también la forma cómo fueron realizadas. Esto permitiría al personal del programa identificar alternativas para mejorar la realización de reuniones futuras. es el "procedimiento del proceso de aprendizaje". En este método al igual que en el método del plan riguroso los objetivos y actividades del proyecto se definen al inicio y se diseña un calendario de implementación al comienzo. El Procedimiento del Plan Riguroso En el procedimiento tradicional riguroso para la planificación de programas. Por ejemplo en una actividad de seguimiento o evaluación es importante saber no solo cuantas reuniones comunitarias se han realizado sino también identificar tanto los aspectos exitosos como los problemáticos confrontados durante esas reuniones. El procedimiento tampoco cuenta con un sistema para proporcionar retroalimentación a la planificación del programa a fin de modificarlo en casos en que los cambios puedan contribuir al mejorar el funcionamiento del programa. que frecuentemente ha sido calificado como apropiado y efectivo en programas de desarrollo. Los resultados de estas actividades les permite informar a sus superiores sobre el progreso logrado hacia las metas planificadas rigurosamente. se desarrolla un calendario de implementación. En este procedimiento se desarrollan mecanismos que ayudan al personal del programa a aprender tanto de los éxitos como de los problemas enfrentados en la implementación de las actividades. El Procedimiento del Proceso de Aprendizaje Un procedimiento alternativo para la planificación e implementación de programas. con la finalidad de mejorar el programa en el futuro. Por ejemplo. Otra característica de este método es que los gerentes de programa generalmente tienen responsabilidades importantes para asegurar el seguimiento y la evaluación del programa. En este Manual de Evaluación Participativa del Programa 11 . o la forma en que fueron implementadas. no se cuenta con un sistema estructurado para comprender porqué las actividades fueron o no realizadas. los objetivos y las actividades del programa se definen dentro del marco de un "patrón" que dictamina la manera en la cual el programa será implementado. El seguimiento y la evaluación del plan consisten básicamente en determinar el alcance en el que las actividades y objetivos han sido logrados oportunamente. En base a este patrón. En este procedimiento. el seguimiento y la evaluación de actividades no solo consideran el alcance en que las actividades planificadas han sido realizadas. En este caso. se recolecta información sobre el "número de trabajadores de salud que han sido capacitados" y el "número de reuniones comunitarias realizadas" y se los compara con los números planificados inicialmente.C A P Í T U L O I I existentes entre ambos y la razón por la cual esta metodología está basada en el procedimiento del proceso de aprendizaje. Se recolecta información cuantitativa principalmente para determinar el número de actividades que han sido realizadas. El cuadro que se presenta a continuación resume algunas diferencias claves entre los procedimientos del "plan riguroso" y "el proceso de aprendizaje" para la evaluación de programas relacionados con el propósito de la evaluación. El personal de campo del programa y los actores comunitarios juegan un rol particularmente importante proporcionando sus observaciones respecto a las actividades que están siendo implementadas así como también sugerencias de cómo mejorarlas. los métodos de recolección utilizados. actividades y presupuesto del programa. Manual de Evaluación Participativa del Programa 12 . En este procedimiento no solo los gerentes del programa sino también todo el personal del programa a todo nivel se involucran en el seguimiento y la evaluación de las actividades. se podría recolectar información acerca del "número de trabajadores de salud capacitados". Las lecciones desarrolladas por el personal del programa ayudan a los gerentes del programa a tomar mejores decisiones con respecto a ajustes en las estrategias.C A P Í T U L O I I procedimiento las actividades de seguimiento y evaluación incluyen la recolección de información cuantitativa importante. se formulan "lecciones aprendidas" que son retroalimentadas en la planificación del programa. que describe los procedimientos utilizados al realizar cada tipo de actividad. y la responsabilidad de la recolección de información. Por ejemplo. sobre la "retroalimentación de los capacitados sobre la utilidad del contenido de la capacitación" y sobre "la manera en que los capacitados están utilizando sus conocimientos aprendidos" en sus comunidades durante el trabajo que desempeñan. En base a la información recolectada. el enfoque de la recolección de información. Continuamente se deben realizar modificaciones en las actividades y estrategias del programa considerando las lecciones que se vienen formulando durante todo el período de implementación del programa. pero también sobre la "calidad de la capacitación". pero también se da prioridad a la recolección de información cualitativa. C.análisis holístico Métodos de recolección de información . y la formulación de sus propias conclusiones y recomendaciones acerca del programa. Manual de Evaluación Participativa del Programa 13 .dimensiones y preguntas adicionales emergen del proceso iterativo de aprendizaje Como se menciona arriba la metodología de evaluación presentada en este manual se basa en el "procedimiento del proceso de aprendizaje" para la implementación de programas.participantes del programa (gerentes y ejecutores) Responsabilidad de recolección de información .desarrollar lecciones aprendidas a integrarse al programa .análisis objetivo .cualitativa y cuantitativa . Las implicaciones prácticas de este procedimiento serán explicadas en las páginas siguientes. Tal vez las facetas más importantes de la metodología consisten en la intervención de los participantes del programa en todas las etapas del proceso de evaluación y el enfoque de la evaluación en el desarrollo de lecciones aprendidas que se insertan posteriormente en el plan de acción.evaluados externos y/o gerentes del programa . la recolección y el análisis de la información. Personas que deben involucrarse en la realización de una evaluación El procedimiento dirigido por un experto En el procedimiento dirigido por un experto utilizado para la evaluación de programas uno o varios evaluadores externos asumen la total responsabilidad en la realización de la evaluación incluyendo: la definición de los objetivos de la evaluación.medir los logros cuantitativos Enfoque de la recolección de información .cuantitativa .C A P Í T U L O I I Procedimientos para la evaluación de programas… … “Plan Riguroso” “Proceso de Aprendizaje” Propósito de la Evaluación . el diseño de la metodología de evaluación.medir el progreso relativo al “plan” del programa .juicio “subjetivo” . Muchas personas creen que la contratación de evaluadores externos asegura que la evaluación será más "objetiva".limitado número de variables relacionadas a las metas del “plan” del programa . Los participantes del programa son aquellos individuos que tienen una responsabilidad en el resultado de la evaluación. Todos estos factores contribuyen a que se cree el desinterés e incluso la alienación del personal del programa hacia las actividades de evaluación. los "expertos" en evaluación frecuentemente desechan la intervención del personal del programa en la evaluación de sus propios programas. Representan personas que más adelante tomarán decisiones y utilizarán la información generada en el proceso de evaluación. En procedimientos de evaluación más tradicionales. en el desarrollo de la metodología de la evaluación. trabaja en asociación con los participantes del programa en todas las fases del proceso de evaluación. hace que el personal se sienta susceptible e incómodo. generalmente externo al programa o a la organización. En muchos casos. un coordinador de la evaluación. en la recolección e interpretación de la información y en el desarrollo de Manual de Evaluación Participativa del Programa 14 . de doctor a paciente con el personal del programa. el personal del programa es afectado por ser excluido y por lo tanto trata de ignorar e incluso criticar "los hallazgos y recomendaciones del evaluador". La consideración de un grupo numeroso en contraste con un grupo pequeño de gente no constituye necesariamente una mejor decisión. cuando la responsabilidad es delegada hacia expertos en evaluación para que definan la orientación del ejercicio.C A P Í T U L O I I En muchos casos sin embargo cuando la responsabilidad de la evaluación del programa se delega a un "especialista" en evaluación externa. En el procedimiento participativo el coordinador de la evaluación colabora con los "participantes" del programa en la definición de los objetivos de la evaluación. La determinación exacta sobre la identificación de los participantes varía según las situaciones o evaluaciones. Con frecuencia el personal del programa es excluido del proceso y el ambiente de información reservada que se crea. Frecuentemente los resultados de la evaluación no son comprensibles fácilmente por parte del personal del programa ni tampoco aplicables directamente en su trabajo. En cada instancia los planificadores de la evaluación deberán decidir quienes serán los participantes apropiados y en que medida y grado se involucrarán. éste adopta una relación de arriba hacia abajo. El procedimiento participativo En el procedimiento participativo para la evaluación de programas. También es importante recordar que no todos los participantes estarán interesados o serán capaces de involucrarse en este ejercicio que implica un tiempo relativamente largo. La utilización de técnicas sofisticadas de recolección y análisis de información refuerza la idea que el programa debe contar con el apoyo de un experto en evaluación para llevar a cabo el ejercicio. el número de sesiones de capacitación realizadas o el número de letrinas construidas). Se ha demostrado que la intervención de los participantes también involucra un mayor uso de los resultados de la evaluación por parte del personal directivo y de los implementadores del programa. trabajar con el equipo de evaluación para analizar tanto la recolección de la información como las experiencias descritas. Fortalece sus habilidades en la evaluación del programa. ¿Evaluación de resultado o evaluación de proceso? Evaluación de resultado La necesidad de realizar la evaluación nació originalmente de las demandas de las agencias financiadoras para asegurar la responsabilidad (accountability) por parte de los implementadores del programa. y formular las conclusiones sobre las estrategias y resultados del programa. Por otra parte. En este procedimiento el rol del coordinador de la evaluación no solo consiste en estructurar y facilitar cada una de las etapas dentro del proceso de evaluación sino también contribuir como un miembro a tiempo completo del equipo de evaluación. En el procedimiento participativo. el rol de los participantes es: compartir sus experiencias de trabajo con el programa. Dentro de este procedimiento se asume que la calidad de la evaluación será mejor si los resultados reflejan no solo la perspectiva subjetiva de los implementadores del programa sino también la perspectiva más objetiva de un evaluador externo. Las evaluaciones se han enfocado tradicionalmente hacia la observación de resultados cuantificables de la implementación del programa (por ejemplo. Otro beneficio de la evaluación participativa consiste en que el proceso de evaluación interactiva contribuye por si mismo a mejorar la comunicación entre los actores del programa que se encuentran trabajando en diferentes niveles en la implementación del programa. Una evaluación participativa se basa en el supuesto de que la intervención de los participantes ayudará a asegurar que la evaluación considere los temas apropiados y les proporcione un sentido de propiedad sobre los resultados de la evaluación. Sin embargo los gerentes del programa así como las agencias financiadoras se vienen percatado con mayor frecuencia que no es suficiente conocer solamente en número de actividades Manual de Evaluación Participativa del Programa 15 . participar en la recolección de información adicional acerca de la implementación del programa. D.C A P Í T U L O I I conclusiones y recomendaciones. incrementa su comprensión acerca de la estrategia de su propio programa así como de sus fortalezas y debilidades. Las evaluaciones de resultado se utilizan ampliamente para indagar la extensión de las actividades planificadas que fueron realizadas. Además el procedimiento participativo constituye una experiencia de enseñanza para los participantes del programa que están involucrados en él. Desarrollo de lecciones aprendidas Manual de Evaluación Participativa del Programa 16 . a pesar de que deja en el personal del programa un sentimiento de desaliento que puede causar desaciertos que no permiten tomar las decisiones adecuadas para continuar. Por esta razón muchas evaluaciones están enfocadas en identificar insuficiencias y debilidades en la implementación del programa. Paralelamente con la perspectiva de un proceso de aprendizaje. no implica el conocimiento de la misma Evaluación de proceso En contraste con la evaluación de resultado. pero el énfasis recae en la obtención de información cualitativa. E. de manera más cualitativa. Una evaluación que descubre y luego informa sobre la existencia de tales problemas es de mucho valor. El hecho de que una cosa se pueda cuantificar. financiadores y personal de campo con relación a la implementación de un proyecto o programa. existe una tendencia a que las evaluaciones también deben proporcionar. información sobre los éxitos y los problemas emergentes en el proceso de implementación. éstos están expuestos a insuficiencias y debilidades. la alternativa de realizar una evaluación de resultado. una evaluación de proceso o ambas. Por ejemplo. En una evaluación de proceso se puede recolectar información cuantitativa con referencia al número de actividades realizadas. ¿Cómo han sido realizadas las diferentes actividades? ¿Qué problemas fueron encontrados durante la realización de las sesiones de capacitación y cómo se los superó? ¿Cuáles son las percepciones del personal de campo y de los miembros de la comunidad con respecto al uso de letrinas?. Dada la naturaleza de los programas de desarrollo. el objetivo de la evaluación de un programa consiste en descubrir los aspectos que no marchan bien. Los gerentes del programa deben decidir desde el inicio.C A P Í T U L O I I realizadas. La orientación de la metodología de evaluación participativa presentada en este manual corresponde a la de una evaluación de proceso de un programa. La metodología propuesta pretende producir resultados que respondan a las necesidades de información de los gerentes de programa. la evaluación de proceso se enfoca en el proceso de implementación del programa con la finalidad de analizar la manera en que la actividades han sido realizadas y decidir estrategias para mejorarlas. ¿Enfoque en los problemas o lecciones aprendidas? Identificación de los problemas Para mucha gente. Los implementadores del programa pueden hacer una contribución crítica al proceso de evaluación basada en sus experiencias con el programa. El principal enfoque del programa de evaluación no debe centrarse en la identificación de problemas e insuficiencias. El proceso de evaluación participativa puede contribuir a mejorar la comunicación del personal del programa durante los diversos niveles de implementación del programa. Principios de la evaluación participativa 1. pero enfatiza el desarrollo de lecciones aprendidas basadas tanto en aspectos problemáticos como en logros exitosos dentro del proceso de implementación del programa. Desde el comienzo hasta el final la orientación del ejercicio de la metodología de evaluación considera la pregunta "¿Qué puede aprenderse del trabajo ya realizado. más bien debe concentrarse en la formulación de lecciones aprendidas para utilizarlas en el futuro en base tanto a los éxitos como a las dificultades. a fin de mejorar los resultados del programa en el futuro?". 3.C A P Í T U L O I I La metodología de evaluación participativa descrita en este manual incluye la identificación de problemas de implementación. 2. Manual de Evaluación Participativa del Programa 17 . Por ejemplo.. pero ésta no puede ser completada hasta el Paso 9 cuando la muestra de encuestados esté definida. en el proceso de evaluación participativa. la Tabla 1 muestra las fases y etapas. . .. C A P Í T U L O I I I La planificación y la realización de una evaluación participativa: los pasos a seguir En este capítulo se presentan las etapas a seguir durante la planificación y la realización de una evaluación participativa.. Fases De La Metodología Fase I: Reuniones de pre-planificación Fase II: Taller de planificación de la evaluación Fase III: Trabajo de campo: Preparación para el trabajo de campo. .. del principio al final. La metodología de evaluación participativa consiste en siete fases. recolección de información y análisis de datos Fase IV: Taller para la formulación de l ecciones aprendidas Fase V: Resumen de los resultados de l a evaluación Fase VI: Desarrollo del plan de acción Fase VII: Finalización y distribución del informe de la evaluación En la siguiente página. En este capítulo cada uno de los pasos en la metodología será descrita e ilustrada con ejemplos de la evaluación participativa de un proyecto comunitario de educación en nutrición.. en algunos casos la implementación de los pasos parece una espiral más que una línea recta. cada una consistente en varias etapas. A pesar de que los pasos en la metodología están presentados como una secuencia del 1 al 20. . en el Paso 3 la planificación logística comienza. que fue implementado en Gambia por Manual de Evaluación Participativa del Programa 18 .. C A P Í T U L O I I I "Gambia Food and Nutrition Association" (GAFNA). organización socia de CRS en Gambia. recolección y análisis de información Preparación de los equipos de trabajo de campo: Técnicas de recolección de información logística Paso 12: Realización de entrevistas y observaciones (Equipos de trabajo de campo) Paso 13: Análisis de la información recolectada Paso 14: Resumen de los hallazgos del trabajo de campo Fase IV: Paso 15: Taller de formulación de lecciones aprendidas Formulación de lecciones aprendidas para cada pregunta de la evaluación Paso 16: Análisis del proceso de evaluación por parte del equipo Paso 17: Resumen de los hallazgos y lecciones aprendidas de la evaluación (Equipo de evaluación) (Equipo de evaluación) Fase V: Resumen de resultados (Grupo de coordinación) Manual de Evaluación Participativa del Programa 19 . GAFNA es una Tabla 1: Pasos A Seguir En Una Evaluacion Participativa Fase I: Paso 1: Reuniones de preplanificación Definición de metas y objetivos de la evaluación Paso 2: (Grupo de Coordinación de la Evaluación) Identificación de los miembros del equipo de evaluación Paso 3: Arreglos logísticos y administrativos Paso 4: Desarrollo del marco de referencia del proyecto Paso 5: Orientación a facilitadores del taller de planificación de la evaluación Fase II: Paso 6: Organizar a participantes en grupo de trabajo Taller de planificación de la evaluación Paso 7: Definir las preguntas de evaluación Paso 8: Identificar fuentes y técnicas de recolección de información Paso 9: Desarrollar instrumentos de recolección de información Paso 10: Conclusión de muestra de lugares para la recolección de información y de personas a encuestar Fase III: Paso 11: Trabajo de campo: preparación. Durante la fase I. En las fases IV a VI el grupo debe proporcionar apoyo según las necesidades. los participantes del grupo actúan como coordinadores de equipo para la recolección y análisis de la información. La composición y los roles de cada uno se encuentra sintetizada a continuación: Grupo Coordinador de la Evaluación: Un pequeño grupo (2-5 personas) para garantizar la coordinación global de la evaluación desde el principio hasta el final.C A P Í T U L O I I I Tabla 1: Pasos A Seguir En Una Evaluacion Participativa Fase VI: Paso 18: Desarrollo de un plan de acción en base a los hallazgos de la evaluación Fase VII: Paso 19: Redacción del informe de evaluación Conclusión. El equipo normalmente consiste entre 10 y 15 personas. En los casos en que el equipo de evaluación es relativamente pequeño (10-12 personas) puede ser posible incluirlos a todos en los equipos de trabajo de campo. los equipos de trabajo de campo (fase III) se constituirán probablemente con una porción de los miembros del equipo de evaluación. Cuando el equipo de evaluación es grande. Equipos de Trabajo de Campo: Uno o más equipos de participantes que se responsabilizan en la recolección y análisis de la información obtenida durante Manual de Evaluación Participativa del Programa 20 . Equipo de Evaluación: Se refiere al grupo entero de los participantes del programa que intervienen en la fase II para desarrollar la metodología de la evaluación. y en la fase IV. para estudiar los hallazgos de la evaluación y desarrollar las lecciones aprendidas. diseminación y discusión del informe de la evaluación Paso 20: Distribución y discusión de los resultados de la evaluación con personas que colaboran con el programa Plan de Acción (Participantes clave) (Coordinador y Grupo de Coordinación de la Evaluación) Aubel: 1999 ¿Quién debe involucrarse en el proceso de evaluación? Existen numerosos individuos y grupos que deberán involucrarse en el proceso de evaluación. el grupo es responsable de la planificación logística y metodológica inicial. En la fase II el grupo debe apoyar con todos los arreglos logísticos y materiales. fase III. Durante el trabajo de campo. requiere un líder de equipo muy capaz. se precisa contar con un Coordinador de Logística y Materiales. El/ella diseña y asume las principales responsabilidades en la facilitación de todas las etapas dentro del proceso de evaluación. Estas no deben ser la responsabilidad del Coordinador de la Evaluación.C A P Í T U L O I I I las encuestas y observaciones realizadas en el trabajo de campo. debe revisarse la descripción del rol del grupo coordinador presentada en la página anterior. En una serie de reuniones. Lo más importante es que posean habilidades probadas en organización y facilitación para ayudar a los miembros de los equipos a realizar las tareas del trabajo de campo de una manera oportuna y efectiva. los elegidos deben poseer experiencia en la recolección y análisis de información cualitativa. en dinámica de grupos y capacitación. alojamiento. Estas tareas constituyen la clave para el éxito de la evaluación. Siempre que sea posible. Coordinador de la Evaluación: Una persona que posea experiencia en métodos cualitativos de evaluación. el Grupo de Coordinación de la Evaluación es el responsable de definir y desarrollar elementos clave relacionados a los primeros cuatro pasos en el proceso de evaluación. Coordinador de Logística y Materiales: A fin de planificar y coordinar todos los aspectos relativos a materiales. Manual de Evaluación Participativa del Programa 21 . Fase I: Reuniones de pre planificación En la primera fase del proceso de evaluación. ya que este último requiere concentrar todos sus esfuerzos en los aspectos técnicos del trabajo. Puede ser que no todos los miembros del grupo necesiten participar en la totalidad de los cinco pasos incluidos en esta fase. logística. cada equipo de Trabajo de Campo. Constituyen un sub grupo de los miembros del Equipo de Evaluación. Para determinar a quién se debe incluir en el Grupo de Coordinación de la Evaluación (GCE). el coordinador de la evaluación debe entrevistarse con los gerentes del proyecto y con otras personas que estarán involucradas en la coordinación de toda la actividad de la evaluación. Líderes de los Equipos de Trabajo de Campo: Durante la fase III. etc. y en las áreas técnicas en que se desarrolla el programa a ser evaluado. transporte.. Fase I: Reuniones De Pre-Planificación Paso 1: Definición de metas y objetivos de la evaluación Paso 2: Identificación de (participantes) los miembros del equipo de evaluación Paso 3: Planificación de los aspectos logísticos y administrativos Paso 4: Desarrollo del marco de trabajo visual del proyecto Paso 5: Orientación a los facilitadores del taller de planificación de la evaluación Paso 1: Definición de metas y objetivos de la evaluación El paso inicial en el proceso de evaluación consiste en definir las metas y objetivos de la evaluación. Es importante que los gerentes del programa a ser evaluado se involucren en esta tarea para asegurar que las metas y los objetivos logren las expectativas. incluidos la elección e invitación de los miembros del equipo de evaluación puedan ser realizadas con anticipación. Manual de Evaluación Participativa del Programa 22 . Por experiencias pasadas este proceso casi siempre ha tomado más tiempo. Para el Paso 5 debe planificarse una reunión de un día para proporcionar orientación a los facilitadores de la evaluación.C A P Í T U L O I I I Miembros del Grupo de Coordinación en la evaluación GAFNA • Gerente del Proyecto de Educación Nutricional • Coordinador de Nutrición de GAFNA • Coordinador de CRS título II • Jefe de la Unidad de Educación en Salud del Ministerio de Salud • Coordinador de la Evaluación Se debe tomar en cuenta que las entrevistas se realizarán durante tres días enteros para organizar los Pasos 1-4 si se cuenta con un facilitador hábil para que marchen las cosas. El paso IV debe ser completado idealmente una semana antes de la realización del Taller de Planificación de la Fase II. La fraseología de la meta debe ser concisa y simple de manera que cualquiera que la lea. Los Pasos 1-3 deben ser discutidos y desarrollados por lo menos un mes antes del Taller de Planificación de la Evaluación de tal manera que varios aspectos logísticos. Debe definirse una meta general que refleje el alcance global de la evaluación. pueda entender claramente el propósito de la evaluación. identificar los logros. Una experiencia de otra evaluación de un proyecto comunitario realizada en Costa de Marfil sugiere las razones por las que no todos tienen que estar involucrados en esta tarea. Objetivos De La Evaluación GAFNA 1.C A P Í T U L O I I I En la evaluación GAFNA. Manual de Evaluación Participativa del Programa 23 . En base a la meta de evaluación se deben formular algunos objetivos de evaluación que definan las principales expectativas para la evaluación. Estos objetivos pueden dirigirse tanto a aspectos cuantitativos como cualitativos del programa. reforzar el conocimiento y las habilidades de los implementadores y colaboradores del proyecto para la organización de evaluaciones participativas 4. El hecho de que la evaluación sea participativa no significa que todos deban participar en todas las actividades. el Grupo Coordinador definió la siguiente meta para la evaluación: determinar la estrategia de educación en nutrición y sus logros a fin de desarrollar lecciones aprendidas para actividades futuras relacionadas con la educación comunitaria en nutrición y desarrollar un plan de acción para la misma. determinar la utilidad de la metodología de evaluación participativa para evaluar intervenciones en salud y nutrición basadas en la comunidad El Grupo de Coordinación de la Evaluación es el responsable en la definición de las metas y objetivos. objetivos de aprendizaje para los participantes y para el propio proceso de evaluación. fortalezas y debilidades en la implementación de las actividades del proyecto de educación en nutrición 3. determinar la coherencia de la estrategia de educación en nutrición 2. ya que fue muy difícil obtener consenso. Paso 2: Identificación de los miembros del equipo de evaluación La determinación de la composición del equipo evaluador debe basarse primero en el conocimiento y habilidades requeridos para planificar y dirigir la evaluación. Las metas y los objetivos en el caso GAFNA reflejan claramente la idea que una evaluación constituye tanto un "proceso de aprendizaje" como un ejercicio de "desarrollo de personal”. Los miembros del equipo de evaluación deben ser seleccionados en base a lo que puedan contribuir dentro del proceso y/o a lo que puedan aprender de él. Los miembros del Grupo de Coordinación de la Evaluación concluyeron que no resultaba conveniente involucrar a todos en este paso del proceso Se recomienda enfáticamente que el Grupo de Coordinación de la Evaluación desarrolle las metas y los objetivos por su cuenta. 2) experiencia en métodos de recolección de información cualitativa. consumiendo mucho tiempo.C A P Í T U L O I I I "No todos necesitan participar en todo" En la evaluación de un proyecto de educación para la salud realizado en Costa de Marfil. Pensaron que este procedimiento sería más democrático. y en segundo lugar. en base a los objetivos definidos aquí. Involucraron a la totalidad de los 22 miembros del equipo evaluador y la tarea resultó ser extremadamente extensa. Los miembros del equipo de evaluación deben ser individuos involucrados en diferentes niveles de la implementación del programa. 3) habilidades para el desarrollo del equipo y para la facilitación de grupos. en las prioridades de desarrollo del personal del proyecto o programa. Manual de Evaluación Participativa del Programa 24 . En el paso 7. el Grupo de Coordinación de la Evaluación decidió involucrar a todos los miembros del Equipo de Evaluación en la definición de las metas y objetivos de evaluación. Cuando se presenta las metas y objetivos al equipo de evaluación (en el paso 6) se pueden recoger sugerencias a fin de enmendar las metas y los objetivos en caso necesario. Cuatro tipos de conocimientos y habilidades se requiere para los miembros del equipo: 1) mucha experiencia con relación al programa a ser evaluado. La tabla 2 resume los tipos de conocimientos y habilidades requeridas de los miembros del equipo. 4) habilidad en la planificación y administración de aspectos logísticos para actividades de campo. así como también las respectivas responsabilidades. se definirán las preguntas específicas que la evaluación debe responder. ONGs participar en recolección y análisis de información • contribuir en la redacción del informe • planificar y coordinar la metodología de la evaluación • participar y supervisar la recolección de información • coordinar la redacción del informe • desarrollar espíritu de colaboración e intercambio entre los miembros del equipo • facilitar sesiones diarias de análisis de la información • preparar el presupuesto para capacitación. En algunos casos resulta apropiado incluir funcionarios de otros ministerios o ONGs que no han participado en las actividades del programa. Tabla 2: Composición y Responsabilidades del Equipo de Evaluación Conocimientos/hab ilidades requeridas Experiencia profunda con el programa a evaluar ¿Quién es responsable? Responsabilidades - Gerentes de programa • - Personal de campo del programa definir preguntas de evaluación • Colaboración de gobierno. pero que poseen experiencia en el sector correspondiente al tema del programa.C A P Í T U L O I I I Entre los miembros del equipo deben incluirse a gerentes del proyecto o programa. personal de campo. trabajo de campo y producción del informe • arreglar aspectos logísticos del trabajo de campo • adquirir los materiales necesarios para la evaluación • Experiencia con evaluación de proceso y métdos de recolección de información cualitativa • Coordinador de la evaluación Habilidades de desarrollo de equipo y facilitación de grupos en planificación y trabajo de grupo • Coordinador de la evaluación • Líderes de equipos de campo Planificación y administración logística para trabajo de campo y recursos materiales para el estudio • Miembros del personal del programa (coordinador logístico) Manual de Evaluación Participativa del Programa 25 . colaboradores del gobierno o de ONGs. un coordinador de logística y un coordinador de la evaluación. El conocimiento especial que cada individuo puede contribuir a la evaluación. es un entendimiento total de la dinámica de implementación diaria de las actividades del programa que generalmente el gerente no lo tiene. IV y VI. para ayudar a que los participantes lo perciban como un "facilitador" y no como un "policía". El "coordinador de la evaluación" será responsable de: la coordinación de todos los aspectos metodológicos del estudio.C A P Í T U L O I I I Gerentes del programa Los gerentes del programa poseen un conocimiento profundo de su programa y de sus prioridades. Su experiencia también será crítica en el desarrollo de lecciones aprendidas para el futuro. Coordinador de la evaluación El equipo debe incluir un "coordinador de la evaluación" que tenga experiencia tanto en la conducción de procesos de evaluación. y coordinación en la preparación del informe final. Sus percepciones subjetivas serán de mucho valor para el equipo a medida que las definiciones del programa se desarrollan. II. Personal del campo del programa El equipo de evaluación debe incluir también a personal de campo del programa que ha estado directamente involucrado en la implementación de las actividades del programa. supervisión de los demás miembros del equipo. facilitación en el análisis de la información. el coordinador debe comprometerse a involucrar al personal del programa en el proceso de la evaluación y poseer habilidades en desarrollo de equipo y en facilitación de grupos. No todos los consultores en evaluación creen en el procedimiento participativo ni poseen las habilidades para involucrar efectivamente al personal en el proceso. participación directa en la recolección de información. La experiencia ha demostrado que el grado de participación de los gerentes del programa en el proceso de evaluación. todos los miembros del equipo. deben participar en todas las fases de la planificación e implementación de la evaluación. Idealmente. Para asegurar que los resultados de la evaluación correspondan a las necesidades de información. así como su compromiso en la utilización efectiva de los resultados de la evaluación. Manual de Evaluación Participativa del Programa 26 . Además. incluyendo al/los gerente/s del programa. Se sugiere que desde el principio se refiera a esta persona como el "coordinador" en lugar de "el evaluador". estos integrantes deben estar en el equipo de evaluación en calidad de miembros a tiempo completo. Es particularmente crítico que los gerentes participen en las Fases I. como en los métodos de recolección de información cualitativa. esta relacionado con el grado de propiedad que desarrollan para la evaluación. Sin embargo. estimar los recursos requeridos para cada actividad.C A P Í T U L O I I I Coordinador de logística Uno o más miembros del personal del programa deben ser seleccionados para coordinar los aspectos logísticos tanto para la fase preparatoria como para el trabajo de campo. Es importante evitar el error de solo concentrarse en la preparación de los aspectos metodológicos de la evaluación y no prestar la suficiente atención a los asuntos logísticos y administrativos. dados los aspectos metodológicos de la evaluación definidos por el Grupo de Coordinación de la Evaluación. y asegurar que todos los recursos necesarios estén disponibles a tiempo y en el lugar requerido. Miembros del equipo de evaluación GAFNA • Personal del proyecto GAFNA de nivel central y provincial • Dos gerentes de proyecto de GAFNA • Funcionarios de educación en salud y nutrición del Ministerio de Salud • Funcionarios de campo del Ministerio de Agricultura • Enfermeras de salud comunitaria • Gerente de programa de CRS • Coordinador de la evaluación Paso 3: Planificación de aspectos logísticos y administrativos El éxito de cualquier evaluación depende en gran medida de la planificación cuidadosa de los aspectos logísticos y administrativos. el Coordinador de Logística debe estar informado de las actividades de visita al campo. El coordinador de logística debe estar involucrado activamente en las reuniones iniciales de planificación para asegurar que tenga una buena percepción acerca de los requerimientos de logística para las Fases II a VI. a fin de conocer: el Manual de Evaluación Participativa del Programa 27 . Por esta razón debe identificarse a un Coordinador de Logística y Materiales. Por ejemplo. Para esto se requiere a personas que conozcan la manera de planificar actividades sistemáticamente. Miembros del equipo de evaluación En Gambia el Equipo de Evaluación estaba conformado por 22 individuos que participaron activamente en la implementación del programa a diferentes niveles y otros colaboradores claves del programa. es importante también que el Coordinador de la Evaluación revise los planes logísticos para asegurarse que son apropiados. debe asignársele la tarea de iniciar la planificación de los aspectos logísticos y administrativos. Los recursos materiales requeridos para cada actividad se anotan en otra columna. Una herramienta útil para programar estos aspectos prácticos de la evaluación. trabajo de campo. y exactamente que tipo de insumos de correspondencia se requieren para la recolección y el análisis de la información. Este cronograma puede ser desarrollado en la forma de una tabla. adquisición de materiales para la capacitación. para asegurar todos los requerimientos logísticos. La planificación deberá completarse progresivamente durante el Paso 10 cuando el cronograma para el trabajo de campo se ha concluido. Manual de Evaluación Participativa del Programa 28 . choferes y combustible. determinación del número de los equipos de trabajo de campo y de los miembros de cada uno. planificación de alojamientos y comida para el período de trabajo de campo. la selección de los líderes de los equipos de trabajo de campo. redacción y copia de informes. de manera que tenga el tiempo suficiente para dedicarse a los aspectos metodológicos de las Fases I a VI. seguidos de la fecha en la que la tarea debe ser concluida. enumerando todas las actividades o tareas específicas que deberán ser realizadas durante las 7 fases de la evaluación. La planificación deberá comenzar aproximadamente un mes antes de desarrollar el Taller de Planificación de la Evaluación. constituye el "Cronograma de Actividades de Evaluación". La planificación y la supervisión de todos los aspectos logísticos es una actividad que consume tiempo.C A P Í T U L O I I I número de noches y el número de personas que pernoctarán en cada lugar. El coordinador de logística deberá acompañar a algún equipo de campo durante el trabajo a desarrollarse en el lugar. procedimientos administrativos para informar a las autoridades del nivel provincial sobre la actividad a fin de comprometer su colaboración. La planificación logística y administrativa incluye lo siguiente: selección de los lugares de recolección de información. preparación de un presupuesto de todos los gastos de material y de trabajo de campo. El gerente del programa debe delegar estas tareas a otras personas. y/o delegar esta responsabilidad a algún miembro de cada uno de los equipos. disponibilidad de vehículos. Una vez que el coordinador de logística ha sido identificado. a esta altura deben conducirse discusiones acerca de las regiones y los lugares donde la recolección de información se llevará a cabo. por ejemplo. Preparar la lista de materiales requeridos para el trabajo de campo 1 de junio 2. • Consideraciones metodológicas relacionadas principalmente a la naturaleza de la muestra en los estudios cualitativos. Una herramienta importante para la determinación de los lugares de trabajo de campo. Reservar alojamientos por teléfono 5 de junio 3. constituye un mapa. en base a tres tipos de consideraciones : programáticas. por ejemplo. Adquirir los materiales para el trabajo de campo Orden de compra para cada tienda 20 de junio Dada la necesidad de iniciar la planificación para el trabajo de campo lo más pronto posible. y logísticas. 10 y 11. que permite distinguir todas las áreas potenciales para la recolección de la información. Manual de Evaluación Participativa del Programa 29 . se debe diseñar un esquema simple del país/provincias en papel de rotafolio). El Grupo de Coordinación de la Evaluación debe definir criterios para la selección de las zonas y los lugares de recolección de información. • Consideraciones programáticas que pueden influenciar la selección de los lugares de recolección de información.C A P Í T U L I O I I Cronograma de Planificación de la Evaluación Tareas Recursos Necesarios Fecha de Término 1. Esto permitirá al coordinador de logística a proceder con la planificación para el periodo del trabajo de campo. o el hecho de que las mismas actividades no fueron ejecutadas en todas las áreas de influencia del programa. Los detalles acerca de la recolección de la información se determinarán progresivamente y se concluirán en los pasos 8. metodológicas. la localización de las actividades del programa. pueden ser. (Si no se puede disponer de un mapa impreso. muestreo específico (discutido más adelante). Enviar cartas de confirmación de alojamiento Secretaria 10 de junio 4. en una evaluación de proceso. se puede utilizar un muestreo específico. si se decide incluir en la muestra dos "comunidades que han proporcionado poco apoyo al desarrollo de las actividades del proyecto". En muchas evaluaciones. El plan inicial será sin duda revisado varias veces antes de que esté concluido. la disponibilidad de recursos humanos y materiales para la evaluación. el clima y las condiciones de los caminos. La selección de un muestreo específico implica. existe la tendencia de eliminar lugares que se encuentran distantes de la ciudad capital. El muestreo específico Como se mencionó anteriormente. no deben ser eliminados sistemáticamente de la muestra. cualquier comunidad que cumpla la descripción. alejados de carreteras asfaltadas y accesible solo por caminos difíciles. en primer lugar. Obviamente. pueden ser incluidos en la muestra. determinarán la duración de la evaluación. utilizando el muestreo específico. influenciarán el tamaño de la muestra y la selección de los lugares en que se realizarán las encuestas. En base a estas características. por lo tanto. la definición de las características del lugar o el tipo de personas a ser encuestadas. la distancia y tiempo necesario para desplazarse de un lugar a otro dentro del área potencial de recolección de información. cualquier sitio o grupo de personas que posean estas características. constituye la naturaleza del muestreo dentro de una investigación cualitativa. no tienen que ser seleccionados necesariamente al azar como sucede en la mayoría de los estudios cuantitativos. más dificultosos y que demandan mucho tiempo para visitarlos. y el número de personas que puedan encuestarse. puede ser incluida. el número de lugares que pueden ser visitados. En su lugar. Esta tendencia debe evitarse en lo posible.C A P Í • T U L O I I I Consideraciones logísticas que pueden influenciar la selección de los lugares de recolección de información. seleccionado en base a ciertos criterios. La disponibilidad de los diferentes miembros del equipo y de los recursos financieros necesarios para asegurar su participación en el estudio. resulta útil diseñar un mapa simple en el que puedan marcarse los lugares de recolección de información. Por ejemplo. Manual de Evaluación Participativa del Programa 30 . dada la variedad de consideraciones que deben ser tomadas en cuenta. La determinación de los lugares de recolección de información puede constituirse en un proceso que demanda mucho tiempo. Los lugares que se encuentran más alejados. son numerosas: el número de equipos de trabajo de campo. Como se sugirió anteriormente. Los lugares de recolección de información para una evaluación cualitativa. la recolección de información es básicamente cualitativa. Una consideración metodológica importante. el tiempo disponible para la fase de trabajo de campo de la evaluación. C A P Í T U L O I I I Paso 4: Desarrollar un marco de referencia visual del programa/proyecto Los miembros del equipo de evaluación necesitan compartir un entendimiento común acerca de los aspectos o elementos de la estrategia del programa a ser examinados durante la evaluación. que estuvieron involucrados desde el lanzamiento del proyecto. La documentación disponible del programa debe ser utilizada para la preparación de la tabla. el Grupo de Coordinación de la Evaluación. El marco de referencia constituye una herramienta importante para la comunicación con los otros miembros del equipo de evaluación. Manual de Evaluación Participativa del Programa 31 . en la evaluación. En este paso. generalmente en la forma de una tabla. Una parte del marco de referencia desarrollado por el grupo. reflejan las prioridades de los gerentes del programa. El marco de referencia debe ser copiado en papel de rotafolio y debe ser fotocopiado en papel DIN A4. constituye una primera instancia hacia la definición del enfoque de la evaluación. se presenta en la Tabla 3. El marco de referencia o "mapa del proyecto" debe incluir la meta. El desarrollo del marco de referencia sirve para varios propósitos. por consiguiente. El diseño del marco de referencia implica un proceso de toma de decisiones para determinar lo que debe y lo que no debe incluirse en el mismo y. éste debe incluir los conceptos fundamentales y los supuestos adoptados en la estrategia del programa. algunos de los elementos de la estrategia no estaban escritos y tuvieron que ser reconstruidos por los miembros del Grupo de Coordinación de la Evaluación. que define el panorama de la evaluación. desarrolla un marco de referencia visual del proyecto. de manera que se pueda distribuir un ejemplar a cada uno de los miembros del equipo durante la Fase II. Se requiere que el grupo coordinador clarifique la estrategia inicial del programa y sus componentes. y por lo tanto. A pesar de que existía mucha documentación acerca del proyecto. Además. los objetivos y las actividades del proyecto o programa considerados en la estrategia. "Marco de Referencia del Proyecto de la Campaña Piloto de Educación para la Nutrición". tales como "administración comunitaria de las actividades del proyecto" o "metodologías de capacitación participativas". quien deberán compartir un entendimiento común sobre el enfoque de la evaluación. La Experiencia GAFNA El diseño del marco de referencia resultó ser una tarea demasiado larga. La intervención de los gerentes del programa en esta tarea resulta de crucial importancia para asegurar que los elementos que han sido ya sea incluidos o excluidos del marco de referencia. realizados por Enfermeras de Salud Comunitaria - canciones y discusiones de grupo dirigidos por comunicadores tradicionales - actividades educativas dirigidas por comunicadores tradicionales y Enfermeras de Salud Comunitaria Objetivos: Investigar la efectividad de diferentes métodos de comunicación para difundir educación en nutrición Promover un cambio positivo en el conocimiento.C A P Í T U L O I I I TABLA 3: Parte del Marco de Referencia del proyecto de Educación para la Nutrición de GAFNA Metas y objetivos Estrategia del proyecto Meta: Concepto: Diseñar y difundir mensajes apropiados de educación para la nutrición como parte de una intervención en nutrición materna e infantil Los métodos de educación participativos interactivos contribuyen a un mejor aprendizaje Actividades: - discusiones de grupo. de cuanta de la información necesaria sobre el programa se encuentra o no inmediatamente disponible. Dependerá en parte. en problemas comunes relacionados a prácticas de alimentación materna e infantil y sus posibles soluciones Conceptos: - El contenido educativo nutricional debe tomar en consideración creencias y prácticas culturales - La estrategia educativa nutricional debe promover cambios en el conocimiento y prácticas individuales Actividades: - realizar una revisión de estudios disponibles sobre alimentación infantil y nutrición materna - identificar tres mensajes prioritarios sobre nutrición - componer tres canciones (una para cada mensaje) - desarrollar un manual de educación nutricional para Enfermeras de Salud Comunitaria - realizar una encuesta de línea de base en comunidades piloto de tres regiones Es difícil estimar cuanto tiempo tomará el desarrollo del marco de referencia. actuaciones y demostraciones de cocina. Durante la última evaluación Manual de Evaluación Participativa del Programa 32 . actitudes y prácticas de las madres con referencia a la nutrición de madres embarazadas y en periodo de lactancia y niños pequeños a través de la difusión de tres mensajes Familiarizar a Enfermeras de Salud Comunitaria y comunicadores basados en la comunidad. fue necesario un día y medio para completar el marco de referencia. las personas que reúnen estas cualidades para ser elegidos para la facilitación de los ejercicios del taller y para liderizar los equipos de trabajo de campo. se debe planificarlo con bastante anticipación. cada equipo de campo requerirá un líder de equipo que posea mucha habilidad en la facilitación de grupos. facilitadores para cada equipo. los miembros del Grupo de Coordinación de la Evaluación tenían diferentes interpretaciones sobre dichas actividades. durante el periodo de trabajo de campo a realizarse en la Fase III. no había sido nunca escrita y. adicionalmente. la información obtenida en el Paso 13 sobre los aspectos y procedimientos a seguir en el análisis de la información cualitativa. Paso 5: Facilitadores para orientar la evaluación Durante el Taller de Planificación de la Evaluación muchas de las sesiones requerirán facilitadores para grupos pequeños. El desarrollo del marco de referencia es probablemente más difícil de lo que uno se imagina. debe realizarse un ejercicio práctico con los líderes seleccionados para los equipos de trabajo de campo. Se deberá realizar una sesión de orientación de un día con los facilitadores y los líderes de los equipos de campo. discusión de las tareas de los pequeños grupos planificadas para la Fase II del taller. y discusión del procedimiento a ser adoptado por los equipos de campo durante el análisis diario de la recolección de información. a fin de realizar varias tareas: revisión de estrategias de facilitación claves para canalizar las contribuciones de los participantes durante el trabajo en pequeños grupos. El tópico más desafiante y que consume mucho tiempo a ser considerado. relativo al análisis diario de la información recolectada. Durante la sesión de orientación. debe ser revisada y. Se requerirán 4 o 5 facilitadores para el taller y. De igual manera.C A P Í T U L O I I I que facilité. resulta el último de la lista. Se presentarán problemas difíciles si se deja esta tarea para un día antes de la realización del taller de planificación de la evaluación y se encontrará que no se dispone de tiempo para realizar un buen trabajo. Manual de Evaluación Participativa del Programa 33 . En la mayoría de los casos. pertenecen al Grupo de Coordinación de la Evaluación. Alguna información acerca de las actividades del programa que era necesaria incluir en el marco de referencia. planificación para el periodo de trabajo de campo (favor ver los Pasos 11-14). dependiendo del número de equipos de trabajo de campo. Por lo tanto. si es posible. El taller durará por lo menos 4 días y preferentemente. Fase II: Taller de Planificación de la Evaluación Paso 6: Organización de los participantes en torno a un grupo de trabajo Paso 7: Definición de los aspectos de la evaluación Paso 8: Identificación de fuentes y técnicas de recolección de información Paso 9: Desarrollo de instrumentos para la recolección de información Paso 10: Conclusión de la elaboración de la muestra de lugares para la recolección de información y de personas a encuestar El taller de planificación debe ser cuidadosamente programado en base a objetivos claramente seleccionados. que deberán ser revisados y analizados convenientemente junto con el gerente del programa y/o los miembros del Grupo de Coordinación de la Evaluación. En el taller. Manual de Evaluación Participativa del Programa 34 . se expondrán los Pasos 6-10. Esta se realizará al comienzo de la Fase III. por lo menos con una semana de anticipación al desarrollo del taller. Esta fase no incluye la preparación de los equipos de campo para la recolección y análisis de información.C A P Í T U L O I I I Fase II: Taller de planificación de la evaluación La segunda fase en la metodología de evaluación participativa. desarrollan ellos mismos los elementos claves de la metodología que serán utilizados en la evaluación. El coordinador de la evaluación deberá confeccionar un borrador de objetivos alternativos. Durante el taller. En muchos casos. el Equipo de Evaluación completo no requiere participar en esta preparación. en segunda instancia. deben participar en este taller de 4-5 días de duración. consiste en la realización del "Taller de Planificación de la Evaluación". Algunas veces se los confunde. 5. solo un sub grupo de los miembros del equipo de evaluación serán involucrados en el trabajo de campo y. Todos los miembros del Equipo Evaluador identificados en el Paso 2. por lo tanto. Los objetivos del taller definen lo que se debe lograr durante los 4-5 días de duración del taller de planificación. en primera instancia. a los miembros del equipo se exponen. los conceptos básicos de la evaluación participativa de programas y. No deben confundirse los "objetivos del Taller de Planificación de la Evaluación" con "la meta y los objetivos de la evaluación" (desarrollados en el Paso I). definir el concepto de evaluación participativa 4. no implica que se les dejará hacer lo que quieran. definir tres diferentes tipos de evaluación 2. describir 5 técnicas de recolección de información que pueden ser utilizadas en proyectos de salud y nutrición 7. pero al mismo tiempo. definir la función de la evaluación dentro del contexto de un "proceso de aprendizaje" para la implementación y evaluación del programa 3. es muy importante preparar los planes detallados por escrito. desarrollar los instrumentos para la recolección de información para la evaluación: guías para las entrevistas y para realizar observaciones En base a los objetivos de capacitación. Manual de Evaluación Participativa del Programa 35 . de tal manera que las tareas programadas sean cumplidas debidamente. definir los aspectos a considerar en la evaluación del proyecto de educación nutricional de GAFNA 8. o de otra manera. quien debe ser experto en el diseño de capacitación participativa. identificar las principales diferencias entre la recolección de información cualitativa y cuantitativa 6. se deben confeccionar planes detallados de capacitación para cada una de las sesiones. La incorporación de otras personas como facilitadores. identificar los pasos a seguir en una evaluación participativa 5.C A P Í T U L O I I I La Experiencia de GAFNA Objetivos del taller de planificación de la evaluación Objetivo general: involucrar a los participantes del proyecto en el desarrollo de la metodología de evaluación Objetivos específicos: 1. Los diseños de capacitación de las sesiones idealmente deberán ser preparados con ellos. Si el Coordinador de la Evaluación comparte la responsabilidad en la facilitación de sesiones ampliadas de grupo con otros facilitadores. a pesar de que otros miembros del Grupo de Coordinación de la Evaluación o educadores experimentados para adultos pueden involucrarse también. estructuradas. Las sesiones del taller deben ser altamente participativas. para ellos. identificar de quién o de qué fuente debe ser recolectada la información para cada aspecto de la evaluación 9. identificar la/s técnica/s más apropiada/s para la recolección de información para cada aspecto de la evaluación 10. Esta tarea es principalmente responsabilidad del coordinador de la evaluación. C A P Í T U L O I I I En la evaluación del proyecto de educación para la salud en Costa de Marfil. como contribuir al desarrollo del equipo. desvió el desarrollo del taller hacia otros aspectos. lo que planificaron y presentaron. Se pidió a los co-facilitadores que diseñen sus propios planes para las sesiones y en varias ocasiones. Paso 6: Organización de los participantes del proyecto en un equipo efectivo Durante la fase de planificación previa. En la Tabla 4 de la siguiente página. deben organizarse como un equipo coherente para llevar a cabo las diferentes tareas asociadas a la evaluación. Los equipos de personas no trabajan en forma coordinada automáticamente. Además. Ahora. hecho que consumió un tiempo valioso que no pudo ser recuperado para completar los objetivos del taller.12:30 Introducción Educación nutricional Desarrollo de instrumentos para la recolección de información Comunicación verbal y no verbal para realizar encuestas Presentaciones Principios y pasos a seguir en encuestas detalladas Meta y objetivos del taller Tipos de preguntas Conceptos sobre evaluación de programas 3 tipos de Manual de Evaluación Participativa del Programa 36 . se presenta el cronograma del taller de planificación de la evaluación del proyecto GAFNA. Un paso inicial en la Fase II consiste en comenzar a desarrollar un sentido de membresía y misión de equipo. mencionada anteriormente. se identificaron a los miembros del equipo de evaluación. el coordinador de la evaluación es el responsable de diseñar y facilitar una serie de ejercicios para apoyar tanto en la orientación a los integrantes del proceso de evaluación participativa. para introducir un espíritu de apertura y colaboración entre los miembros del equipo. A estas alturas. se debe realizar un esfuerzo continuo durante todo el proceso. se presentó un problema en este sentido. TABLA 4: Cronograma Para El Taller de Planificacion de la Evaluacion Día 1 Día 2 Día 3 Día 4 8:30 . Manual de Evaluación Participativa del Programa 37 . Se debe discutir la justificación para la participación a todo nivel de los implementadores del programa en el proceso de evaluación. en términos de lo que cada uno pueda contribuir y aprender.C A P Í T U L O I I I TABLA 4: Cronograma Para El Taller de Planificacion de la Evaluacion Día 1 evaluaciones Día 2 Día 3 Día 4 Procedimiento del proceso de aprendizaje en la implementación y evaluación de programas 14:00 . La noción de la evaluación como "un proceso de aprendizaje" en el cual la contribución de todos los participantes en importante para la generación de las lecciones aprendidas para la implementación de programas futuros. PRA y RAP Desarrollo de instrumentos para la recolección de información Escucha activa: Ejercicio en pequeños grupos Principios sobre la toma de datos Métodos cuantitativos y cualitativos Pasos a seguir en la evaluación participativa Se debe presentar a los participantes el concepto de evaluación participativa. así como el rol que cada miembro del equipo debe desarrollar individualmente dentro del ejercicio. debe ser también subrayada.16:30 Evaluación participativa Definición de fuentes y técnicas para la recolección de información Enfoque de RRA. a fin de aclarar en lugar de confundir el proceso. presenté conceptos claves como los presentes. Paso 7: Desarrollo de las preguntas de la evaluación En este paso. del personal y de las contrapartes de la evaluación Manual de Evaluación Participativa del Programa 38 . Durante estas sesiones inaugurales. La intervención de los participantes del proyecto en el desarrollo de las preguntas de la evaluación. En la segunda parte de la sesión (2 horas y media) los grupos reducidos presentarán las preguntas que han escrito y recibirán retroalimentación del grupo plenario. Sin embargo. Durante la primera parte de la sesión (3 horas y media) los grupos reducidos desarrollarán "preguntas de la evaluación". se percibió que los participantes se sentían más cómodos y que tenían una idea más clara de lo que se esperaba del equipo y de cada miembro del equipo. La tarea implica la definición de: Qué es lo que se quiere averiguar con la evaluación. Mi sugerencia es que solamente se debe proporcionar a los participantes información introductoria simple y esencial acerca de la evaluación de programas. En la primera evaluación participativa que facilité. se realizaron esfuerzos especiales para aclarar el concepto de "evaluación participativa" y para convencer a los participantes que tenían un rol importante que jugar. encontré que éstos confundían en lugar de aclarar. En este paso. sobre la base de conceptos primarios de evaluación presentados en el paso 6. así como la diferenciación entre la evaluación de proceso y la de resultado. Asumieron que los "expertos" externos estarían revisando sus trabajos y no comprendían el rol que podrían jugar en la evaluación. tales como las diferencias existentes entre la evaluación sumaria y la evaluación educativa. muchos participantes se sintieron incómodos y confundidos sobre su rol en el equipo de evaluación. Al finalizar el segundo día. el objetivo consiste en hacer sentir a los participantes que la evaluación es útil y hacerles comprender que pueden contribuir en el proceso. Durante el taller de planificación. resulta importante por las siguientes razones: • asegurar que la evaluación responda a las preocupaciones de los gerentes del programa y del personal de campo • desarrollar un sentido de pertenencia de la evaluación por parte de los participantes del programa • asegurar que el coordinador de la evaluación obtenga una comprensión clara acerca de las preocupaciones y de las prioridades del gerente del programa. se pueden introducir otros conceptos relacionados a la evaluación de programas. los participantes comenzarán a desarrollar su propio plan de evaluación.C A P Í T U L O I I I La Experiencia de GAFNA "Evaluación que no confunde" o "Qué estoy haciendo aquí?" Al inicio del taller. Esta es una tarea desafiante. Otro grupo puede trabajar aspectos relacionados con la estrategia. Su experiencia será tomada en cuenta como la base para la toma de decisiones acerca de lo que la evaluación debe considerar en esta área. es la selección de un buen facilitador de grupo. que fue presentado a los participantes durante el paso 6. la mayoría de los miembros se encuentre profundamente involucrados en las actividades para las cuales se les pide que desarrollen preguntas de evaluación. A cada grupo debe le debe asignar trabajar sobre una parte del marco de referencia. Para realizar esta tarea. deben ser seleccionados cuidadosamente. deben ser individuos involucrados activamente en el desarrollo de actividades de capacitación. Este actor debe poseer experiencia acerca de las actividades sobre las cuales el grupo diseñará las preguntas. Por ejemplo. resultados de la capacitación. "La Experiencia de GAFNA" Los participantes del programa fueron divididos en cuatro grupos. para incluir: aspectos de capacitación de la estrategia. La tarea de cada uno de los grupos consiste en definir específicamente la información que debe ser recolectada relativa al programa. Durante el trabajo de grupo. e impactos de la capacitación.C A P Í T U L O I I I El desarrollo de las preguntas de la evaluación se basa en el marco de referencia del proyecto. Por ejemplo. correspondientes a los cuatro componentes del marco de referencia del proyecto: 1) administración y seguimiento del proyecto 2) mensajes y materiales acerca de la nutrición 3) sesiones de educación en nutrición al nivel comunitario 4) capacitación Los miembros de los grupos de trabajo para realizar esta tarea. resultados e impactos de las actividades de promoción de la salud. Otro elemento clave para la realización exitosa de esta tarea que requiere tiempo pero que resulta crítica. los participantes a los que se les asignó la tarea de trabajar en el componente de capacitación incluido en el proyecto. los participantes deben ser divididos en pequeños grupos de 3-6 personas. a fin de mantener el ritmo de trabajo. un grupo puede trabajar con las "actividades de capacitación" del proyecto. así como la de Manual de Evaluación Participativa del Programa 39 . Si se asignan más de 6 personas en un grupo. el trabajo será aún más tedioso y consumirá más tiempo del que ya se utilizó. Resulta importante que para cualquiera de los grupos. el Coordinador de la Evaluación debe evaluar constantemente el trabajo de grupo y apoyar a los facilitadores de los grupos cuando sea necesario. Estas no son las "preguntas para las encuestas" que se pedirá a los actores del proyecto que respondan y que serán escritas en el Paso 9. Por ejemplo. antes que el grupo de trabajo comience a funcionar. Un ejemplo de la manera en que un diagrama acerca de la "planificación para la recolección de información" debe ser elaborado. con referencia a las actividades de capacitación. Esto resulta inevitablemente confuso para los participantes. la reproducción del material posteriormente. también se debe realizar seguimiento al trabajo de los grupos para asegurar que éstos no se encuentran diseñando las "preguntas de las encuestas" durante esta etapa. Para realizar esta tarea. cada uno de los grupos necesitará una pared plana para realizar su trabajo. pueda ser pegado. implica disponer de tiempo extraordinario. como ocurrió en el caso en Gambia.C A P Í T U L O I I I formularla en forma de pregunta. resulta más fácil para los miembros del grupo ampliado percibir lo que se encuentra escrito en una hoja grande pegada en la pared y comprender las ideas expuestas a fin de contribuir en su mejoramiento. un diagrama realizado con la ayuda de varias hojas de rotafolio. Se debe estar preparado para proporcionar ejemplos variados sobre preguntas para la evaluación. definen la información que la evaluación busca recolectar. Algunos grupos podrían requerir tener sus preguntas escritas en papel carta para fotocopiarlas. en la cual. No se recomienda este procedimiento por dos razones principales: En primer lugar. Manual de Evaluación Participativa del Programa 40 . los participantes deben definir precisamente los aspectos importantes que deben ser verificados en relación de la manera en que fueron desarrollados. (Favor ver el recuadro presentado a continuación que contiene ejemplos del tipo de preguntas requeridas). Ejemplos de preguntas de evaluación de la experiencia de GAFNA "La experiencia de GAFNA" Ejemplos de preguntas para la evaluación: Administración y seguimiento del proyecto: ¿Se contaba con un sistema en el lugar para analizar problemas/limitaciones existentes entre todos los actores del proyecto? Capacitación: ¿ Para cada evento de capacitación. se presenta en el Paso 7. En segundo lugar. se desarrolló un plan de capacitación y se escribió un informe acerca de la actividad? ATENCION: Resulta importante señalar que las "preguntas para la evaluación" diseñadas en este paso. En la tabla siguiente. se debe proporcionar una explicación acerca de cada tarea y se les debe asignar un ejercicio que les permita practicar cada una de ellas. una de las preguntas para la evaluación de GAFNA era: "¿El contenido de la capacitación fue relevante y suficiente para las tareas que se espera que los comunicadores tradicionales (CT) realicen?" Esta pregunta no fue planteada directamente a los comunicadores tradicionales. los mismos grupos reducidos utilizados en el Paso 7 deben continuar trabajando de manera coordinada. ¿(Para cada actividad registrada) Ha aprendido usted algo en el curso de capacitación que le ayude en su tarea? c. definidas en el Paso 7. se les habría podido hacer la siguiente pregunta de encuesta: a. el equipo debe decidir acerca de: 1. tomará aproximadamente de 3 a 3 horas y media. ¿Hay algunas cuestiones que no fueron incluidas en su curso de capacitación que a usted le gustaría aprender para realizar sus actividades? Paso 8: Identificación de técnicas de recolección de información Para cada una de las preguntas para la evaluación. Durante la sesión.C A P Í T U L O I I I La Experiencia de GAFNA Por ejemplo. ¿Cuales son sus principales funciones como comunicadores tradicionales? b. ¿Se requiere información cualitativa o cuantitativa? 2. Los participantes continuarán trabajando sobre la Tabla de Planificación de Recolección de Información pegada en la pared. la recolección de información es básicamente cualitativa. ¿De quién o de que fuentes de debe recabar la información? 3. Antes de que los grupos reducidos comiencen a trabajar en estas tres sub tareas. se deben explicar las diferencias básicas entre los dos tipos de recolección de información y proporcionar ejemplos concretos. En su lugar. La explicación sobre el ejercicio. ¿Qué técnica/s de recolección de información se debe/n utilizar? En este paso. debe considerarse una pequeña explicación sobre las diferencias existentes entre la recolección de información cualitativa y cuantitativa. su realización y el trabajo en grupo. se exponen estas diferencias: Manual de Evaluación Participativa del Programa 41 . ya que esta tarea se construye en base al anterior paso. ¿Se requier informacion cualitativa o cuantitativa? Dentro de un proceso de evaluación como el presente. Como una introducción al presente capítulo. Al igual que en el Paso 7. el facilitador Manual de Evaluación Participativa del Programa 42 . Sin embargo. que sirve para determinar los lugares y las instituciones o personas que ayudarán a encontrar las respuestas necesarias para la evaluación. el trabajo de los grupos será sintetizado en la Tabla de Planificación de Recolección de Información. Para llevar a cabo esta tarea. que se identifican en las mismas respuestas • menos formal. los participantes deben trabajar en los mismos grupos reducidos a los que fueron asignados durante el Paso 7. me dí cuenta que la gente se confundía y decidí que la información contenida en la tabla anterior es suficiente para los objetivos de evaluaciones de este tipo. proporcioné una presentación más detallada acerca de las diferencias existentes entre los procedimientos cualitativos y cuantitativos para la recolección de información. ¿Dónde Puede Ser Encontrada La Informacion Requerida? El siguiente paso consiste en el llenado de la Tabla de Planificación de Recolección de Información. distante • En las primeras evaluaciones participativas en las que participé. Al explicar la forma cómo se debe llenar la columna sobre "fuentes de información" de la tabla. estructurada. semi estructurada.C A P Í T U L O I I I Características Diferentes de Los Métodos de Recolección De Información Cuantitativa Y Cualitativa Métodos cuantitativos Métodos cualitativos Tamaño de la muestra: muestra grande • • muestra pequeña Tipo de muestra: muestreo al azar • • muestreo específico • entrevistas individuales o en grupo. se intenta llegar lo más cerca a la comunidad como sea posible Técnica de recolección de información: cuestionario a llenarse • individualmente Análisis de la información: la información recolectada es • clasificada en categorías predeterminadas Relacionamiento entre el encuestador y los encuestados: informal. observación • la información recolectada es clasificada en categorías. Junto con las metodologías RAP. Cuando los grupos reducidos inician su trabajo. ¿Qué tipo de orientación fue proporcionada a los facilitadores para cada evento de capacitación? Cualitativa Facilitadores Gerentes del proyecto Entrevistas individuales 3.C A P Í T U L O I I I pedirá a los participantes del taller que preparen un listado de las categorías más importantes de personas que quisieran entrevistar. relacionado al componente de capacitación del proyecto de educación nutricional: "La Experiencia de GAFNA" Tabla de planificación de la recolección de información Componente del programa: Capacitación Fuentes de información (dónde o de quién) Técnica de recolección de información Preguntas para la evaluación Cuantitativo y/o cualitativo 1. es importante recordar que las fuentes de información no deben limitarse a individuos o grupos que se encuentran al nivel comunitario. ¿Se preparó un informe para cada evento de capacitación? Cuantitativa Archivos del proyecto Gerentes del proyecto Fuente secundaria Entrevistas 4. se han Manual de Evaluación Participativa del Programa 43 . ¿En qué medida las personas capacitadas utilizan lo aprendido? Cualitativa Personas capacitadas Gerente del proyecto Entrevistas individuales ¿Qué tecnicas de recoleccion de informacion deben ser utilizadas? En la evaluación de programas de desarrollo comunitario. En la tabla que se presenta a continuación. Constituyen generalmente una fuente importante de información. A pesar de que el programa a ser evaluado se basa en la comunidad. de ministerios u ONGs) que se relacionan con el programa de alguna manera. No se los debe olvidar. RRA y PRA desarrolladas durante los últimos años. se pueden emplear un sinnúmero de técnicas de recolección de información. ¿Se desarrolló un plan de capacitación para cada actividad? Cuantitativo Archivos del proyecto Fuente secundaria 2. será indudablemente importante recolectar información del personal organizacional (por ejemplo. se muestran ejemplos del trabajo realizado en el Taller de Planificación de la Evaluación en Gambia. El encuestador podrá determinar las tendencias acerca de las creencias y conocimientos del grupo en base a las respuestas de sus integrantes. Todas estas técnicas pueden ser utilizadas para la recolección de información tanto a nivel comunitario como organizacional. el contexto y los alrededores). Se mencionan dos técnicas cuantitativas simples que son cuestionarios y tablas. También se analizan aquí cinco técnicas cualitativas utilizadas con mayor frecuencia: entrevistas individuales en profundidad. y formularios. Observación: Mientras se está desarrollando una actividad. Técnicas para la recolección de información cualitativa clave a ser utilizadas en programas de desarrollo comunitario Entrevistas individuales detalladas: Entrevistas semiestructuradas que utilizan una guía flexible para el ejercicio consistente principalmente de preguntas abiertas. Análisis de información secundaria: Se refiere a informes y otra documentación escrita que proporciona datos sobre las actividades que han sido planificadas y que han sido ejecutadas. Entrevistas de grupo: Son similares a las entrevistas individuales.C A P Í T U L O I I I utilizado más de 20 técnicas diferentes para la recolección de información. El encuestador deberá desarrollar una relación de confidencia con el individuo a fin de que sus experiencias y opiniones sean compartidas. El objetivo de esta técnica es recolectar información detallada acerca de las creencias y actitudes de los individuos relacionadas al tema que se está tratando. Se solicitará a los participantes que identifiquen las fortalezas y debilidades de cada técnica y que proporcionen ejemplos específicos sobre la manera de utilizarlas. y lo que dice la gente. Generalmente los informantes clave son los líderes de la comunidad. incluyendo referencias directas. pero dirigidas a un grupo de personas que tienen características y experiencias similares. el observador registra lo que ve utilizando una guía y tomando notas descriptivas. Cada una de estas técnicas será descrita. las acciones y el comportamiento de los actores. Entrevistas a informantes clave: (un tipo especial de entrevista individual): Un "informante clave" es una persona que posee experiencia y conocimiento extensivo sobre un tema de interés para la evaluación o estudio. entrevistas a informantes clave. observaciones y análisis de información secundaria. entrevistas en grupo. Manual de Evaluación Participativa del Programa 44 . A través de la observación se puede obtener información acerca de: el ambiente (los actores. Deberá permitirse a los miembros del grupo que discutan sus opiniones y actitudes entre ellos. Muchas de ellas son técnicas que pueden ser utilizadas en las evaluaciones de programas. (favor ver referencias adicionales en el Capítulo 7). En el presente manual se discuten solo algunas técnicas que han sido utilizadas con mayor frecuencia para la recolección de información cuantitativa y cualitativa. comités de mujeres. los grupos de miembros del equipo de evaluación prepararán una guía para la entrevista/observación para cada categoría de personas a ser encuestadas. mujeres de la comunidad. El coordinador de la evaluación debe realizar una explicación al equipo acerca del modo de usar las guías de encuestas/observación así como también directrices para el desarrollo de este tipo de instrumentos.C A P Í T U L O I I I Paso 9. Guías para las entrevistas Una guía para entrevistas es un conjunto de preguntas abiertas que se puede utilizar tanto con una persona o un grupo para recolectar información cualitativa detallada principalmente. los miembros del equipo continuarán trabajando en los mismos grupos a los que se les asignó para los pasos 7 y 8. En este paso. por otro lado. El cuestionario es utilizado de una manera muy estructurada y el procedimiento es el mismo para todos los encuestados. Se requerirá alrededor de 5 a 6 horas para diseñar las guías para las entrevistas y observaciones. así como el conocimiento elemental para la formulación de las preguntas Manual de Evaluación Participativa del Programa 45 . y para cada categoría de personas de las que se ha determinado recolectar la información. en la evaluación GAFNA se desarrolló una guía para cada una de las siguientes categorías a entrevistar: comunicadores tradicionales. Desarrollo de instrumentos de recolección de información En base a las preguntas de evaluación redactadas en el Paso 7 y en la elección de las técnicas de recolección de información realizada en el Paso 8. enfermeras de salud comunitaria. ya que éstas son pertinentes para más de una categoría. Para cada pregunta de evaluación. (de acuerdo a lo registrado en la tercera columna de la Tabla de Planificación de Recolección de Información) los equipos desarrollarán una o más preguntas de encuesta o elementos de observación. En este paso. Entre los elementos necesarios para desarrollar una guía para entrevistas se encuentran las preguntas de evaluación que serán respondidas en la entrevista. durante el desarrollo de la entrevista. gerentes del proyecto y directores de GAFNA. constituye un método más flexible para "guiar" al encuestador y que le permite adaptar o modificar las preguntas hasta cierto grado. muchas de las preguntas serán las mismas. A pesar de que las guías para cada una de las categorías diferentes de personas a entrevistar. serán diferentes. los miembros del equipo desarrollarán posteriormente los instrumentos de recolección de información bruta para realizar las entrevistas y observaciones. Es importante enfatizar que en una guía de entrevista detallada es muy diferente a un cuestionario tradicional. Por ejemplo. La guía de entrevista detallada. ¿Cuál fue el rol del Comité de Madres en el programa? 3. ¿Cuál fue su rol en la Campaña Piloto de Educación Nutricional? 2. opiniones y conocimiento de las personas. colocando las preguntas fáciles al inicio. • No deben contener más de una idea. Además. ¿Qué hizo usted con la información recolectada? Para la recolección de información cualitativa. es decir no se debe incluir dos temas en la misma pregunta. seguidas de las más difíciles. Se requieren principalmente preguntas abiertas para obtener información cualitativa detallada. "La experiencia de GAFNA" Parte de la guía para entrevistas para Enfermeras de Salud Comunitaria 1. • No deben ser formuladas en forma negativa. el objetivo consiste principalmente en recolectar información detallada acerca de las actitudes. • La formulación de la pregunta no debe sugerir la respuesta. ¿Qué información recolectó usted durante el seguimiento de las actividades? 9. ¿Fue usted capacitada para realizar el seguimiento a las actividades de la Campaña? 8. ¿Cuál fue su rol en el seguimiento de las actividades de la Campaña? 7. ¿Recibió usted su subsidio de combustible? 5. la formulación de las preguntas debe seguir los siguientes criterios: • Deben ser claras y estar redactadas en un lenguaje simple.C A P Í T U L O I I I correctas. las preguntas menos íntimas deben anteceder a aquellas que tratan temas más sensitivos. De la misma manera. ¿El combustible recibido fue adecuado para llevar a cabo las actividades de la Campaña 6. En una evaluación de proceso. La guía para la entrevista puede contener preguntas que requieran tanto respuestas cuantitativas como cualitativas. ¿Encontró usted dificultades en el seguimiento de las actividades? 11. la pre-validación de la guía para las entrevistas no es una actividad tan crítica como ocurre en el caso de un cuestionario estructurado. ¿Hasta qué punto asumieron ellas esos roles? 4. El motivo de esto es que las preguntas para la Manual de Evaluación Participativa del Programa 46 . Debe elegirse cuidadosamente el orden en que se formulan las preguntas. ¿Con cuanta frecuencia realizó usted el seguimiento a las actividades? 10. el observador utiliza la guía de la manera más discreta posible para registrar información esencial sobre el contenido y/o el procedimiento utilizado.C A P Í T U L O I I I entrevista detallada pueden ser modificadas durante el proceso de recolección de información si la manera en que están redactadas no facilita la obtención de las respuestas esperadas. Por esta razón y siguiendo la elaboración del diseño de los instrumentos por parte de los miembros del equipo. La guía para realizar observaciones Una guía para realizar observaciones es una herramienta que ayuda al observador a estructurar sus notas acerca de algunos aspectos de una actividad que le interesa. debe proporcionarse un espacio de tiempo al coordinador de la evaluación y a uno o más miembros del grupo de coordinación de la evaluación para que revisen y corrijan los instrumentos. realizando entrevistas simuladas entre ellos. Manual de Evaluación Participativa del Programa 47 . los miembros del equipo de evaluación podrán probar de manera informal las guías. Mientras la actividad de interés está siendo ejecutada. de manera que puedan realizarse modificaciones antes de reproducirlas. El desarrollo de una guía para realizar observaciones requiere la comprensión de las preguntas de evaluación que serán respondidas y la identificación de aspectos clave de la actividad a ser analizada. Guía para realizar observaciones a ser utilizada con los comunicadores tradicionales Adecuado Casi adecuado No adecuado Observaciones Contenido de los mensajes Secuencia Intervención del participante Discusión Rol Canciones Revisión El desarrollo de instrumentos de recolección de información adecuados no constituye una tarea fácil y no se espera que los miembros del equipo produzcan modelos perfectos en tan corto período de tiempo. Si se cuenta con tiempo disponible. En esta etapa del taller deberá presentarse al equipo evaluador planes relativos al muestreo preparados por el grupo coordinador así como sus propuestas sobre los lugares de recolección de información y de las personas a entrevistar. se deberán tomar decisiones finales relacionadas a las características y al número de cada tipo de personas a ser entrevistadas por lugar como también acerca del cronograma detallado de visitas. en lugar de utilizar las mismas guías.C A P Í T U L O I I I Esta tarea tomará aproximadamente un día y medio. La "Hoja de Trabajo de Planificación de la Recolección de Información". se identificaron los tipos de personas a ser entrevistadas y observadas. Durante las entrevistas detalladas se anotarán las respuestas de los entrevistados en hojas de papel corriente o en cuadernos. asumiendo que el grupo responsable elegido es eficiente y que cuentan con varias computadoras a su disposición. La razón de esto es que la longitud de las respuestas no puede ser prevista. En el presente Paso. presentada a continuación. A través del Paso 3. es decir fecha y hora. Paso 10: Conclusión de la elaboración de muestras de lugares de recolección de información y de personas a ser encuestadas En este paso. Muchos cocineros pueden arruinar la sopa. En el Paso 8. ahora se realizarán los planes finales relativos a las muestras. fueron determinados. Debido a la complejidad para determinar las muestras de recolección de información. las zonas y los lugares de recolección de información. Por lo tanto las guías para las entrevistas podrán ser escritas a doble espacio para facilitar su lectura. Deberán pasar a la computadora y fotocopiar los instrumentos revisados y distribuirlos a los miembros del equipo de trabajo de campo. pero no es necesario dejar espacio vacío en las guías para anotar las respuestas que proporcionen los entrevistados. Esto implica también que cada uno de los miembros del equipo solo necesitará recibir una sola copia de cada tipo de guía para las entrevistas. representa una herramienta útil para decidir los tipos de recolección de información que puedan utilizarse en cada lugar. la tarea debe ser responsabilidad principalmente del Grupo de Coordinación de la Evaluación. Manual de Evaluación Participativa del Programa 48 . En base a las decisiones tomadas en los Pasos 3 y 8 relativos a los lugares de recolección de información y a los tipos de personas a ser entrevistadas. la muestra de personas a ser entrevistadas en cada lugar y el cronograma para la recolección de información. deben tomarse decisiones finales relativas a los lugares de recolección de información. y las notas del entrevistador no deberán estar limitadas a los espacios fijos de las guías para las entrevistas. Es importante que el responsable de la identificación de las personas a entrevistar entienda claramente las características definidas para cada tipo de grupo. no olvide agregar en su planificación un día al final del trabajo de campo para realizar la "síntesis del análisis de la información" antes de dejar el último lugar de trabajo. el equipo decidirá adoptar el mejor procedimiento para elegir a los miembros del grupo específico. así como el número de personas a entrevistar por grupo. deberá prepararse otra tabla que indique. para cada lugar. Como se discutirá en el Paso 11. A fin de completar este cronograma detallado POR FAVOR LEA CUIDADOSAMENTE la información presentada sobre "la planificación para entrevistas de grupo" presentada a continuación. Planificación de las entrevistas de grupo El número de personas participantes en cada entrevista de grupo deberá limitarse de 6 a 10. En primer lugar. Los grupos de este tamaño son preferibles por dos razones. Manual de Evaluación Participativa del Programa 49 . el grupo pequeño permite que todos los participantes contribuyan con ideas a la discusión. En base a las características definidas de cada tipo de personas a entrevistar. Algunos equipos anteriores no siguieron este consejo y casi murieron por el exceso de trabajo durante el trabajo de campo. así como el "cronograma diario de recolección de información" descrito en el Paso 11.C A P Í T U L O I I I Hoja de Trabajo de Planificación de la Recolección de Información Región: Occidente Número de grupos/a entrevistar u observar por lugar: Lugares de recolección de información Enfermeras de salud comunitaria Madres Comunicadores tradicionales Kerowan 2 (individual) 10 (2 grupos) 3 (1 grupo) Benbara 1 (individual) 10 (2 grupos) 4 (1 grupo) Winela 2 (individual) 10 (2 grupos) 3 (1 grupo) Una vez que la hoja de trabajo ha sido debidamente llenada. La programación de las entrevistas debe considerar el tiempo requerido para llevarlas a cabo (aproximadamente 1 hora 1/2 por grupo). En segundo lugar. las fechas y el tiempo aproximado en que cada tipo de grupo/individuos serán entrevistados u observados. resulta más fácil al entrevistador facilitar este grupo en comparación con otros de más de 10 personas. Generalmente un equipo puede realizar un máximo de dos entrevistas de grupo o 3-4 entrevistas individuales por día. recolección y análisis de información Paso 11: Preparación de los equipos del trabajo de campo: recolección de información y logística Paso 12: Realización de entrevistas y observaciones Paso 13: Análisis de la información recolectada Paso 14: Resumen de los hallazgos del trabajo de campo Técnicas de Para llevar adelante el Paso 11. a fin de preparar a los miembros del equipo de trabajo de campo para las actividades de recolección de información y para orientarlos en los procedimientos logísticos. En lo que respecta al análisis de la información y en base a experiencias pasadas. Cualquiera que sea el número de personas que participen en el trabajo de campo deberán dividirse en equipos de alrededor 4-6 miembros cada uno. se requerirá aproximadamente un día y medio. roles y expectativas de los miembros de los equipo. se sugiere que en la mayoría de los casos es mejor no tratar de explicar los procedimientos a los miembros del equipo durante la sesión de orientación. deberá añadirse a la planificación del taller de la Fase II un día y medio para la orientación del Paso 11. se enfocará en varios temas clave: logística para la fase de trabajo de campo. Los miembros del equipo de trabajo de campo participarán en los Pasos 11-13. El tiempo asignado al trabajo de campo es variable. La orientación. la orientación a los miembros de los equipos resulta una etapa fundamental. Fase III: Trabajo de Campo: preparación. roles y expectativas de los líderes de los equipos. Paso 11: Preparación de los equipos de trabajo de campo Antes de comenzar el trabajo de campo. la tercera fase corresponde a la preparación de los equipos de trabajo de campo para realizar la recolección y análisis de información y para preparar un resumen de los hallazgos. pero probablemente será de 6 a 10 días. Es preferible orientar a los líderes del equipo de campo en el proceso del análisis Manual de Evaluación Participativa del Programa 50 . que durará un día y medio y preferiblemente dos días. Como se explicó anteriormente probablemente no todos los miembros del equipo de evaluación participarán en esta Fase a menos que el equipo sea pequeño (máximo 10-12 personas). recolección y análisis de información En base a los elementos de la metodología de evaluación desarrollada en la Fase II. toma de datos. habilidades para las entrevistas detalladas. Si todos los miembros del equipo evaluador participan en el trabajo de campo. y una breve discusión sobre la manera en que el análisis de la información cualitativa será realizado en el campo.C A P Í T U L O I I I Fase III: Trabajo de Campo: preparación. La recolección y análisis de la información (Pasos 12 y 13) deberán ser realizados simultáneamente como se explicará más adelante. Esto dejará aproximadamente un día para revisar las guías para las entrevistas corregidas y para trabajar sobre las habilidades requeridas en la realización de entrevistadas detalladas. los arreglos para el alojamiento y la comida. En el presente paso. El rol de los líderes de los equipos tenían que haberles sido explicados en el Paso 5. Para este tema se sugiere que el coordinador de la evaluación prepare ejercicios sobre las habilidades para la realización de entrevistas detalladas. Durante la orientación. La mayor parte de la planificación logística y administrativa para el trabajo de campo deberá ser realizada con anterioridad. Cada uno de los equipos de trabajo de campo deberán contar con un líder. y de los lugares en los que realizarán las encuestas. Las responsabilidades de los líderes de los equipos son las siguientes: • desarrollar un sentimiento de espíritu de equipo y cooperación entre sus miembros • alentar la participación de todos los miembros del equipo y el respeto que cada uno se merece • delegar la responsabilidad de la recolección y análisis de la información de acuerdo a habilidades e intereses individuales • reforzar las habilidades para realizar entrevistas explicadas durante la orientación • facilitar el análisis diario de la información recolectada • asegurar que al término de cada día se redacte una síntesis sobre la información recolectada • supervisar al coordinador de logística Manual de Evaluación Participativa del Programa 51 . Los equipos recibirán información sobre: el cronograma de viajes diario.C A P Í T U L O I I I de información a ser seguido en lugar de tratar de enseñar la técnica a los miembros de los equipos el último día de la orientación. se deberá presentar y discutir los roles tanto de los líderes como de los miembros de los equipos. pero los detalles finales serán discutidos en esta ocasión. se deberán prever de 3-4 horas para discutir asuntos logísticos relacionados al trabajo de campo. Logística y expectativas de los miembros de los equipos Es importante que los miembros de los equipos del trabajo de campo sean informados acerca de los procedimientos logísticos que se han preparado para el período de trabajo de campo. C A P Í • T U L O I I I asegurar que al término del período del trabajo de campo se haya recolectado la información pertinente correspondiente a todas las preguntas de la evaluación. Los miembros de los equipos deben también entender las expectaciones que sus compañeros tienen durante la fase del trabajo de campo. se deberán fortalecer estas habilidades de manera continua en los líderes de los equipos. deberá tratarse el tema de las actitudes. conocimientos y habilidades que se requieren para llevar a cabo entrevistas detalladas. No existe la posibilidad de desligarse de este asunto. Habilidades para realizar entrevistas detalladas La calidad de la información recolectada tanto a través de entrevistas de grupo como en entrevistas individuales. Durante el período de orientación. por lo tanto es necesario ir preparando a la gente para que lo asuma. Por ejemplo se puede mencionar: • contribuir al bienestar de los participantes y cumplir debidamente las tareas asignadas durante el trabajo de campo • participar en la realización de las entrevistas • participar en el análisis diario de la información recolectada. Debe explicarse claramente a los miembros de los equipos que el trabajo de campo implica no solamente la recolección de información. con anticipación. que los participantes se queden trabajando hasta altas horas de la noche. algunas veces. sino también su análisis diario y que esta última actividad requerirá. Es importante insistir en este aspecto. Manual de Evaluación Participativa del Programa 52 . depende en gran medida de las habilidades de los miembros de los equipos para llevar a cabo entrevistas detalladas. Durante la fase del trabajo de campo. incluyendo la actuación teatral y realizar ejercicios en parejas o en grupos de tres personas. Pueden diseñarse actividades de capacitación participativas para cada tema. Manual de Evaluación Participativa del Programa 53 . las actuaciones teatrales (tales como las descritas en el recuadro que se presenta a continuación) para ayudar a que los participantes puedan identificar procedimientos efectivos e inefectivos para llevar a cabo las entrevistas. Se deberán utilizar tantos ejemplos prácticos como sea posible para asegurar que los miembros de los equipos no solo observen sino también que practiquen el empleo de las habilidades adecuadas para llevar a cabo las entrevistas. Se pueden utilizar. por ejemplo.C A P Í T U L O I I I ¿Qué hace que una entrevista resulte buena? Actitudes: Conocimientos: Habilidades: • el respeto hacia las ideas. valores culturales y tradiciones de los participantes del grupo • relaciones a un nivel de igualdad entre entrevistadores y las personas a entrevistar • compromiso de "aprender" en lugar de tratar de "enseñar" a las personas a entrevistas • familiaridad con las preguntas de la evaluación y con las guías para las entrevistas para cada tipo de personas a entrevistar • principios de comunicación interpersonal • comportamientos no verbales que desalientan a las personas a entrevistar • pasos en el proceso de llevar a cabo entrevistas • estrategias para formular preguntas detalladas • escucha activa • toma de datos • facilitación de grupos pequeños alientan los o Todos estos temas deben tratarse durante el período de orientación. • • • Preguntas cerradas pueden utilizarse hasta cierto límite. Alienta a todos los miembros del grupo a que participen. El entrevistador efectivo Se lleva a cabo una entrevista de grupo con 4 madres acerca de sus creencias y prácticas sobre la diarrea. Los miembros de los equipos reconocerán que existen varias clases de preguntas. El grupo podrá identificar fortalezas y debilidades en las actitudes y habilidades del entrevistador. Ejemplo: ¿Está de acuerdo en que la capacitación para trabajadores en salud comunitaria fue realizada adecuadamente? Preguntas dobles deben evitarse. Ejemplo: ¿Usted cree que el proyecto de educación nutricional fue útil? Preguntas dirigidas deben evitarse. la herramienta principal para recolectar información. y acepta todas sus respuestas con el mismo grado de apertura y entusiasmo. El entrevistador demuestra verbal y no verbalmente atención. y que algunas de ellas son más adecuadas que otras para efectos de las entrevistas detalladas.C A P Í T U L O I I I Muestra de actuaciones teatrales durante la realización de entrevistas El entrevistador inefectivo Una madre está siendo entrevistada a través del uso de un cuestionario estructurado acerca de la alimentación infantil. Estrategias para formular preguntas Durante la realización de las entrevistas. El entrevistador demuestra verbal y no verbalmente una falta de interés total y de desaprobación hacia las respuestas de la entrevistada. que diferentes tipos de preguntas merecen diferentes tipos de respuestas. se solicita a los participantes que analicen los procedimientos utilizados por los entrevistadores en cada caso. Continuando con las actuaciones teatrales. y redactar un listado con relación a las cosas que "se deben hacer" y que "no se deben hacer" durante las entrevistas. formula preguntas "aclaratorias" o de seguimiento adecuadas para que las madres entrevistadas amplíen sus respuestas. constituye la pregunta. concentración e interés hacia las respuestas de todas las madres. verbaliza su impaciencia con ella y abruptamente la interrumpe con frecuencia cuando da respuestas largas o cuando las respuestas no corresponden a lo que él espera. El entrevistador no presta atención cuando la madre se encuentra hablando. Manual de Evaluación Participativa del Programa 54 . el encuestador formula preguntas aclaratorias o de seguimiento para profundizar el tema y obtener así una información más precisa. aclaratorias y de seguimiento deben utilizarse ampliamente.C A P Í T U L O I I I Ejemplo: ¿Los trabajadores en salud comunitaria participaron activamente en las sesiones de capacitación y utilizan lo aprendido luego de volver a sus lugares de origen? • Preguntas abiertas. Con frecuencia. Si una persona entrevistada no entiende la pregunta que se le formula. el entrevistador deberá ser capaz de tomar nota de manera efectiva del contenido de las respuestas. el entrevistador puede reformularla de la manera en que ésta sea comprensible para el encuestado. además de las preguntas que se encuentran en la guía. Las guías para realizar las entrevistas constituyen herramientas que el entrevistador deberá utilizar de manera flexible a fin de lograr los objetivos trazados. Las notas deben escribirse en primera persona 2. constituyen las bases para realizar las entrevistas tanto de grupo como individuales. Los siguientes principios acerca de la toma de datos puede servir como una guía: 1. El propósito de la formulación de las preguntas es la obtención de información que ayudará a responder las preguntas formuladas por la evaluación. Al contrario que en el caso de un cuestionario que debe seguirse estrictamente. Las frases o dichos descriptivos especiales deberán anotarse palabra por palabra 4. Principios de la toma de datos Además de conocer el tipo de preguntas que deben formularse. Diallo? Las guías para llevar a cabo las entrevistas para cada categoría de personas a entrevistar. las guías para llevar a cabo entrevistas se utilizan de una manera más flexible. Ejemplos: − Pregunta abierta: ¿Cuales son sus impresiones acerca de las actividades llevadas a cabo por parte de los comunicadores tradicionales? − Pregunta aclaratoria: ¿Porqué opina que fueron efectivas? − Pregunta de seguimiento: ¿Qué opinan los demás participantes del grupo acerca de lo que acaba de decir el Sr. La información debe registrarse tal como se la escucha y no modificarla en base a las ideas o valores de los entrevistadores Manual de Evaluación Participativa del Programa 55 . Deberán anotarse las palabras e ideas clave 3. resultará muy difícil leer las notas si éstas se encuentran escritas a lápiz. En los casos en que sea posible. Sin embargo. Durante las entrevistas de grupo. Manual de Evaluación Participativa del Programa 56 . Material a ser preparado por cada equipo de recolección de información • copias con las preguntas de la evaluación • copias de las guías para la realización de entrevistas y observaciones • bloques u hojas de papel blanco DIN A4 • 1 sujetapapeles para cada miembro del equipo • bolígrafos • archivadores para organizar las notas de acuerdo a las categorías de las personas a entrevistar • clips y/o engrapadoras y grapas Recuérdese que cada miembro del equipo requiere una copia de cada una de las guías para realizar encuestas. es recomendable dejar un día libre entre la conclusión de las sesiones de orientación y el día de viaje al primer lugar de trabajo en el campo. Paso 12: Llevar a cabo las entrevistas y las observaciones Una vez que la sesión de orientación a concluido. la mayor parte de la recolección de la información se realizará a través de las encuestas. todas las notas que se puedan 6. Existen varias consideraciones que deben tomarse en cuenta el momento de planificar el cronograma. Esto proporcionará a los miembros de la evaluación. la fase de trabajo de campo de la evaluación puede comenzar. Deberán tomarse. de manera que los conocimiento y el repaso sobre las habilidades requeridas para el efecto.C A P Í T U L O I I I 5. en lo posible. algo de descanso luego de una semana de intensa actividad. así como tiempo libre para que puedan arreglar su cuestiones personales. las diferentes opiniones de los participantes deberán anotarse. bolígrafos en lugar de lápices. así como una copia revisada de las preguntas de la evaluación. Durante las noches. se mantengan frescas. El cronograma diario de recolección de información En muchos casos. con una luz tenue. es importante señalar que las sesiones de orientación sean realizadas inmediatamente antes de la fase de recolección de la información. Es preferible proporcionar a los miembros del equipo. Por ejemplo. El propósito de la visita anticipada del grupo debe ser explicada a ellos y solicitar su colaboración obteniendo información para la organización de las entrevistas. es posible realizar dos entrevistas de grupo o de 2 a 3 entrevistas individuales. Su ayuda será necesaria especialmente para identificar a las personas potenciales a ser entrevistadas e invitarlas a participar en las entrevistas. y aproximadamente una hora y media para la de una entrevista individual. la fecha y hora de cada entrevista. reunirse o esperar que los participantes se reúnan para iniciar las entrevistas. hay que asegurarse de contar con el tiempo y la energía necesaria para lograr lo que se planifica y para que los equipos de campo sobrevivan durante esta fase.C A P Í T U L O I I I 1. trasladarse a los alojamientos. La planificación del cronograma diario de entrevistas debe considerar el tiempo necesario para: realizar el viaje hasta el lugar de recolección de información. La experiencia señala que para un grupo compuesto por un entrevistador y dos tomadores de datos. conversar con los líderes de las organizaciones y de las comunidades. Sin embargo. Resulta más fácil para el grupo realizar las entrevistas durante la mañana a fin de tener el suficiente tiempo para completar el análisis de la información el mismo día. Manual de Evaluación Participativa del Programa 57 . alguien debe viajar al lugar donde se realizarán cada una de las entrevistas y hablar con los organizadores y los líderes de la comunidad. y realizar las sesiones de análisis de la información con el grupo. comer. resulta más útil entrevistar la mayor cantidad de gente que se pueda. Para el propósito de la evaluación. deberá ser analizada el mismo día en que se la recolectó. 2. La persona designada deberá proporcionar información detallada sobre: las características y el número de participantes de los grupos a ser entrevistados. si las mujeres con niños menores de cinco años serán entrevistadas. Se requiere entre 2 y 4 horas para analizar la información obtenida en una entrevista de grupo. el líder de la comunidad deberá ayudar a identificarlas. Contactos preliminares con los líderes de las organizaciones y de las comunidades Una vez que el cronograma para dirigir las entrevistas a la comunidad y a las organizaciones estén listas. la hora en que las entrevista se llevarán a cabo debe decidirse con la ayuda de las opiniones de las personas que conozcan la disponibilidad de tiempo de la población objetivo a entrevistarse y/o en negociaciones con las propias personas a entrevistar. 3. La información recolectada durante cada entrevista. Sin embargo. llevar a cabo las entrevistas. por día. descansar. Con frecuencia se asume que el equipo que los visita. Será de mucha utilidad. Conducción de entrevistas de grupo Durante la realización de entrevistas de grupo se deberán seguir los siguientes pasos y prácticas: 1) Antes de iniciar las entrevistas • Elegir un lugar tranquilo y aislado • Verificar las características de los integrantes del grupo • Limitar la participación en el grupo a 10 personas aproximadamente • Hacer que los participantes se sienten alrededor de un círculo • Sentarse al mismo nivel 2) Introducción al ejercicio • Dar la bienvenida a los participantes • Explicar el propósito de la entrevista • Asegurar a los participantes la confidencialidad de sus respuestas • Alentar la participación de todos los miembros del grupo 3) Facilitar las discusiones de grupo • Conducir la entrevista en el lenguaje local • Utilizar la guía para estructurar la entrevista • Las entrevistas deben durar de 1 a 1 hora y media • Tomar todas las notas que sean posibles 4) Terminar la entrevista • Revisar la guía para llevar a cabo la entrevista • Agradecer a los participantes Manual de Evaluación Participativa del Programa 58 . explicar claramente a la persona de contacto elegida en cada lugar. a fin de que organice con anticipación a las personas que serán entrevistadas en grupos. los objetivos y las expectativas del equipo. quedará altamente impresionado al encontrarse con grupos numerosos.C A P Í T U L O I I I Es sumamente importante explicar a las personas a entrevistar la justificación de trabajar en grupos pequeños de entre 6 a 10 participantes. tanto en relación a su número como a sus características. comprendida y utilizada. las conclusiones del análisis diario deberá sintetizarse para cada una de las preguntas de la evaluación. En realidad. la información recolectada deberá analizarse el mismo día de su recolección. constituye el análisis de toda la información recolectada de manera que pueda ser sintetizada. o lo contrario? ¿Se observaron problemas relacionados a la participación de los miembros del grupo? ¿Qué puede hacerse para mejorar la participación de las personas en entrevistas posteriores? 2) ¿Cómo resulto la facilitación durante la entrevista? ¿Cuáles son las fortalezas? ¿Cuáles fueron las debilidades? ¿Cómo puede la facilitación ser mejorada para el futuro? 3) ¿Hubieron factores externos al grupo que distrajeron a los participantes? ¿Cómo pueden evitarse estos problemas en el futuro? Paso 13: Análisis de la información recolectada Un paso crítico. clasificada por categoría de las personas entrevistadas y para cada una de las preguntas de la entrevista. así como de las observaciones realizadas en la comunidad. En esta discusión. Preguntas sugeridas para la sesión corta de retroalimentación: 1) ¿Cuales son las observaciones con respecto a la participación de los miembros del grupo o del individuo durante la entrevista? ¿Qué comportamientos no verbales se observaron que sugieran que los participantes se encontraban cómodos e interesados. sobre los colaboradores de las organizaciones. Como se mencionó antes. Al término de la fase de trabajo de campo. El análisis de la información obtenida será realizada en el Paso 13. como se podrá imaginar. Manual de Evaluación Participativa del Programa 59 . la recolección de la información (Paso 12) y su análisis (Paso 12). a fin de identificar las limitaciones encontradas y formular las lecciones aprendidas a ser utilizadas en entrevistas posteriores. de fuentes secundarias y de la propia experiencia de los miembros del equipo sobre el programa que se está evaluando. resulta útil para el equipo del estudio disponer de 15 a 20 minutos para analizar la dinámica de las sesiones individuales y de grupo. ambos pasos deberían ocurrir de manera concurrente. La información a analizar proviene de las notas obtenidas durante las entrevistas. se presentan como etapas separadas en el proceso de evaluación.C A P Í T U L O I I I Sesión corta de retroalimentación Luego de concluida una entrevista de grupo. la elección del coordinador de la evaluación. Sin embargo. pero también es muy exigente en términos de la energía intelectual y de la creatividad que requiere. y acerca de la preparación y apoyo que deberá proporcionárseles para el análisis de la información. La segunda razón por la cual resulta importante analizar la información inmediatamente después de haber sido recolectada. Generalmente. no pueden escribir todo lo que se dice. en el análisis de la información recolectada en una entrevista. existe el consenso en que el análisis de la información es desafiante. existen dos razones por las cuales el análisis debe realizarse paralelamente a su recolección. es que a pesar de haber tomado notas extensas. el facilitador y las personas que toman las notas. mientras más pronto se procede al análisis. Por lo tanto. El análisis de la información cualitativa es muy diferente y considerablemente más difícil que la de la información cuantitativa. con anticipación. El proceso de análisis de la información deberá Manual de Evaluación Participativa del Programa 60 . Con la recolección de información cualitativa se pretende emprender un proceso de aprendizaje iterativo o en forma de espiral. Procedimiento para el análisis de la información cualitativa En el trabajo con información cuantitativa. A este respecto. las percepciones observadas a través del análisis de un conjunto de información pueden sugerir modificaciones que deberán incluirse en posteriores entrevistas. Entre los que han intervenido en evaluaciones participativas como éstas o en otras actividades de investigación cualitativa.C A P Í T U L O I I I Resulta importante señalar que el análisis de la información constituye el paso más difícil del proceso de evaluación. resulta particularmente importante. Deberá ser una persona que posea una considerable experiencia en la recolección y en el análisis de información cualitativa. existen lineamientos generales. mientras otros pueden sugerir otras facetas sobre el tema que no fueron incluidos inicialmente en las preguntas de la evaluación. Cuando se trata de información cualitativa. El proceso de análisis de la información puede ser fascinante. no con el objeto de desanimar. y para alentar a que se piense seriamente acerca de las personas que se elijan para que participen en la evaluación. Se menciona esto. En tales casos. su análisis se realiza una vez que la recolección ha sido concluida. algunos aspectos sobre esa información pueden no ser claros. Para el trabajo con información cualitativa. En otras palabras. un principio crítico consiste en que tanto la recolección como el análisis de la información deben realizarse concurrentemente. Algunas personas que realizan estudios y evaluaciones cualitativas no siguen esta regla porque consideran que resulta más fácil realizar el análisis al final. existe mayor probabilidad de absorber estos aspectos. existe información y percepciones adicionales sobre los conocimientos y actitudes de las personas entrevistadas que no fueron recogidas en las notas. que el análisis de información cualitativa es algo mañoso. sino más bien para ayudar a comprender. pero no fórmulas establecidas para su análisis. C A P Í T U L O I I I ser facilitado por una persona que posea habilidades tanto en el manejo de información cualitativa como en el manejo de grupos de trabajo. A este respecto, el rol del líder del equipo como facilitador del proceso de análisis de la información resulta crítico y, por tanto, deberá ser cuidadosamente seleccionado y preparado para la tarea. La técnica para el análisis de la información cualitativa es el análisis de contenido. A través del análisis de contenido de la información recolectada, se podrán formular conclusiones para cada tipo de preguntas de la evaluación. El proceso de análisis implica identificar las categorías de respuestas encontradas en la información no procesada. Procedimiento para el análisis diario de la información El proceso diario de análisis de la información se estructura alrededor de las preguntas de la entrevista, formuladas para cada categoría de personas entrevistadas. Por ejemplo, si un día el equipo realiza entrevistas individuales a dos enfermeras y a un grupo de comunicadores tradicionales, los dos juegos de información (enfermeras y comunicadores tradicionales) serán analizados separadamente, en base a las preguntas incluidas en cada una de las guías. Durante el análisis, el equipo requerirá consultar las preguntas de la evaluación para clarificar los objetivos de las preguntas de las entrevistas. Todos los miembros del equipo de campo deberán participar en las sesiones de análisis de la información. á fin de analizar la información, se sugiere que se utilice un procedimiento simplificado para realizar el análisis de contenido basado en 5 pasos. El proceso es similar para el análisis de la información recolectada a través de observaciones y de fuentes secundarias. Paso 1: Volver a leer las preguntas de la entrevista. Las preguntas serán leídas una por una al grupo. Esto permite a los miembros del grupo a recordar el sentido de cada una de las preguntas. Paso 2: Leer las notas tomadas en la entrevista. Las personas que tomaron las notas, leerán en voz alta, las respuestas consignadas en las notas para cada pregunta. Si existen más de un juego de notas, cada juego deberá ser leído. Paso 3: Discutir las respuestas. El líder del equipo pedirá al grupo que discuta la información contenida en las notas, para compartir otros comentarios realizados por las personas entrevistadas que no fueron consignados, a fin de aclarar exactamente lo que las personas entrevistadas dijeron. Manual de Evaluación Participativa del Programa 61 C A P Í T Paso 4: U L O I I I Categorizar las respuestas y resumir los hallazgos. En forma conjunta, el grupo identificará las categorías de las respuestas de la información recolectada y resumirá los hallazgos de una manera concisa. El ejemplo presentado a continuación ilustra un resumen de hallazgos para una pregunta de la entrevista. Resumen de hallazgos para una pregunta de la entrevista ¿Qué piensan las mujeres sobre el uso de canciones del proyecto de educación nutricional? Como ejemplo, tal vez todas las entrevistadas estuvieron de acuerdo en que el uso de canciones fue benéfico mientras algunas dijeron que eran repetitivas. El hallazgo en esta pregunta de la evaluación deberá escribirse de la siguiente manera: "Las mujeres entrevistadas dijeron unánimemente que disfrutaron de las canciones, que representaba una manera fácil para comprender y recordar los mensajes de educación nutricional. Algunas de las entrevistadas dijeron que las canciones eran muy repetitivas y que se deberían introducir continuamente nuevas canciones". Como ilustra el ejemplo, el resumen debe indicar las tendencias encontradas en la información recolectada en términos de la forma en que las actitudes e ideas expresadas eran compartidas por todas, la mayoría, la mitad, la minoría o algunas de las entrevistadas. Mientras el objetivo no es el de cuantificar los diferentes tipos de respuestas, las tendencias deben ser informadas. Paso 5. Identificar información no clara o faltante. El último paso en la discusión de cada pregunta de la entrevista consiste que el grupo determine si existe información faltante o que no sea clara y que deberá ser investigada durante posteriores entrevistas. Todos los miembros del equipo deberán tomar nota de las preguntas suplementarias que decidan agregar a la guía para realizar las entrevistas. Dificultades encontradas en el análisis de la información en la evaluación GAFNA Los equipos de campo realizaron un esfuerzo valiente para analizar la información y sintetizar los hallazgos siguiendo los pasos propuestos. En muchos casos, los equipos trabajaron hasta altas horas de la noche para terminar el análisis. Algunos participantes encontraron esta fase bastante difícil Manual de Evaluación Participativa del Programa 62 C A P Í T U L O I I I puesto que demanda un esfuerzo intelectual y físico considerable hasta altas horas de la noche. Resumen del análisis de la información Al término de la fase del trabajo de campo, por lo menos un día debe ser programado para que cada uno de los equipos de campo sintetice sus hallazgos. Se sugiere que para esta tarea se considere un día adicional al tiempo a pasar en el último lugar del trabajo de campo. Se debe tomar en cuenta que si se planea realizar esta tarea cuando el equipo retorne al lugar de capacitación o a la capital, existe el riesgo de que no todos los miembros del equipo participen a tiempo completo, lo que haría que la tarea sea más difícil. Los hallazgos deben ser sintetizados para cada pregunta de la evaluación durante una sesión de trabajo en la que todos los miembros de los equipos de trabajo de campo participen. Durante esta sesión las preguntas de la evaluación deberán ser leídas una por una así como los hallazgos de los diferentes grupos de personas entrevistadas que sean relevantes a cada pregunta (preparadas en el Paso 4 del proceso de análisis diario) y los hallazgos del equipo para cada pregunta de la evaluación deberán escribirse. Paso 14 Resumen de los hallazgos del trabajo de campo Al finalizar la fase de recolección de la información, los hallazgos de los diferentes equipos del trabajo de campo deberán ser sintetizados. Para cada pregunta de la evaluación, los hallazgos de cada uno de los equipos deberán integrarse en un solo juego de hallazgos de la información. Los líderes de los equipos deberán realizar esta tarea en forma colaborativa si es posible con un miembro de cada uno de los equipos del trabajo de campo. No todos los miembros de los equipos de trabajo de campo deben participar en esta tarea. La participación de todos ellos volvería la tarea muy larga. Esta tarea tomará alrededor de dos días asumiendo que se cuenta con un buen apoyo de facilitación, proporcionado probablemente por el Coordinador de la Evaluación. En este paso para cada una de las preguntas de la evaluación los dos representantes de cada uno de los equipos del trabajo de campo presentarán sus hallazgos del equipo y un resumen comprensivo acerca de los hallazgos deberá ser entregado por escrito. Las declaraciones del resumen deben ser concisas y expresadas en lenguaje claro, a fin de que sean fácilmente comprendidas sin necesidad de consultar las preguntas de evaluación originales. Este procedimiento facilitará grandemente la discusión sobre los hallazgos por parte del equipo completo de evaluación en el Paso 15. Manual de Evaluación Participativa del Programa 63 uno de los oficiales médicos regionales señaló que el programa estaba "corriendo paralelamente" a los programas del Ministerio de Salud en lugar de constituir un componente integrado a los mismos. Manual de Evaluación Participativa del Programa 64 . Sin embargo. Señaló que él y su equipo desearían haber participado más en la planificación inicial de dichos proyectos y que deberían organizarse reuniones periódicas de coordinación. La participación del equipo en esta tarea resulta crítica en relación a desarrollar un sentido de propiedad hacia las recomendaciones y su compromiso para implementarlas. Este acuerdo podría haber contribuido a incrementar la dependencia de "externos" en lugar de incrementar la confianza por parte de la comunidad. Fase IV: Taller para la formulación de lecciones aprendidas En la mayoría de las evaluaciones de programas. Sin embargo. En esta fase el equipo de evaluación también podrá formular conclusiones con relación a la metodología participativa. ¿En qué medida el proyecto fue ejecutado en colaboración con el Ministerio de Salud? El personal del Ministerio entrevistado señaló que el proyecto piloto de educación para la salud se encuentra dentro de las políticas y objetivos del Ministerio de Salud.C A P Í T U L O I I I La Experiencia GAFNA Ejemplos de hallazgos de dos preguntas de evaluación Pregunta Hallazgos ¿En qué medida contribuyó la comunidad al proyecto? En términos de recursos humanos las comunidades han prestado una considerable contribución al proyecto: la participación de los comunicadores tradicionales y de los comités administrativos. no han realizado una contribución financiera al proyecto. la presencia de la madres en las sesiones. Siguiendo con el concepto de evaluación participativa. Los hallazgos para cada una de las preguntas de evaluación deberán imprimirse idealmente junto con las preguntas. en esta metodología los miembros del equipo de evaluación son los responsables de estudiar los hallazgos y de formular las recomendaciones. Para el taller de la fase IV deberán prepararse un juego completo de hallazgos y distribuirse copias a cada uno de los miembros del equipo de evaluación. los evaluadores externos son los responsables de formular las recomendaciones en base a los hallazgos de la evaluación. C A P Í T U L O I I I Fase IV: Taller para la formulación de lecciones aprendidas Paso 15: Formulación de lecciones aprendidas para cada pregunta de la evaluación Paso 16: Análisis del proceso de evaluación por parte del equipo En la Fase IV, todos los miembros del equipo de evaluación que participaron en la Fase II, se vuelven a reunir por 2-3 días para desarrollar los pasos 15 y 16. Paso 15: Formulación de lecciones aprendidas para cada pregunta de la evaluación Como se mencionó anteriormente, en un procedimiento de proceso de aprendizaje para la evaluación de programas, la meta del ejercicio de la evaluación constituye en desarrollar lecciones que puedan ser aplicadas en el futuro. En este caso, los miembros del equipo evaluador discuten los hallazgos de los equipos de trabajo de campo y desarrollan un juego de lecciones aprendidas. El rol del Coordinador de la Evaluación como en las demás fases del proceso se refiere tanto a estructurar la tarea para el grupo como contribuir activamente al desarrollo de lecciones en base a percepciones obtenidas en el trabajo de campo y a sus propias experiencias en otros programas. Las lecciones desarrolladas por el equipo deberán basarse no solamente en los aspectos problemáticos del programa identificados en la evaluación sino también en aspectos positivos y efectivos. Se pueden aprender importantes lecciones no solo con lo que no funcionó sino también con lo que funcionó bien y que puede ser utilizado en el futuro. En las evaluaciones que utilizan esta metodología, resulta típico que la lista de preguntas sea larga y por lo tanto la lista de hallazgos es también larga. Por esta razón el proceso de grupo debe ser cuidadosamente estructurado para que éste cumpla la tarea oportunamente. Se sugiere que para esta tarea los participantes sean agrupados por componentes del programa, en los mismos grupos en los que trabajaron en los pasos 7-9 en el taller de planificación para la evaluación. De esta manera, los miembros del equipo que formularon las preguntas de la evaluación para un componente particular del programa, analizarán los hallazgos y desarrollarán lecciones para ese mismo componente. Cada uno de los participantes en el taller de evaluación recibirán una lista de los hallazgos relacionados a su componente. No es necesario que todos los participantes reciban copias de todos los hallazgos puesto que no los requerirán durante el trabajo en grupo reducido y no tendrán el tiempo suficiente para estudiarlos durante el taller. Además probablemente será mejor Manual de Evaluación Participativa del Programa 65 C A P Í T U L O I I I editar los hallazgos junto con las lecciones aprendidas correspondientes en el formato de una tabla como la que se presenta a continuación y distribuirla después del taller. Una vez más es importante que cada uno de los grupos cuente con un facilitador experimentado que aliente a sus miembros a discutir sistemáticamente cada uno de los hallazgos y a formular una o más lecciones aprendidas. La habilidad del facilitador para ayudar a los grupos a desarrollar lecciones claras y concisas es de la mayor importancia. Mientras más claras sean las lecciones aprendidas, más fácil será que otros las entiendan. Manual de Evaluación Participativa del Programa 66 C A P Í T U L Tabla 5: O I I I Experiencia de GAFNA Ejemplos de hallazgos de la evaluación y lecciones aprendidas Hallazgos Desarrollo de temas y mensajes de educación nutricional El desarrollo de los temas y mensajes en nutrición se basó en dos estudios cuantitativo / cualitativo excelentes sobre creencias y prácticas de la dieta materna y prácticas de alimentación infantil. Capacitación de comunicadores tradicionales (CT) La mayoría de los CTs son locutores de Mandika y gran parte de la capacitación se desarrollo en Mandika. La capacitación no fue adaptada a las necesidades de idioma de los locutores de Sarahule y Wolof, quienes por lo tanto no pudieron beneficiarse con la capacitación Subsidio de combustible para las enfermeras de salud comunitaria En la mayoría de los casos, las enfermeras informaron que recibieron sus subsidios de combustible (35D por mes). Sin embargo, en muchos casos, los pagos fueron recibidos posteriormente fuera de las regiones. Lecciones Aprendidas El desarrollo de temas y mensajes para la educación en nutrición debe reflejar las creencias y prácticas culturales del grupo meta. Los estudios cualitativos detallados son particularmente importantes como base del desarrollo del contenido educativo. No es apropiado conducir programas de capacitación en un solo idioma. Si existen variaciones étnicas entre los beneficiarios, la capacitación debe adaptarse a las necesidades lingüísticas de todos. El sistema de distribución de combustible debe ser revisado para asegurar pagos oportunos en todas las regiones. Ejemplos de hallazgos de evaluación y lecciones aprendidas En evaluaciones realizadas, la inclusión de los participantes del programa en la formulación de lecciones aprendidas de esta manera, resultó ser muy efectiva. Las lecciones que los participantes formulan, tienden a basarse no solamente en los hallazgos de la evaluación, sino también en su comprensión de prioridades políticas, contexto del programa, disponibilidad de recursos, etc. Manual de Evaluación Participativa del Programa 67 La justificación para el uso de la metodología participativa es que contribuye a: desarrollar lecciones prácticas para mejorar la implementación de programas. Se sugiere que todos los hallazgos y lecciones aprendidas sean incluidas en el informe de evaluación y presentados en el formato de una tabla de varias páginas similar a la Tabla 5. Esta es una oportunidad para que todos los participantes desarrollen conclusiones relativas a la misma metodología participativa. el análisis de la información recolectada a través de un cuestionario individual aplicado a los participantes de la evaluación mostró un número de temas comunes sobre los beneficios de la metodología. El grupo de coordinación de la evaluación debe ser responsable del diseño de la herramienta o del ejercicio para el análisis. En la evaluación de GAFNA. por lo tanto. El análisis de la metodología debe. incluyendo: un cuestionario individual por escrito. no solo tienen un entendimiento claro acerca de los resultados de la evaluación y cómo utilizarlos. Se podrá desarrollar una herramienta o ejercicio simple para realizar esta tarea. Manual de Evaluación Participativa del Programa 68 . o una combinación de ambos. un análisis de grupo a través de la discusión del mismo. Paso 16: Análisis del proceso de evaluación por parte del equipo En este paso. y desarrollar habilidades en el personal. Se pueden emplear diferentes técnicas para realizar este análisis. sino también desarrollan un compromiso para poner en práctica las recomendaciones. a todos los miembros del equipo de evaluación se les solicita proporcionar retroalimentación sobre el proceso de evaluación mismo. Estos se ilustran en el siguiente cuadro.C A P Í T U L O I I I La participación engendra el sentido de propiedad. Dada la naturaleza innovativa de la metodología. Se encontró que cuando los participantes del programa intervienen de este modo en la formulación de lecciones. considerar estos dos aspectos y otros que parezcan importantes al Grupo de Coordinación de la Evaluación. es importante que sea analizada y que se formulen lecciones referentes a su utilidad para el futuro. ideas y pensamientos individuales son muy importantes. Gerente del Proyecto GAFNA) Evaluaciones futuras "No puedo dejar de enfatizar la necesidad de aplicar este tipo de metodología participativa en el futuro. Asistente de Nutrición) Escuchando a la comunidad "La evaluación creó un foro para que escuchemos las opiniones. Supervisor de Campo de GAFNA) Fortalecimiento de la colaboración en equipo "La evaluación me ayudó a comprender que las creencias. el relacionamiento con ellos se fortalece y así. para que nos ayude a mejorar nuestros programas de nutrición". Supervisor de Campo de GAFNA) Evaluación libre de mistisismo "La evaluación a dejado de ser una palabra que temía. la forma de mejorar la estrategia del programa". (Bintou Keita Kunju. Asistente del Proyecto GAFNA) Aprendiendo de otros "Me beneficié de los otros miembros del equipo quienes compartieron sus conocimientos y experiencia conmigo". (Josephy Jassey. (Kinday Samba. (Muhamed Freeman. (Baboucar Jobe. para asegurar una planificación más realista y apropiada para el futuro". Aquí se muestran algunas de sus respuestas: Un forum para discutir "La actividad de evaluación creó un foro para los que intervinieron en la implementación del programa a diferentes niveles. Gerente del Proyecto GAFNA) Lecciones prácticas para el futuro "La evaluación nos ayudó a desarrollar lecciones comprensivas y prácticas para programas futuros". (Malang Fofana. (Saihou Sanyang. los miembros del equipo completaron un cuestionario individual por escrito sobre sus impresiones acerca del proceso de evaluación. todos trabajan más asduamente". a fin de revisar los esfuerzos combinados y decidir juntos. Manual de Evaluación Participativa del Programa 69 . críticas y sugerencias de la comunidad. ya que ahora sé como planificar un ejercicio de evaluación para que produzca resultados válidos". Unidad de Alimentación y Nutrición) Observaciones y sugerencias formuladas por el Grupo de Coordinación de la Evaluación sobre el proceso de evaluación participativa Al término de la evaluación los miembros del Grupo de Coordinación de la Evaluación desarrollaron algunas sugerencias para futuras evaluaciones. Respetando el punto de vista de los otros miembros del equipo.C A P Í T U L O I I I Experiencia de GAFNA En la evaluación de GAFNA. • El apoyo secretarial debe ser planificado con bastante tiempo de anticipación. estas personas podrían actuar como facilitadores de los pequeños grupos. En la evaluación de GAFNA. Sin embargo. 14. Este apoyo es especialmente importante para los pasos 7. Manual de Evaluación Participativa del Programa 70 . 15 y 17. A continuación se presentan ejemplos del resumen de resultados de dos aspectos diferentes del proyecto de educación nutricional de GAFNA. • Los miembros del equipo de evaluación que no posean una experiencia considerable tanto con el proyecto como con métodos de capacitación para adultos. Si las personas a las que se les asigna la tarea saben organizarse y son hábiles con la escritura susinta deberán ser capaces de completar el resumen en cuatro o cinco horas.C A P Í T U L O I I I Sugerencias para mejorar la metodología de evaluación • El proceso de evaluación puede ser dividido y desarrollado en un período de tiempo más largo. de otra manera tomará más tiempo. • El gerente del programa a ser evaluado debería ser dispensado de sus responsabilidades regulares para que pueda participar a tiempo completo en la evaluación. Fase V: Resumen de los resultados de la evaluación Paso 17: Resumen de los hallazgos y lecciones aprendidas de la evaluación Los hallazgos y lecciones aprendidas de la evaluación serán probablemente bastante extensos. El resumen puede organizarse alrededor de los elementos principales del marco de referencia del programa. 9. por lo tanto. es importante preparar un resumen de los mismos. El Coordinador de la Evaluación en colaboración con otro miembro del Grupo de Coordinación de la evaluación puede realizar esta tarea. • El tiempo debe ser programado ya sea durante el taller o durante la fase de orientación de campo para entrevistar a los propios miembros del equipo evaluador. el resumen de los resultados fue desarrollado para cada uno de los aspectos claves del marco de referencia del proyecto. los equipos no deberían comenzar el trabajo de campo hasta que el equipo de coordinación de evaluación haya revisado y aprobado la lista final de las preguntas de evaluación y de las guías para revisar las entrevistas. • Cualquiera que sea el cronograma. no deberían actuar como facilitadores líderes. no fueron desarrollados. los lineamientos y herramientas para los actores clave. las lecciones aprendidas deben formularse e integrarlas en el plan de implementación del programa. compuesto por el gerente del programa. la labor de las Enfermeras en Salud Comunitaria es importante para reforzar el conocimiento de los comunicadores respecto a conceptos de nutrición y ayudarlos a planificar y evaluar sus actividades. pero no de manera sistemática ni frecuente. Fase VI: Desarrollo del Plan de Acción Cuando se evalúa un programa que se encuentra en plena ejecución. debe implementarse inmediatamente después de la evaluación. Manual de Evaluación Participativa del Programa 71 . se definirán las funciones del seguimiento.C A P Í T U L O I I I La Experiencia de GAFNA • Seguimiento y supervisión del proyecto: El seguimiento y la supervisión de las actividades del proyecto a nivel de campo. • Efectividad de las tres estrategias de educación para la nutrición El equipo de evaluación llegó a la conclusión de que el método más efectivo para la educación en nutrición constituía el trabajo combinado de los Comunicadores Tradicionales y de las Enfermeras en Salud Comunitaria. fueron realizadas. que incorpore las lecciones. En el futuro. dependiendo del nivel de detalle en que se encuentre redactado el plan. se desarrollarán herramientas y se capacitará a los actores claves para asegurar actividades eficientes y sistemáticas para el seguimiento y la supervisión a todo nivel. Idealmente. Mientras los Comunicadores Tradicionales tienen habilidad para la diseminación de información a través de medios cultural y lingüísticamente apropiados. Esta tarea deberá ser llevada a cabo por un pequeño grupo. Este ejercicio puede demandar uno o dos o más días. el desarrollo de un plan de acción revisado. uno o más miembros del presonal de campo y el Coordinador de la Evaluación. Estas actividades incluirán el seguimiento a las madres de comunidades satélites. La razón para ésto es que los roles para el seguimiento. actividades y estrategias del programa para modificarlo o integrarlo en base a los resultados de la evaluación. Fase VII: Finalización. solo para absorber polvo y nunca ser utilizados. se incluyen dos pasos. Si no es posible integrar las reuniones de formulación del plan de acción al final de la evaluación. El producto de este paso no constituye necesariamente un plan de acción final pulido. el último paso del proceso consiste en el desarrollo de recomendaciones. Por lo menos se podrá organizar una sesión de medio día para discutir el plan de acción al término de la evaluación. La experiencia demuestra que cuando se incluye este paso como una parte integral del proceso de evaluación. Muchos informes de evaluación excelentes. deberá hacérselo posteriormente. componentes. el tiempo asignado al ejercicio de evaluación. han quedado guardados cuidadosamente en los archivos de los gerentes. diseminación y discusión del informe de la evaluación En esta última fase importante dentro del proceso de evaluación. se propone que el ejercicio de evaluación incluya este paso mediante el cual se desarrolla un borrador del plan de acción para el programa. Por supuesto. pero debe contener los principales objetivos. En los casos en que el programa se encuentre en plena ejecución. existe una falta de continuidad entre los resultados de la evaluación y su utilización en la planificación del programa.C A P Í T U L O I I I Paso 18: Desarrollo de un plan de acción en base a los hallazgos de la evaluación En la mayoría de las evaluaciones. Algunas veces. No se discuten aquí los detalles del proceso de elaboración del plan de acción puesto que cada organización tiene sus propios métodos de planificación. los resultados de la evaluación deberán integrarse al programa. Se sugiere que un sub grupo del equipo ampliado de evaluación sea el encargado de realizar este ejercicio. que lamentablemente algunas veces se dejan de lado. cuando la incorporación de los resultados se deja para "más tarde". esta actividad alarga en unos cuantos días. cuando aún las lecciones aprendidas se encuentran frescas en las mentes de la gente. en base a los hallazgos y lecciones de la evaluación. Para prevenir este problema. Con frecuencia. esto nunca ocurre. El grupo ampliado de participantes del programa podrá revisar posteriormente la propuesta del plan de acción. existen mayores oportunidades que los resultados de la evaluación sean sistemáticamente integrados dentro de los planes del programa. • Paso 19: Redacción del informe de evaluación Manual de Evaluación Participativa del Programa 72 . es la redacción del informe de evaluación. En cualquier caso. muchas personas no dispondrán del tiempo necesario. pero debe escribírselo al final. entonces los pasos seguidos en el proceso deben ser discutidos también. que ayude al lector a aprender acerca de la metodología misma. Todas las lecciones aprendidas y el resumen de los hallazgos preparados en la Fase IV deben incluirse en el informe. lo que implica demoras no deseadas en la terminación del informe. sino que tengan la oportunidad de discutir sus resultados. El Resumen Ejecutivo debe colocarse al comienzo del informe. En muchos casos solo una pequeña cantidad de copias de la evaluación es reproducida y por lo tanto su distribución se realiza en escala limitada. el enfoque se concentra a informar los hallazgos y las recomendaciones. Se debe explorar alternativas sobre este procedimiento típico y limitado y el Grupo de Coordinación de la Evaluación debe desarrollar Manual de Evaluación Participativa del Programa 73 . El plan de acción puede resultar voluminoso y deberá decidirse si se lo incluye en el mismo informe o prepararse como un documento separado. Sin embargo. es importante que esté escrito en un lenguaje simple de manera que pueda ser entendido por todos los participantes del programa. Paso 20: Distribución y discusión de los resultados de la evaluación con los colaboradores del programa Un importante aspecto en cualquier evaluación constituyen los hallazgos que deberán ser compartidos con los colaboradores del programa. Con frecuencia se descuida esta decisión. Resulta importante que al comienzo del proceso de evaluación (Fase I) se asigne la responsabilidad para la redacción del informe a una o más personas involucradas en el estudio y que se incluya una fecha tope para su entrega. El contenido y el estilo del informe de evaluación depende de la forma en que su función ha sido definida. Resulta crítico que todas las personas involucradas en el programa no solo sean informadas acerca de las importantes lecciones aprendidas. Debe contener solo los resultados o debe incluir una descripción de los pasos seguidos en el proceso? En muchos informes de evaluación.C A P U L O I I I Í T • Paso 20: Distribución y discusión de los resultados de la evaluación con personas que colaboran con el programa Paso 19: Redacción del informe de evaluación Un paso obvio pero que no siempre se completa. Mientras que el informe completo será leído por los que lo reciban. El informe debe incluir un "resumen ejecutivo de una o dos páginas sobre los hallazgos y lecciones aprendidas más relevantes. si el informe es considerado como una "herramienta de aprendizaje". por ejemplo. para discutir los hallazgos y recomendaciones con los colaboradores del programa a ese nivel. en cada una de las regiones de intervención. • Una "hoja con los datos más importantes" de 2 páginas puede ser distribuida ampliamente a una variedad de personas interesadas en los principales hallazgos y lecciones aprendidas de la evaluación. • Un resumen del informe (tal vez hasta de 10 páginas) puede ser distribuido a todo el personal del programa que estuvo involucrado de alguna manera en la evaluación. para discutir las lecciones aprendidas y su posible aplicación. • Realizar consultas con los trabajadores de campo involucrados en la evaluación para devolver los resultados a las comunidades donde se recolectó la información. el informe completo de la evaluación puede ser distribuido solo a un número limitado de participantes. • La realización de reuniones con los colaboradores del programa. Algunos métodos que han sido utilizados exitosamente son los siguientes: • La preparación de versiones diferentes sobre los hallazgos del estudio para diferentes lectores.C A P Í T U L O I I I un plan para definir la forma en que los hallazgos sean distribuidos y discutidos con todos los colaboradores clave del programa. Deben explorarse estrategias creativas para difundir los resultados del estudio desde el nivel central hasta el nivel de la comunidad. Existen evidentemente otras formas creativas en que los resultados de la evaluación pueden ser distribuidos y discutidos con las personas interesadas. Manual de Evaluación Participativa del Programa 74 . . Existe un número de aspectos clave en la metodología. la misma que a menudo continúa a través del ejercicio de evaluación. . C A P I T U L O I V Conclusiones acerca de la Metodología de Participación Las experiencias en varios países han mostrado que un número de limitaciones asociadas a los métodos tradicionales de evaluación.... puede ser superado a través del uso de la metodología participativa descrita en este manual. los participantes del programa pueden analizar más ampliamente problemas pasados y éxitos. Enfoque sobre las lecciones aprendidas Enfocando el ejercicio de evaluación y desarrollando las lecciones aprendidas de la implementación del programa.. Consideración acerca de los participantes del programa Al involucrar a los participantes del programa (usuarios de información y personal que toma decisiones) en todas las fases de planificación e implementación de la evaluación.. que aparentemente contribuyen a su efectividad. . Fortalecimiento del equipo de colaboración La participación de los colaboradores en los diferentes niveles del proyecto así como en la evaluación de los miembros del equipo puede contribuir al desarrollo de una relación más abierta entre ellos durante la actividad de evaluación. Manual de Evaluación Participativa del Programa 75 . Técnicas sencillas de recolección de información A través del uso de las técnicas sencillas de recolección de información y análisis todo el personal del programa puede estar activamente involucrado y puede desarrollar habilidades básicas en la recolección de información. . éstos superan la tensión sobre las evaluaciones y se nace en ellos un sentido de propiedad sobre los resultados de la evaluación. . Los evaluadores internos proporcionan a la evaluación su conocimiento íntimo acerca del programa y de sus compromisos para averiguar las formas de mejorar sus programas. Experiencia de aprendizaje para el coordinador de la evaluación Toda evaluación participativa. que incorpora las lecciones aprendidas en la evaluación. La incorporación del personal del programa ayuda a asegurar que las recomendaciones sean realistas y factibles. Recomendaciones prácticas para el futuro En base a los hallazgos de la información. Manual de Evaluación Participativa del Programa 76 . habilidades en los métodos de recolección de información y facilitación de grupos. Organiza el proceso y participa como un miembro del equipo. constituye una ocasión para que el coordinador de la evaluación explore modos alternativos para estructurar el proceso y para fortalecer el aprendizaje de los participantes. Plan de acción revisado La evaluación no concluye con la formulación de recomendaciones maravillosas. El último paso del proceso es el desarrollo de un plan de acción revisado para el programa. Experiencia de aprendizaje para los participantes del programa Los participantes de equipos de evaluación anteriores. incrementa tanto el entendimiento de los componentes del programa y su dinámica como las habilidades para la evaluación. los miembros del equipo desarrollan recomendaciones concretas y prácticas relacionadas a cada componente del programa. convienen que la intervención en el proceso completo de evaluación.C A P Í T U L O I V Combinación de evaluadores externos e internos El evaluador externo brinda objetividad. Manual de Evaluación Participativa del Programa 77 . El manual proporciona más información para realizar esta elección crítica. ser amplio. . pero la mejor forma de evitar problemas al llevar a cabo una evaluación participativa por parte del Coordinador de la Evaluación y de los Miembros del Grupo de Coordinación. es leer este manual con anticipación. La importancia de este hecho. deben ser tomadas seriamente en consideración si se quiere que la metodología sea utilizada exitosamente. el factor más importante para el éxito de la evaluación parece ser la elección de un coordinador apropiado. el proceso no es mágico.. Muchos problemas pueden evitarse leyendo todas las páginas de este manual antes de empezar a planificar la evaluación. debe tener experiencia en la recolección de información cualitativa. El individuo elegido para esta tarea. C A P Í T U L O V Advertencias sobre las Aplicaciones de la Metodología La metodología de evaluación participativa presentada en este manual ha sido utilizada en programas de salud y nutrición en una diversidad de ambientes.. Una serie de advertencias. Ha demostrado constituir una herramienta efectiva para involucrar a los participantes del programa en la evaluación de sus propias actividades y para desarrollar lecciones prácticas para mejorar los resultados del programa. creativo y tener bastante energía. . no puede ser suficientemente enfatizada.. que se discuten en detalle en el manual. El éxito de una evaluación participativa depende de una variedad de factores relacionados con la disponibilidad y uso cuidadosamente estructurado de recursos humanos y materiales. . Elección del coordinador de la evaluación En base a experiencias pasadas. LEA EL MANUAL COMPLETO CON ANTICIPACION: Puede sonar pedante. . Sin embargo. en la capacitación/aprendizaje de adultos y en la facilitación de grupos.... Coordinación de la logística del trabajo de campo Tal vez el aspecto más complicado en la planificación global. incluyendo el tiempo de viaje sea limitado a medio día dejando lo que resta del mismo para el análisis de la información. es la lectura de este manual por parte de los organizadores de la evaluación a fin de que tengan una idea clara de lo que implica desde el comienzo hasta el final. tomará aproximadamente el doble del tiempo que la conducción de la propia entrevista. debe recordarse que el análisis de la información cualitativa toma mucho tiempo. La planificación logística para el trabajo de campo debe comenzar temprano y anticipar una variedad de factores y aspectos detallados en el manual. a los recursos humanos y materiales requeridos y a la responsabilidad de las tareas en cada paso del proceso. Programación de la recolección y análisis de la información Al elaborar los cronogramas diarios para la recolección de información en el trabajo de campo. Un paso preliminar de la planificación ya mencionado. Se recomienda que el tiempo programado para la recolección de información real. La responsabilidad de facilitar el grupo del equipo de evaluación ampliado durante las actividades del taller. sin embargo. generalmente crean desvíos. Como una regla de oro el análisis de un juego de información de las entrevistas. Una buena idea es involucrar a varios colaboradores del programa como facilitadores en el proceso de evaluación. Tanto antes como durante la fase de trabajo de campo la responsabilidad para la administración logística debe definirse claramente. es que los facilitadores del grupo tengan suficiente experiencia y preparación para la tarea. Manual de Evaluación Participativa del Programa 78 . deben ser facilitadores hábiles y estar adecuadamente orientados y supervisados al llevar a cabo estas tareas. es aquel asociado con la fase de trabajo de campo. Los participantes que no tengan habilidades de facilitación.C A P Í T U L O V Planificación cuidadosa Cada paso en el proceso de evaluación debe ser cuidadosamente planificado con relación al tiempo. Solo entonces serán capaces de comenzar la planificación en detalle y organizar el proceso. Facilitadores de la evaluación Un factor crítico para asegurar que la participación sea canalizada y que resulte productiva durante el proceso de evaluación. la pérdida de tiempo escaso y la frustración de todos. debe reservarse para individuos con grandes habilidades de facilitación. Incorporación de gerentes del programa Se ha observado la tendencia en las evaluaciones participativas. El concepto de involucrar a los participantes en la evaluación implica que tanto los ejecutores como los gerentes deben involucrarse activamente en todas las fases del proceso. encontrará numerosos problemas utilizando esta metodología cualitativa esencial. y preferiblemente más de una. La incorporación de los gerentes del programa es de importancia crítica para asegurar que sus opiniones sean incorporadas en el proceso de evaluación. habilidades en la facilitación de grupos. La evaluación proporcionará un entendimiento holístico sobre los logros y limitaciones del programa si se incluye las opiniones y actitudes de los actores comunitarios e institucionales. Deben ser elegidos muy cuidadosamente en relación a su: condición física. Manual de Evaluación Participativa del Programa 79 . Enfoque de la recolección de información La metodología de evaluación. la evaluación de tales programas debe incluir la recolección de información no solamente a nivel comunitario. en formular preguntas y en sintetizar. Líderes de equipos de trabajo de campo experimentados El éxito de la fase de trabajo de campo depende ampliamente de las habilidades de los líderes de los equipos. capacitación y orientación del grupo se requieren facilitadores experimentados. habilidades de pensamiento analítico requeridos para el análisis de la información cualitativa. tengan habilidades desarrolladas en la recolección y análisis de información cualitativa. habilidad para motivar y coordinar el trabajo de equipo. delegan muchas responsabilidades a los ejecutores del programa. Un equipo de personas con habilidades limitadas a métodos de investigación cualitativa. experiencia en el tipo de programa a ser evaluado. Los facilitadores de grupo deben poseer habilidades en escucha activa. a nivel institucional relativa al programa.C A P Í T U L O V Habilidades para la recolección y el análisis de información cualitativa Varios equipos han informado que la parte más difícil en el proceso completo de evaluación. Sin embargo. que los gerentes del programa. Facilitadores de grupo efectivos Para todas las sesiones de planificación. El coordinador de la evaluación debe tener esta habilidad. es particularmente coherente para utilizarla en programas comunitarios. es el análisis de la información cualitativa. La disponibilidad de habilidades de facilitación ayudarán a asegurar que los grupos cumplen sus objetivos de forma efectiva y oportuna. sino también. Resulta imperativo que por lo menos una persona del equipo de evaluación. Manual de Evaluación Participativa del Programa 80 . sin embargo. Se espera. Esto requiere que los individuos elegidos como miembros del equipo de evaluación y de los equipos de campo se encuentren con la disponibilidad de participar a tiempo completo. La elección de los participantes del programa. depende de la cuidadosa elección de las personas que estarán involucradas en el proceso. es experimentar y desarrollar metodologías que ayuden a aprender con mayor eficiencia a partir de las limitaciones y éxitos de los programas.C A P Í T U L O V Compromiso a tiempo completo por parte de los miembros del equipo La metodología de evaluación implica un proceso de aprendizaje que solo resultará efectivo si los miembros del equipo participan a tiempo completo en el proceso. Sin este apoyo total. debe ser realizada cuidadosamente para asegurar que las personas adecuadas sean incluidas en el proceso. durante toda la duración de las fases correspondientes a la evaluación. Elección de los miembros del equipo de evaluación Tanto la efectividad del proceso de evaluación como el posterior impacto de sus resultados. El desafío La metodología propuesta en este manual. El desafío para todos nosotros. de las personas que toman decisiones y de los usuarios potenciales de la información. la evaluación no tendrá éxito. La evaluación participativa. a fin de fortalecer continuamente sus estrategias. Los gerentes institucionales y del programa deben comprender el funcionamiento y las prácticas de este tipo de metodología y deben proporcionar los recursos humanos y materiales requeridos. parecería ser una receta rígida. Apoyo de la gerencia La utilización de la metodología participativa será efectiva solo si es comprendida y recibe el apoyo de la gerencia. que sea considerada como un marco de referencia que ayude a los grupos de personas dentro de programas e instituciones para diseñar evaluaciones participativas utilizando algunos de estos elementos y modificando otros. es un tema nuevo y las mejores formas para utlizarla quedan aún por ser descubiertas. . . responsabilidades y habilidades en esta área. su participación asegura que la perspectiva subjetiva o interna de los miembros de la comunidad.. sea reflejada en los hallazgos y recomendaciones de la evaluación.. ¿Por qué involucrar a los miembros de la comunidad en actividades de evaluación? Existen muchas razones importantes por lo cual es necesaria la participación de las comunidades en la evaluación de programas de salud y desarrollo comunitario. En todo esfuerzo para fortalecer la capacidad comunitaria en la administración de programas locales de salud y desarrollo.. . . las comunidades llegan a analizar sistemáticamente su experiencia en programas comunitarios y desarrollan lecciones para el futuro. A través de actividades de evaluación. la participación de la comunidad en la evaluación de programas. estimula el aprendizaje comunitario. las habilidades en el seguimiento y la evaluación. En segundo lugar.. En primer lugar. Al igual que la participación de los implementadores del programa en actividades de evaluación. estimulan el aprendizaje organizacional. Participacion comunitaria en la evaluacion • Asegura que la perspectiva subjetiva de las comunidades se reflejen en los hallazgos de la evaluación Manual de Evaluación Participativa del Programa 81 . En tercer lugar. . a través de su participación en actividades de seguimiento y evaluación. pueden desarrollar en forma gradual. C A P Í T U L O V I Participación de las Comunidades en Actividades de Seguimiento y Evaluación A. constituyen un componente importante.. las actividades de evaluación estimulan el aprendizaje comunitario sobre la implementación de programas. los miembros de la comunidad. descrita en los capítulos anteriores. "Cómo pueden los miembros de la comunidad jugar un rol más activo en el seguimiento y la evaluación de programas de salud comunitaria?". a resultado ser muy valiosa. como sujetos a entrevistar. En este capítulo se discutirán las limitaciones que presenta una mayor participación de la comunidad. recolectada a través de entrevistas a los miembros de la comunidad. se concentra en la forma de involucrar a los ejecutores del programa en las actividades y estrategias de evaluación que han desarrollado y llevado a cabo. se recibieron opiniones en el sentido de que los miembros de la comunidad. La metodología. Es verdad que en la metodología de evaluación presentada en este manual. Mucha gente se ha preguntado como puede incrementarse esa participación. resulta muy importante a pesar de que es limitada. B. el rol de los miembros de la comunidad. además de ser entrevistados. el rol de los miembros de la comunidad es relativamente limitado. seguirá siendo un componente importante. Pero.C A P Í T U L O V I • Desarrolla habilidades de seguimiento y evaluación en los miembros comunitarios • Estimula el aprendizaje comunitario relacionado con la implementación de programas comunitarios Limitaciones de la metodología de evaluación participativa A través de la retroalimentación recibida de personas que han utilizado la metodología de evaluación participativa. Sin duda. ¿Qué rol juegan los miembros de la comunidad en la metodología de evaluación participativa? En la metodología de evaluación participativa de siete fases. en la metodología de evaluación presentada en Manual de Evaluación Participativa del Programa 82 . no fueron suficientemente involucrados en el proceso de evaluación. en evaluaciones futuras las entrevistas a los miembros de la comunidad. A través de entrevistas detalladas. este tipo de información. a diferentes categorías de miembros de la comunidad se les pide que proporcionen sus opiniones acerca de: • • • • fortalezas y debilidades de las actividades del programa roles jugados por los miembros de la comunidad y trabajadores lecciones aprendidas a través de la ejecución de actividades realizadas sugerencias sobre las formas de desarrollar actividades sostenibles futuras al nivel de la comunidad En evaluaciones participativas realizadas anteriormente. Más bien se sugiere considerar métodos y formas alternativas para que las comunidades sean involucradas en actividades de seguimiento y evaluación de una forma más continua. Requerimiento de formación: El proceso de evaluación depende en gran medida de la habilidad de los participantes para leer y escribir. Inclusive algunas personas que trabajan en desarrollo. Tiempo: El proceso de evaluación de 7 fases toma entre 3 a 4 semanas para realizarse.C A P Í T U L O V I este manual y en segundo lugar se describirán formas alternativas que tienen las comunidades para involucrarse en actividades de seguimiento y evaluación en programas en plena ejecución. que no están acostumbrados a participar en ejercicios largos e intensos que implican "trabajo intelectual" participen activamente en el proceso de evaluación. existen cuatro razones por las cuales no resulta factible involucrar a los miembros de la comunidad en todo el proceso. Dada la forma en que lo principal de la metodología de evaluación participativa ha sido diseñada. incluyendo aspectos administrativos. Muchos de estos aspectos no son relevantes directamente a los miembros de la comunidad. logísticos y gerenciales. Panorama de la evaluación: En el procedimiento holístico propuesto en la metodología de evaluación. encuentran que varias tareas de la evaluación resultan intelectualmente pesadas. La participación de gente analfabeta o poco instruida en este proceso resultaría sin duda frustrante para ellos. La discusión que se presenta a continuación. A causa de estas razones. se examinan todas las facetas de la implementación del programa. No resulta objetivo esperar que los miembros de la comunidad. Tarea analítica intensa: El proceso de evaluación de 3 a 4 semanas implica un trabajo analítico intenso. Este tiempo es relativamente largo para que los miembros de la comunidad se alejen de sus responsabilidades comunitarias y familiares. por lo que su participación no resulta apropiada. considera 3 aspectos relacionados a la participación de la comunidad en actividades de seguimiento y evaluación: • Quién debe ser involucrado en las actividades de seguimiento y evaluación? Manual de Evaluación Participativa del Programa 83 . en mi opinión no es aconsejable tratar de involucrar a miembros de la comunidad como socios a tiempo completo en la metodología de evaluación de 20 pasos. como las siguientes: • • • En la recolección de información para estudios de línea de base Durante la implementación del programa Cuando el apoyo externo a un proyecto o programa concluya Manual de Evaluación Participativa del Programa 84 . ¿Quién debe ser involucrado en actividades de seguimiento y evaluación? En programas de desarrollo de salud comunitaria. grupos étnicos y castas Las actividades de seguimiento y evaluación.C A P Í T U L O V I • Cuándo deben ser los miembros de la comunidad involucrados en actividades de seguimiento y evaluación? • Qué métodos pueden ser utilizados con y para los miembros de la comunidad en actividades de seguimiento y evaluación? C. ¿Cuándo deben ser los miembros de la comunidad involucrados en actividades de seguimiento y evaluación? Los programas de salud comunitario deben buscar la participación de miembros de la comunidad en actividades de evaluación continuas. Dependiendo de las actividades a ser evaluadas. De la misma manera. que deben ser involucrados en actividades de seguimiento y evaluación. las categorías de participantes de la comunidad. deben asegurar que las voces de todos los grupos dentro de la comunidad sean escuchadas. pueden incluir: • líderes comunitarios formales • líderes comunitarios informales (generalmente se trata de mujeres líderes) • varones • mujeres • jóvenes • miembros de diferentes grupos de género. diferentes grupos de participantes de la comunidad deben ser involucrados en actividades de evaluación a nivel comunitario. diferentes categorías de miembros de la comunidad deben ser involucrados tanto en análisis iniciales como en actividades de planificación del programa. D. varia. Se han utilizado cuatro métodos relativamente diferentes para involucrar a miembros de la comunidad en actividades de seguimiento y evaluación. se describen los cuatro métodos y en la Tabla 6 se encuentran resumidos. A pesar de que el rol comunitario resulta limitada en este método. puede ocurrir de diferentes maneras. Algunos ejemplos de esas herramientas son: • Un cuadro mediante el que los asistentes de partos informan sobre nacimientos y muertes • Un cuadro mediante el que los trabajadores de salud comunitaria informan casos de enfermedades diarréicas. este tipo de participación comunitaria es más bien superficial y no resulta particularmente útil o importante para los mismos. los miembros de la comunidad analizan la información por sí mismos y sacan sus propias conclusiones. se pueden emplear diferentes métodos para involucrar a miembros de la comunidad en actividades de seguimiento y evaluación. una vez que los miembros de la comunidad han recolectado dicha información. es en el que las personas que trabajan en el área del desarrollo deciden sobre la información a recolectar. la responsabilidad asumida por personas que trabajan en el área del desarrollo y por los miembros de la comunidad. En muchos casos. tratamientos utilizados y resultados Generalmente. E. diseñan herramientas de recolección de información simples y capacitan a los miembros de la comunidad en el uso de esas herramientas. En el texto que sigue. su participación en la Manual de Evaluación Participativa del Programa 85 . Las comunidades pueden participar en el seguimiento y la evaluación de programas comunitarios de diferente manera 1) Miembros de la comunidad como recolectores de información El método más frecuentemente utilizado para involucrar a las comunidades en el seguimiento y la evaluación. En cada método.C A P Í T U L O V I En todas estas etapas. las personas que trabajan en el área del desarrollo son los responsables del análisis y la formulación de las conclusiones. ¿Qué métodos pueden ser utilizados con y para los miembros de la comunidad en actividades de seguimiento y evaluación? La participación de miembros de la comunidad en actividades de seguimiento y evaluación. En algunos casos. 2) Miembros comunitarios como personas a entrevistar El segundo método para la participación comunitaria en el seguimiento y la evaluación se presenta cuando investigadores externos entrevistan a miembros de la comunidad para comprender sus opiniones. analizan y formulan conclusiones. Tabla 6: Cuatro Acercamientos Para Involucrar A La Comunidad En Actividades De Seguimiento Y Evaluacion Método Responsabilidad Requerimientos de capacitación y seguimiento Miembros de la comunidad como recolectores de información Personas externas desarrollan instrumentos de recolección de información simples. Personas externas con la ayuda de miembros de la comunidad Capacitación inicial y seguimiento continuo Personas externas coordinan la recolección de información. Ninguna Miembros de la comunidad son entrevistados Trabajadores en desarrollo recolectan información de la comunidad sobre sus percepciones y prioridades. A continuación se presentan algunos ejemplos del uso de este acercamiento: • Se realizan entrevistas con mujeres de la comunidad para obtener su retroalimentación sobre actividades de proyectos de salud materna. Personas que trabajan en desarrollo o los miembros de la comunidad analizan la información. Estas entrevistas pueden realizarse ya sea al inicio. • Se realizan entrevistas individuales con líderes comunitarios para analizar su comprensión y participación en una estrategia de un proyecto de salud infantil. Esto se hace principalmente a través de entrevistas individuales o de grupo. Los miembros de la comunidad recolectan la información. o en discusiones. y sobre su retroalimentación sobre las actividades del programa Manual de Evaluación Participativa del Programa 86 . durante o al final de las actividades del proyecto.C A P Í T U L O V I recolección de información ayuda a los ejecutores del programa en el seguimiento de las actividades comunitarias. Personas externas facilitan el proceso. Los miembros de la comunidad asumen posteriormente la total responsabilidad de recolección de información y análisis. Las comunidades analizan su propia información y formulan sus propias conclusiones. Capacitación intensiva y seguimiento Autoevaluación de las comunidades Los miembros de la comunidad definen criterios para evaluar actividades comunitarias. Aubel: 1999 3) Las comunidades analizan y formulan conclusiones usando herramientas RAP y AAP El tercer método implica el uso de herramientas simples y visuales por parte de personas que trabajan en el área del desarrollo con grupos comunitarios para animarlos a analizar su situación. la analizan y formulan sus propias conclusiones. etc. Los grupos analizan la información generada por ellos mismos y formulan sus propias conclusiones sobre situaciones actuales y estrategias y soluciones futuras. Manual de Evaluación Participativa del Programa 87 . Ninguna Facilitación inicial y apoyo proporcionado por externos. Recolectan información. sus valores. Estas herramientas se conocen como los métodos de Reflexión y Acción Participativa (RAP) y Aprendizaje y Acción Participativa (AAP).C A P Í T U L O V I Tabla 6: Cuatro Acercamientos Para Involucrar A La Comunidad En Actividades De Seguimiento Y Evaluacion Las comunidades analizan y formulan conclusiones usando herramientas RAP y AAP Personas externas facilitan el uso de la Reflexión y Acción Participativa (RAP) y del Aprendizaje y Acción Participativos (AAP) con grupos comunitarios. Se los utiliza para estimular el aprendizaje por parte de los miembros de la comunidad y de las personas que trabajan en el área del desarrollo. • estructura del cuerpo con ayuda de dibujos: para entender las percepciones comunitarias con respecto a las partes del cuerpo y las funciones internas Manual de Evaluación Participativa del Programa 88 . recursos naturales y humanos. prioridades. • mapeo comunitario: para comprender las percepciones comunitarias sobre su medio ambiente. antes y después de que las intervenciones del programa han sido ejecutadas. problemas y planes para el futuro • Promover a personas que trabajan en el área del desarrollo comunitario a escuchar y a dialogar con los miembros de la comunidad para entender con más claridad sus vidas. y a su conclusión. prioridades y planes para el futuro Las herramientas RAP y AAR fueron diseñadas para varios propósitos y pueden ser utilizadas en actividades de seguimiento y evaluación en ocasiones diferentes: al inicio de la implenmentación del proyecto. En comparación con el segundo método (presentado anteriormente) la participación de los miembros de la comunidad es más activa cuando se utilizan las herramientas RAP y AAR. adquieran una responsabilidad considerable en el registro de sus propias ideas para analizarlas y formular sus propias conclusiones. problemas. durante la implementación del proyecto. en términos de frecuencia. severidad. que pueden ser utilizadas con grupos comunitarios para realizar el seguimiento y la evaluación a actividades a nivel comunitario. A continuación se presentan algunas de las herramientas RAP y AAR. Estas herramientas requieren que los miembros de la comunidad. problemas y recursos para su manejo • cronogramas o diagramas de torta de las tareas y uso de tiempo por género: para comprender las tareas de mujeres y hombres y el uso diario del tiempo • tabla de posición respecto a problemas de salud: para entender la forma en que los miembros de la comunidad clasifican los problemas de salud comunitarios. Algunas de estas pueden ser utilizadas como herramientas de pre y post recolección de información. etc. • árbol de problemas o diagramas causales: para comprender las ideas de la comunidad acerca de las causas y consecuencias de los problemas de salud comunitarios priorizados. percepciones.C A P Í T U L O V I Objetivos de las herramientas RAP y AAR • Promover a los miembros de la comunidad a expresar sus percepciones. Las herramientas RAP y AAR. Los grupos comunitarios. consiste en que éstas definen sus propios criterios para evaluar proyectos y programas y utilizan estos elementos para realizar sus propias evaluaciones. 4) Autoevaluación de las comunidades El último método para involucrar a la comunidad en el seguimiento y la evaluación de actividades. Una consideración que debe tomarse en cuenta. tales como: • Efectividad del funcionamiento de los grupos • Logros de metas y objetivos planificados • Efectividad del liderazgo • Efectividad de la movilización de recursos • Efectividad de la gerencia de las actividades planificadas Manual de Evaluación Participativa del Programa 89 . cuando se terminan de utilizar las herramientas RAP y AAR es que se debe promover la discusión acerca de las acciones que las comunidades y las personas que trabajan en el área del desarrollo deben considerar en relación a problemas y necesidades encontradas a través del ejercicio. sino también para estimular discusiones sobre las acciones que deben tomarse en cuenta. definen criterios de evaluación para aplicarlos a aspectos distintos de los programas comunitarios.C A P Í T U L O V I • calendarios de comida: para comprender la disponibilidad de comida durante las diferentes estaciones del año • viñetas clínicas: para entender la forma en que los miembros de la comunidad tratan los diferentes problemas de salud que se explican en viñetas o en estudios de caso • actuaciones teatrales y cuentos: para estimular el análisis en grupo. de situaciones y problemas relacionados con la salud que se representan mediante pequeñas actuaciones teatrales y cuentos • caminatas narradas de observación: para comprender la forma en que los habitantes perciben los recursos y problemas de su medio ambiente (En el capítulo VII. son útiles no solo para recolectar información y aprender acerca de las realidades e ideas comunitarias. se encuentran varias referencias que contienen mayor información sobre éstas y otras herramientas RAP y AAR y su utilización correcta). es que las comunidades sean capaces de desarrollar y llevar a cabo actividades de seguimiento y evaluación por sí mismas. Para determinar el grado en que funciona el comité se reúne periódicamente para discutir las características del comité comparando las definiciones que realizaron sobre efectividad y falta de efectividad del comité. Al inicio se requiere proporcionar un apoyo considerable por parte de las personas que trabajan en el área del desarrollo para ayudar a los miembros de la comunidad a desarrollar habilidades básicas. es decir. qué esperan de ellos. se les pide a los miembros de la comunidad que definan las características de un "comité de salud que funciona bien" y de un "comité de salud que no funciona bien".C A P Í T U L O V I El objetivo de largo término en este método. los días de vacunación en la comunidad b) realizar una demostración de cocina por mes con las mujeres c) realizar una sesión de educación para la salud por mes con los varones Manual de Evaluación Participativa del Programa 90 . A continuación se describen dos ejemplos acerca del tipo de criterios que las comunidades deben definir por sí mismas para evaluar estrategias y actividades comunitarias: − Comités de salud locales (CSL): Las personas que trabajan en el área del desarrollo solicitan a los miembros del comité de salud que definan criterios para evaluar la efectividad de su propio comité. Ejemplos de criterios definidos por la comunidad para evaluar la efectividad de los CSL: a) asistencia regular a las reuniones del comité b) cumplimiento de las actividades propuestas c) trabajo cooperativo con otros miembros de la comunidad − Trabajadores de salud comunitaria (TSC): A los miembros de la comunidad se les pide que definan sus expectativas con relación a los TSC. Ejemplos de criterios definidos por la comunidad para evaluar la actuación de los TSC: a) comunicar al 100% de las mujeres que tienen hijos de 0-23 meses de edad. Ellos mismos deciden la forma de evaluar el trabajo de los TSC y con que frecuencia. Sin necesidad de hablar específicamente sobre "criterios". • Al igual que con la participación en la implementación de programas. se discuten los resultados de la evaluación y el grupo decide la manera de trabajar juntos más efectivamente en el futuro.C A P Í T U L O V I Ejercicio con grupos de la comunidad Ejemplo: Definición y evaluación de la efectividad del grupo • Definición de la efectividad del grupo: Un grupo comunitario define dos características clave de "funcionamiento efectivo del grupo" como: Participación en la toma de decisiones − Participación activa de todos los miembros del grupo en la − realización de las actividades planificadas • Evaluación de la efectividad del grupo: Para evaluar "la participación en la toma de decisiones" los miembros de la comunidad califican su propia efectividad con una escala del uno al cinco: 1) 2) 3) 4) 5) nunca ocasionalmente aveces la mayor parte del tiempo y siempre En una escala de cinco puntos dibujada ya sea en el piso o en papel. el involucrar con mayor frecuencia a los miembros de la comunidad en seguimiento y evaluación. Conclusiones y advertencias relativas a la participación comunitaria en actividades de seguimiento y evaluación: • Los proyectos y programas deben apuntar a incrementar gradualmente las habilidades de los líderes y miembros de la comunidad para que desarrollen y faciliten actividades de evaluación por sí mismos. Una vez que los líderes de la comunidad han recibido la suficiente capacitación y seguimiento. depende en gran medida de las habilidades Manual de Evaluación Participativa del Programa 91 . • La efectividad de las actividades de seguimiento y evaluación realizadas con o por las comunidades. aprenden a facilitar este tipo de ejercicios de evaluación por sí mismos. cada miembro del grupo indica su calificación utilizando una piedra pequeña (que la pone en el piso) o haciendo una marca con bolígrafo (en el papel). Una vez que todos los miembros han efectuado su calificación. requiere un mayor esfuerzo en el desarrollo de habilidades y apoyo de seguimiento de las personas que trabajan en el área del desarrollo. Se requiere investigaciones creativas y continuas para desarrollar métodos y herramientas que sean útiles tanto a las comunidades como a los ejecutores de programas. Manual de Evaluación Participativa del Programa 92 . Al mismo tiempo deben estimular el análisis detallado por parte de los miembros de la comunidad.C A P Í T U L O V I de facilitación de grupo por parte de los miembros de la comunidad o de los trabajadores en el área del desarrollo. • Los métodos y las herramientas desarrolladas para ser utilizadas con o por las comunidades deben ser simples. • Los programas tienen actividades distintas relativas a diversos aspectos en la implementación y que se realizan en diferentes tiempos. • No existen recetas precisas para desarrollar las actividades de evaluación y utilizarlas con las comunidades. • Antes de la evaluación comprensiva de un programa (como se describe en el Capítulo III) se pueden diseñar actividades complementarias para utilizarse con o por las comunidades. Sus resultados serán alimentados al esfuerzo principal de la evaluación. • Los métodos y herramientas de seguimiento y evaluación deben generar información que contribuya no solo al aprendizaje organizacional sino también promuevan aprendizaje comunitario. Los miembros de la comunidad no tienen necesariamente que involucrarse en todas las actividades de evaluación. Krueger.. l986. .. Conducting Group Interviews in Developing Countries. Qualitative Research for Education: an introduction to theory and methods.H. Sage Pubs. Beverly Hills. USAID. International Labor Organization. C A P Í T U L O V I I Otras referencias Las siguientes referencias.Q. Focus Groups: a Practical Guide for Applied Research. J. M.C. Español y Chino) Kumar. .. Patton. Sage Pub. Creative Evaluation. R. Patton. Manual de Evaluación Participativa del Programa 93 . AID Program Design and Evaluation Methodology Report No. l987. Allyn & Bacon. Newbury Park.. M.. l982. Q. Guidelines For Planning And Conducting Studies Using The Group Interview Technique.. . l993. & S.C.Q. . Sage Pubs. Washington D. Boston. R.. Speaking of Ethnography.A. Francés. Técnica de entrevista de grupo/grupo focal Aubel. Biklien. l987. M. Qualitative Evaluation Methods. Métodos de recolección de información cualitativa Agar. How To Use Qualitative Methods In Evaluation. M. l980. l98l. serán útiles para las personas que deseen leer más acerca de las formas de planificar y conducir evaluaciones participativas y estudios comunitarios. (Disponible en Inglés. Sage... Beverly Hills. A. Beverly Hills. Sage Pubs. Patton. l988. 8. Bogdan. Newbury Park. Geneva..K.. que se encuentran organizadas por áreas temáticas. F. B. California 90024. Univ. l98l. Dinámica de Grupos/habilidades para facilitar grupos Bolton. David M.. Focus Groups As Qualitative Research. Manual de Evaluación Participativa del Programa 94 . Learning to Listen: A guide to adult non-formal education. of Massachusetts.C A P Í T U L O V I I Morgan. Amherst. R. Kaftarian and Abraham Wandersman. London. N. Inc. Thousand Oaks. PROWWESS/UNDP. Newbury Park. Guijt. M. Vella. and J. and E. Whose Reality Counts? Putting the first last. I. l979. London. New York. Empowerment Evaluation: Knowledge And Tools For Self-Assessment And Accountability. Sage. Sage Pub. Shakeh J.N. New York. People Skills. Center for International Education. J. Acción de Reflexión Participativa y Acción de Aprendizaje Participativo Chambers. l996. Learning to Work in Groups: A Practical Guide for Members and Trainers. New Jersey. University. Los Angeles. (Disponible de: UCLA Latin American Center. l987. Procedimientos de Evaluación Rápida. Tokyo/UNICEF/UCLA Latin American Center. Intermediate Technology Publications. J. New York. Rapid Assessment Procedures for Nutrition and Primary Health Care.L. Teachers College. D. l997. University of California. (1990) Tools for Community Participation: A Manual for Training Trainers in Participatory Techniques. Columbia Univ. Hurtado. U. Intermediate Technology Publication. También existe un video que complementa el manual. Thompson. Evaluación participativa/evaluación de programas American Council of Voluntary Agencies for Foreign Service. Prentice-Hall. Miles. Scrimshaw S.) Srinivasan. I. Fetterman. Robert. l979. Englewood Cliffs. l983. Evaluation Sourcebook for Private and Voluntary Organizations. l988.. Pretty (l996) Participatory Learning and Action. Francés y Español de PACT/New York. disponible solo en Francés e Inglés.. Disponible en Inglés. L. Scoones. Marie Therese. Oklahoma. World Neighbors. MacMillan Education. (La edición 3 ha sido ampliada en gran medida con referencia a las primeras). Edition 3. Jim. London. Sage Pub. l997. 1986. 5ll6 N. Rugh.. Self-Evaluation: Ideas for Participatory Evaluation of Rural Community Development Projects. Oklahoma City. U. Thousand Oaks. Protland Ave.C A P Í T U L O V I I Fuerstein. l986. Manual de Evaluación Participativa del Programa 95 . Partners in Evaluation. Patton. Michael . Utilization-Focused Evaluation.K.. com 209 West Fayette Street Baltimore.United States Agency for International Development Child Survival Technical Support ORC Macro 11785 Beltsville Drive Calverton. MD 21201-3443 (410) 625-2220 or 1-800-235-2772 . MD 20705-3119 (301) 572-0823 csts@macroint.