Identificar el por qué, el qué y con quién realizar el proceso de M&E
Resumen
Este momento busca identificar y definir lo que usted espera lograr con el proceso M&E, lo que pretende monitorear y evaluar, y a quiénes involucrar. El abordar estos tres problemas le permitirá identificar preguntas de evaluación y desarrollar un plan para recopilar información y analizarla.
- Discusiones individuales o con grupos focales, moderadas por extensionistas locales
- Métodos participativos de exploración para obtener y compartir diferentes perspectivas como los mapas parlantes o dibujos
- Ejercicios participativos para priorizar las áreas en las que se centrarán los procesos de M&E
- Verificación cruzada con el trabajo previo de los stakeholders (Etapas 2 y 3)
- Una comprensión compartida de lo que le gustaría a los stakeholders que se lograra a través del plan de M&E
- Delimitación del alcance de la evaluación; p.ej.: ¿Evalúa una sola opción, un conjunto de opciones, un programa? ¿Qué impactos se están considerando (p.ej., sequía, aumento de enfermedades, etc.)?
- Aclaración de qué stakeholders participarán y cómo van a contribuir al proceso de M&E
Teoría
Tabla 16: Identificar el propósito del proceso de M&E
¿Qué lo motiva realizar una evaluación en este momento? | Otras consideraciones ¿Sobre qué aspectos del proyecto desea tener más información? ¿A qué públicos va dirigida la evaluación y cuáles son sus necesidades? |
¿Es necesario demostrar a los demás que usted ha hecho lo que dijo que haría? |
|
¿Es necesario demostrar qué tan exitosas resultaron las actividades de adaptación? |
|
¿Desea compartir lo que está dando resultado y qué lo respalda? |
|
¿Desea mejorar los procesos de toma de decisiones? |
|
¿Desea que los hallazgos sirvan como guía para el trabajo futuro? |
|
¿Desea motivar a otras personas a actuar? |
|
I. Por qué: identificar el propósito del proceso de M&E
Es importante tener claridad del porqué del M&E, dado que ello determinará su diseño, los involucrados y las evidencias que se pretendan recopilar.
Razones para llevar a cabo el M&E
- Para demostrar que usted ha hecho lo que dijo que haría
- Para darle seguimiento al avance
- Para compartir lo que está dando resultado y qué lo respalda
- Para mejorar el proceso de toma de decisiones
- Para orientar el trabajo futuro
- Para motivar a otras personas a actuar
Además de evaluar el rendimiento técnico de las medidas de adaptación (p.ej., ¿Recoge el sistema de cosecha de aguas pluviales el agua eficazmente?), el M&E analiza el efecto de estas medidas y qué tan bien funcionaron estas en diferentes situaciones.
Para un sistema de cosecha de aguas pluviales, esto podría incluir: comparar la eficacia de este sistema con otras opciones disponibles, medir la rentabilidad, determinar quién se beneficia del sistema (y quién no) y establecer si el sistema tiene alguna consecuencia negativa (p.ej., fomentar el uso del agua en exceso).
Al identificar el propósito del M&E, también es importante tener en cuenta cuándo se tiene previsto llevar a cabo la evaluación. Por ejemplo, si realiza una evaluación de medio término, un propósito importante podría ser entender cómo se podrían mejorar en el corto plazo los aspectos del proyecto.
Asegúrese de discutir el propósito del proceso de M&E con los stakeholders clave. Si explica por qué se lleva a cabo la evaluación e inicia un diálogo sobre los beneficios de los resultados del M&E, incluyendo los beneficios para ellos, es probable que los stakeholders participen en el proceso de una manera más activa.
II. Qué: identificar qué se monitorea y evalúa
También es importante tener en cuenta qué es exactamente lo que se va a monitorear y a evaluar. Hay un gran número de posibles opciones de adaptación y enfoques en respuesta a una variedad y combinación de posibles impactos (calor, lluvia, enfermedades, velocidad del viento, etc.). También es posible que se monitoree y evalúe una sola opción de adaptación o todo un proyecto o programa. Sin embargo, dados los objetivos de c&c, el monitoreo y evaluación se debe enfocar a:
- ¿Cómo ayudan sus opciones de adaptación a desarrollar la resiliencia de los pequeños productores de café ante el cambio climático?
- ¿Cómo contribuyen sus opciones de adaptación mejorar la capacidad de adaptación de los pequeños productores?
Estos amplios temas requerirán una mayor delimitación. Establecer límites claros para lo que se va a evaluar le ayudará a seleccionar la metodología más adecuada. Sea cuidadoso al elegir lo que va a monitorear y evaluar, y correlacionar esto con los objetivos planteados en la hoja de ruta del proyecto. Esto le permitirá tener una base sólida para desarrollar a) indicadores apropiados para monitorear y b) un conjunto sólido de preguntas de evaluación.
Preguntas orientadoras para definir lo que está monitoreando y evaluando:
- ¿A qué impactos climáticos directos o indirectos se está respondiendo (p.ej., reducción de los impactos adversos de la sequía, brotes de enfermedades, deslizamientos de tierra, etc.)?
- ¿Cómo va a aumentar la resiliencia (p.ej., a través de mejoramiento genético de las plantas, diversificación de los ingresos familiares, mejora del acceso a los mercados, etc.)?
- ¿Se centrará el ejercicio en un grupo de beneficiarios en particular?
- ¿Está buscando aumentar la capacidad de los productores directamente o mediante la capacitación de extensionistas?
III. Quién: cómo planificar a quién se involucra en el proceso de M&E
Tomar la decisión de quiénes participarán en el proceso de M&E y qué roles desempeñarán requiere de un equilibrio entre incluir a todos los que cuentan con conocimiento y experiencia útil y lo que se considera práctico en términos de tiempo y recursos disponibles.
Preguntas orientadoras para planificar a quiénes involucrar en el M&E:
- ¿Quién es responsable de lo que se está monitoreando y evaluando?
- ¿Quiénes se espera que se beneficien o se vean afectados por lo que se está evaluando (directa e indirectamente)?
- ¿Quién es capaz de influir en lo que se está monitoreado y evaluando?
- ¿Quién es capaz de influir en la decisión si se implementan o no los resultados de la evaluación?
Como mínimo, las personas clave como los productores y los extensionistas, deben contribuir con información y su experiencia. Sin embargo, los enfoques más participativos de monitoreo y evaluación pueden ser especialmente útiles. Estos requieren de una participación más activa de los productores y otros stakeholders en el desarrollo y diseño del proceso de M&E. Ellos podrían jugar un papel clave en las discusiones sobre que se define como éxito en el proceso de adaptación, la evidencia, los datos y el análisis requerido. De esta forma, el rol de la persona o equipo responsable de implementar los procesos de M&E puede pasar de tener un control total de todo el proceso a tener un rol de facilitación para los demás.
Orientación
Monitoreo, evaluación, reflexión y aprendizaje participativos para la adaptación basada en la comunidad (MERAP)
Un “buen” facilitador sirve principalmente como un catalizador o estimulador, no como un líder, que extrae y reúne las aportaciones de los diferentes tipos de stakeholders. Esto requiere habilidades clave para la negociación y, en algunos casos, para la resolución de conflictos. Los facilitadores deben hacer las preguntas correctas en el momento correcto, escuchar bien, crear confianza, fomentar el intercambio de ideas, y al mismo tiempo mantener al grupo enfocado.
Ser claro acerca de cómo usted decide quién participará, les ayudará a las personas a entender lo que se espera de ellas. Reunir a los productores de café y a otros stakeholders locales para evaluar y aprender del trabajo, requiere métodos que aprecien el valor de distintas perspectivas y diferentes tipos de evidencia (p.ej. opiniones, experiencias, datos empíricos y valores culturales). Algunos participantes podrían necesitar apoyo adicional (p.ej., tiempo, orientación, acceso a datos) para poder contribuir de manera efectiva.
Se puede utilizar un facilitador que fortalezca la capacidad del equipo de M&E para involucrar a las personas, apoyar la participación equitativa e instar a las personas de la localidad a que adopten un rol activo en la gestión del proceso de M&E. Si hay diferencias significativas de poder entre los diferentes grupos participantes, podría valer la pena reunirse con cada grupo en forma individual antes de reunirlos a todos. Esto les permitirá considerar su perspectiva individual antes de compartirla con los demás.
También se debe hacer referencia al mapa de los stakeholders creado en la Etapa 2. Varios de los stakeholders, identificados y comprometidos durante las etapas de planificación de la adaptación y evaluación, puede ser necesario involucrarlos en el proceso de M&E. Se debe reflexionar sobre cómo es que estos stakeholders han participado hasta la fecha y considerar cómo podrían contribuir o beneficiarse del proceso de M&E.
Tabla 17: Principios de la evaluación participativa del MERAP
Participación | Diseñar el M&E de manera que incluya a los más afectados por el trabajo que se está realizando |
Negociación | Fomentar la discusión abierta acerca de lo que se va a monitorear y evaluar y no basarse únicamente en las opiniones de las personas más influyentes |
Aprendizaje | Todos los involucrados en el proceso de evaluación deben estar dispuestos a aprender y deberán recibir apoyo para hacerlo a través del acceso a la información, el intercambio de experiencias y la facilitación de reflexión para pensar más detenidamente acerca de las implicaciones prácticas de estos hallazgos |
Flexibilidad | Permitir que los planes cambien con el tiempo de manera que incorporen nuevos conocimientos y su comprensión |
- ¿Quién tiene una perspectiva útil o una evidencia que ofrecer, bien porque haya sido afectada o haya influido en el proceso de adaptación (p.ej., los directores de proyectos y personal de campo, socios locales, ONG locales, gobiernos locales, comunidades)?
- ¿La ausencia de qué actor implicaría perder cierta información importante? Qué impediría su presencia y cómo se puede evitar esto?
- ¿Cómo se puede apoyar la participación de los productores de café vulnerables en un proceso de evaluación que podría ser desconocido para ellos?
- ¿Cuya capacidad de monitoreo debe fortalecerse para asegurar la sostenibilidad del proceso?
- ¿Quién debe participar en darle sentido a la información que se recolecta?
- ¿Valoran los actores involucrados (científicos, productores, asesores, patrocinadores, etc.) los diferentes tipos de información por igual? De no ser así, ¿cómo se puede manejar esto?
- ¿Cambiarán los participantes con el tiempo? ¿Cómo se manejará esto?
- ¿Hay implicaciones éticas que se deben considerar cuando se involucra a ciertas personas en el M&E?
- ¿Cuánto afectan los factores macro (p.ej., las instituciones, los mercados, la gobernanza) lo que se puede lograr a nivel de finca? ¿Cuáles son las implicaciones y quién debe participar?
Guía práctica
En la siguiente sección se ofrecen sugerencias de ejercicios que le ayudarán a desarrollar e implementar un plan de M&E, el cual se introdujo en la Etapa 5. No es obligatorio utilizar todos los ejercicios sugeridos aquí o seguir una secuencia en particular, sino escoger aquellos que respondan a sus necesidades.
Objetivos
- Identificar y acordar el propósito del proceso de M&E.
- Identificar el alcance de la implementación.
- Identificar quién debe participar en el M&E y de qué manera.
El objetivo general de la Iniciativa c&c es desarrollar la resiliencia del sector cafetalero local al cambio climático. Sin embargo, es importante contextualizar este amplio propósito para el nivel local y examinar detenidamente los atributos que podría tener un sistema de producción local de café resiliente (véase Sección 1, Introducción).
Utilice la siguiente tabla como plantilla para registrar los resultados de cada una de estas etapas. Una vez que haya completado cada tarea y llenado cada sección de la plantilla, tendrá listo su plan de M&E.
Resultados esperados
- Un propósito y un objetivo de aprendizaje claros para la evaluación que sean aceptados por quienes implementan y/o sean afectados por el proceso de adaptación.
- Un plan detallado de los compromisos de los stakeholders en el que se explica quién debe participar, cuándo y con qué propósito, si el tiempo y los recursos lo permiten.
- Finalización de la parte A (I-III) del plan de evaluación (propósito, alcance y a quién involucrar).
Tiempo necesario
Según las necesidades para entender el propósito y según los recursos disponibles.
Procedimiento
I. Defina el propósito
- Refiérase de nuevo a los objetivos originales del proyecto, ya que el propósito de la evaluación probablemente esté estrechamente vinculado a dichos objetivos.
- Discuta las preguntas orientadoras que aparecen a continuación con las personas clave involucradas (extensionistas, financiadores, productores, etc.), ya sea en grupos focales o individualmente para consultar sus expectativas acerca de la evaluación. La siguiente lista de las razones más comunes para las evaluaciones puede ser de utilidad en las discusiones. Decida cuáles son aplicables a su evaluación específicamente (para más información véase: www.ukcip.org.uk/wizard/adaptme-toolkit/ fundamentals/):
- para evaluar la efectividad
- para evaluar la eficiencia
- para entender la equidad
- para efectos de rendición de cuentas
- para evaluar los resultados
- para mejorar el aprendizaje
- para mejorar las actividades o intervenciones futuras
- para comparar los resultados con otras actividades o intervenciones similares
- Identifique en dónde hay acuerdos o conflictos potenciales entre los involucrados y cómo se relacionan estos con el propósito de la evaluación.
II. Defina el alcance del proyecto
- Refiérase a los objetivos y a la hoja de ruta del proyecto, identifique las áreas clave del enfoque para su evaluación, p.ej.:
- ¿Se centrará en la implementación de una opción de adaptación individual o en una serie de opciones?
- ¿Qué amenazas son de interés, p.ej., aumento de la sequía, aumento de calor, tormentas o una combinación de amenazas?
- ¿Qué grupos son de interés, p.ej., todos los productores locales de café y sus familias, las comunidades productoras de café o sólo los productores?
III. Determine a quién involucrar y cómo
- Consulte cualquier análisis previo de los stakeholders realizado durante el proceso de adaptación e identifique qué grupos, organizaciones y personas han participado hasta la fecha y específicamente cómo se han involucrado.
- Si no se ha realizado un análisis previo de los stakeholders o si está incompleto, los ejercicios participativos pueden ayudar a identificar quiénes han estado involucrados y cómo podrían contribuir al M&E.
- Es importante ser claro acerca de:
- quién es responsable de la evaluación
- quiénes se espera que sean los beneficiados o afectados por la evaluación
- quién es capaz de influir en la evaluación
- quién es capaz de determinar si los productos de la evaluación son implementados
- Si usted tiene el tiempo y los recursos, utilice la siguiente plantilla para crear un plan de compromisos de los stakeholders para la evaluación.
Tabla 38: Plan de acción de los stakeholders (plantilla)
Plan de acción de los stakeholders | |
1 | Definir un propósito ¿Qué se pretende lograr en el proceso de evaluación? Usted puede decidir quién debe participar con el fin de lograr este objetivo (véase parte A del plan de M&E). |
2 | Identificar a los stakeholders ¿Quién debe participar o estar involucrado? Consulte el trabajo previo sobre los stakeholders y los resultados de ejercicios anteriores, p.ej., lluvia de ideas, diagramas de Venn, matrices de importancia e influencia. Establezca:
También pregunte: ¿Qué tanto afectan los factores macro (p.ej., las instituciones, los mercados o los gobiernos) los resultados que se pueden lograr a nivel de finca? ¿Cuáles son las implicaciones respecto a la participación de los stakeholders? |
3 | Establecer los roles ¿Quién asume cuales responsabilidades? Los roles en el M&E incluyen el cambio a lo largo del proceso, p.ej.:
|
4 | Comprender a los stakeholders ¿Qué es lo que ya sabe sobre estos stakeholders? ¿Qué puede concluir, a partir de las discusiones previas, acerca de los stakeholders, teniendo en cuenta sus percepciones, conocimientos, intereses, decisiones, diferencias de poder y los formas de interacción entre ellos y con los demás? |
5 | Seleccionar a los stakeholders ¿Qué personas pueden actuar con representatividad de sus organizaciones o comunidades en el proceso de M&E? Una vez que haya identificado las categorías pertinentes de los stakeholders, necesitará obtener los nombres de las personas adecuadas. |
6 | Tomar en consideración la logística ¿Cuándo es el mejor momento para acercarse a estos stakeholders? ¿Es mejor involucrarlos desde el principio, en una etapa posterior o durante todo el proceso? ¿En qué época del año, en que día de la semana o en qué momento del día se reunirá con ellos? ¿Dónde es el mejor lugar para reunirse con los stakeholders? ¿Se reunirá con ellos por separado o en reuniones compartidas? ¿En una instalación de la comunidad, un espacio público, en casa o en el lugar de trabajo? |
7 | Anticipar los problemas ¿Qué problemas se pueden identificar desde ya? ¿Los involucrados (científicos, productores, asesores, proveedores de fondos, etc.) valoran diferentes tipos de información? Si no es así, ¿cómo se puede manejar esto? ¿Cómo puede usted apoyar la participación de los productores de café (de bajos ingresos) en un proceso de evaluación que podría parecerles bastante desconocido? ¿Con el tiempo cambian los participantes? ¿Cómo se manejará esto? |
Preguntas orientadoras para identificar el por qué, el qué y con quién
- ¿Cuál cree usted que es el propósito de su evaluación?
- ¿Qué le gustaría aprender? ¿Quién más debería aprender, qué deberían aprender y cuál sería la mejor forma de llevarlo a cabo?
- ¿Cómo podría manejar propósitos contradictorios? ¿Qué ventajas y desventajas podrían considerarse y como pueden éstas ser justificadas?
- ¿Quién es el público para la evaluación y cuáles son sus necesidades?
- ¿Qué es lo que ya sabe sobre los stakeholders a partir de las etapas anteriores?
- ¿Qué personas pueden actuar con representatividad para sus organizaciones o comunidades?
- ¿Qué problemas de logística se pueden anticipar al involucrar a los stakeholders?
Métodos técnicos
- Reuniones con grupos focales o discusiones individuales, moderadas por los extensionistas locales.
- Técnicas participativas de exploración para reunir y compartir diferentes puntos de vista sobre la situación, como mapas parlantes o dibujos ilustrados.
- Ejercicios participativos de clasificación para priorizar las áreas que enfoque la evaluación.
- Es probable que un análisis de los stakeholders ya se haya hecho en una fase anterior del proceso, por lo cual puede sencillamente retomar este trabajo. Si no se ha hecho ningún análisis previo de los stakeholders, en la Sección 2 de la Etapa 2 se sugieren métodos que le ayudarán a realizar un análisis de los stakeholders.