Analizar la evidencia
Resumen
En el análisis, se revisa la evidencia para evaluar el avance, identificar los siguientes pasos a tomar y las lecciones que se comparten con otros. Esta etapa es una oportunidad para reunir a las personas clave para compartir puntos de vista sobre lo que ha dado resultado, qué lo apoya y qué lo limita y si se ha desarrollado la capacidad de resiliencia. Esto se puede hacer a través de un taller de aprendizaje.
Taller de aprendizaje para todos los involucrados en el proyecto para valorar la información que surge de la recopilación de datos (esto implica discusiones de grupo y ejercicios de clasificación)
Enfoques temáticos más ambiciosos para dar sentido a la evidencia emergente (p.ej., sociodramas, videos y fotografías)
- Comprensión más profunda de la evidencia recopilada para responder a las preguntas de evaluación
- Identificación de brechas en la disponibilidad de datos y los retos ante los supuestos
- “Historias de cambio“, que explican cómo el proyecto ha mejorado las capacidades y ha aumentado la resiliencia al cambio climático
Teoría
Para el análisis puede que le resulte útil consultar nuevamente sus preguntas de evaluación y la hoja de ruta del proyecto. Las preguntas de evaluación son un buen punto de partida y pueden proporcionar una estructura útil para basar su análisis; la hoja de ruta del proyecto puede ayudarlo a entender lo que ha aprendido acerca de los supuestos que formuló al inicio y los resultados que esperaba.
Es importante brindarle la oportunidad a quienes participaron en la recopilación de evidencia a fin de que conozcan el resultado del proceso y propiciar su retroalimentación. Compartir la tarea de análisis con las personas clave involucradas, incluso con los productores, es más lento que si sólo el equipo de evaluación participa, pero tiene muchas ventajas, p.ej.:
- Proporciona una oportunidad para comprobar la confiabilidad de los datos recopilados, lo que aumenta su calidad y nivel de detalle.
- Los participantes son capaces de ver dónde concuerdan sus ideas y experiencias con otros grupos y dónde hay desacuerdo.
- Hay oportunidad para el “co-aprendizaje entre participantes” a través de la combinación de diferentes perspectivas, haciendo visibles implícitos y la formulación de preguntas para una reflexión más profunda.
- Aumenta la confianza de los participantes en sus conocimientos, en su capacidad para contribuir a los procesos más amplios de toma de decisiones y en su capacidad para cuestionar los supuestos acerca de cómo fortalecer la resiliencia, lo cual es útil para aumentar la resiliencia en el futuro.
- Mejora la comprensión del sistema de producción de café en general y dónde es que se deben hacer cambios a fin de garantizar la resiliencia en el largo plazo.
- Es probable que cualquier otro paso identificado sea más pertinente y útil si se ha desarrollado en colaboración con los actores involucrados en la implementación.
La evidencia se puede analizar para responder las preguntas clave de la evaluación. Por ejemplo, para responder la pregunta “¿Cuáles son las actividades más eficaces para reducir la roya?”, se podrían reunir las reseñas de estudios de caso y evidencias de entrevistas con los productores (véase Tabla 19).
Se podría volver a presentar esta tabla a los productores en un taller o en entrevistas para obtener su apreciación sobre si la información es acertada, identificar qué información hace falta y si a partir de los hallazgos surgen nuevas preguntas.
Sin embargo, si su pregunta de evaluación se refería a la capacidad de resiliencia desarrollada por los productores, la identificación de las características de resiliencia podría requerir una evaluación cualitativa. Esto significa demostrar cómo se han desarrollado las características en el trabajo hasta la fecha. Este ejercicio debería evidenciar áreas que funcionan bien y otras donde se pueden hacer mejoras. Registre los resultados clave de esta tarea en la plantilla del plan de M&E, véase Sección 2, Etapa 5.
Tabla 19: Ejemplo de evaluación de una opción de adaptación
Accesibilidad | Aceptabilidad por productores | Tiempo | Eficacia | |
Siembra de variedad A resistente a la roya | *** | * | ** | * |
Siembra de variedad B resistente a la roya | ** | * | ** | - |
Siembra de árboles de sombra | * | *** | * | ** |
Siembra sólo sobre 700 msnm | n/r | n/r | * | *** |
*** = muy bueno, ** = bueno, * = razonable, - = deficiente, n/r = no relevante | ||||
Guía Práctica
Objetivos
- Verificar que la evidencia recopilada sea confiable.
- Dar sentido a los diferentes tipos de evidencia con el fin de que se pueda utilizar para responder a las preguntas de evaluación.
Resultados esperados
- Valoración de la evidencia en relación a la forma en que responde las preguntas de evaluación.
- Mensajes clave del proceso de evaluación que se pueden utilizar en una difusión más amplia.
- Finalización de la parte D de su plan de evaluación.
Tiempo necesario
Variable, dependiendo del enfoque, de cuántas personas participan y el nivel de detalle de la información requerida.
Orientación
Verificación
Es importante verificar que la evidencia reunida sea exacta y confiable. La comprobación de la información lleva tiempo, pero aumenta considerablemente la calidad de los datos. Revisar nuevamente la información con los participantes le ayuda a obtener un entendimiento común y compartido de los problemas y le permite descubrir información adicional. Es importante ser claro acerca de lo que se está verificando. Por ejemplo, es posible que desee:
- verificar quiénes han participado, quiénes expresaron sus opiniones y quiénes no
- verificar en qué coinciden los actores y en qué hay diferentes puntos de vista
- comprobar que las opiniones expresadas representan lo que las personas realmente creen y que el aprendizaje que surge de un ejercicio que se ha interpretado y representado correctamente
Con agradecimiento a
Procedimiento
- Considere la posibilidad de organizar un taller para los principales stakeholders con el fin de proporcionar evidencia y ayudar en el análisis (p.ej., esto podría abordar las partes C y D de la Etapa 5). En cada etapa del análisis, es necesario reflexionar detenidamente sobre qué elementos de la evidencia son más útiles para responder las preguntas de la evaluación. Debe comenzar la etapa de análisis con un conjunto de ideas no validadas y terminar con un menor número de mensajes y recomendaciones claves. Los facilitadores deben estar disponibles para asegurar que se llevan a cabo los procesos de registro, presentación y priorización de la evidencia y que el taller se desarrolle correctamente.
- Incluso si no es factible realizar un taller, hay una serie de ejercicios que se pueden utilizar con los stakeholders en las entrevistas y en los grupos focales, para ayudar a recopilar y dar prioridad a las lecciones de la evidencia.
- Llene la plantilla del plan de M&E para ayudar a organizar las acciones futuras.
Métodos técnicos
Muchas de las herramientas participativas mencionadas anteriormente para la recopilación de datos también se pueden utilizar en la etapa de análisis, en métodos como los mapas de conversación, ríos de vida, clasificación, el diagrama Puente H, los campos de fuerza y, si el tiempo lo permite, en enfoques narrativos como fotografías participativas o historias de aprendizaje. Estos se describen al final de esta sección.
Un taller también es útil para identificar los ejercicios que permiten a los participantes pasar de un entendimiento general (p.ej., lluvia de ideas) a enfocarse en temas importantes. Esto les permitirá extraer lecciones clave y mensajes transferibles e identificar las medidas en el corto, mediano y largo plazo para aumentar la resiliencia al cambio climático.
Ejercicios que pueden ayudar en la realización de aspectos específicos del análisis, que incluyen:
I. Comprobar si las actividades se llevaron a cabo de forma eficiente, accesible, adecuada y oportuna
Para cada una de las actividades llevadas a cabo en su proceso de adaptación, evalúe qué tan bien cumplieron con los criterios de ser eficientes, accesibles, adecuadas y oportunas. Esto puede requerir una discusión previa sobre lo que significa cada palabra en relación con los objetivos del proceso de adaptación, es decir, las personas involucradas en la implementación del proyecto deben identificar un parámetro definido localmente para cada palabra en relación con su producción de café específica.
Utilice una tabla como la de abajo para anotar estas definiciones (véase Tabla 43).
Tabla 43: Evaluación de las actividades de adaptación implementadas
Criterios | Excelente | Satisfactorio | Deficiente | Insatisfactorio |
Eficiencia | La actividad logró alcanzar el objetivo previsto de manera muy eficaz | La actividad logró alcanzar el objetivo previsto de manera razonablemente eficaz | La actividad fue deficiente en alcanzar el objetivo previsto | La actividad no logró el objetivo previsto |
Asequibilidad | La actividad se consideró como una excelente relación calidad-precio | La actividad se consideró como una razonable relación calidad-precio | La actividad se consideró costosa | La actividad fue tan costosa que los productores no considerarían utilizarla |
Idoneidad | La actividad fue muy adecuada para que la implementen las personas que necesitan hacerlo | Hubo algunas preocupaciones sobre la idoneidad de la actividad por parte de quienes la implementan | Se expresó preocupación sobre la idoneidad de la actividad por parte de quienes necesitaban implementarla | La actividad no es adecuada para que la usen quienes necesitan implementarla, p.ej., debido a que es demasiado extenuante, culturalmente inaceptable, etc. |
Tiempo oportuno | La actividad encajó fácilmente en los calendarios existentes de los implementadores | La actividad encajó aceptablemente en los calendarios existentes de los implementadores | Hubo preocupación en relación a cómo encajó la actividad en los calendarios existentes | Las implicaciones de tiempo de la actividad hicieron imposible que encajara en los calendarios existentes |
II. Evaluación de la efectividad de la participación de los stakeholders
La resiliencia al cambio climático requiere una conexión entre las diferentes personas involucradas en la producción de café y sus redes más amplias, p.ej., entre la comunidad, el gobierno, las empresas. También requiere que los procesos y oportunidades sean flexibles para aprender de la experiencia y para asegurarse de que el aprendizaje oriente futuros planes. Al final de un proceso de adaptación, es importante evaluar si los productores y otros stakeholders pudieron participar en el diseño, implementación y análisis.
La siguiente tabla ofrece algunas sugerencias para la recopilación de evidencia que puede responder preguntas sobre el nivel de inclusión de los stakeholders en el diseño y la toma de decisiones, o la inversión de estos en los enfoques participativos. Usted puede adaptar o aumentar esta lista para satisfacer sus necesidades. Estas preguntas se pueden responder a través de grupos focales, entrevistas individuales o en un taller. Inevitablemente habrá un elemento de subjetividad en la evaluación de la calidad y el nivel de participación. Sin embargo, a través de estas conversaciones, debería empezar a quedar claro qué significa para los productores así como a otros stakeholders, una participación significativa y si ellos, consideran que las oportunidades de participación fueron adecuadas y suficientes. De no ser así, cómo se podría mejorar el enfoque a futuro.
Tabla 44: Ejemplo para recopilar evidencia de la participación de los stakeholders
Preguntas sobre la participación de los stakeholders | Ejemplo de indicadores |
¿Quién o qué determinó las reglas de implementación? |
|
¿Cuál es el balance de poder entre las diferentes personas y organizaciones? |
|
¿En qué etapas del proceso se involucra a los caficultores y a las comunidades locales? |
|
¿Cuánta influencia o control tienen los caficultores y las comunidades locales en las decisiones? |
|
¿Qué inversión se hace en el desarrollo y el mantenimiento de la participación de los caficultores (y la comunidad local)? |
|
¿La estrategia de participación permite el uso de una variedad de maneras para que participen en el proceso los caficultores y los representantes de las comunidades? |
|
¿Son accesibles las reuniones locales? |
|
¿Se llevan a cabo las reuniones locales del proyecto de manera efectiva e inclusiva? |
|
III. Resumen de los mensajes principales sobre qué actividades son las más eficaces
Es útil usar un ejercicio de clasificación que evalúe cómo es que los diferentes participantes consideraron cada actividad del proceso de adaptación. Hay muchas maneras de realizar ejercicios de clasificación. Un método sencillo es dar a los participantes cuatro piedras (o un pequeño objeto diferente, como un trozo de caramelo) y pedirles que las coloquen en una tabla dibujada en una hoja grande de papel. Por ejemplo, si estuviera comparando tres actividades, se podría utilizar la Tabla 45.
Si un participante pensó que la actividad era extremadamente eficiente, razonablemente accesible y adecuada para los productores, pero que el momento era inoportuno, sus piedras se podrían ver como se muestra en la Tabla 45 a continuación.
Si les pidiera a otros cinco participantes que coloquen sus piedras, podría obtener algo más parecido a la Tabla 46.
A partir de este ejercicio, los facilitadores pueden comenzar a recoger patrones y a discutirlos con el grupo. Por ejemplo, el facilitador podría preguntar: “Parece que hay cierto acuerdo acerca de la poca o falta de sincronización de esta actividad. ¿Es así como lo ven? y si es así, ¿podría alguien decirme el por qué o comentar sobre el por qué se da esto?” o, “Parece que hay una diversidad de puntos de vista sobre la eficiencia de la actividad. ¿Podría alguien que considera que es “muy eficiente” decirme por qué puso su piedra allí? ¿Podría alguien que puso su piedra en “muy ineficiente” explicar por qué puso su piedra allí?” Normalmente durante estas discusiones es cuando se pueden aprender las lecciones más interesantes.
Tabla 45: Ejemplo de actividades de evaluación a través de un ejercicio de clasificación (1 persona respondió)
Criterios | Excelente (++) | Satisfactorio (+) | Deficiente (-) | Insatisfactorio (--) |
Eficiencia | * | |||
Asequibilidad | * | |||
Idoneidad | * | |||
Tiempo oportuno | * |
Tabla 46: Ejemplo de actividades de evaluación a través de un ejercicio de clasificación (5 personas respondieron)
Criterios | Excelente (++) | Satisfactorio (+) | Deficiente (-) | Insatisfactorio (--) |
Eficiencia | ** | * | * | ** |
Asequibilidad | ** | *** | * | |
Idoneidad | **** | ** | ||
Tiempo oportuno | * | ***** |
IV. Otras herramientas y ejercicios participativos
Hay muchas herramientas y ejercicios participativos que pueden ser útiles en conversaciones individuales con los productores, grupos focales o como parte de un taller con el fin de recopilar datos y examinarlos con más profundidad. Estas herramientas y ejercicios pueden ayudar a los participantes a trazar y comprender las relaciones complejas, las interacciones y las influencias. Se enumeran en la Tabla 47 y se describen con más detalle al final de esta sección.
Además de evaluar el proceso de adaptación a nivel de finca, podría ser interesante considerar cómo se pueden abordar también los aspectos más amplios del sistema de producción de café. Los extensionistas, capacitadores u otras personas que utilizan el Enfoque c&c pueden emplear la Tabla 48 como una lista de verificación para reflexionar sobre cómo desarrollar la resiliencia al cambio climático para la producción de café a mayor escala. Las buenas prácticas a nivel de finca necesitan ser apoyadas por las buenas prácticas en otras partes del sistema de producción de café si es para adaptarse al cambio climático en la mayor medida posible.
La lista de verificación le permitirá identificar las fortalezas y debilidades y a considerar dónde es que deben invertirse los recursos para desarrollar la capacidad de resiliencia a largo plazo en el sistema de producción local de café.
Por ejemplo, la capacidad de comprender la nueva información sobre el cambio climático y para evaluar nuevos riesgos es una habilidad importante que se debe incorporar en los procesos de toma de decisiones en la adaptación al cambio climático. Un extensionista debe considerar, por ejemplo, qué tan adecuadamente pueden los productores tener acceso y comprender los nuevos datos sobre el cambio climático. Deben considerar cómo pueden apoyar a los productores en este sentido y qué prioridad debe tener el desarrollo de esta capacidad. Los productores pueden decidir que esta no es una prioridad en relación con otras actividades más urgentes, como la introducción de nuevos sistemas de riego.
Tabla 47: Ejemplos de herramientas y ejercicios participativos para la evaluación
Herramientas participativas específicas (para utilizar en entrevistas, grupos focales y talleres) | Otros ejercicios visuales y narrativos (se necesita más tiempo y más recursos) |
|
|
|
|
|
|
|
|
|
|
|
|