Resumen

En el análisis, se revisa la evidencia para evaluar el avance, identificar los siguientes pasos a tomar y las lecciones que se comparten con otros. Esta etapa es una oportunidad para reunir a las personas clave para compartir puntos de vista sobre lo que ha dado resultado, qué lo apoya y qué lo limita y si se ha desarrollado la capacidad de resiliencia. Esto se puede hacer a través de un taller de aprendizaje.

Método

Taller de aprendizaje para todos los involucrados en el proyecto para valorar la información que surge de la recopilación de datos (esto implica discusiones de grupo y ejercicios de clasificación)

Enfoques temáticos más ambiciosos para dar sentido a la evidencia emergente (p.ej., sociodramas, videos y fotografías)

Resultados esperados
  • Comprensión más profunda de la evidencia recopilada para responder a las preguntas de evaluación
  • Identificación de brechas en la disponibilidad de datos y los retos ante los supuestos
  • “Historias de cambio“, que explican cómo el proyecto ha mejorado las capacidades y ha aumentado la resiliencia al cambio climático

Teoría

Para el análisis puede que le resulte útil consultar nuevamente sus preguntas de evaluación y la hoja de ruta del proyecto. Las preguntas de evaluación son un buen punto de partida y pueden proporcionar una estructura útil para basar su análisis; la hoja de ruta del proyecto puede ayudarlo a entender lo que ha aprendido acerca de los supuestos que formuló al inicio y los resultados que esperaba.

Es importante brindarle la oportunidad a quienes participaron en la recopilación de evidencia a fin de que conozcan el resultado del proceso y propiciar su retroalimentación. Compartir la tarea de análisis con las personas clave involucradas, incluso con los productores, es más lento que si sólo el equipo de evaluación participa, pero tiene muchas ventajas, p.ej.:

  • Proporciona una oportunidad para comprobar la confiabilidad de los datos recopilados, lo que aumenta su calidad y nivel de detalle.
  • Los participantes son capaces de ver dónde concuerdan sus ideas y experiencias con otros grupos y dónde hay desacuerdo.
  • Hay oportunidad para el “co-aprendizaje entre participantes” a través de la combinación de diferentes perspectivas, haciendo visibles implícitos y la formulación de preguntas para una reflexión más profunda.
  • Aumenta la confianza de los participantes en sus conocimientos, en su capacidad para contribuir a los procesos más amplios de toma de decisiones y en su capacidad para cuestionar los supuestos acerca de cómo fortalecer la resiliencia, lo cual es útil para aumentar la resiliencia en el futuro.
  • Mejora la comprensión del sistema de producción de café en general y dónde es que se deben hacer cambios a fin de garantizar la resiliencia en el largo plazo.
  • Es probable que cualquier otro paso identificado sea más pertinente y útil si se ha desarrollado en colaboración con los actores involucrados en la implementación.

La evidencia se puede analizar para responder las preguntas clave de la evaluación. Por ejemplo, para responder la pregunta “¿Cuáles son las actividades más eficaces para reducir la roya?”, se podrían reunir las reseñas de estudios de caso y evidencias de entrevistas con los productores (véase Tabla 19).

Se podría volver a presentar esta tabla a los productores en un taller o en entrevistas para obtener su apreciación sobre si la información es acertada, identificar qué información hace falta y si a partir de los hallazgos surgen nuevas preguntas.

Sin embargo, si su pregunta de evaluación se refería a la capacidad de resiliencia desarrollada por los productores, la identificación de las características de resiliencia podría requerir una evaluación cualitativa. Esto significa demostrar cómo se han desarrollado las características en el trabajo hasta la fecha. Este ejercicio debería evidenciar áreas que funcionan bien y otras donde se pueden hacer mejoras. Registre los resultados clave de esta tarea en la plantilla del plan de M&E, véase Sección 2, Etapa 5.

Tabla 19: Ejemplo de evaluación de una opción de adaptación

Accesibilidad

Aceptabilidad por productores

Tiempo

Eficacia

Siembra de variedad A resistente a la roya

***

*

**

*

Siembra de variedad B resistente a la roya

**

*

**

-

Siembra de árboles de sombra

*

***

*

**

Siembra sólo sobre 700 msnm

n/r

n/r

*

***

*** = muy bueno, ** = bueno, * = razonable, - = deficiente, n/r = no relevante

Guía Práctica

Objetivos

  • Verificar que la evidencia recopilada sea confiable.
  • Dar sentido a los diferentes tipos de evidencia con el fin de que se pueda utilizar para responder a las preguntas de evaluación.

Resultados esperados

  • Valoración de la evidencia en relación a la forma en que responde las preguntas de evaluación.
  • Mensajes clave del proceso de evaluación que se pueden utilizar en una difusión más amplia.
  • Finalización de la parte D de su plan de evaluación.

Tiempo necesario

Variable, dependiendo del enfoque, de cuántas personas participan y el nivel de detalle de la información requerida.

Orientación

Verificación

Es importante verificar que la evidencia reunida sea exacta y confiable. La comprobación de la información lleva tiempo, pero aumenta considerablemente la calidad de los datos. Revisar nuevamente la información con los participantes le ayuda a obtener un entendimiento común y compartido de los problemas y le permite descubrir información adicional. Es importante ser claro acerca de lo que se está verificando. Por ejemplo, es posible que desee:

  • verificar quiénes han participado, quiénes expresaron sus opiniones y quiénes no
  • verificar en qué coinciden los actores y en qué hay diferentes puntos de vista
  • comprobar que las opiniones expresadas representan lo que las personas realmente creen y que el aprendizaje que surge de un ejercicio que se ha interpretado y representado correctamente

Con agradecimiento a

Procedimiento

  • Considere la posibilidad de organizar un taller para los principales stakeholders con el fin de proporcionar evidencia y ayudar en el análisis (p.ej., esto podría abordar las partes C y D de la Etapa 5). En cada etapa del análisis, es necesario reflexionar detenidamente sobre qué elementos de la evidencia son más útiles para responder las preguntas de la evaluación. Debe comenzar la etapa de análisis con un conjunto de ideas no validadas y terminar con un menor número de mensajes y recomendaciones claves. Los facilitadores deben estar disponibles para asegurar que se llevan a cabo los procesos de registro, presentación y priorización de la evidencia y que el taller se desarrolle correctamente.
  • Incluso si no es factible realizar un taller, hay una serie de ejercicios que se pueden utilizar con los stakeholders en las entrevistas y en los grupos focales, para ayudar a recopilar y dar prioridad a las lecciones de la evidencia.
  • Llene la plantilla del plan de M&E para ayudar a organizar las acciones futuras.

Métodos técnicos

Muchas de las herramientas participativas mencionadas anteriormente para la recopilación de datos también se pueden utilizar en la etapa de análisis, en métodos como los mapas de conversación, ríos de vida, clasificación, el diagrama Puente H, los campos de fuerza y, si el tiempo lo permite, en enfoques narrativos como fotografías participativas o historias de aprendizaje. Estos se describen al final de esta sección.

Un taller también es útil para identificar los ejercicios que permiten a los participantes pasar de un entendimiento general (p.ej., lluvia de ideas) a enfocarse en temas importantes. Esto les permitirá extraer lecciones clave y mensajes transferibles e identificar las medidas en el corto, mediano y largo plazo para aumentar la resiliencia al cambio climático.

Ejercicios que pueden ayudar en la realización de aspectos específicos del análisis, que incluyen:

I. Comprobar si las actividades se llevaron a cabo de forma eficiente, accesible, adecuada y oportuna

Para cada una de las actividades llevadas a cabo en su proceso de adaptación, evalúe qué tan bien cumplieron con los criterios de ser eficientes, accesibles, adecuadas y oportunas. Esto puede requerir una discusión previa sobre lo que significa cada palabra en relación con los objetivos del proceso de adaptación, es decir, las personas involucradas en la implementación del proyecto deben identificar un parámetro definido localmente para cada palabra en relación con su producción de café específica.

Utilice una tabla como la de abajo para anotar estas definiciones (véase Tabla 43).

Tabla 43: Evaluación de las actividades de adaptación implementadas

Criterios

Excelente

Satisfactorio

Deficiente

Insatisfactorio

Eficiencia

La actividad logró alcanzar el objetivo previsto de manera muy eficaz

La actividad logró alcanzar el objetivo previsto de manera razonablemente eficaz

La actividad fue deficiente en alcanzar el objetivo previsto

La actividad no logró el objetivo previsto

Asequibilidad

La actividad se consideró como una excelente relación calidad-precio

La actividad se consideró como una razonable relación calidad-precio

La actividad se consideró costosa

La actividad fue tan costosa que los productores no considerarían utilizarla

Idoneidad

La actividad fue muy adecuada para que la implementen las personas que necesitan hacerlo

Hubo algunas preocupaciones sobre la idoneidad de la actividad por parte de quienes la implementan

Se expresó preocupación sobre la idoneidad de la actividad por parte de quienes necesitaban implementarla

La actividad no es adecuada para que la usen quienes necesitan implementarla, p.ej., debido a que es demasiado extenuante, culturalmente inaceptable, etc.

Tiempo oportuno

La actividad encajó fácilmente en los calendarios existentes de los implementadores

La actividad encajó aceptablemente en los calendarios existentes de los implementadores

Hubo preocupación en relación a cómo encajó la actividad en los calendarios existentes

Las implicaciones de tiempo de la actividad hicieron imposible que encajara en los calendarios existentes

II. Evaluación de la efectividad de la participación de los stakeholders

La resiliencia al cambio climático requiere una conexión entre las diferentes personas involucradas en la producción de café y sus redes más amplias, p.ej., entre la comunidad, el gobierno, las empresas. También requiere que los procesos y oportunidades sean flexibles para aprender de la experiencia y para asegurarse de que el aprendizaje oriente futuros planes. Al final de un proceso de adaptación, es importante evaluar si los productores y otros stakeholders pudieron participar en el diseño, implementación y análisis.

La siguiente tabla ofrece algunas sugerencias para la recopilación de evidencia que puede responder preguntas sobre el nivel de inclusión de los stakeholders en el diseño y la toma de decisiones, o la inversión de estos en los enfoques participativos. Usted puede adaptar o aumentar esta lista para satisfacer sus necesidades. Estas preguntas se pueden responder a través de grupos focales, entrevistas individuales o en un taller. Inevitablemente habrá un elemento de subjetividad en la evaluación de la calidad y el nivel de participación. Sin embargo, a través de estas conversaciones, debería empezar a quedar claro qué significa para los productores así como a otros stakeholders, una participación significativa y si ellos, consideran que las oportunidades de participación fueron adecuadas y suficientes. De no ser así, cómo se podría mejorar el enfoque a futuro.

Tabla 44: Ejemplo para recopilar evidencia de la participación de los stakeholders

Preguntas sobre la participación de los stakeholders

Ejemplo de indicadores

¿Quién o qué determinó las reglas de implementación?

  • Los pequeños caficultores y las comunidades locales participan como socios igualitarios en el establecimiento de las reglas y las agendas para el proyecto

¿Cuál es el balance de poder entre las diferentes personas y organizaciones?

  • Los productores de café (y los representantes de las comunidades locales, en su caso) tienen tanto poder e influencia como otros stakeholders

¿En qué etapas del proceso se involucra a los caficultores y a las comunidades locales?

  • Los caficultores y los representantes de la comunidad local (si se considera oportuno) están involucrados en todos los aspectos del proyecto

¿Cuánta influencia o control tienen los caficultores y las comunidades locales en las decisiones?

  • Los productores de café y las comunidades locales tienen influencia y control efectivos

¿Qué inversión se hace en el desarrollo y el mantenimiento de la participación de los caficultores (y la comunidad local)?

  • El proyecto invierte considerable tiempo, dinero y recursos en crear espacios de participación

¿La estrategia de participación permite el uso de una variedad de maneras para que participen en el proceso los caficultores y los representantes de las comunidades?

  • Se está probando una diversidad de diferentes enfoques de participación
  • Se presta atención al fortalecimiento de todas las formas de participación de los productores de café y de los representantes de la comunidad local

¿Son accesibles las reuniones locales?

  • Las reuniones locales son accesibles a los productores y los representantes de la comunidad local

¿Se llevan a cabo las reuniones locales del proyecto de manera efectiva e inclusiva?

  • Las reuniones de proyectos locales trabajan de una manera eficaz, abierta e incluyente. (Tenga en cuenta que los términos “eficaz”, “abierto” e “inclusivo”, se deben definir antes de responder a esto)

III. Resumen de los mensajes principales sobre qué actividades son las más eficaces

Es útil usar un ejercicio de clasificación que evalúe cómo es que los diferentes participantes consideraron cada actividad del proceso de adaptación. Hay muchas maneras de realizar ejercicios de clasificación. Un método sencillo es dar a los participantes cuatro piedras (o un pequeño objeto diferente, como un trozo de caramelo) y pedirles que las coloquen en una tabla dibujada en una hoja grande de papel. Por ejemplo, si estuviera comparando tres actividades, se podría utilizar la Tabla 45.

Si un participante pensó que la actividad era extremadamente eficiente, razonablemente accesible y adecuada para los productores, pero que el momento era inoportuno, sus piedras se podrían ver como se muestra en la Tabla 45 a continuación.

Si les pidiera a otros cinco participantes que coloquen sus piedras, podría obtener algo más parecido a la Tabla 46.

A partir de este ejercicio, los facilitadores pueden comenzar a recoger patrones y a discutirlos con el grupo. Por ejemplo, el facilitador podría preguntar: “Parece que hay cierto acuerdo acerca de la poca o falta de sincronización de esta actividad. ¿Es así como lo ven? y si es así, ¿podría alguien decirme el por qué o comentar sobre el por qué se da esto?” o, “Parece que hay una diversidad de puntos de vista sobre la eficiencia de la actividad. ¿Podría alguien que considera que es “muy eficiente” decirme por qué puso su piedra allí? ¿Podría alguien que puso su piedra en “muy ineficiente” explicar por qué puso su piedra allí?” Normalmente durante estas discusiones es cuando se pueden aprender las lecciones más interesantes.

Tabla 45: Ejemplo de actividades de evaluación a través de un ejercicio de clasificación (1 persona respondió)

Criterios

Excelente

(++)

Satisfactorio

(+)

Deficiente

(-)

Insatisfactorio

(--)

Eficiencia

*

Asequibilidad

*

Idoneidad

*

Tiempo oportuno

*

Tabla 46: Ejemplo de actividades de evaluación a través de un ejercicio de clasificación (5 personas respondieron)

Criterios

Excelente

(++)

Satisfactorio

(+)

Deficiente

(-)

Insatisfactorio

(--)

Eficiencia

**

*

*

**

Asequibilidad

**

***

*

Idoneidad

****

**

Tiempo oportuno

*

*****

IV. Otras herramientas y ejercicios participativos

Hay muchas herramientas y ejercicios participativos que pueden ser útiles en conversaciones individuales con los productores, grupos focales o como parte de un taller con el fin de recopilar datos y examinarlos con más profundidad. Estas herramientas y ejercicios pueden ayudar a los participantes a trazar y comprender las relaciones complejas, las interacciones y las influencias. Se enumeran en la Tabla 47 y se describen con más detalle al final de esta sección.

Además de evaluar el proceso de adaptación a nivel de finca, podría ser interesante considerar cómo se pueden abordar también los aspectos más amplios del sistema de producción de café. Los extensionistas, capacitadores u otras personas que utilizan el Enfoque c&c pueden emplear la Tabla 48 como una lista de verificación para reflexionar sobre cómo desarrollar la resiliencia al cambio climático para la producción de café a mayor escala. Las buenas prácticas a nivel de finca necesitan ser apoyadas por las buenas prácticas en otras partes del sistema de producción de café si es para adaptarse al cambio climático en la mayor medida posible.

La lista de verificación le permitirá identificar las fortalezas y debilidades y a considerar dónde es que deben invertirse los recursos para desarrollar la capacidad de resiliencia a largo plazo en el sistema de producción local de café.

Por ejemplo, la capacidad de comprender la nueva información sobre el cambio climático y para evaluar nuevos riesgos es una habilidad importante que se debe incorporar en los procesos de toma de decisiones en la adaptación al cambio climático. Un extensionista debe considerar, por ejemplo, qué tan adecuadamente pueden los productores tener acceso y comprender los nuevos datos sobre el cambio climático. Deben considerar cómo pueden apoyar a los productores en este sentido y qué prioridad debe tener el desarrollo de esta capacidad. Los productores pueden decidir que esta no es una prioridad en relación con otras actividades más urgentes, como la introducción de nuevos sistemas de riego.

Tabla 47: Ejemplos de herramientas y ejercicios participativos para la evaluación

Herramientas participativas específicas

(para utilizar en entrevistas, grupos focales y talleres)

Otros ejercicios visuales y narrativos

(se necesita más tiempo y más recursos)

  • Líneas de espectro
  • Teatro participativo o sociodrama
  • Diagramas Puente H
  • Video participativo
  • Campos de fuerza
  • Reportajes fotográficos participativos
  • Río de la vida
  • SIG y mapas participativos
  • Mapa de conversaciones
  • Mapa de resultados
  • Ejercicios de clasificación
  • Historial del aprendizaje