Identificar las preguntas de evaluación

Resumen

Una vez definido el propósito de su proceso de M&E, deberá formular las preguntas de evaluación que ayudarán a lograrlo. Un buen punto de partida para generar las preguntas es tener en cuenta la lógica detrás de las medidas de adaptación y los supuestos formulados durante la etapa de planificación. Si usted desarrolló una hoja de ruta del proyecto (véase Etapa 3), tendrá establecida la lógica y sus supuestos inherentes. Las preguntas de evaluación deben poner a prueba y cuestionar la lógica establecida en la hoja de ruta del proyecto y ayudarle a entender lo que dio y no dio resultado y por qué.

Método

Discusiones de grupo con stakeholders clave involucrados en el diseño del proyecto
Discusiones basadas en la hoja de ruta del proyecto (véase Etapa 3), el propósito del M&E y los resultados de las discusiones y los talleres anteriores

Resultados esperados

Una serie de preguntas, en orden de prioridad, para centrar el enfoque del proceso de M&E

Teoría

La Tabla 18 brinda un ejemplo general del tipo de preguntas a ser consideradas. Éstas se deben adaptar al contexto y a las opciones de adaptación particulares. El número de preguntas que elija dependerá de la complejidad del proceso de adaptación, de los recursos que tiene disponibles y del propósito del M&E. Lo mejor es identificar tres o cuatro preguntas de evaluación críticas, que también podrían dar lugar a otras preguntas. Algunas de las lecciones más valiosas se pueden aprender viendo más allá de lo que se esperaba que ocurriera y explorando lo que no estaba previsto. Las lecciones pueden ser positivas o negativos. Positivo sería, por ejemplo, que la capacitación de productores entre pares hubiese resultado en compartir trabajo en momentos claves durante el año; negativo sería, por ejemplo, si las intervenciones técnicas hubieran funcionado bien, pero que la respuesta fuese poca debido a la falta de involucramiento de los líderes comunitarios al inicio.

Cerciórese de incluir algunas preguntas abiertas que permitan captar este tipo de información. En lugar de simplemente preguntar: “¿Les resultó útil la capacitación a los productores?”, pregunte “¿Qué encontraron útil los productores durante la capacitación?” Es importante identificar estas lecciones y también preguntar: “¿Qué fue lo más valioso para las personas involucradas?” Es factible que la respuesta sea diferente a la esperada. Esto, le ayudará a mejorar la planificación de la siguiente fase.

Tabla 18: Ejemplo de preguntas de evaluación para el proceso de adaptación

Aspecto del proceso de adaptación	Ejemplo de preguntas de evaluación
El avance de las actividades previstas (“¿Hicimos correctamente las cosas?”)	¿Coinciden los logros alcanzados con lo previsto al principio? ¿Se llevaron a cabo las actividades previstas de una manera eficiente, accesible, adecuada y oportuna? ¿Fueron suficientes los aportes para que se pudiera llevar a cabo las actividades planificadas?
Los roles, las responsabilidades y el nivel de compromiso de los productores y otros stakeholders involucrados en la implementación	¿Estuvieron las actividades dirigidas a las personas indicadas y en la magnitud requerida para aumentar la resiliencia? ¿Cómo participaron los grupos involucrados en las actividades? ¿Quién jugó qué rol en las diferentes etapas? ¿Cómo fue su experiencia?
La pertinencia de la lógica en el plan operativo, incluidos los supuestos (“¿Hicimos lo correcto?”)	¿Generaron las actividades los efectos previstos? ¿Qué supuestos se desafiaron y de qué manera? ¿Qué nueva comprensión ha surgido acerca de cómo se produce el cambio y qué lo restringe y fomenta? ¿Han cambiado las prioridades durante el transcurso del trabajo debido a cambios externos?
Si han surgido (y cómo) resultados inesperados o no deseados	¿Qué fue sorprendente o inesperado y qué desafió su comprensión de cómo se produce el cambio?

Guía Práctica

Objetivos

Identificar las preguntas de evaluación que determinarán si usted está “haciendo las cosas correctamente” y está “haciendo lo correcto”.
Identificar preguntas que le ayudarán a capturar la información que contrubuye con el propósito de la evaluación, tales como:
- el avance de las actividades planificadas y los resultados
- los roles, las responsabilidades y el nivel de compromiso de los productores y otros stakeholders que están involucrados en la implementación
- la validez de la lógica que se utilizó en la preparación del plan operativo, incluyendo los supuestos sobre cómo las actividades ayudan a lograr el objetivo general
- si se han presentado resultados inesperados o no intencionados y consecuencias de éstos

Resultados esperados

Lista de preguntas que se utilizará en el proceso de evaluación.
Finalización de la parte B del plan de evaluación.

Tiempo necesario

Variable, dependiendo de la participación de los involucrados.

Preguntas orientadoras

En la siguiente tabla se muestra un ejemplo de las preguntas de evaluación para cada uno de los cuatro aspectos clave de la evaluación de un proceso de adaptación. Puede ajustar estas preguntas para adaptarlas a su propia evaluación o formular preguntas adicionales para cada aspecto.

Procedimiento

Establezca las preguntas que se harán durante la evaluación, que den cuenta de los avances realizados hacia la consecución de sus objetivos originales para su implementación.
Además, utilice los supuestos señalados en la hoja de ruta del proyecto (en la Etapa 3) para formular preguntas de evaluación que tienen en cuenta si estos supuestos son razonables y si siguen vigentes.
Si no desarrolló una hoja de ruta del proyecto, utilice la tabla de la sección que sigue como una guía para la formulación de las preguntas de la evaluación.
Revise los propósitos de la evaluación y compruebe que las preguntas que usted ha identificado los abordan adecuadamente.

Tabla 39: Determinar las preguntas de su evaluación - algunos ejemplos

Cuatro aspectos fundamentales de la evaluación de un proceso de adaptación	Ejemplos de las preguntas de evaluación correspondientes
El avance de las actividades planificadas "¿Hicimos las cosas correctamente?”	¿Coinciden los logros obtenidos con lo que tenía previsto alcanzar? ¿Se llevaron a cabo las actividades planificadas de manera eficiente, accesible, adecuada y oportuna? ¿Fueron suficientes sus aportes para que pudiera llevar a cabo las actividades planificadas?
Los roles, responsabilidades y nivel de compromiso de los productores y otros stakeholders involucrados en la implementación	¿Las actividades se dirigieron a las personas indicadas y en la magnitud adecuada para aumentar la resiliencia? ¿Cómo se involucró a los principales grupos en las actividades? ¿Quién asumió qué roles durante las diferentes etapas? ¿Cuál fue la experiencia de ellos al participar en las actividades? ¿Qué fue lo más valioso para ellos al participar en el trabajo?
La idoneidad de la lógica en el plan operativo, incluyendo los supuestos sobre cómo se relacionan las actividades con el logro del propósito general "¿Hicimos lo correcto?“	¿Las actividades generaron los resultados esperados? ¿Qué supuestos se pusieron en cuestión y de qué manera? ¿Qué nuevo entendimiento ha surgido en relación a cómo se produce el cambio y qué lo limita o lo apoya? ¿Han cambiado las prioridades durante el curso del trabajo debido a cambios externos?
Si se han presentado resultados inesperados o no deseados y cómo, y sus consecuencias	¿Qué resultado fue sorprendente o inesperado y qué desafió su comprensión de cómo se produce el cambio?

Métodos técnicos

Discusiones de grupo con personas clave involucradas en el diseño del proyecto (véase sección A), con base en los objetivos del proyecto, los supuestos derivados del desarrollo de una teoría de cambio y los productos de las discusiones y talleres anteriores.