Identificar as questões de avaliação

Resumo

Tendo definido o propósito do processo de Monitoramento e Avaliação, agora é o momento de considerar as questões de avaliação que auxiliarão a cumprir este propósito. Um bom ponto de partida para definir questões é considerar a lógica por trás das medidas de adaptação e os pressupostos estabelecidos durante o estágio de planejamento. Se desenvolveu um caminho de projeto (ver Passo 3), terá mapeado esta lógica e os pressupostos inerentes. As questões de avaliação devem testar e desafiar a lógica delineada em seu caminho de projeto e auxiliá-lo a entender o que funcionou devidamente e o que não funcionou, e porquê.

Método

Discussões em grupo com stakeholders chave envolvidos no desenho do projeto
Discussões informadas pelo caminho do projeto (ver Passo 3), propósito de Monitoramento e Avaliação e resultados das discussões e workshops anteriores

Resultados Esperados

Priorizado um grupo de questões para criar um foco no processo de Monitoramento e Avaliação

Teoria

A tabela 18 fornece um exemplo geral dos tipos de questões que podem ser consideradas. Estas precisam ser adaptadas ao seu contexto e às opções de adaptação particulares. O número de questões a serem selecionadas dependerá da complexidade do processo de adaptação, dos recursos disponíveis e do propósito do processo de Monitoramento e Avaliação. É melhor identificar três ou quatro questões de avaliação críticas, que podem também ter futuras subquestões.

Algumas das lições mais valiosas podem ser aprendidas por se olhar além do que se esperava que acontecesse e por explorar o que não havia sido antecipado. Isso pode ser positivo (por exemplo: o treinamento de produtor realizado pessoa a pessoa levou diretamente ao compartilhamento de mão de obra em momentos chave durante o ano) ou negativo (por exemplo: as intervenções técnicas funcionaram bem, mas a captação foi pobre, pois não se envolveu líderes da comunidade no início).

Certifique-se de que algumas questões abertas foram incluidas para levar estes fatores em conta. Por exemplo, ao invés de simplesmente perguntar “Os produtores acharam o treinamento útil?” pergunte “O que os produtores acharam útil durante o treinamento?” É importante captar essas lições e perguntar, “O que teve mais valor para as pessoas envolvidas?” – pode não ser o que você espera. Isso irá lhe ajudar a melhorar os planos para a próxima fase.

Tabela 18: Questões de avaliação exemplo para o processo de adaptação

Aspecto do processo de adaptação	Exemplo de questões de avaliação
O progresso de atividades planejadas (“Fizemos as coisas da forma certa?”)	O que você alcançou está de acordo com o que você esperava no início? As atividades planejadas foram empreendidas de forma eficiente, acessível, apropriada e a tempo? Os seus insumos foram suficientes para permitir que você conduzisse as atividades planejadas?
As funções, responsabilidades e nível de envolvimento dos produtores e outros stakeholders na implementação	As atividades alcançaram os alvos certos e as escalas certas para criar resiliência? Como é que os grupos-chave foram envolvidos nas atividades? Quem tomou quais funções em diferentes estágios? Como é que foi a experiência deles?
A adequação da lógica no plano operacional, incluindo os pressupostos (“Fizemos as coisas certas?”)	As atividades produziram os resultados esperados? Quais pressupostos foram desafiados, e que de forma? Que novos entendimentos emergiram sobre como as mudanças ocorrem e, o que reprime e dá suporte a isto? As prioridades mudaram durante o curso do trabalho devido às mudanças externas?
Se (e como) surgiram os resultados inesperados ou não pretendidos	O que foi surpreendente ou não antecipado e o que desafiou o seu entendimento de como as mudanças ocorrem?

Orientação Prática

Objetivos

Identificar as questões de avaliação, que determinarão se você ‘está fazendo as coisas da forma certa’ e se você ‘está fazendo as coisas certas’.
Identificar questões que ajudarão a obter informações relativas ao propósito da avaliação, bem como o seguinte:
- O progresso de atividades planejadas e os resultados
- As funções, responsabilidades e nível de envolvimento dos produtores e outros stakeholders na implementação
- A adequação da lógica que você usou na preparação do plano operacional, incluindo pressupostos sobre como as atividades ajudam a alcançar o objetivo geral.
- Se e como os resultados inesperados ou não intencionais surgiram e as suas consequências

Resultados esperados

Uma lista de questões a serem usadas no processo de avaliação. uu Realização da parte B do plano de avaliação

Tempo necessário

Variável, dependendo do número de intervenientes envolvidos.

Questões de orientação

A tabela a seguir fornece um exemplo de questões de avaliação para cada um dos quatro aspectos chave a usar para avaliar o processo de adaptação. As questões podem ser alteradas ou aumentadas para adequar o contexto da avaliação.

Procedimento

Elaborar questões para colocar durante a avaliação, as quais poderão rastrear o progresso alcançado através da realização dos objetivos originais de implementação.
Além diso, deve-se usar os pressupostos identificados no caminho de projeto (no Passo 3) para formular questões de avaliação que analisem se esses pressupostos foram razoáveis e se continuam verdadeiros.
Se não desenvolver um caminho de projeto, use a tabela da seção subsequente como um guia para formular questões de avaliação.
Revisitar o(s) propósito(s) de avaliação e verificar que as questões identificadas são devidamente abordadas.

Tabela 39: Determinação de questões de avaliação – alguns exemplos

Quatro aspectos chave de avaliação do processo de adaptação	Exemplos de questões de avaliação correspondentes
O progresso de atividades planejadas ‘Fizemos bem as coisas?’	O que você alcançou está de acordo com o que você esperava alcançar? As atividades planejadas foram realizadas de forma eficiente, acessível, apropriada e a tempo? Os insumos foram suficientes o bastante para permitir que você realize as atividades planejadas?
As funções, responsabilidade e nível de envolvimento de produtores e outros stakeholders na implementação	A s atividades alcançaram as pessoas e as escalas certas para criar resiliência? Como os grupos chave foram envolvidos nas atividades? Quem tomou as rédeas de quais funções durante os diversos estágios? Como foi a experiência deles na participação nas atividades? Qual foi o maior valor para eles em participar do trabalho?
A adequação da lógica no plano operacional, incluindo pressupostos sobre como atividades ligam-se para alcançar o objetivo geral ‘Nós fizemos as coisas certas?’	As atividades produziram os resultados esperados? Quais pressupostos foram desafiados e de que maneiras? Quais novos entendimentos emergiram sobre como as mudanças ocorrem e o que reprime ou apoia isso? As prioridades mudaram durante o curso de trabalho devido a mudanças externas?
Se e como resultados inesperados e não pretendidos surgiram	O que foi surpreendente ou imprevisto, ou o que desafiou o seu entendimento de como as mudanças ocorrem?

Métodos técnicos

Discussões em grupo com pessoas chave envolvidas no desenvolvimento do projeto (ver Seção A), informadas pelos objetivos do projeto, pressupostos do desenvolvimento de uma teoria de mudança e os resultados das discussões anteriores e workshops.