• Como o tempo e os recursos são frequentemente escassos, é bom discutir abertamente os desafios enfrentados durante o processo de coleta de dados. Desta forma, pode se esclarecer sobre as implicações de suas escolhas na projeção da avaliação (adaptado de PMERL):
• Uso de dados existentes versus obtenção de novos dados: Haverá sempre um equilíbrio entre o que você gostaria de monitorar e avaliar e o que é realmente possível, dados o tempo e recursos disponíveis. Usar dados pré-existentes e facilmente acessíveis faz sentido, especialmente quando os recursos são limitados, mas estes dados podem não ser os mais relevantes e podem simplificar demais ou até mesmo dispersar das metas gerais de criação de resiliência. Por exemplo, dados existentes podem dar-lhe uma mensuração média do conteúdo de umidade do solo ao nível de campo, mas quando se analisa os impactos de escala na planta, isso não substitui as mensurações de umidade de menores escalas onde as amostras levam em conta as mudanças no tipo de solo e a topografia do terreno.
• Identificação de indicadores localmente apropriados versus indicadores externamente determinados: A boa adaptação é localmente específica e os sistemas de Monitoramento e Avaliação precisam ser adaptados às condições locais. No entanto, envolver produtores e outros stakeholders no desenvolvimento desses indicadores pode ser uma atividade que consome tempo, o que faz com que as medidas externamente determinadas pareçam mais atrativas. Medidas externas também podem ser mais fáceis de comparar com outras áreas. Uma forma de atender a isso é interpretar indicadores derivados externamente para garantir que sejam relevantes a nível local. Por exemplo, um indicador externamente determinado pode ser o acesso a dados climáticos precisos. Isso poderia ser localmente interpretado perguntando se existem boas ligações com as estações meteorológicas e organizações de pesquisa.
• Construção de capacidade de fazer o Monitoramento e Avaliação versus usar especialistas externos: O Monitoramento e Avaliação pode ser usado como uma oportunidade de dar poder aos cafeicultores e outros stakeholders a aprender sistematicamente a partir de suas experiências. Para construir capacidade álongo prazo, os produtores precisam, não apenas participar dos processos de adaptação, mas também projetar e gerenciar pessoalmente estes processos. Isso requer maior investimento de tempo, já que este tipo de mudança não ocorre rapidamente. Pessoas de fora podem fazer o trabalho talvez mais rapidamente, mas isso criaria muito menos capacidade de adaptação no longo prazo. Seria ideal se os produtores locais pudessem ser treinados para fazer pessoalmente a avaliação, o que construiria a sua capacidade em identificar a severidade dos riscos climáticos, identificar pressupostos acerca de quais atividades criariam resiliência local, e desenvolver um plano para coletar evidências no teste desses pressupostos.
• Avaliar o sucesso das atividades planejadas versus aprender a partir de consequências não antecipadas do trabalho: A evidência necessária para o processo de Monitoramento e Avaliação é frequentemente uma mistura de dados facilmente mensuráveis relacionados ao alcance de atividades e ‘histórias de mudança’ mais qualitativas que podem revelar coisas que não foram antecipadas no início. Essas histórias de mudança são importantes, já que auxiliam a desafiar pressupostos sobre o que dá suporte às boas práticas e o que se opõe a isso.

Um indicador fornece informações específicas sobre o estado e condição de algo. No processo de Monitoramento e Avaliação, isso se relaciona ao fornecimento de informações de mudança (por exemplo, os produtores tornaram-se mais resilientes?). Indicadores são uma parte importante do entendimento dos processos de mudança e da exploração de qual medida de adaptação funciona ou não, em qual contexto e porquê.

Não há apenas um grupo de indicadores que irá funcionar para todos os processos de implementação da adaptação. Os indicadores precisam ser escolhidos em relação às atividades de adaptação que foram planejadas e o contexto no qual essas atividades foram implementadas. Desenvolver indicadores como parte de um caminho de projeto, pode-se garantir que estes se relacionem aos seus objetivos.

Assumindo que se desenvolveu um caminho de projeto no Passo 3, esta tarefa irá auxiliar na coleta de informação a fim de entender como é que o caminho funciona na prática. Se não tiver sido desenvolvido um caminho de projeto, essa tarefa ainda o ajudará na coleta de evidências necessárias para as atividades de Monitoramento e Avaliação, mas é recomendado que se dê uma olhada antes no Passo 3.

Os indicadores estão presentes tanto em processos de monitoramento quanto de avaliação, mas nem todos os indicadores serão usados para ambos. Por exemplo, pode ser caro e logisticamente impossível rastrear as atitudes de produtores por toda a implementação de opções de adaptação (como parte de monitoramento), mas pode-se desejar fazê-lo como parte de uma avaliação á médio prazo. Do mesmo modo, a avaliação pode não requerer dados mensais dos campos de demonstração de resultados, mas irá usar, ao invés disso, dados resumidos sobre como esses campos funcionaram no geral. Monitorar o progresso é um processo dependente da seleção de indicadores que sejam capazes de representar mudanças. Esses indicadores deveriam ligar-se aos seus esforços em implementar e validar opções de adaptação (por exemplo: fazer uso de dados observacionais obtidas de parcelas experimentais, ver a Tabela 19).

Existem dois tipos de indicadores básicos para o Monitoramento e Avaliação, e a maioria dos processos provavelmente é uma mistura dos dois:

Indicadores de resultado: demonstram que um resultado em particular foi alcançado (por exemplo: redução em perdas relacionadas a doenças entre pequenos produtores). Os indicadores de resultado são muito úteis, mas podem frequentemente ser difíceis de usar na avaliação de atividades de adaptação, já que frequentemente existem longos atrasos entre a implementação da opção de adaptação e o alcance do resultado (por exemplo, se não houver ocorrência de ferrugem em uma área, como pode-se saber se as perdas foram reduzidas como resultado do projeto?). Deste modo, é útil utilizar também indicadores de processo para mensurar o risco acerca do alcance de um resultado (por exemplo, número de produtores que agora utilizam medidas de prevenção à ferrugem do café ou número de produtores que foi treinado). Esses indicadores de processo são valiosos no entendimento da resiliência, se esta está aumentando, mesmo se ainda não foi testada por um evento relativo ao clima.

Para escolher qual evidência a coletar (ou quais indicadores a medir), deve-se analisar as questões de avaliação desenvolvidas na seção anterior e considerar qual tipo de evidência ou indicador é mais adequado, dados os recursos e capacidades disponíveis. Registrar os resultados-chave desta tarefa no modelo do plano de Monitoramento e Avaliação, na Seção 2, Passo 5.