Voltar
A

Identificar porque, o quê, e quem durante o processo de Monitoramento e Avaliação

Resumo

Essa tarefa é relativa à necessidade de explorar e definir o resultado esperando com o processo de Monitoramento e Avaliação (M&A), o que está se tentando monitorar e avaliar, e quem deverá ser envolvido. Abordar estes três problemas permitirá que se identifiquem as questões de avaliação e se desenvolva um plano de coletar informações, e analisa-las de forma útil.

Método
  • Focar discussões em grupo ou discussões um a um moderadas por extensionistas locais
  • Métodos exploratórios participativos para agregar e compartilhar perspectivas diferentes como o mapeamento de conversa ou figuras ricas
  • Exercício de classificação participativa para priorizar as áreas a focar no processo de Monitoramento e Avaliação
  • Verificação cruzada com trabalho precedente de envolvimento de stakeholder (Passos 2 e 3)
Resultados Esperados
  • Compartilhado o entendimento sobre o que os stakeholders gostariam que o plano de Monitoramento e Avaliação atingisse
  • Limites claros para o escopo da avaliação, por exemplo, a avaliação é uma opção única, um conjunto de opções, um programa? Quais impactos estão sendo considerados (por exemplo, seca, aumento de doenças, etc.)?
  • Clarificação sobre quais stakeholders devem ser envolvidos e como eles contribuirão para o processo de Monitoramento e Avaliação

Teoria

Tabela 16: Identificando o propósito do processo de M&A

Qual a sua motivação para efetuar a avaliação neste momento?

Outras Considerações:

Quais os aspectos do projeto que você quer saber mais a respeito?

Quais são as audiências da avaliação e qual é a sua necessidade?

Você precisa demonstrar aos outros o que fez e o que disse que faria?

  • Quais são as evidências necessárias para essa demonstração?

Você precisa demonstrar o quão bem sucedidas foram as atividades de adaptação?

  • Como é que diferentes stakeholders definem o sucesso?
  • Qual evidência é necessária para determinar o sucesso?

Você quer compartilhar o que está funcionando bem e o que dá suporte a isso?

  • Com quem você quer compartilhar isso?
  • Quais formatos seriam mais úteis para eles (por exemplo: informação técnica ou histórias de experiências de pessoas no processo de adaptação)?
  • Que nível de detalhamento é necessário? Como você pode verificar isso?

Você quer melhorar os processos de tomada de decisão?

  • Em quais decisões, em particular, você está interessado?
  • Quais informações você precisa coletar sobre o contexto dessas decisões?

Você quer que os resultados sejam usados como guias para futuros trabalhos?

  • Quais aspectos devem ser de maior relevância para as atividades futuras?
  • Seria benéfico sincronizar a sua avaliação com os ciclos de planejamento futuros?

Você quer motivar outras pessoas a agir?

  • A quem você quer motivar?
  • Qual o tipo de evidências seriam mais úteis a eles?
  • Qual seria a melhor forma de comunicar mensagens chave para este grupo?

I. Porquê: Identificação do objetivo do processo de Monitoramento & Avaliação (M&A)

É importante que estejam claras as razões porquê é necessário desenvolver as atividades de Monitoramento e Avaliação, como elas irão determinar a forma como estão projetadas, quem será envolvido, e as evidências que justificam a escolha.

Razões para realizar o M&A

  • Para demonstrar que você fez o que disse que faria;
  • Para acompanhar o progresso;
  • Para partilhar o que está funcionando devidamente e o que dá suporte a esse funcionamento;
  • Para melhorar o processo de tomada de decisão;
  • Para orientar trabalhos futuros; e
  • Para motivar a ação de outras pessoas.

Além disso, para avaliar o desempenho técnico das medidas de adaptação (por exemplo, se será eficiente o sistema de aproveitamento da água da chuva?), o M&A também permite examinar os resultados dessas medidas e o grau de seu funcionamento em diferentes situações. Para o sistema de aproveitamento de águas pluviais, poderá incluir-se a comparação desse sistema com outras opções disponíveis, avaliação do custo-eficácia, determinação de quem se beneficia do sistema (e quem não se beneficia) e estabelecer se o sistema tem algumas consequências negativas (por exemplo, incentivando a utilização do excesso de água).

Ao identificar um propósito, é também importante considerar o momento em que se pretende efetuar a avaliação dos aspetos da abordagem do processo de M&A. Por exemplo, se está efetuando a avaliação de meio termo, um dos objetivos importantes seria o entendimento de como os aspetos relativos ao projeto poderiam ser aperfeiçoados ou melhorados no curto prazo.

Deve-se certificar que se discuta o propósito do processo de M&A com os principais interessados (stakeholders). Se esclarecer porque é que está realizando a avaliação, e iniciar um diálogo relativo aos benefícios dos resultados do processo de M&A (incluindo os seus benefícios), os stakeholders estarão propensos a se envolver com o processo de forma mais positiva possível.

II. O quê: identificação do que está sendo monitorado e avaliado

É também importante considerar exatamente o que estará monitorando e avaliando. Há um elevado número de opções possíveis de adaptação e abordagens em resposta a uma variedade e combinação de impatos possíveis (calor, chuva, doenças, velocidae do vento, etc.). Poderá também estar monitorando e avaliando uma simples opção de adaptação ou todo um projeto ou programa. No entanto, dados os objetivos da c&c, é razoável assumir que será necessário monitorar e avaliar o seguinte:

  • Como é que as opções de adaptação estão auxiliando o desenvolvimento da resiliência dos pequenos produtores de café às mudanças climáticas? e
  • Como é que as opções de adaptação estão aprimorando a capacidade de adaptação dos pequenos produtores rurais?

Estes temas abrangentes irão requerer refinamentos futuros. Estabelecer limites claros sobre o que será avaliado, se irá ou não ajudar no processo de seleção da metodologia mais apropriada. Considerando cuidadosamente o que se pretende monitorar e avaliar, e efetuando a sua ligação com os objetivos descitos nos caminhos do projeto, deverá dar uma base forte sobre o que desenvolver: a) indicadores apropriados para monitorar; e b) uma lista forte de questões de avaliação.

Orientação de questões para definir o que está sendo monitorado e avaliado

  • Que impatos climáticos diretos e indiretos está procurando responder (por exemplo, redução dos impatos adversos da seca, ocorrência de doenças, deslizamento de terra, etc.)?
  • Como é que irá desenvolver a resiliência (por exemplo, por meio da melhoria das plantas de café, divesificação da renda das famílias, melhoria do acesso ao mercado, etc.)?
  • O trabalho estará focado em um grupro específico de beneficiários? e
  • Pretende desenvolver a capacidade dos produtores diretamente ou por meio do treinamento dos extensionistas?

III. Quem: Planejamento de quem deverá ser envolvido no processo de Monitoramento e Avaliação

Decidir quem fará parte do processo de Monitoramento e Avaliação e as funções que estas pessoas desempenharão requer equilíbrio entre incluir todos aqueles que possuem conhecimento útil e experiência, e administrar o que é prático em termos de tempo e recursos disponíveis.

Questões de orientação para planejar quem envolver no processo de Monitoramento e Avaliação:

  • Quem é responsável pelo que está sendo monitorado e avaliado?
  • Quem se espera que se beneficie ou que seja afetado por aquilo que está sendo avaliado (direta ou indiretamente)?
  • Quem é capaz de influenciar o que está sendo monitorado e avaliado?
  • Quem é capaz de afetar se os resultados da avaliação estão ou não sendo implementadas?

Como um mínimo, pessoas chave como produtores e extensionistas deveriam contribuir no fornecimento de informação e partilha de experiências. No entanto, abordagens mais participativas para o monitoramento e avaliação podem ser especialmente úteis. Estes requerem envolvimento mais ativo dos produtores e outros stakeholders em atividades de desenvolvimento e projeção do processo de Monitoramento e Avaliação. Desempenhariam também uma função chave em discussões sobre como o sucesso do processo de adaptação é definido, a evidência necessária e coleta e análise de dados. A função da pessoa ou equipe responsável pela implementação do processo de Monitoramento e Avaliação pode, deste modo, mudar de controle total do processo, para a responsabilidade de facilitação.

Orientação

Monitoramento Participativo, avaliação, reflexão e aprendizagem para a adaptação baseada na comunidade (PMERL)

Um ‘bom’ facilitador serve principalmente como um catalisador ou estimulador, ao invés de um líder, traçando e buscando resultados de diferentes tipos de stakeholders. Isso requer habilidades-chave de negociação e, em alguns casos, de resolução de conflitos. Os facilitadores devem efetuar perguntas certas no momento certo, saber ouvir, inspirar confiança, encorajar a partilha de ideias e, ao mesmo tempo, manter o grupo focado no objetivo.

Ser claro sobre como decidir quem irá participar auxiliará as pessoas a entender o que se espera delas. Reunir cafeicultores e outros stakeholders locais para avaliar e aprender sobre o trabalho requer métodos que apreciem o valor de diferentes perspectivas e diferentes tipos de evidências (por exemplo, as opiniões, experiências, dados, fatos e valores culturais). Alguns participantes podem precisar de suporte adicional (por exemplo: tempo, orientação, acesso a dados) para que contribuam efetivamente. Um facilitador pode ser usado para aprimorar a capacidade da equipe de Monitoramento e Avaliação para envolver pessoas, apoiar a participação honesta e encorajar as pessoas locais para tomar uma função ativa na administração do processo de Monitoramento e Avaliação. Se houverem diferenças de poder significantes entre diferentes grupos de participantes, pode ser válido reunir-se com cada grupo em uma base uma- um antes de junta-los a todos. Isso permitirá que eles considerem as suas perspectivas individuais antes de compartilhá-la com os outros.

Refira-se também novamente ao mapeamento de stakeholders efetuado no Passo 2. Muitos dos stakeholders identificados e envolvidos durante os estágios de planejamento de avaliação e adaptação podem também precisar ser envolvidos no processo de Monitoramento e Avaliação. Com efeito, deve-se refletir sobre como estes stakeholders têm sido envolvidos até o momento e considerar como eles podem contribuir para e se beneficiar do processo de Monitoramento e Avaliação.

Tabela 17: Princípios de avaliação participativa do PMERL

Participação

Projete o programa de Monitoramento e Avaliação para incluir os mais afetados pelo trabalho em curso

Negociação

Encorajar a discussão aberta sobre o que será monitorado e avaliado. Isso não deve ser baseado apenas nas visões das pessoas mais influentes.

Aprendizagem

Todos os intervenientes envolvidos no processo de avaliação devem estar dispostos a aprender e devem ser apoiados para fazê-lo por meio do acesso a informação, troca de experiências e facilitação de reflexão para pensar mais profundamente sobre as implicações práticas dos resultados.

Flexibilidade

Permite a alteração do plano ao longo do tempo para incorporar novos ensinamentos e entendimento

  • Quem possui uma perspectiva ou evidência útil para oferecer, que seja tanto afetada pelo processo de adaptação ou influente nisso (por exemplo, gestores de projetos e equipe de campo, parceiros locais, ONGs locais, governo local, comunidades)?
  • Que ausência implicará na perda de informações importantes? O que impediria a presença dessas pessoas e como isso pode ser evitado?
  • Como você pode dar suporte à participação de cafeicultores vulneráveis em um processo de avaliação que possa parecer desconhecido ou estranho para eles?
  • Que capacidade de monitoramento dever ser fortalecida para garantir a sustentabilidade do processo? uu Quem deve ser envolvido no sentido do que é coletado?
  • Os envolvidos (cientistas, produtores, conselheiros, financiadores, etc.) valorizam igualmente os diferentes tipos de informação? Se não, como isso pode ser administrado?
  • Os participantes irão mudar com o tempo? Como isso será administrado?
  • Existem quaisquer implicações éticas que devem ser consideradas quando se envolve pessoas no processo de Monitoramento e Avaliação?
  • Quantos fatores “a montante” (por exemplo: instituições, mercados, governança) afetam o que pode ser alcançado ao nível de fazenda? Quais são as implicações para isso e quem precisa ser envolvido?

Orientação prática

A seção a seguir fornecerá sugestões para exercícios que o auxiliarão a desenvolver e implementar um plano de Monitoramento e Avaliação, que foi apresentado no Passo 5. Não se requer usar cada exercício sugerido aqui ou seguir qualquer sequência particular, mas sim escolher o que é apropriado – os exercícios funcionam melhor para uns grupos do que para outros.

Objetivos

  • Identificar e concordar no propósito do processo de Monitoramento e Avaliação.
  • Identificar o escopo de sua implementação.
  • Identificar quem precisa ser envolvido no Monitoramento e Avaliação e de que formas.

O propósito geral da iniciativa c&c é criar resiliência do setor de café local para mudanças climáticas. No entanto, é importante contextualizar este propósito mais amplo para o nível local e pensar a respeito dos atributos que um sistema de cafeicultura local resiliente pode ter (ver a introdução na Seção 1).

Use a tabela a seguir como um modelo para registrar os resultados de cada um desses passos. Depois de completar cada tarefa e preencher cada seção no modelo, terá um plano de Monitoramento e Avaliação completo.

Resultados esperados

  • Um propósito claro e um objetivo de aprendizado para a avaliação que foi aceita por aqueles que implementaram e/ou foram afetados pelo processo de adaptação.
  • Se o tempo e os recursos permitirem, um plano detalhado de envolvimento de stakeholders que explica quem deveria ser envolvido, quando e para qual propósito.
  • Realização da parte A (I-III) de seu plano de avaliação (propósito, escopo e quem envolver).

Tempo necessário

Conforme demandado para entender o propósito, dados os recursos disponíveis.

Procedimento

I. Definição de um propósito

  • Refira-se novamente aos objetivos originais do projeto, já que o propósito da avaliação provavelmente estará próximo aos objetivos.
  • Discutir as questões de orientação abaixo com pessoas chave envolvidas (extensionistas, financiadores, produtores, etc.) tanto em grupos focais ou um-a-um, para descobrir o que eles gostariam de ganhar da avaliação. A lista a seguir, de razões em comum para avaliações, pode ser útil em discussões. Decida qual aplicar especificamente à sua avaliação (para mais informações ver: www.ukcip. org.uk/wizard/adaptme-toolkit/fundamentals/):
    • Avaliar a eficácia
    • Avaliar a eficiência
    • Entender as responsabilidades
    • Avaliar os resultados
    • Melhorar a aprendizagem
    • Melhorar as atividades futuras ou intervenções
    • Comparar os resultados com outras atividades similares ou intervenções
    • Identificar onde existem concordâncias ou potenciais conflitos entre aqueles envolvidos e como eles se relacionam ao propósito da intervenção.

II. Definir o escopo do projeto

  • Refira-se novamente aos objetivos do projeto e ao caminho do projeto, identificar as áreas focais chave para a avaliação, por exemplo:
    • Isso irá focar na implementação de uma única opção de adaptação ou numa série de opções?
    • Quais riscos são de interesse, por exemplo, aumento da estiagem, aumento do calor, tempestades ou uma combinação de riscos?
    • Quais grupos são de interesse, por exemplo, todos os cafeicultores e suas famílias, comunidades cafeicultoras ou apenas os produtores?

III. Determinar quem envolver e como

  • Referir-se a qualquer análise prévia de stakeholder feita durante o processo de adaptação e identificar quais grupos, organizações e indivíduos foram envolvidos até então e como foram exatamente envolvidos.
  • Se nenhuma análise prévia de stakeholder foi feita ou não foi completada, exercícios participativos podem ajudá-lo a mapear quem esteve envolvido e como estes podem contribuir para o Monitoramento e Avaliação.
  • É importante certificar-se a respeito de:
    • Quem é responsável pela avaliação
    • Quem se espera que se beneficie, ou que seja afetado pela avaliação
    • Quem é capaz de influenciar a avaliação
    • Quem será afetado se os resultados da avaliação foram implementados.
  • Se você tem tempo e recursos, use o modelo a seguir para criar um plano de envolvimento de stakeholders para a avaliação
Tabela 38: Plano de ação de stakeholder (modelo)

Plano de ação de stakeholder

1

Defina um propósito

O que você quer alcançar no processo de avaliação?

Você pode então decidir quem precisa ser envolvido a fim de alcançar este objetivo (referir-se à parte A do plano de Monitoramento e Avaliação).

2

Identificar stakeholders

Quem precisa ser envolvido?

Referir-se ao trabalho prévio sobre stakeholders e quaisquer resultados de exercícios anteriores, por exemplo: discussões de ideias, diagramas de Venn, matrizes de influência e importância.

Estabelecer:

  • Quem é responsável pela avaliação
  • Quem se espera que se beneficie, seja afetado pela avaliação
  • Quem é capaz de influenciar a avaliação
  • Quem será afetado se os resultados da avaliação forem implementados

Perguntar também:

Quanto os fatores maiores (por exemplo: instituições, mercados ou governos) afetam o que pode ser alcançado ao nível de propriedade? Quais são as implicações disso no envolvimento de stakeholders?

3

Estabelecer funções

Quem toma quais responsabilidades?

Funções no Monitoramento e Avaliação incluem mudanças por todo o processo, por exemplo:

  • Definir o propósito
  • Estabelecer o escopo das questões de avaliação
  • Projetar como coletar evidências
  • Coletar evidências
  • Analisar evidências
  • Produzir recomendações
  • Divulgar resultados
  • Revisar o relatório e recomendações
  • Comunicar o relatório

4

Entender stakeholders

O que você já sabe sobre esses stakeholders?

O que já pode ser solucionado a partir de discussões prévias sobre os stakeholders, incluindo suas percepções, conhecimento, interesses, decisões, diferenças de poder, e padrões de interação entre eles e com outros?

5

Stakeholders selecionados

Quais indivíduos podem agir como bons representantes para suas organizações e comunidades no processo de Monitoramento e Avaliação?

Uma vez que você tenha identificado ás categorias relevantes de stakeholders, você agora precisa obter os nomes das pessoas apropriadas.

6

Analisar a logística

Quando é o melhor momento para abordar esses stakeholders?

É melhor envolve-los no início, num estágio mais avançado ou durante todo o processo? Em qual época, em qual dia da semana e em qual tempo do dia você irá abordá-los?

Onde é o melhor local para encontrar stakeholders?

Você irá encontra-los separadamente ou em reuniões comuns? Numa reunião de comunidade, um local público, em casa ou em seus locais de trabalho?

7

Antecipar problemas

Quais problemas já podem ser identificados?

Aqueles envolvidos (cientistas, produtores, conselheiros, financiadores, etc.) valorizam diferentes tipos de informação? Se não, como isso pode ser administrado?

Como você pode dar suporte à participação de cafeicultores pobres num processo de avaliação que possa parecer um tanto desconhecido para eles?

Os participantes mudarão com o tempo? Como isso será administrado?

Questões de orientação para identificar por que, o que e quem

  • O que você vê como o propósito da sua avaliação?
  • O que você gostaria de aprender? O que mais deveria estar aprendendo, o que eles deveriam estar aprendendo e como isso pode ocorrer da melhor forma?
  • Como você poderá administrar propósitos conflitantes? Quais trocas você poderá ter de fazer, e essas podem ser justificadas?
  • Quem são as audiências para a avaliação e quais as suas necessidades?
  • O que você já sabe sobre os stakeholders dos passos anteriores?
  • Quais indivíduos podem agir como bons representantes para as suas organizações ou comunidades? uu Quais problemas logísticos podem ser antecipados no envolvimento de stakeholders?

Métodos técnicos

  • Grupos focais ou discussões um a um moderadas pelo oficial de tecnologias de extensão local.
  • Técnicas de exploração participativa para coletar e compartilhar diferentes perspectivas na situação, como mapeamento de conversas ou figuras.
  • Exercício de classificação participativa para priorizar as áreas focais da avaliação.
  • É provável que uma análise de stakeholders tenha ocorrido nos estágios anteriores do processo, o que significa que é apenas necessário revisitar esse trabalho. Se nenhuma análise prévia foi realizada, sugestões para métodos de auxiliar a realizar uma análise de stakeholder poderão ser obtidas na Seção 2, Passo 2.