Analise de evidências
Resumo
Na análise, a evidência é revisada para avaliar o progresso, os passos seguintes são identificados e as lições são compartilhadas com os outros. Este estágio é uma oportunidade de unir pessoas chave para partilhar perspectivas sobre o que funcionou bem, o que apoia e restringe isso e se a capacidade de resiliência foi desenvolvida. Isso pode ser feito por meio de um workshop de aprendizagem.
- Workshop de aprendizagem para todos os envolvidos no projeto para avaliar a informação emergente da coleta de dados (isso envolve discussões em grupo e exercícios de classificação)
- Abordagens narrativas muito ambiciosas para dar sentido às evidências emergentes (por exemplo, teatro, vídeos e fotos participativas)
- Conhecimento profundo de evidências obtidas para auxiliar a responder questões de avaliação
- Identificação de lacunas na disponibilidade de dados e desafios aos pressupostos
- ‘ Estórias de mudança’, que explicam como o projeto construiu capacidades e aumento da resiliência para as mudanças climáticas
Teoria
Pode-se achar útil retornar tanto às questões de avaliação quanto ao caminho de projeto para a análise. As questões de avaliação são um bom ponto de partida e podem fornecer uma boa estrutura com a qual basear a análise, ao passo que o caminho de projeto pode auxiliar a entender o que se aprendeu sobre os pressupostos feitos originalmente e os resultados esperados.
É importante dar àqueles que participaram da coleta de evidências uma oportunidade de ver o que resultou do processo e oferecer o seu feedback. Compartilhar a tarefa de análise com as pessoas chave envolvidas, incluindo produtores, consome mais tempo do que se apenas a equipe de avaliação for envolvida, mas tem muitos benefícios, tais como:
- Fornece uma oportunidade de verificar o quão confiáveis são os dados coletados, deste modo, aumentando a sua qualidade e profundidade.
- Os participantes são capazes de ver onde as suas ideias e experiências ressoam com outros grupos, e onde há desacordo.
- Há uma oportunidade de ‘co-aprendizado’ entre os participantes por meio da combinação entre diferentes perspectivas, ver padrões subjacentes e criar questões para reflexão futura.
- Aumenta a confiança que os participantes têm em seu conhecimento e habilidade de contribuir para processos mais amplos de tomada de decisão, e suas capacidades de questionar suposições sobre como criar resiliência - o que é útil para criar resiliência no futuro.
- Melhora o entendimento sobre sistemas mais amplos de cafeicultura, e onde as mudanças precisam ser feitas a fim de garantir a resiliência álongo prazo.
- Quaisquer próximos passos idealizados provavelmente são mais relevantes e úteis se tiverem sido desenvolvidos em conjunção com aqueles envolvidos na implementação.
A evidência pode ser analisada para responder a questões de avaliação-chave. Por exemplo, para a pergunta “Quais são as atividades mais efetivas para a redução de ferrugem?” sobre a escritura e evidências de estudos de caso a partir de entrevistas com produtores poderiam ser unidos em uma tabela, por exemplo:
Esta tabela poderia ser apresentada novamente aos produtores em um workshop de aprendizagem ou em entrevistas para se obter o seu feedback acerca disso parecer correto, do que está faltando e quais novas questões os resultados colocam.
No entanto, se a questão de avaliação acerca da capacidade de resiliência tiver sido desenvolvida pelos produtores, identificar características de resiliência pode requerer uma avaliação qualitativa de quão bem essas características foram demonstradas no trabalho até então. Isso deveria destacar áreas onde as coisas estão indo bem e áreas onde melhorias podem ser feitas. Registrar os resultados-chave dessa tarefa no modelo de plano de Monitoramento e Avaliação, ver Seção 2, Passo 5.
Tabela 19: Exemplo de avaliação da opção de adaptação
Acessibilidade | Aceitabilidade aos produtores | Temporização | Efetividade | |
Plantar a variedade resistente a ferrugem A | *** | * | ** | * |
Plantar a variedade resistente a ferrugem B | ** | * | ** | - |
Plantar árvores de sombra | * | *** | * | ** |
Plantar apenas acima de 1000 pés | n/r | n/r | * | *** |
*** = muito bom, ** = bom, * = razoável, - = pobre, n/r = não relevante | ||||
Orientação Prática
Objetivos
- Verificar que a evidência coletada pode ser confiada.
- Fazer sentido de diferentes tipos de evidência para que estas possam ser usadas para responder as questões de avaliação.
Resultados esperados
- Uma avaliação da evidência em relação a como ela responde às questões de avaliação.
- Mensagens chave do processo de avaliação podem ser usadas em uma disseminação mais ampla.
- Realização da parte D do plano de avaliação.
Tempo necessário
Variável, dependente da abordagem, do número de pessoas envolvidas e da profundidade da informação necessária.
Orientação
Verificação
É importante verificar que a evidência coletada é precisa e confiável. Verificar informações leva tempo, mas aumenta consideravelmente a qualidade dos dados. Verificar novamente com participantes ajuda na obtenção de um entendimento compartilhado mais profundo dos problemas e permite que se descubram reflexões adicionais. É importante ser claro sobre o que está sendo verificado. Por exemplo, pode-se pretender:
- Verificar quem tomou parte e as visões de quem foi ou não expressadas
- Verificar onde há concordância e onde existem diferentes perspectivas
- Verificar que as visões expressadas representam o que as pessoas genuinamente acreditam e que o aprendizado que emerge de um exercício foi propriamente entendido e representado
Procedimento
- Considerar a organização de um workshop de aprendizagem para stakeholders chave a fim de fornecer evidências e assistir a análise (isso iria incluir a abordagem das partes C e D do Passo 5). Em cada estágio de análise, deve-se julgar quais partes de evidências são mais úteis para responder as questões de avaliação. Deve-se começar o estágio de análise com uma série de ideias não testadas e finalizar com um menor número de mensagens chave e recomendações. Os facilitadores devem estar estabelecidos para garantir que ocorram os processos de registro, apresentação e priorização de evidências e que o workshop esteja bem conduzido.
- Mesmo se um workshop de aprendizagem completo não for viável, existe um número de exercícios que podem ser usados com stakeholders em entrevistas e grupos focais para auxiliar o processo de coleta e priorização de lições das evidências.
- Deve-se preencher o modelo do plano de Monitoramento e Avaliação para ajudar a organizar futuras ações.
Métodos técnicos
- Muitas ferramentas participativas previamente mencionadas para a coleta de dados podem também ser usadas no estágio de análise, em métodos como mapeamento de conversa, histórias de vida, classificação, diagrama H, campos de força e, se o tempo permitir, abordagens narrativas como fotos participativas ou histórias de aprendizagem. Estes são descritos ao final desta seção.
- Um workshop de aprendizagem é também útil para identificar exercícios que permitem que os participantes mova-se de um entendimento amplo (por exemplo: discussão de ideias) para um foco em problemas chave. Isso permitirá que eles evoquem lições chave e mensagens transferíveis e identifiquem os passos a curto, médio e longo prazo para a criação de resiliência às mudanças climáticas.
Os exercícios que podem ajudar na realização de aspectos específicos da análise incluem:
I. Determinar se as atividades foram realizadas de forma eficiente, acessível, apropriada e a tempo.
Para cada uma das atividades implementadas no processo de adaptação, avalie-se o quão bem eles atendem aos critérios de ser eficiente, acessível, apropriado e a tempo. Isso pode requerer discussões prévias sobre o que as palavras significam em relação aos alvos do processo de adaptação, por exemplo, as pessoas envolvidas na implementação do projeto deveriam identificar o alcance localmente definido para cada palavra em relação à produção específica de café.
Use uma tabela como a seguinte para registrar essas definições (Tabela 43).
Tabela 43: Avaliação de atividades de adaptação implementadas
Critério | Excelente | Satisfatório | Pobre | Insatisfatório |
Eficiência | A atividade alcançou a meta pretendida muito efetivamente | A atividade atingiu a meta pretendida com razoável efetividade | A atividade foi pobre em atingir a meta pretendida | A atividade não atingiu a meta pretendida |
Acessibilidade | A atividade foi considerada excelente valor para dinheiro | A atividade foi considerada com valor razoável para dinheiro | A atividade foi considerada cara | A atividade foi tão cara que os produtores não consideraram usá-la |
Adequação | A atividade foi considerada excelente valor para dinheiro | Houve algumas preocupações acerca da adequação da atividade para aqueles que a estavam implementando | As preocupações foram levantadas acerca da adequação da atividade por aqueles solicitados a implementá-la | A atividade não é adequada para uso por aqueles solicitados a implementá-la, por exemplo, porque era muito vigorosa, culturalmente inaceitável, etc. |
Oportunidade | A atividade adequa-se facilmente na agenda dos implementadores | Houve um encaixe aceitável nas agendas dos implementadores | Houve preocupações acerca de como a atividade se encaixaria nas agendas existentes | As implicações de tempo da atividade tornaram impossível que esta se encaixasse nas agendas existentes |
II. Avaliação da eficácia do envolvimento de stakeholder
Resiliência a mudança climática requer uma conexão entre diferentes pessoas envolvidas na cafeicultura e suas redes de trabalho mais amplas, por exemplo, entre a comunidade, governo ou o negócio. Também requer processos e oportunidades flexíveis para aprender a partir de experiências e garantir que o aprendizado seja usado para informar planos futuros. Ao final de um processo de adaptação, é importante avaliar o quão bem os produtores e outros stakeholders foram capazes de participar da projeção, implementação e análise.
A tabela seguinte fornece algumas sugestões para coletar evidências que podem responder questões sobre o nível de inclusão de stakeholder em projeção e tomada de decisões, ou . Sinta-se livre para se adaptar ou acrescentar a esta lista para adequar às suas necessidades. Essas questões podem ser respondidas através de grupos focais, entrevistas um a um ou num ambiente de workshop. Haverá inevitavelmente um elemento de subjetividade na avaliação de qualidade e de nível de participação. No entanto, por meio dessas conversas, deve começar a clarear o que significa a participação significativa para os produtores e se eles (ou outros stakeholders) sentem que as oportunidades de participar foram apropriadas e suficientes e, se não, como a abordagem pode ser melhorada na próxima vez.
Tabela 44: Exemplo para coleta de evidência de envolvimento de stakeholder
Questões sobre participação de stakeholders | Indicadores exemplo |
Quem ou o que determinou as regras de implementação? |
|
Qual é o equilíbrio de poder entre diferentes pessoas e organizações? |
|
Em quais estágios do processo os cafeicultores e as comunidades locais estão envolvidos? |
|
Quanta influência/controle os cafeicultores e as comunidades locais têm sobre as decisões? |
|
Qual investimento é feito no desenvolvimento e na sustentação da participação do cafeicultor (e da comunidade local)? |
|
A estratégia de participação permite uma variedade de formas no processo para produtores e representantes da comunidade local? |
|
Quão acessíveis são as reuniões locais? |
|
As reuniões locais de projeto são realizadas de uma forma efetiva e inclusiva? |
|
III. Resumo de mensagens chave sobre as atividades mais efetivas
É útil usar um exercício de classificação que avalie o quão diferente os participantes viram cada atividade no processo de adaptação. Existem muitas formas de conduzir exercícios de classificação. Uma simples abordagem é dar aos participantes quatro pedras (ou um pequeno objeto diferente, como um pedaço de doce) e pedir-lhes para posicioná-los numa tabela marcada num grande pedaço de papel. Por exemplo, se você estivesse comparando três atividades, a Tabela 45 poderia ser usada.
Se um participante achou que a atividade foi extremamente eficiente, razoavelmente acessível, e adequada para os produtores, mas que o período foi terrível, suas pedras devem estar como na Tabela 45 abaixo.
Se pedisse a outros cinco participantes para posicionar suas pedras, poderia obter algo que se parece mais com a Tabela 46.
A partir desse exercício, facilitadores podem começar a pegar padrões e discuti-los com o grupo. Por exemplo, o facilitador poderia perguntar, “Parece haver alguma concordância entre o período pobre desta atividade. É assim que vocês veem isso e se sim, alguém poderia falar mais sobre o porquê disso comigo?”. Ou, “Parece haver uma disseminação de pontos de vida sobre a eficiência da atividade. Alguém que considerou ela como ‘muito eficiente’ poderia me dizer por que colocou a pedra lá? Alguém que posicionou sua pedra em ‘muito ineficiente’ poderia me explicar porque colocou a pedra lá?”. É normalmente durante essas discussões que as lições mais interessantes podem ser aprendidas.
Tabela 45: Exemplo de atividades de avaliação usando o exercício de classificação (1 pessoa respondeu)
Critério | Excelente (++) | Satisfatório (+) | Pobre (-) | Insatisfatório (--) |
Eficiência | * | |||
Acessibilidade | * | |||
Adequação | * | |||
Oportunidade | * |
Tabela 46: Exemplo de atividades de avaliação usando o exercício de classificação (5 pessoas responderam)
Critério | Excelente (++) | Satisfatório (+) | Pobre (-) | Insatisfatório (--) |
Eficiência | ** | * | * | ** |
Acessibilidade | ** | *** | * | |
Adequação | **** | ** | ||
Oportunidade | * | ***** |
IV. Outras ferramentas e exercícios participativos
Existem muitas ferramentas e exercícios participativos que podem ser úteis em discussões um a um com produtores, em grupos focais ou como uma parte de um workshop de aprendizagem a fim de coletar dados e examiná-los com mais profundidade. Essas ferramentas e exercícios podem ajudar os participantes a mapear e entender relacionamentos complexos, interações e influências. Elas estão listadas na tabela 47 e são descritas mais detalhadamente ao final dessa seção.
Além de avaliar o processo de adaptação ao nível da propriedade, pode também ser interessante considerar como os aspectos mais amplos do sistema de cafeicultura também podem ser endereçados. Extensionistas, treinadores ou outros utilizando a abordagem c&c podem utilizar a Tabela 48 como lista de verificação para refletir sobre como a resiliência a mudanças climáticas pode ser construída para a cafeicultura numa escala maior. Boas práticas ánível de propriedade devem ser apoiadas por boas práticas em outras partes do sistema de produção de café se for para adaptarem-se às mudanças climáticas à melhor extensão possível.
A lista de verificação permitirá que se identifiquem forças e fraquezas e considere-se onde os recursos deveriam ser investidos para criar capacidade de resiliência a longo prazo no sistema local de produção de café.
Por exemplo, a habilidade de entender novas informações sobre mudanças climáticas e de avaliar novos riscos é importante para incorporar em processos de tomada de decisão durante o processo de adaptação às mudanças climáticas. Um extensionistas deve considerar, por exemplo, o quão bem os produtores estão aptos a acessar e entender novos dados referentes às mudanças climáticas. Eles devem considerar como podem dar suporte aos produtores nisto e qual nível de prioridade deve ser atribuído a esta capacitação. Eles devem decidir que esta não é uma prioridade em relação a outras atividades mais urgentes, como introduzir novos sistemas de irrigação.
Tabela 47: Exemplos de ferramentas participativas e exercícios para avaliação
Ferramentas participativas específicas (Para uso em entrevistas, grupos focais e workshops) | Outros exercícios visuais e narrativos (Mais tempo e recursos necessários) |
|
|
|
|
|
|
|
|
|
|
|
|