Por Ben Bestor
Nos últimos anos, vem crescendo o coro de vozes que clamam pela decolonização do auxílio, impondo a reavaliação da forma como os programas são concebidos e até da forma como são entregues. Essa avaliação – processo que consiste de analisar de forma crítica e sistemática a concepção, implementação, melhoria ou os resultados de um programa – é parte integrante de um diálogo mais amplo acerca da decolonização.
Quando se trata de avaliar um projeto ou programa, vale refletir sobre uma série de questões. O que constitui “eficácia”, de que forma ela é aferida, e quem determina isso? De quem são os valores, as prioridades e as visões de mundo que moldam a avaliação? Historicamente, foram sempre os doadores e as organizações não governamentais internacionais (ONGIs) – em outras palavras, partes externas – que determinaram o que seria avaliado, quando seria avaliado, por quem e com base em que metodologias, aceitando poucas contribuições relevantes das pessoas a serem alcançadas pelos programas em questão. Isso precisa mudar. Mas que cara terá essa mudança?
A decolonização da avaliação implica focalizar nas pessoas que estão realizando o trabalho e na forma como o trabalho está sendo feito. Significa, em primeiro lugar, colocar no mesmo patamar os financiadores, avaliadores, implementadores e as comunidades. Em segundo lugar, significa identificar e tratar os desequilíbrios de poder existentes no sistema de avaliação, desde a concepção e implementação da avaliação até a disseminação e utilização dos seus achados.
Isso é desafiador, pois nos obriga a reconsiderar não apenas a forma como realizamos as avaliações (por exemplo, os métodos usados), mas também a forma como pensamos sobre avaliações (por exemplo, o propósito da avaliação).
Em 22 de setembro, os representantes de três financiadores sentaram-se com a Comunidade de Prática de Avaliação e Eficácia de Programas da InterAction (EPE CoP) para discutir como estão lidando com esses desafios.
Subarna Mathes, da Ford Foundation, Colleen Brady, da USAID, e David Burt, do Start Fund, falaram sobre o que significa decolonizar, ou alterar a estrutura de poder na prática de avaliação, e como as suas organizações estão tratando do assunto. Seguem quatro conclusões que resultaram dessa conversa:
- 1 – É preciso ir além do tokenismo: Mudar a estrutura de poder na prática da avaliação requer mais do que abordagens participativas simbólicas; requer um envolvimento profundo das partes locais envolvidas em todo o processo de avaliação, e até mesmo antes dele. “Muitas vezes, a primeira coisa que nos vem à mente quando pensamos em abordagens participativas é como integrar as comunidades locais nos processos de coleta de dados ou de análise de dados; por exemplo, contratando colaboradores locais para atuar como enumeradores ou agentes de campo”, diz Colleen. Ela acrescenta: “As abordagens participativas na avaliação precisam partir de abordagens participativas na implementação”, antes mesmo do início da avaliação. Subarna ecoou esses pensamentos, observando que “se não pensarmos em formas de distribuir o poder na concepção [do programa] e na distribuição de quem recebe os recursos, a avaliação já entrará no jogo um pouco atrasada”. Ao integrar as vozes dos parceiros ao processo de concepção do programa, uma organização pode tomar medidas para decolonizar não apenas a avaliação, mas o próprio programa. Isso leva tempo e intencionalidade, mas gera uma avaliação mais forte, com maior aceitação.
- 2 – A avaliação deve considerar o aprendizado de todas as partes envolvidas: Quando se trata de avaliações, é preciso colocar mais ênfase no aprendizado e na adaptação do que na conformidade e responsabilização. Em última análise, o objetivo principal das avaliações deve ser produzir conhecimento útil. Mas para quem o conhecimento deve ser útil e de quem é a “utilidade” a ser priorizada na concepção de uma avaliação? A avaliação não pode servir apenas ao aprendizado do financiador. É fundamental que o aprendizado proporcionado pelas avaliações beneficie tanto os financiadores quanto as comunidades. É importante investir tempo e recursos para levar as informações de volta às comunidades. É preciso fechar os ciclos de feedback compartilhando os resultados das avaliações com todas as partes interessadas, garantindo assim que o aprendizado estimule a melhoria contínua e a apropriação dos resultados em todos os níveis. Como observou um dos participantes em um quadro de MURAL interativo durante o painel, “a avaliação precisa agregar valor igual ou maior para os participantes, de forma que ela seja relacional e tenha o efeito de somar, e não subtrair”.
- 3 – É importante não impor métodos ou abordagens: Nesse segmento, existe historicamente uma preferência por ou maior confiança em determinados métodos e abordagens de avaliação. O financiamento geralmente depende da comunicação de determinadas métricas ou da avaliação de tópicos de interesse dos financiadores. Consequentemente, estruturas de medição e avaliação acabam sendo impostas às organizações e influenciadas pela dinâmica de poder. David aponta que “o receio de não conseguir financiamento no futuro costuma ser suficiente para impedir as organizações de tentar coisas novas ou mudar suas metodologias”, mesmo que os métodos ou métricas não façam muito sentido. O perigo de se ater ao método ou à abordagem preferida de um financiador, independentemente do contexto ou das circunstâncias, é que isso pode significar a perda de conhecimentos e aprendizados importantes. Por exemplo, a imposição de um determinado método ou métrica sem levar em consideração o contexto ou os pontos de vista das comunidades locais pode produzir conclusões enganosas, o que significa que os achados de uma avaliação poderão não refletir corretamente as experiências das pessoas atendidas. Em vez disso, os financiadores devem mostrar-se abertos a trabalhar com os parceiros, avaliadores e comunidades para determinar os métodos e abordagens apropriados a cada contexto. A avaliação deve ser uma criação conjunta de todas as partes envolvidas.
- 4 – Desonere os parceiros locais: Os panelistas identificaram várias formas pelas quais os financiadores podem desonerar seus parceiros. Uma forma é falar o idioma local. Na prática, isso pode incluir a emissão de solicitações de propostas (RFPs) ou a aceitação de avaliações escritas em outros idiomas. A exigência do inglês cria uma barreira para quem não fala inglês ou para aqueles que não têm o inglês como idioma principal. Em vez de focar no trabalho que realmente importa, os parceiros estarão ocupados com a tradução de documentos. O uso do idioma local também melhora a acessibilidade das comunidades locais, garantindo assim que conseguirão avaliar, confirmar e compartilhar os achados no seu próprio idioma.
Uma segunda medida prática é não impor exigências onerosas, seja responder a RFPs longos, realizar empreitadas de coleta de dados extensas ou produzir relatórios que nada mais sejam do que formulários de múltipla escolha, sem aplicação prática. Subarna explicou como a Ford tomou medidas para simplificar seu processo de RFP para os avaliadores, inclusive eliminando as limitações de páginas para apresentações e a exigência de um orçamento detalhado ou de um plano de trabalho. Em vez disso, a Ford adota uma abordagem de alto nível, iniciando um diálogo com o(s) avaliador(es) antes da tomada de uma decisão. Em termos da coleta de dados, os financiadores podem tirar a ênfase da coleta de grandes volumes de dados que nunca serão utilizados ou que tenham relação apenas tangencial com o programa em questão. Se o assunto não tiver importância central para o programa, os parceiros não devem dedicar tempo valioso à coleta de dados sobre ele. Em terceiro lugar, os financiadores devem comunicar claramente as suas expectativas desde o início, já no processo de RFP. Muitos avaliadores têm recebido processos de RFP pouco claros, que exigem vastos recursos financeiros e humanos, e um grande compromisso de tempo por parte do avaliador, sem expressar com clareza o que o financiador está efetivamente buscando. Os financiadores podem ajudar os avaliadores descrevendo, de forma clara, exatamente o que querem, quando e como. Por exemplo, em uma RFP, declare os seus objetivos e apresente as perguntas de avaliação, informe o orçamento e explique o que busca de um parceiro de avaliação e seus critérios para selecionar um. Apresente um cronograma para o processo de avaliação e seleção. E, o mais importante, peça o feedback de todos os candidatos para melhorar os processos no futuro.
Quer saber o que mais esses financiadores disseram sobre a decolonização da avaliação e como isso está sendo feito nas suas organizações? A gravação completa do evento está disponível aqui.
* O texto acima foi originalmente publicado no blog Interaction: https://www.interaction.org/blog/decolonizing-evaluation-4-takeaways-from-a-donor-panel/
Ben Bestor é coordenador sênior de programas e política de desenvolvimento global e aprendizagem da Interaction.
