Como medir o impacto de uma política pública? A metodologia usada pelo Cegafi-UnB

Imagine duas famílias de agricultores. As duas produzem alimentos orgânicos, vivem em municípios próximos e enfrentam desafios parecidos. Uma recebe assistência técnica; a outra, não. Alguns anos depois, a primeira vende mais, reduz perdas e aumenta a renda. Parece natural atribuir a melhora ao atendimento técnico - mas, para uma avaliação de impacto, essa conclusão ainda precisa ser demonstrada.

Talvez a primeira família já tivesse mais estrutura, mais escolaridade, melhor acesso a serviços ou estivesse em uma região com condições mais favoráveis. É por isso que medir o impacto de uma política pública é diferente de acompanhar suas atividades.

Foi esse desafio metodológico que o Cegafi-UnB enfrentou ao avaliar a Chamada Pública nº 05/2021 da Anater no Ceará, no âmbito do Monitora Orgânicos.

A pergunta central: o que teria acontecido sem a intervenção?

Uma avaliação de impacto tenta responder a uma pergunta que, na prática, não pode ser observada diretamente: o que teria acontecido com as mesmas famílias caso elas não tivessem recebido a política?

Como não existe uma versão paralela da mesma família vivendo sem ATER, os pesquisadores precisam construir um grupo de comparação. Esse grupo deve ser semelhante o suficiente para funcionar como referência.

No estudo do Ceará, foram identificadas famílias beneficiárias e famílias que não haviam recebido a assistência da Chamada Pública. Depois de validar os cadastros, a pesquisa trabalhou com 91 beneficiários e 150 famílias do grupo de controle em seis municípios.

O que o Propensity Score Matching faz?

A principal ferramenta estatística adotada foi o Propensity Score Matching, ou PSM. O nome é técnico, mas a lógica é relativamente simples: comparar pessoas ou famílias que se parecem em características relevantes.

No pareamento, entram variáveis que podem influenciar os resultados antes mesmo da política, como município de residência, identificação sociocultural, acesso a determinados serviços públicos, idade e escolaridade do responsável pela família.

Com essas informações, o método estima a probabilidade de uma família pertencer ao grupo beneficiário e busca pares comparáveis entre os dois grupos. A análise, então, deixa de ser uma comparação ampla entre populações diferentes e passa a se concentrar em unidades familiares observavelmente próximas.

Isso não transforma o estudo em um experimento aleatório nem elimina toda possibilidade de fatores não observados influenciarem o resultado. Mas torna a estimativa muito mais robusta do que uma comparação simples de médias.

A amostra também foi planejada

Antes de chegar ao campo, a pesquisa definiu o tamanho mínimo necessário da amostra considerando população, grau de confiança e margem de erro. O esforço resultou em 241 entrevistas, número superior ao mínimo calculado para beneficiários e grupo controle.

A coleta ocorreu entre setembro e novembro de 2025, com referência produtiva e econômica ao ano de 2024. Isso significa que perguntas sobre produção, vendas, autoconsumo e renda foram organizadas para retratar um mesmo período e permitir comparações consistentes.

Um questionário amplo para não reduzir a política a um único resultado

O instrumento de pesquisa tinha cerca de 150 perguntas. A amplitude não era gratuita: a avaliação precisava conhecer tanto o perfil das famílias quanto os diferentes caminhos pelos quais a assistência técnica poderia produzir efeitos.

O questionário reuniu informações sobre produção animal e vegetal, vendas, autoconsumo, renda, políticas públicas acessadas, infraestrutura, práticas agrícolas, organização das OCS, comercialização, crédito, divisão de tarefas nas famílias, juventude e percepção sobre o atendimento técnico.

A partir desse conjunto, 21 dimensões econômicas e produtivas foram selecionadas para a avaliação quantitativa de impacto. Cada uma delas foi analisada separadamente após o pareamento.

Diferença de média não é, sozinha, impacto

Esse é um ponto central para interpretar os resultados. Se o grupo beneficiário apresenta uma média maior do que o grupo controle, isso não significa automaticamente que a política causou a diferença.

Depois do PSM, o estudo aplicou testes estatísticos para verificar se as diferenças encontradas tinham consistência suficiente para serem consideradas significativas nos níveis definidos pela pesquisa.

É por isso que o relatório registra diferenças numéricas em várias dimensões, mas classifica como impacto apenas aquelas que atenderam aos critérios estatísticos adotados. Essa disciplina metodológica evita transformar qualquer variação favorável em resultado da política.

Na prática, sete das 21 dimensões apresentaram significância nos níveis de 5% ou 10%. Nas demais, o estudo não encontrou evidência estatística suficiente para afirmar impacto dentro daquela amostra e daquele desenho.

A qualidade dos dados também faz parte da metodologia

Uma análise sofisticada não corrige dados ruins. Por isso, a pesquisa incluiu uma rotina de controle de qualidade antes da análise estatística.

As entrevistas foram aplicadas em dispositivos móveis, inclusive em modo offline, com possibilidade de registrar GPS e arquivos multimídia. Depois, uma equipe interna do Cegafi-UnB auditou os questionários, verificando identificação do entrevistado, coerência das respostas, coordenadas, cálculos produtivos e financeiros e compatibilidade entre produção e renda declaradas.

Quando surgiam inconsistências, as informações voltavam para a equipe de campo para checagem ou correção. Esse processo ajuda a mostrar que rigor metodológico não está apenas no teste estatístico final: começa na forma como o dado é coletado, verificado e consolidado.

E por que analisar também as falas dos agricultores?

A etapa quantitativa diz onde apareceram diferenças. Mas ela nem sempre explica por que elas aconteceram ou por que não apareceram em outras dimensões.

Por isso, as respostas abertas dos beneficiários foram analisadas com o software IRaMuTeQ. A análise qualitativa permitiu identificar temas recorrentes como aprendizado, aumento da produção, organização comunitária, novos mercados, dificuldade de transporte, falta de recursos e manutenção da renda.

Quantitativo e qualitativo cumprem funções diferentes. Um não substitui o outro. Juntos, eles permitem uma leitura mais completa: os números estimam efeitos; as falas ajudam a compreender mecanismos, percepções e barreiras.

Metodologia também é prestação de contas

Explicar como um resultado foi produzido é parte da transparência de uma avaliação pública. Sem essa informação, percentuais positivos podem parecer conclusões soltas.

No estudo da Chamada nº 05/2021, o percurso metodológico mostra quais famílias foram comparadas, quais características entraram no pareamento, quais indicadores foram avaliados, como os questionários foram auditados e quais critérios estatísticos sustentaram a classificação de impacto.

Isso permite que os resultados sejam lidos com a precisão necessária: nem como propaganda de uma intervenção, nem como uma descrição neutra de números, mas como evidências produzidas a partir de um método explícito.

Fonte principal: CEGAFI-UnB. Estudo de Avaliação de Impacto - Chamada Pública 05/2021 da Anater no Estado do Ceará. Brasília, DF, 2026.