<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by GEPP UFES on Medium]]></title>
        <description><![CDATA[Stories by GEPP UFES on Medium]]></description>
        <link>https://medium.com/@neppufes?source=rss-e9fa7748ad54------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*l1XVDm4Wpvp8o79O1EbmLg.jpeg</url>
            <title>Stories by GEPP UFES on Medium</title>
            <link>https://medium.com/@neppufes?source=rss-e9fa7748ad54------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 06:54:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@neppufes/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Aleatorização: Parte 1]]></title>
            <link>https://medium.com/@neppufes/aleatoriza%C3%A7%C3%A3o-parte-1-22228ef3c6d4?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/22228ef3c6d4</guid>
            <category><![CDATA[gepp]]></category>
            <category><![CDATA[políticas-públicas]]></category>
            <category><![CDATA[aleatorização]]></category>
            <category><![CDATA[economia]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Fri, 19 Jun 2020 21:18:23 GMT</pubDate>
            <atom:updated>2020-06-19T21:18:23.544Z</atom:updated>
            <content:encoded><![CDATA[<p>A realização de avaliações de políticas públicas estará sempre condicionada à boa escolha de métodos e de procedimentos adequados.</p><p>Um dos problemas mais relevantes está em como montar a sua amostra para uma boa estimação do contrafactual, que por sua vez é o que teria acontecido caso os indivíduos não tivessem participado do programa que se pretende avaliar.</p><p>Para que essa estimação seja confiável alguns cuidados devem ser tomados, entre eles a eliminação do viés de seleção. Ou seja, garantir que a amostra escolhida para avaliar o programa reflita somente o efeito do programa sobre os participantes e não o efeito de fatores externos e não considerados.</p><p>Um dos métodos mais usados para eliminar o viés de seleção é a aleatorização ou randomização. Nesse sentido, os experimentos aleatorizados constituem um dos métodos mais confiáveis de que dispomos, e esse texto versará sobre algumas de suas principais características e o porquê dele funcionar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*bWFcY9xpJnGcpdv0eyZmew.jpeg" /></figure><p><strong>Porque o método funciona?</strong></p><p>Um evento é descrito como aleatório quando cada possível resultado possui igual probabilidade de ocorrer, sem padrões reconhecíveis. Portanto, quando se realiza uma <em>seleção aleatória </em>a partir de uma amostra da população de interesse<em>, </em>o que se determina ao acaso é quem fará parte dos grupos de tratamento e de controle, compostos respectivamente por aqueles que receberam e pelos que não receberam o programa em questão.</p><p>Com isso, objetiva-se obter grupos que sejam suficientemente parecidos num primeiro momento, algo que é garantido pela aleatorização, pois quanto maiores forem os grupos, maiores serão as chances de que os mesmos tenham características estatisticamente iguais; pense nas médias e na forma como uma característica pode estar distribuída na população — os grupos precisam captar isso. Assim, a seleção aleatória preserva características e nos permite estimar um contrafactual válido.</p><p><strong>Etapas para aleatorização e validade externa/interna</strong></p><p>O processo de aleatorização segue alguns passos ordenadamente: primeiramente, definimos quem será elegível ao programa, o que depende de sua formulação; tendo uma população-alvo definida, designamos aleatoriamente quem ficará no grupo de tratamento e quem ficará no grupo de controle; por fim, implementa-se a intervenção ao grupo de tratamento. Feito isso, podemos contar com a validade interna e externa da avaliação.</p><p>A validade externa é obtida graças à amostragem aleatória, e indica que a população é adequadamente representada pela amostra, de tal forma que qualquer coisa que aconteça na amostra possa ser generalizada para o todo.</p><p>Já a validade interna responde à questão apresentada no começo do texto: significa dizer que a avaliação é livre de demais fatores externos que podem afetá-la; afinal de contas, se realizarmos uma designação aleatória, então os grupos são parecidos no início, e se ao final do processo alguma diferença substancial nos resultados existir, ela com certeza se deverá a existência do programa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/905/1*i765Ix-B-irh-rlAOXxX2A.jpeg" /></figure><p><strong>Amostragem aleatória ou seleção aleatória?</strong></p><p>Cabe destacar a diferença que há entre seleção (ou designação) aleatória e amostragem aleatória. Apesar de poderem ser usados numa mesma avaliação, há diferenças fundamentais. Quando falamos de amostragem aleatória, nos referimos a um processo em que tomamos uma população e utilizamos de um procedimento aleatorizado para escolher quem representará essa população na amostra.</p><p>Já a seleção aleatória toma indivíduos dessa amostra e os aloca em grupos distintos, conforme explicitado acima para os casos de grupo de controle e tratamento. <br> <br><strong>Referências:</strong></p><blockquote>Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial.<br>GLENNERSTER, Rachel; TAKAVARASHA, Kudzai. <strong>Running randomized evaluations: A practical guide</strong>. Princeton University Press, 2013.</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=22228ef3c6d4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O método de pareamento como instrumento para a avaliação de impacto]]></title>
            <link>https://medium.com/@neppufes/o-m%C3%A9todo-de-pareamento-como-instrumento-para-a-avalia%C3%A7%C3%A3o-de-impacto-9e732e371bc7?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/9e732e371bc7</guid>
            <category><![CDATA[public-policy]]></category>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[políticas-públicas]]></category>
            <category><![CDATA[economics]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Tue, 03 Sep 2019 17:12:14 GMT</pubDate>
            <atom:updated>2019-09-03T17:12:14.901Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LCuWz26U8wt1jYMHRCFykw.png" /></figure><p>O método de Pareamento consiste num conjunto de técnicas estatísticas que visam criar um grupo de controle artificial para estimar o impacto. Considere um programa qualquer com critérios poucos claros para inscrição e com uma base de dados que contenha indivíduos que se inscreveram e que não se inscreveram no programa. O método fundamenta-se em identificar características observáveis que explicam a inscrição de um indivíduo num determinado programa. Feito isso, busca-se para cada individuo inscrito, um não inscrito que mais se assemelhe para realizar o pareamento.</p><p>A maior dificuldade deste método está em realizar um bom pareamento. Por exemplo, suponha que haja muitas características observáveis que expliquem a inscrição no programa. Neste caso, será difícil encontrar um par não inscrito para parear. De igual modo, caso haja poucas características observáveis, o resultado pode ficar com viés. Isto é chamado de problema de dimensionalidade. Contudo, este problema pode ser resolvido utilizando o método pareamento por escore de propensão (Rosenbaum e Rubin 1983). Nesta abordagem não é necessário tentar encontrar um par para cada indivíduo que tenha exatamente as mesmas características. Em vez disso, é calculada a probabilidade de um indivíduo se inscrever no programa com base nos valores de suas características observáveis que explicam sua inscrição. A pontuação é um número real entre 0 e 1, e todas as características observáveis para calcular devem estar na linha de base, pois as características pós-tratamento podem ser afetadas pelo programa e isso causaria um viés. Após estabelecer a pontuação é realizado o pareamento e as unidades não inscritas se tornam o grupo de controle das inscritas. É importante ressaltar que este método tenta imitar uma seleção aleatória, mas de fato não é, pertence à categoria dos métodos quase experimentais.</p><p>Embora o pareamento por escore de propensão resolva o problema da dimensionalidade, outra complicação pode surgir. Para que o método produza resultados é necessário que cada unidade inscrita tenha um par não inscrito. Contudo, nem sempre isso é possível — em termos técnicos pode haver uma falta de suporte comum. A distribuição de probabilidades de inscrição dos indivíduos inscritos e não inscritos não se sobrepõe perfeitamente. Para indivíduos no meio da distribuição, os pareamentos são relativamente fáceis de encontrar, entretanto, para os que estão nos extremos (próximos de 0 e de 1) pode não haver um par para realizar o pareamento. Dessa maneira, a falta de suporte comum aparecerá nas extremidades, ou caudas, da distribuição dos escores de propensão. Neste caso, o procedimento de pareamento estima o efeito médio local do tratamento (LATE) para observações sobre o suporte comum.</p><p>Embora muito utilizado, o método apresenta falhas, exigindo grande base de dados e uma extensa amostra de unidades, e mesmo quando ambas são satisfeitas pode ainda haver falta de suporte comum entre os grupos para comparação. Outro problema é a suposição de que não existam diferenças sistêmicas entre as características não observáveis que influenciem no resultado. Por não podermos provar a não existência dessas características, portanto devemos supor sua não existência, sendo uma suposição forte.</p><p>Por essas razões o método de pareamento sozinho é menos robusto do que outros métodos que não requerem essas suposições. Assim, é comum sua utilização combinado a outros métodos.</p><p>Por exemplo, sua combinação com o método de Diferenças em Diferenças considera a constância das características não observáveis ao longo do tempo da política e, contando com os dados da linha de base, reduz o risco de viés. A combinação é feita após o pareamento, calculando-se a primeira diferença entre o antes e depois da mesma unidade, e a segunda diferença com a mudança antes e depois para comparação com a unidade pareada. Após esse cálculo, subtrai-se a primeira diferença da segunda e calcula-se a média da amostra.</p><p>Outra combinação possível é com o método de controle sintético, nesse caso utilizam-se as características da unidade tratada e das não tratadas para criar uma única unidade de comparação artificial que mais se assemelha com a unidade tratada.</p><p>Porém, para a combinação com outros métodos tornar-se mais confiável é necessária a disponibilidade dos dados da linha de base. Quando esses não estão disponíveis o pareamento “ex-post” é muito arriscado, pois poderá inadvertidamente realizar o pareamento com base em características que foram afetadas pelo programa.</p><p>Portanto, assim como para todos os métodos, para uma boa avaliação de impacto necessita-se de um programa bem desenhado, com planejamento e coleta de dados na linha de base. Não sendo satisfeitas essas suposições a avaliação fica com maior risco de viés.</p><p>REFERÊNCIA</p><p>Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9e732e371bc7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Enfrentando os desafios metodológicos da avaliação de impacto]]></title>
            <link>https://medium.com/@neppufes/enfrentando-os-desafios-metodol%C3%B3gicos-da-avalia%C3%A7%C3%A3o-de-impacto-692e62748ceb?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/692e62748ceb</guid>
            <category><![CDATA[public-policy]]></category>
            <category><![CDATA[economics]]></category>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[políticas-públicas]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Tue, 13 Aug 2019 01:32:38 GMT</pubDate>
            <atom:updated>2019-08-13T01:32:38.669Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*39cvf9xw74ozTjzvwMEclw.png" /></figure><p>Como vimos nos textos anteriores, os métodos de avaliação de impacto somente são válidos sob certas hipóteses, caso essas hipóteses não sejam verdadeiras há o risco do impacto estimado do programa não estar correto.</p><p>Enfrentar esses desafios metodológicos é tema desse texto que procura demonstrar os desafios de falhas no desenho da avaliação, efeitos comportamentais, cumprimento parcial, transbordamento e viés de atrição, e soluções para tais na avaliação do programa.</p><p>Para exemplificar um tipo de risco, quando se está estimando o impacto de um determinado programa, tenha em mente que geralmente o desenho inicial do programa supõe que todo o grupo beneficiado será afetado de forma linear e homogênea, quando subpopulações podem experimentar os resultados do programa de forma diferente, se distanciando do desenho inicial da avaliação de impacto.</p><p>Para ficar mais claro, utilizaremos o exemplo do livro “Avaliação de Impacto na Prática”, de Gertler et al, que fala do impacto de um programa de merenda escolar sobre meninas de um colégio, mas que apenas 10% dos alunos desse colégio são do sexo feminino, ou seja, até uma amostra aleatória grande pode não ter um número desejado de meninas para que a estimativa do impacto seja válida.</p><p>Logo, no desenho amostral da avaliação seria preciso estratificar a amostra com base na variável desejada, no nosso caso, com base no sexo, e incluir o número suficiente de meninas para que os resultados detectados representem bem a magnitude do efeito do programa para esse subgrupo.</p><p>Mas falhas no desenho da avaliação do programa não são os únicos desafios existentes, existem efeitos comportamentais não desejados, onde a população que está sendo estudada muda o comportamento em razão do programa e não por meio deste.</p><p>Alguns efeitos comportamentais podem induzir respostas não desejadas no grupo de comparação, ou contrafactual, tais como os efeitos exemplificados a seguir.</p><ul><li>Efeito Hawthorn: quando somente por observar as pessoas, elas mudam seu comportamento.</li><li>Efeito John Henry: quando as unidades de comparação (que não foram assistidas pelo programa) trabalham no intuito de compensar a ausência da seleção para o programa.</li><li>Efeito de antecipação: as unidades de tratamento (que receberam o programa) mudam o comportamento com expectativa do resultado do programa antes mesmo do seu início.</li><li>Viés de substituição: as unidades do grupo de comparação (que não foram selecionadas pelo programa) procuram programas substitutos.</li></ul><p>Esses efeitos comportamentais podem abalar a validade dos resultados da avaliação. Se essas respostas comportamentais estiverem presentes é recomendado a criação de outros grupos de comparação não afetados pelas intervenções e efeitos.</p><p>Outro desafio da avaliação é o cumprimento parcial, que pode ser conceituada como a diferença entre o status de selecionado e o status real de tratamento. Isso pode acontecer quando unidades selecionadas para o tratamento não o recebem e/ou as unidades para o grupo de comparação recebem o tratamento.</p><p>Isso pode acontecer devido a falhas administrativas ou comportamentais como:</p><ul><li>Nem todos os selecionados para o programa participam dele.</li><li>Alguns selecionados são excluído devido a erros de implementação/administrativos.</li><li>Devido a erro, unidades selecionadas para o grupo de comparação se inscrevem no programa após terem sido erroneamente convidadas ou simplesmente conseguem participar mesmo sem ter recebido o convite.</li><li>Ocorre migração seletiva com base no status do tratamento (isso pode ser exemplificado como quando uma cidade recebe o tratamento e outra vai para o grupo de comparação e as unidades trocam de cidades durante a avaliação).</li></ul><p>O livro citado traz algumas indicações do que fazer quando há cumprimento parcial nos grupos da avaliação. Em suma há a possibilidade de utilizar abordagens de variáveis instrumentais para corrigir os dados e conseguir uma estimativa melhor, mas não é desejável que uma parte do grupo de comparação se inscreva no programa ou que o grupo de tratamento não se inscreva e é claro, a utilização do método de variáveis instrumentais não é uma panaceia.</p><p>Um desafio instigante no processo de avaliação de impacto é o desafio dos transbordamentos. quando “uma intervenção afeta um não participante do programa”. A literatura nos mostra que existem quatro tipos de transbordamentos:</p><ol><li>Externalidades: quando os efeitos do programa afetam não participantes.</li><li>Interações sociais: quando relações sociais/econômicas trazem impactos diretos ou indiretos entre os participantes e não participantes.</li><li>Efeitos de equilíbrio de contexto: quando os efeitos de um programa afetam as normas comportamentais/sociais de uma localidade tratada.</li><li>Efeitos de equilíbrio geral: quando as intervenções do programa afetam a oferta e demanda de bens ou serviços e alteram, por consequência, o equilíbrio do mercado.</li></ol><p>Se um membro do grupo de comparação sentir os efeitos do programa, estará violando a exigência de avaliação para aquela unidade, que não deveria ser afetada pelo tratamento do programa, e, com isso, a validade do tratamento é colocada em xeque.</p><p>Para fazer a avaliação na presença desse problema (e medir os transbordamentos) é necessário que o desenho inicial da avaliação seja elaborado já tendo em vista que esses transbordamentos podem ocorrer, deixando métricas e instruções para tratar desse desafio avaliativo.</p><p>O último desafio que nos foi apresentado é o viés de atrição, que é um problema comum independentemente do método avaliativo escolhido. Esse problema ocorre quando unidades dos grupos selecionados desaparecem ao longo do tempo, o que pode ocorrer por várias razões. No entanto, o importante é saber que a atrição prejudica a avaliação por deixar de representar corretamente a população de interesse e por haver a possibilidade de não ser mais equilibrada a amostra entre grupo de tratamento e comparação.</p><p>Existem métodos e técnicas estatísticas para tentar corrigir esse problema, como a ponderação pela probabilidade inversa, mas o importante é verificar se a amostra que permaneceu mantém as características iniciais ou até mesmo se há a mesma taxa de atrição em ambos os grupos, de controle e tratamento, podendo assim não haver problemas.</p><p>Para finalizar, tendo em vista todos esses desafios, um último detalhe a ter em mente no desenho inicial de uma avaliação de impacto de política pública é a pergunta ‘qual o tempo e a resistência dos efeitos causados?’. Ter isso em mente ajudará a elaborar e analisar corretamente a efetividade do programa e como já falamos desde os primeiros textos, o processo de elaboração da avaliação do programa deve ser uma das etapas em que os avaliadores e propositores devem se dedicar com extremo cuidado.</p><p>REFERÊNCIA</p><p>Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=692e62748ceb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliação de Programas Multifacetados]]></title>
            <link>https://medium.com/@neppufes/avalia%C3%A7%C3%A3o-de-programas-multifacetados-ad4d56695854?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/ad4d56695854</guid>
            <category><![CDATA[public-policy]]></category>
            <category><![CDATA[economics]]></category>
            <category><![CDATA[políticas-públicas]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Tue, 13 Aug 2019 01:00:24 GMT</pubDate>
            <atom:updated>2019-08-13T01:00:24.295Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D8RlwEVDCjX-7iQ7xj6Vtw.png" /></figure><p>Nos estudos de Políticas Públicas, é recorrente a avaliação de programas que incluem somente um tipo de tratamento. No entanto, muitos questionamentos surgem, na verdade, com programas que abordam mais de um tratamento, ou seja, programas multifacetados.</p><p>Dessa forma, os formuladores de Políticas Públicas buscam avaliar para além da possibilidade de um programa, mas também analisar quais os melhores arranjos possíveis — ou a otimização — do programa em questão.</p><p>Sendo assim, as ferramentas de análise que serão apresentadas a frente buscam analisar, por exemplo, se o impacto de tratamentos diferentes acerca de um mesmo assunto são mais eficientes separados ou atuando conjuntamente, tal como o impacto na adição de outros tratamentos.</p><p>No primeiro exemplo, para o desenho de avaliações de impacto para programas multifacetados, discutiremos aqueles programas que possuem múltiplos níveis do mesmo tratamento (diferentes frequências, por exemplo).</p><p>Para elaboração desse tipo de análise, algumas etapas necessárias são consideradas: inicialmente, é necessário realizar o método de seleção aleatório padrão para sortear e formar três grupos distintos: quem receberá os diferentes níveis do mesmo tratamento, tal como quem estará no grupo de comparação.</p><p>Logo após, por serem oriundos do método de seleção aleatório padrão, os três grupos podem ser comparados entre si, permitindo, dessa forma, a análise específica do impacto de cada nível. Quando a análise de impacto tratar de programas com mais de dois tratamentos, a mesma lógica é seguida: com n níveis de tratamento diferentes, haverá n grupos de tratamento e um grupo de comparação.</p><p>Já para o segundo exemplo de desenho para avaliações de impacto em programas multifacetados, discutiremos programas que possuem tratamentos completamente diferentes. E, assim como no programas de diferentes níveis para um mesmo tratamento, o método de seleção aleatória também é utilizado, porém com a necessidade de realizar diferentes sorteios independentes.</p><p>As etapas para esse tipo de análise ocorrem da seguinte forma: primeiramente é definido a população de unidades elegíveis para o programa. Logo após, é selecionado uma amostra aleatória de unidades elegíveis da população que formará a amostra de avaliação.</p><p>Após obter a amostra de avaliação, unidades da amostra de avaliação para um grupo de tratamento e para um grupo de comparação são selecionadas aleatoriamente. Dando continuação ao processo, um segundo sorteio para selecionar aleatoriamente um subconjunto do grupo de tratamento para receber a segunda intervenção é realizado.</p><p>Por fim, é feito mais um sorteio para selecionar um subconjunto do grupo de comparação inicial para receber a segunda intervenção, enquanto o outro subconjunto permanecerá como grupo de comparação puro.</p><p>Deste modo, se implementado de forma correta, é possível comparar os diferentes grupos que surgem das etapas supracitadas, analisando — assim como no primeiro exemplo de programas multifacetados — o impacto que cada tratamento possui, e se esse impacto é mais eficiente quando os tratamentos ocorrem juntos. A mesma lógica vale para ocasiões com mais de dois tratamentos.</p><p>Portanto, tendo em mente as ferramentas e análises de programas multifacetados, temos que tomar conhecimento de quando o método pode ser utilizado e quais são as suas limitações práticas. Apesar de apresentar resultados satisfatórios e ter uma larga utilização em políticas públicas, os métodos aqui abordados necessitam de diferentes sorteios aleatórios, gerando certa complexidade e mais cuidado por parte dos formuladores da política e da avaliação.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ad4d56695854" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliação De Políticas Públicas: Método de regressão descontínua]]></title>
            <link>https://medium.com/@neppufes/avalia%C3%A7%C3%A3o-de-pol%C3%ADticas-p%C3%BAblicas-m%C3%A9todo-de-regress%C3%A3o-descont%C3%ADnua-6212ba9e4796?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/6212ba9e4796</guid>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[politicas-publicas]]></category>
            <category><![CDATA[gestão-pública]]></category>
            <category><![CDATA[avaliação-de-impacto]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Sat, 06 Jul 2019 00:13:44 GMT</pubDate>
            <atom:updated>2019-07-06T00:13:44.000Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J5lpZTifBY-4BT7Omqu6NA.png" /></figure><p>Como já foi apresentado <a href="https://medium.com/@neppufes/por-que-avaliar-uma-pol%C3%ADtica-p%C3%BAblica-c165c0c10485">anteriormente</a>, a escolha de qual grupo de indivíduos poderá participar de um programa público varia com os objetivos da política e com os recursos e informações disponíveis. Isto posto, muitos programas sociais utilizam algum índice para determinar a elegibilidade, ou seja, qual parte da população receberá o tratamento em questão.</p><p>Como exemplo podemos citar os índices que medem pobreza, que podem ser calculados levando em conta o salário per capita das famílias, o nível de consumo, poder de compra etc. Um índice como esse poderia ordenar famílias, daquelas que pontuam menos até as que pontuam mais, posto de outra forma, das mais pobres, até as mais ricas.</p><p>O método de regressão descontínua (ou RDD) pode ser utilizado para a análise de impacto daqueles programas que possuem índice de elegibilidade. Isto, desde que as seguintes condições sejam atendidas:</p><p>· O índice deve ordenar os indivíduos de forma contínua e não discreta. Os diversos valores apresentados nos indicadores devem ser passíveis de ordenação crescente.</p><p>· O índice deve ter um ponto de corte claramente definido. Sendo assim, na ordenação crescente de valores do índice, deve haver um critério de elegibilidade claro, separando indivíduos elegíveis e não elegíveis.</p><p>· Nenhum outro programa além daquele que está sendo avaliado deverá utilizar o mesmo ponto de corte. Esse requisito é importante pois, se aquela mesma população está sendo alvo de outros programas, pode não ser possível isolar os efeitos da política que é objeto da avaliação.</p><p>· A pontuação dos indivíduos ou unidades não pode ser adulterada. Por diversos motivos, políticos, gestores e até mesmo os beneficiários potenciais de um determinado programa podem buscar formas de adulterar os dados. Essa manipulação, todavia, inviabiliza a avaliação pelo método de regressão descontínua.</p><p>Caso não esbarremos em nenhuma das condições, é possível realizar a avaliação. Voltemos ao exemplo do índice de pobreza para tornar as coisas mais claras.</p><p>Imaginemos um programa de transferência de renda que utilize um índice que vai de 0 até 100, e que o meio (50) é o ponto de corte. Sendo assim, todas as famílias que pontuarem mais que 50, serão consideradas não pobres, portanto, não elegíveis, e essas famílias serão nosso grupo de controle. Já as famílias que pontuaram até 50, serão consideradas pobres, formando o grupo de tratamento, aquele que receberá a transferência de renda.</p><p>O impacto de nossa política será medido pelo método de regressão descontínua ao comparar a diferença dos resultados no grupo de controle e de tratamento. Suponhamos que um dos objetivos da política de transferência de renda seja o de aumentar o nível de consumo de alimentos das famílias; neste caso, comparar-se-ia então o nível de consumo de alimentos dos dois grupos após a aplicação do tratamento. As famílias do grupo de controle servem portanto como um contrafactual, dão a resposta para a pergunta “o que teria acontecido com o grupo elegível caso não tivesse recebido o tratamento?”.</p><p>Todavia é importante nos perguntarmos se todo o grupo de controle serve como contrafactual e também se o impacto sentido pelo grupo de tratamento é o mesmo independente da pontuação no índice. Conforme nos afastamos do ponto de corte, os grupos de controle e de tratamento começam a se tornar cada vez mais distintos. Não é possível extrapolar os resultados encontrados em torno do ponto de corte (digamos, para famílias que atingiram 49 pontos no índice e famílias que pontuaram 51) para as unidades que se que encontram nos extremos. Sendo assim, nosso resultado é uma a estimativa de um efeito médio local de tratamento (LATE), não conheceremos os impactos para toda a população.</p><p>Aqui observamos uma vantagem e uma desvantagem do RDD. A vantagem é que uma vez escolhido um ponto de corte, nenhum membro do grupo elegível precisa ser deixado sem tratamento para que aconteça a avaliação de impacto. A desvantagem, é justamente o fato de que o impacto para as unidades que se encontram longe do ponto de corte permanecerá desconhecido.</p><p>Outra dificuldade que podemos encontrar ao utilizar o método é que, mesmo se confirmarmos que não há manipulação nos dados, alguns indivíduos podem burlar sua alocação original. Membros do grupo de tratamento podem optar por não receber o programa, e membros do grupo de controle podem encontrar formas de se incluir no programa.</p><p>Quando há descumprimento das alocações originais, dizemos que o método de regressão descontínua é <em>fuzzy</em>. Já quando toda a população cumpre sua alocação, dizemos que o método é <em>sharp</em>.</p><p>Em casos que a RDD é <em>fuzzy </em>é possível utilizar a própria seleção original como <a href="https://medium.com/@neppufes/avalia%C3%A7%C3%A3o-de-impacto-de-pol%C3%ADticas-p%C3%BAblicas-utilizando-vari%C3%A1veis-instrumentais-57beeb57d7a7">variável instrumental,</a> visto que o índice de elegibilidade influencia a probabilidade de indivíduos participarem de um programa. Todavia, isso fará com que a estimativa do impacto seja ainda mais localizada.</p><p>Tendo em mente as qualidades e limitações do método de regressão descontínua, temos que tomar conhecimento de quando o método pode ser utilizado e quando ele não trará os resultados almejados. O RDD não responde com precisão à pergunta “o programa deve ou não existir?”, isto devido ao fato de que não podemos, por esse método, extrapolar o impacto medido para toda a amostra. Todavia, caso a pergunta seja “o programa deve ser expandido na margem?”, o método traz, por meio de sua estimativa de efeito médio local, respostas satisfatórias.</p><p><em>Gabriel Veríssimo, estudante de Economia, membro do Grupo de Estudos em Políticas Públicas da UFES.</em></p><p>Referências:</p><p>Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6212ba9e4796" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliação de impacto de políticas públicas utilizando variáveis instrumentais]]></title>
            <link>https://medium.com/@neppufes/avalia%C3%A7%C3%A3o-de-impacto-de-pol%C3%ADticas-p%C3%BAblicas-utilizando-vari%C3%A1veis-instrumentais-57beeb57d7a7?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/57beeb57d7a7</guid>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Mon, 17 Jun 2019 20:27:11 GMT</pubDate>
            <atom:updated>2019-06-17T20:27:11.798Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e1u4Hn-GFwPD4OKQ9Odvwg.png" /></figure><p>As avaliações de impacto usam a comparação dos resultados de dois grupos, um de tratamento e outro de controle (contrafactual), para obter uma estimativa. O método ideal de avaliação de impacto das políticas públicas é a seleção aleatória com cumprimento total das alocações cuja comparação resulta no efeito médio do tratamento (ATE). Entretanto, em certas situações se faz necessário buscar outros métodos de avaliação. Este texto tem como objetivo apresentar um desses métodos, o uso de variáveis instrumentais.</p><p>As variáveis instrumentais são úteis na avaliação de programas quando há abrangência universal do programa, quando as inscrições são voluntárias e quando não há cumprimento total das alocações. O cumprimento das alocações não é considerado total quando após a seleção aleatória dos grupos de tratamento e controle alguns indivíduos selecionados para participar do programa não participam e/ou indivíduos selecionados para o grupo de controle participam do programa</p><p>O método de estimação de impacto com uso de variáveis instrumentais depende de alguma fonte de variação externa para determinar quem recebe ou não o tratamento. A variável instrumental deve influenciar a probabilidade de alguém participar do programa a ser avaliado, mas não pode ser algo que está sob controle dos potenciais participantes e nem estar relacionada às suas características. Em outras palavras, para ser válida, a variável instrumental não pode ser correlacionada com as características dos grupos, ou seja, ela deve ser exógena, e deve afetar cada um dos grupos de maneira diferente, normalmente aumentando a participação dos indivíduos selecionados para o tratamento. Ou seja, ela deve ser relevante.</p><p>Na ausência do cumprimento total das alocações pode-se estimar o efeito da oferta de um programa ou o efeito da participação em um programa. Quando os grupos de tratamento e controle são escolhidos aleatoriamente os dois grupos terão características similares, que correspondem também, às características do público alvo do programa. Se alguns desses indivíduos não cumprem suas alocações o impacto estimado é da intenção de tratar (ITT), uma comparação entre o grupo escolhido para o tratamento e o grupo escolhido para controle, e não do tratamento em si. Uma segunda opção, que pode ser mais interessante, é estimar o efeito médio local do tratamento (LATE), que representa os efeitos do programa para um subgrupo específico da população, aqueles que sempre cumprem sua alocação, ou seja, participam do programa se forem selecionados para o grupo de tratamento, mas não participam do programa se forem selecionados para o grupo de controle, os chamados participa se for selecionado. Essa estimativa não serve para os indivíduos chamados de sempre e nunca, aqueles que, respectivamente, participam independentemente de terem sido alocados para o grupo de tratamento ou para o grupo de controle, e aqueles que nunca participam, também independendo de suas alocações originais. Nesse caso a variável instrumental é a seleção aleatória inicial dos grupos</p><p>A promoção aleatória de uma política pública também pode ser uma variável instrumental útil para a avaliação de impacto. Essa abordagem também seleciona aleatoriamente grupos de controle e tratamento, dentre indivíduos elegíveis para o programa, os indivíduos do grupo de tratamento receberão a promoção. Esta deve ser um estímulo extra para participação, como a visita de uma agente comunitário ou transporte até o local do tratamento, dentre outros tipos de estímulo, desde que ela cumpra as características necessárias para a validade das variáveis instrumentais. Esse instrumento pode ser usado para avaliar programas com elegibilidade universal, inscrições abertas ou outros programas cujos administradores não podem controlar quem participa ou não.</p><p>Quando um programa é oferecido a um determinado grupo da sociedade e essas pessoas escolhem participar ou não, a avaliação de impacto irá estimar o efeito da oferta do programa nessa comunidade ou efeito da participação (efeito do tratamento no tratado — TOT) nesse programa, mas não o efeito médio do programa em si, pois o indivíduo que escolhe participar de um programa possui características diferentes das características daqueles que escolhem não participar do mesmo programa. Nesse caso, é possível, ainda, calcular a estimativa LATE, usando a promoção aleatória como variável instrumental.</p><p>As variáveis instrumentais podem ser aliadas da avaliação do impacto de políticas públicas, mas não se pode esquecer que estamos estimando o efeito médio dos programas para uma parte específica da população elegível, que pode ser diferente do efeito médio do mesmo para toda a população. Dessa forma, é preciso deixar claro essa diferença na apresentação dos resultados.</p><p><em>Manuela Ferraz Hirata, estudante de Economia, membra do Grupo de Estudos em Políticas Públicas da UFES.</em></p><p>REFERÊNCIAS</p><p>Todas as informações aqui apresentadas têm por base o trabalho de Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO, que pode ser acessado em: <a href="https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf">https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57beeb57d7a7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AVALIAÇÃO DE POLÍTICAS PÚBLICAS: INFERÊNCIA CAUSAL, CONTRAFACTUAL E SELEÇÃO ALEATÓRIA]]></title>
            <link>https://medium.com/@neppufes/avalia%C3%A7%C3%A3o-de-pol%C3%ADticas-p%C3%BAblicas-infer%C3%AAncia-causal-contrafactual-e-sele%C3%A7%C3%A3o-aleat%C3%B3ria-8edc0c0f0af8?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/8edc0c0f0af8</guid>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Mon, 03 Jun 2019 20:32:01 GMT</pubDate>
            <atom:updated>2019-06-03T20:40:55.038Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>Avaliação De Políticas Públicas : Inferência causal, contrafactual e seleção aleatória.</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*oYUdqVWKkizY7Z_j" /></figure><p>As avaliações de impacto determinam até que ponto um programa, e somente ele, provocou uma mudança em uma variável de resultado. Usando esta metodologia, podemos dizer se uma política é eficaz ou não, analisando as diferenças entre grupos de comparação, a partir de uma amostra que irá dizer se o objetivo inicial foi atingido. Dentro dos grupos de comparação, temos o grupo que recebe o programa, chamado de grupo de tratamento, e outro grupo o qual não recebe o programa, chamado de grupo de controle ou contrafactual. Assim, se houver alteração no grupo que recebe o programa, este teve êxito na avaliação.</p><p>Mas há dificuldades em fazer a distinção entre os grupos de comparação, uma vez que o contrafactual pode sofrer alterações. O contrafactual diz o que teria acontecido, qual teria sido o resultado, para quem foi atendido na ausência do programa. Desta forma, sem um grupo de comparação que produza uma estimativa válida do contrafactual, o verdadeiro impacto de um programa não pode ser estabelecido, sendo este, portanto, o principal desafio da avaliação.</p><p>Para isso, um grupo de controle válido deve atender às seguintes condições: ter as mesmas características, em média, que o grupo de tratamento na ausência do programa, não deve ser afetado pelo programa e deve reagir ao programa da mesma forma que o grupo de tratamento, caso recebesse o programa.</p><p>Dois métodos comuns, mas que geram estimativas inadequadas, até falsas, sobre o impacto de um programa, são as comparações do antes e depois e as comparações entre inscritos e não inscritos.</p><p>As comparações do antes e depois, comparações pré, pós ou reflexivas, comparam os resultados do mesmo grupo antes e depois de sua participação em um programa. Mas este método produz falsas estimativas de impacto uma vez que não se pode afirmar que somente o programa provocou uma mudança no resultado.</p><p>Já as comparações inscritos e não inscritos, ou autosselecionados, comparam os resultados em um grupo que opta por participar de um programa com os de um grupo que escolhe não participar. Este método é ineficiente na avaliação, uma vez que pode ocorrer um viés de seleção. Este ocorre quando as razões pelas quais um indivíduo participa de um programa estão correlacionadas com os resultados.</p><p>Garantir que o impacto estimado esteja livre de viés de seleção é um dos principais objetivos e desafios para qualquer avaliação de impacto.</p><p>A fim de evitar viés de seleção e interferências externas, o método recomendado é o da seleção aleatória. Assim, cada unidade elegível tem a mesma probabilidade de ser selecionada para tratamento, o que assegura a equivalência entre os grupos de tratamento e de controle, tanto nas características observadas quanto naquelas não observadas. Um sorteio é realizado para definir quem irá participar do programa e quem não irá. O grupo de comparação controla para todos os fatores que também possam explicar o resultado de interesse. A seleção aleatória produz uma excelente estimativa do contrafactual.</p><p>Portanto, para que uma avaliação de impacto tenha validade, tanto interna quanto externa, o grupo a ser estudado deve ser grande o suficiente para que uma amostra possa ter um grupo de tratamento e um grupo de controle, dada a seleção aleatória. Estes não podem sofrer interferência externa e devem dizer se realmente o programa provocou uma mudança no grupo de tratamento avaliado.</p><p><em>Stephanie Valencia, estudante de Economia, membra do Grupo de Estudos em Políticas Públicas da UFES.</em></p><p>REFERÊNCIAS</p><p>Todas as informações aqui apresentadas têm por base o trabalho de Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática. Segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO, que pode ser acessado em: <a href="https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf">https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8edc0c0f0af8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O princípio da avaliação de um programa: passos essenciais para um método avaliativo de impacto.]]></title>
            <link>https://medium.com/@neppufes/o-princ%C3%ADpio-da-avalia%C3%A7%C3%A3o-de-um-programa-passos-essenciais-para-um-m%C3%A9todo-avaliativo-de-impacto-7e4a1442ccfe?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/7e4a1442ccfe</guid>
            <category><![CDATA[economia]]></category>
            <category><![CDATA[avaliação]]></category>
            <category><![CDATA[políticas-públicas]]></category>
            <category><![CDATA[avaliação-de-impacto]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Mon, 20 May 2019 21:01:47 GMT</pubDate>
            <atom:updated>2019-06-03T21:27:20.994Z</atom:updated>
            <content:encoded><![CDATA[<h3>O princípio da avaliação de um programa: passos essenciais para um método avaliativo de impacto</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QWxyT6Gam4AKa-Y0kolTNw.png" /></figure><p>Para avaliarmos o impacto de um programa ou reforma devemos antes definir o que vamos medir:</p><ul><li>Definir quais perguntas a pesquisa avaliativa fará, a seleção de indicadores e construir previamente uma teoria da mudança, que irá detalhar como o projeto deve alcançar os resultados pretendidos.</li><li>Dentro da teoria da mudança, devemos elaborar uma cadeia de resultados, sendo uma ferramenta útil para descrever a teoria da mudança. A avaliação requer a participação tanto dos gestores dos programas/reformas avaliadas, quanto dos formuladores da política pública.</li></ul><p>Consequentemente é necessário que se estabeleça a adoção do método avaliativo no inicio do programa, para que não haja viés dos dados e haja um consenso sobre o objetivo do programa, como esses objetivos serão alcançados e o foco da avaliação.</p><p><strong>Quanto mais claros forem as metas e etapas definidas pelo objetivo do programa, melhor para a implementação e desempenho do mesmo, garantindo foco e objetivos bem definidos.</strong></p><p>Um programa sem objetivos, metas e avaliações definidas é um programa que foi feito para jogar dinheiro fora.</p><p>Mas o que é uma <em>teoria da mudança</em>? Uma teoria da mudança é uma metodologia para descrever como uma intervenção planejada pode alcançar os resultados desejados. Em tese, ela descreve a lógica de causa e consequência de como e por que um determinado programa ou uma forma de implementação do programa atingirá os resultados pretendidos.</p><p><strong>Considerando que o foco da pesquisa avaliativa é a ‘causa e efeito’, a teoria da mudança é a principal peça para uma boa avaliação.</strong></p><ul><li>Conforme já supracitado, o melhor momento para elaboração da teoria da mudança é no início do processo de concepção do projeto, para que os objetivos e caminhos para alcançá-los sejam claros a todos.</li><li>Para descrever a teoria da mudança utiliza-se a cadeia de resultados — novamente em busca do binômio ‘causa e efeito’ — cuja função é estabelecer a sequência de insumos, atividades e produtos cuja função é melhorar os resultados e os resultados finais.</li></ul><p>A diferenciação entre os ‘resultados’ e ‘resultados finais’ é algo importante de esclarecer. Enquanto os ‘resultados’ são os efeitos de curto prazo da implementação do programa, os ‘resultados finais’ são as consequências de longo prazo, coisas que nem sempre estavam sob controle dos implementadores do programa.</p><p>Uma boa cadeia de resultados ajudará a expor as hipóteses e riscos implícitos na teoria da mudança, além de facilitar o monitoramento e a avaliação, ao tornar claro informações que precisam ser monitoradas e indicadores que precisam ser incluídos.</p><p>Uma avaliação de impacto deve ter uma pergunta clara sobre aquilo que será avaliado. No nosso caso, a pergunta mais frequente é “qual é o impacto (ou efeito causal) de um programa sobre um resultado de interesse?”, a forma comparativa entre o grupo beneficiário do programa e um grupo que não se beneficia é a forma mais tradicional de medir o impacto.</p><p>Tão importante quanto avaliar o programa é ter uma especificação dos indicadores que serão utilizados para medir seus impactos, para isso, é necessário estabelecer objetivos claro. Essa etapa do processo equivale a determinar o efeito esperado do programa.</p><p>Uma simulação dos cenários diferentes em que se deseja aplicar um determinado programa pode vir a ajudar na hora de teorizar os efeitos presumidos, essas simulações também podem ser usadas para analisar as suposições iniciais de custo-benefício e custo-efetividade, além de servir de comparação entre intervenções alternativas que podem gerar mudanças esperadas nos indicadores preconcebidos.</p><p>Em suma, há uma regra usualmente utilizada para ter certeza que os indicadores escolhidos são boas medidas de desempenho, ela é resumida pelo acrônimo em inglês SMART: específicos, mensuráveis, atribuíveis, realistas e direcionados.</p><p>Caso cumpra-se esses pontos, os indicadores podem ser considerados aceitáveis para a avaliação.</p><p>Em resumo a avaliação de um programa/reforma bem feita deve ser metodologicamente discutida antes de sua implementação, deixando claro seus objetivos, montando uma cadeia de resultados e escolhendo os indicadores que acompanharão o programa durante toda sua implementação — e depois também — sempre comparando com um grupo que não foi atingido por ele e vendo o motivo dos resultados.</p><p><em>Abel Alencar, Estudante de Administração, membro do Grupo de Estudos em Políticas Públicas da UFES.</em></p><p><strong>REFERÊNCIAS</strong></p><p>Todas informações aqui apresentadas têm por base o trabalho de Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática, segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO, que pode ser acessado em: <a href="https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf">https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e4a1442ccfe" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Por que avaliar uma política pública?]]></title>
            <link>https://medium.com/@neppufes/por-que-avaliar-uma-pol%C3%ADtica-p%C3%BAblica-c165c0c10485?source=rss-e9fa7748ad54------2</link>
            <guid isPermaLink="false">https://medium.com/p/c165c0c10485</guid>
            <category><![CDATA[gasto-publico]]></category>
            <category><![CDATA[avaliação-de-impacto]]></category>
            <category><![CDATA[ufes]]></category>
            <category><![CDATA[politicas-publicas]]></category>
            <category><![CDATA[economia]]></category>
            <dc:creator><![CDATA[GEPP UFES]]></dc:creator>
            <pubDate>Fri, 10 May 2019 23:46:35 GMT</pubDate>
            <atom:updated>2019-05-20T20:54:16.050Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H5nCIMQpydpRkM7F8_APbA.jpeg" /></figure><p>A resposta que define, de forma sintética, o porquê de se avaliar uma política pública é: saber se as mudanças propostas em seu desenho e objetivo foram alcançadas, ou não, e ainda ter a certeza de que as mudanças ocorridas podem ser atribuídas à existência do programa. Há uma tendência global em, ao invés de se mensurar a quantidade de insumo e produto gasto em um programa, como era feito, se avaliar o impacto do mesmo. Avaliar uma política é garantir que os programas atingiram objetivo de melhoria e bem estar.</p><p>A importância de se avaliar uma política pode ser definidas em três pontos básicos:</p><ul><li>São ferramentas para verificar e melhorar a qualidade, eficácia e efetividade das políticas públicas.</li><li>Elas podem ser usadas para confirmarem se a política está sendo bem implementada em seu processo, para corrigir eventuais problemas e falhas, a fim de ter o maior resultado com o menor custo possível (maior custo-benefício) desde o começo ao fim do programa.</li><li>Auxiliam outras políticas semelhantes ao redor do mundo, contribuindo com o desenvolvimento da Gestão Pública.</li></ul><p>A avaliação de impacto do programa de transferência condicional de renda do México é um importante exemplo para demonstrar a importância de uma avaliação.</p><p>Na década de 1990, o governo do México inaugurou um programa de transferência condicional de renda, chamado de “Progresa”, mudando posteriormente para “Oportunidades” e depois “Prospera”. Os objetivos eram proporcionar às famílias de baixa renda um apoio financeiro de curto prazo e criar incentivos para investimentos no capital humano das crianças, principalmente ao fornecer transferências de dinheiro para mães de famílias pobres, com algumas condicionantes, de que seus filhos frequentassem regularmente a escola e fossem atendidos em um centro de saúde.</p><p>Desde o início do programa o governo considerou que seria essencial acompanhar e avaliar o programa. De forma resumida, os resultados mostraram que o programa estava bem focalizado nos pobres e havia gerado mudanças promissoras no capital humano das famílias. Concluiu-se que o programa tinha melhorado a matrícula escolar, com um aumento médio de escolaridade de 0,7 ano. A incidência de doenças nas crianças tinha diminuído 23%, e que entre os adultos houvera uma redução de 19% em dias perdidos de trabalho devido a doença ou incapacidade. Entre os resultados nutricionais, constatou-se também, que o programa tinha reduzido a probabilidade de nanismo em cerca de 1 centímetro por ano para crianças na faixa etária crítica de 12 a 36 meses.</p><p>A bem-sucedida avaliação do programa contribuiu também para a adoção de programas de transferência condicional de renda em todo o mundo (inclusive no Brasil, com o Programa Bolsa Família) e foi incorporado à legislação, no México, exigindo que todos os projetos sociais fossem avaliados.</p><p>Existem diversos tipos de avaliação de programas.A <strong>avaliação de necessidades</strong> (ex-ante) define e descreve a população alvo a ser atendida pelo programa e determina as políticas necessárias para a solução das necessidades. A diferença entre os resultados atuais e os resultados desejados. A <strong>avaliação teórica </strong>trata da explicação por trás das mudanças ocorridas por conta da existência do programa, falaremos com mais detalhes em um próximo texto. A <strong>avaliação de processos</strong> é realizada durante o funcionamento do programa e procura descrever se o desenho e os objetivos iniciais do programa estão sendo implementados da maneira correta, se os recursos estão sendo bem geridos, e se todo o programa está sendo posto em prática da maneira correta. A <strong>avaliação de eficiência</strong> trata da análise custo -benefício (ex-ante, anterior ao programa) do programa e do seu custo efetividade (ex-post, após o programa) do programa. Por fim, temos a avaliação de impacto, que será objeto de análise a seguir.</p><p>A avaliação de impacto é uma forma de mensurar os resultados que podem ser atribuídos à existência de um programa, além de permitir medir a sua eficiência e contabilizar o seu custo de oportunidade.</p><p><strong>Resultado dos beneficiários depois de participarem do programa — Resultado que os mesmos obteriam no caso hipotético de não ter participado do programa = impacto do programa</strong></p><p>Avaliar o impacto ajuda a melhorar o desenho dos programas sociais e aumentar a eficiência do gasto público. Permite também testar uma inovação no desenho para melhorar um programa existente. São resultados que envolvem aspectos quantitativos, quando trata de números, e qualitativos, quando a partir dos números cria-se uma teoria para explicar as mudanças ocorridas.</p><p>No processo de avaliação do programa são definidos dois grupos que serão o objeto de estudo do avaliador: grupo de controle e o grupo de tratamento. O grupo de controle será o contrafactual, ou seja, a situação alternativa que o grupo de tratamento estaria se não tivesse participado do programa em questão. A escolha de participação (quem, como) entre esses dois grupos pode variar com o programa e com o objetivo da avaliação, recursos e informações disponíveis. Os resultados gerados por uma avaliação de impacto são úteis quando as conclusões podem ser ampliadas para a aplicação de outra população de interesse e podem ainda ser replicadas para outros grupos além daqueles estudados na avaliação.</p><p>Uma etapa essencial para o processo de avaliação de impacto é o monitoramento durante a aplicação do programa, pois é fundamental para conferir se há participação ou não do beneficiário no programa e que os resultados obtidos e mensurados no final do programa serão consistentes, robustos e não enviesados.</p><p>Os resultados gerados pela avaliação de impacto guiam gestores e tomadores de decisão em um processo de escolha de qual política pública implementar, quando há semelhanças entre elas, a tomarem decisão baseado no melhor custo-benefício e em sua efetividade, e a decidirem também se devem prosseguir com uma política, reformular e dar continuidade ou encerrar o programa.</p><p>Avaliar uma política pública pode nem sempre valer a pena, como em programas pequenos em que a avaliação sairia num custo altamente elevado que inviabilizaria esse processo. Existe uma escolha entre os gestores e formuladores de políticas com o orçamento, entre ampliar o programa ou realizar uma avaliação de impacto, em casos como estes. Além disso ela deve ter validação externa.</p><p>(Gertler et al, 2018, p. 30) destacam as características que uma política pública deve ter para que seja realizada uma avaliação de impacto:</p><p>“• <strong><em>Inovadora. </em></strong>Ela testará uma abordagem nova e promissora.</p><p>• <strong><em>Replicável. </em></strong>Ela pode ser ampliada para vários grupos ou pode ser aplicada em uma configuração ou em um ambiente diferente.</p><p>• <strong><em>Estrategicamente relevante</em></strong><em>. </em>As evidências fornecidas pela avaliação de impacto orientarão uma importante decisão referente à intervenção. Essa decisão pode estar relacionada à expansão do programa, à sua reformulação ou a alocações orçamentárias.</p><p>• <strong><em>Não testada. </em></strong>Pouco se sabe sobre a efetividade do programa ou sobre as formas alternativas de desenho do programa, tanto em nível mundial quanto em um contexto específico.</p><ul><li><strong><em>Influente</em></strong><em>. </em>Os resultados serão utilizados para fundamentar e orientar as decisões sobre políticas públicas.”</li></ul><p><em>Ramon Tomaz, estudante de Economia, membro do Grupo de Estudos em Políticas Públicas da UFES.</em></p><p><strong>REFERÊNCIAS</strong></p><p>Todas informações aqui apresentadas têm por base o trabalho de Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática, segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO, que pode ser acessado em: <a href="https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf">https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c165c0c10485" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>