Este documento resume o relatório de um evento de avaliação de políticas públicas realizado entre os dias 5 e 6 de dezembro de 2011. O evento contou com 212 participantes e 9 palestras sobre temas como monitoramento e avaliação, experiências de avaliação de programas sociais e planos plurianuais, e tipos de avaliação de políticas públicas. O objetivo do evento era promover a discussão sobre avaliação de políticas públicas e alocação eficiente de recursos entre instituições gaúchas e brasileiras.

1. Relatório do Evento

2. ÍNDICE
DADOS DO EVENTO .......................................................................................................... 2
TEXTO DE ABERTURA ........................................................................................................ 3
PROGRAMAÇÃO ............................................................................................................... 4
PALESTRAS ........................................................................................................................ 5
AVALIAÇÃO DO EVENTO PELOS PARTICIPANTES............................................................ 11
EQUIPE ............................................................................................................................ 12

3. DADOS DO EVENTO
Data de realização: 5 e 6 de dezembro de 2011
Local: Auditório Romildo Bolzan – Tribunal de Contas do Estado do RS
Organização: Secretaria da Fazenda do RS, Fundação de Economia e Estatística,
Secretaria de Planejamento, Gestão e Participação Cidadã e Tribunal de Contas do
Estado do RS
Objetivos: Promover a discussão sobre o tema, gerar sinergia entre as
instituições gaúchas e brasileiras e disseminar boas práticas
Número de participantes: 212
Número de palestras: 9
Informações:
Site: http://www.fee.tche.br/sitefee/pt/content/eventos/iv-seminario-
de-avaliacao-de-politicas-publicas.php
Email: seminarioavaliacao@sefaz.rs.gov.br
Telefone: (51) 3214 5175 ou (51) 3214 5179
2

4. TEXTO DE ABERTURA
As demandas crescentes da sociedade, em situações de restrição orçamentária,
colocam o desafio de decidir onde e como melhor aplicar os recursos. Sendo o simples
corte linear uma lógica perversa, necessitam os gestores e formuladores de políticas,
de instrumentos precisos que embasem suas decisões alocativas. Sem eles, não se
vislumbrará, qual política e qual dispêndio trarão maior retorno à sociedade.
Portanto, avaliações realizadas através de uma metodologia precisa, e uma
adequada definição do público-alvo beneficiado, são o que determinará se realmente
estamos acertando na escolha das políticas publicas e melhor aplicando os recursos
disponíveis. Os resultados obtidos, mensurados com um bom sistema de indicadores, é
o que melhor deve monitorar o processo decisório, contribuindo para o
aperfeiçoamento da gestão pública, mediante formulações de recomendações de
melhoria.
É neste sentido que a Secretaria da Fazenda do Estado do Rio Grande do Sul
(SEFAZ), a Fundação de Economia e Estatística (FEE), a Secretaria de Planejamento,
Gestão e Participação Cidadã (SEPLAG) e o Tribunal de Contas do Estado do Rio Grande
do Sul (TCE-RS), realizam o IV Seminário de Avaliação de Políticas Públicas e Qualidade
do Gasto, nos dias 5 e 6 de dezembro de 2011.
3

5. PROGRAMAÇÃO
Segunda Temas Palestrantes
8:30 - 9:00 Credenciamento
Abertura: Secretaria da Fazenda, Secretaria do Secretário SEFAZ, Secretário
9:00 - 10:00 Planejamento, Fundação de Economia e SEPLAG, Presidente FEE e
Estatística e Tribunal de Contas do Estado Presidente TCE
Monitoramento e Avaliação no mundo real: Ariel Pares (Ministério do Meio
10:00 - 11:00
necessidades, dificuldades e potencialidades Ambiente)
Instrumentos de Monitoramento e pesquisas de Paulo de Martino Jannuzzi
11:00 - 12:00 avaliação no aprimoramento de programas (Ministério do Desenvolvimento
sociais - A experiência da SAGI/MDS Social e Combate à Fome)
12:00 - 14:00 Intervalo para almoço
Avaliação Ex-Ante: importâncias e Ronaldo Coutinho Garcia (Instituto de
14:00 - 15:00
requisitos Pesquisa Econômica Aplicada)
Avaliação do Plano Plurianual: Pedro Bertone Ataíde (Ministério do
15:00 - 16:00
Experiência Recente e Perspectivas Planejamento, Orçamento e Gestão)
16:00 - 16:30 Coffee break
Desenho, tipos de políticas e a posição Sonia Nahas de Carvalho (Fundação Sistema
16:30 - 17:30
ocupada pela avaliação Estadual de Análise de Dados - SP)
Terça Temas Palestrantes
Marcia Joppert (Diretora-Geral da
9:30 - 10:30 Oferta, demanda e práticas recentes em M&A
Agência Brasileira de Avaliação)
Eficiência e produtividade do setor público: o Fabiana Rocha (Universidade de
10:30 - 11:30
caso da saúde São Paulo)
11:30 - 14:00 Intervalo para almoço
Análise do Investimento Público pelo Hailton Madureira de Almeida
14:00 - 15:00
Tesouro Nacional (Secretaria do Tesouro Nacional)
Dagomar Henriques Lima (Tribunal de
15:00 - 16:00 Auditoria operacional: a quem interessa?
Contas da União)
16:00 - 16:30 Mesa de Encerramento
16:30 - 17:30 Coquetel de Encerramento
4

6. PALESTRAS
Abertura
A abertura do evento contou com a presença dos líderes das instituições
responsáveis pela organização, o secretário da Fazenda do Estado do Rio Grande do
Sul (SEFAZ), Odir Alberto Pinheiro Tonollier, o presidente da Fundação de Economia e
Estatística (FEE), Adalmir Antonio Marquetti, o secretário de Planejamento, Gestão e
Participação Cidadã (SEPLAG), João Motta, e o Diretor Administrativo do Tribunal de
Contas do Estado do Rio Grande do Sul (TCE-RS), Tarcísio Francisco Dal Ri. Eles fizeram
a apresentação do tema Avaliação de Políticas Públicas e Qualidade do Gasto,
ressaltando sua importância e sua complexidade no âmbito específico das políticas
públicas.
Monitoramento e Avaliação no mundo real: necessidades, dificuldades e
potencialidades
A primeira palestra foi proferida por Ariel Pares, do Ministério do Meio
Ambiente, que apresentou as principais questões envolvidas no contexto das
avaliações públicas no Brasil e no mundo. Ressaltou que são quatro os aspectos para
compreender os desafios do monitoramento e da qualidade do gasto: disciplina fiscal,
consolidação democrática, globalização e competitividade e sociedade da informação.
Quanto à experiência internacional comentou que houve forte incremento nos
últimos 20 anos, em vista das preocupações crescentes com a qualidade do gasto e a
produtividade do setor público. Em escala internacional, apontou o Canadá como
melhor referência em sistemas de Monitoramento e Avaliação (M&A), seguidos por
Austrália, Inglaterra, Chile e Espanha. Ele afirma que existem basicamente dois tipos de
diferentes de sistemas de avaliação: centralizado, caso do Brasil e que tem como bom
exemplo Chile; e descentralizado, que depende de rede de avaliadores externos
credenciados e mercado de avaliação forte, que é utilizado na Inglaterra. Sua análise
do caso brasileiro ofereceu perspectivas do ponto de vista da Oferta e da Demanda, e
mostrou os principais pontos de M&A dos últimos governos federais. Entre os desafios
para o desenvolvimento de tais práticas no Brasil, ressalta-se a escassez da prática de
tomada de decisão através de mecanismos especializados, permanecendo o caráter
discricionário e emergencial.
5

7. Instrumentos de Monitoramento e pesquisas de avaliação no
aprimoramento de programas sociais - A experiência da SAGI/MDS
Em seguida, Paulo de Martino Jannuzzi, do Ministério do Desenvolvimento
Social e Combate à Fome, apresentou “Instrumentos de Monitoramento e pesquisas
de avaliação no aprimoramento de programas sociais - A experiência da SAGI/MDS”.
Ele destacou como obstáculos do avanço do Monitoramento e Avaliação no Brasil:
 Ausência de cultura ou formação no assunto;
 Resistência dos gestores à avaliação;
 Confusão que é feita entre M&A e pesquisa acadêmica.
Também foram apontadas as principais finalidades de práticas de M&A:
 Aprimoramento interno de programas;
 Auxílio na gestão orçamentária;
 Prestação de contas, para parlamentares e sociedade.
A abrangência da avaliação pode ser de três níveis:
 Integralidade das ações do governo;
 Apenas algumas áreas setoriais;
 Conjunto seletivo de projetos prioritários.
Ele acredita que as avaliações devem ser ajustadas à maturidade, necessidades
e complexidade do programa, ressaltando que não existe um “padrão-ouro” de
técnicas avaliativas, mas sim uma gama eclética de metodologias.
Avaliação Ex-Ante: importâncias e requisitos
Ronaldo Coutinho Garcia, representante do Instituto de Pesquisa Econômica
Aplicada (IPEA), deu início às palestras do turno da tarde, discorrendo sobre avaliação
ex-ante no contexto do Plano Plurianual (PPA). O palestrante falou sobre conceituação
de qualidade do gasto, afirmando que a contenção de gastos fez com que a máquina
publica desaprendesse a gastar. Além disso, salientou que o PPA é uma programação
plurianual de despesa, que se orçamentalizou, em contradição a um princípio básico
do plano que é a seletividade, pois nenhum governo pode enfrentar todos os
problemas. Assim, o núcleo do PPA deveria ser o que o Governo se propõe a enfrentar,
e os demais, referente à manutenção das conquistas, deveriam estar em anexo.
6

8. Entre os aspectos abordados sobre avaliação ex-ante, foram destacados três
pontos principais:
 A importância da avaliação;
 Os requisitos para avaliação;
 As possibilidades oferecidas para a gestão do PPA Federal.
Avaliação do Plano Plurianual: Experiência recente e perspectivas
Pedro Bertone Ataíde, do Ministério do Planejamento, Orçamento e Gestão,
deu seguimento ao tema do PPA, tratando sobre experiências recentes e perspectivas
da avaliação do Plano Plurianual. Ele cita as principais críticas dirigidas à avaliação de
políticas públicas em geral:
 Burocracia;
 Limite de uso prático de trabalhos acadêmicos na área;
 Controle excessivo, com pouco resultado;
 Resistência à responsabilização;
 Divergência entre o tempo de avaliações e o das políticas;
 Resultados da avaliação nem sempre contribuir com as metas;
 Excesso de formalidade, que seriam um entrave para a utilidade das
avaliações.
O palestrante então detalha os PPAs executados a partir de 2000, suas
principais características e evoluções. Também é feita uma introdução ao PPA 2012-
2015, que está em apreciação pelo Congresso Nacional, quanto à sua estrutura e
conteúdo. Este PPA tem como uma das principais características o enxugamento de
programas, que teve seu número reduzido de 400 para 65 programas finalísticos,
dialogando com a estrutura de políticas públicas e expressam muito mais a
multisetorialidade.
Desenho de Políticas e Tipos de Avaliação
A palestrante Sonia Nahas de Carvalho, da Fundação Sistema Estadual de
Análise de Dados de São Paulo, apresentou “Desenho de Políticas e Tipos de
Avaliação”, onde foram discutidos os tópicos:
7

9.  Agenda do governo;
 Formação e gestão de políticas;
 Tipologia, avaliação e processos de políticas públicas.
Ressaltou que entender políticas públicas pressupõe a noção de processo
requerendo revisões periódicas. A avaliação é parte do processo da política pública
ocorrendo ao longo dele. Assim, um dos principais insights de sua palestra é que a
avaliação não deve ser confundida com a etapa final do processo. Os agentes
continuamente interferem ao longo dos diversos estágios, representando um contínuo
de tomada de decisões. O ideal seria que a avaliação fosse feita sobre cada passo,
desde a formação da agenda, formulação, até a implementação das políticas e nos
impactos ou efeitos sociais decorrentes das ações públicas.
Oferta, demanda e práticas recentes em M&A
O segundo dia do evento iniciou com “Oferta, demanda e práticas recentes em
M&A”, palestra de Márcia Joppert, diretora geral da Agência Brasileira de Avaliação.
Ela apresentou os resultados de pesquisa efetuada sobre a oferta e demanda dos
serviços de Monitoramento e Avaliação do PPA União 2008/2011. A pesquisa englobou
diversos pontos, como:
 Frequência;
 Principais provedores, sendo universidades no setor público e
consultores individuais na esfera privada;
 Temas;
 Opinião sobre a qualidade, considerada em geral baixa;
 Problemas metodológicos e técnicos mais recorrentes, como desenho
de projetos e busca por bons indicadores;
 Grau de institucionalização, considerado inexistente, apesar de haver
tendência positiva.
A palestrante conclui que, mesmo com os avanços na área, ainda há pouca
demanda de M&A dos órgãos públicos, devido a fatores como a demora de
contratação em função de procedimentos burocráticos. Além disso, a oferta
acadêmica em M&A é escassa, com poucos cursos, e a qualidade de oferta foi
considerada regular. Além disso, existem déficits metodológicos e muitos problemas
técnicos a serem superados.
8

10. Algumas recomendações são listadas:
 Maior número de literatura relacionada traduzida para o português;
 Estimular pesquisas na área de M&A;
 Criação de novos cursos;
 Maior participação da sociedade;
 Identificação de lideranças e formação de parcerias.
Eficiência e produtividade do setor público: o caso da saúde
A economista da Universidade de São Paulo Fabiana Rocha apresentou suas
pesquisas na área de saúde em “Eficiência e produtividade do setor público: o caso da
saúde”. O histórico brasileiro de financiamento no setor foi apresentado, e foi
ressaltado que o problema principal não é a falta de recursos, mas o seu amplo
desperdício, tornando de primeira ordem a necessidade de que todo o sistema
relacionado seja mais eficiente.
A importância da avaliação na área da saúde seria relacionada à mensuração do
desperdício, atendimento das demandas sem maior carga tributária, determinação das
fontes de ineficiência e aplicação de transferências de recursos para municípios mais
eficientes, através de prêmios para melhores desempenhos, por exemplo. A pesquisa
sobre a saúde feita pela palestrante usou como método a estimação de fronteiras de
produção, onde se estima a eficiência da prática efetiva em função de um nível ideal.
Seu trabalho conclui que os municípios pequenos foram os menos eficientes, devido
principalmente aos fatores de escala e demanda reduzida. Além disso, ela ressalta que
os bens e serviços públicos devem ser ofertados pelo nível de governo mais próximo
da população, pois está mais apto a responder aos incentivos de pressão da sociedade
e avaliar suas necessidades.
Análise Econômico-Fiscal de Projetos de Investimento Público
Hailton Madureira de Almeida, da Secretaria do Tesouro Nacional (STN),
ministrou a palestra “Análise Econômico-Fiscal de Projetos de Investimento Público”.
Ele ressaltou que o investimento é ideal para avaliação, pois é volátil, ao contrário de
outros custos. O PAC é mencionado como referência na gerência de investimentos.
Comentou que as diretrizes estratégicas da STN são criar condições para o equilíbrio
do resultado nominal e contribuir para aprimorar a qualidade do gasto público.
9

11. Auditoria operacional: a quem interessa?
“Auditoria operacional: a quem interessa?”, de Dagomar Henriques Lima, do
Tribunal de Contas da União, apresentou o status atual dessa natureza auditorial. Ele
ressalta que ela é regrada pela Constituição brasileira, e que vem passando por
mudanças devido à experiência internacional e novos termos. O caráter de atribuição
de responsabilidades do controle externo é importante, mas sua principal função seria
o aperfeiçoamento da gestão pública, além de estimular melhorias de desempenho e
desestimular não-conformidades. Entre os métodos de responsabilizar os agentes do
setor público estão modelos contratuais que premiem bons desempenhos ou modelos
administrativos, através de planos de metas a serem atingidas. Para ele, Auditoria
representa passos em direção a maior transparência, e não a punição, que só ocorre
em casos onde a lei é atingida. Entre as razões para a não consolidação da
responsabilização por desempenho estão:
 Corrupção;
 Influência do Poder Executivo sobre o Poder Legislativo;
 Controle social fraco;
 Ausência de previsão legal dos procedimentos;
 Falta de cultura e de estrutura dos controles interno e externo.
Para atingir os objetivos da auditoria operacional, é importante que os
trabalhos executados sejam de qualidade e que se identifiquem os interessados, suas
necessidades, valores e expectativas. Ele cita como exemplo de sucesso a análise de
renda e outros indicativos correlacionados dos alunos do PROUNI, que obteve grande
repercussão na mídia e acarretou em mudanças legislativas concretas.
Mesa de Encerramento
Os participantes da mesa de encerramento formada por Ana Maria Severo,
SEFAZ, Álvaro Magalhães, SEPLAG, Renato Dal Maso, FEE, e Sandro Bergue, TCE-RS,
enalteceram a parceria institucional formada para a organização e realização do
Seminário. Parceria inédita que deve trazer frutos para o futuro, como
compartilhamento de trabalhos e conhecimento. Foram unânimes em já deixar uma
chamada para o V Seminário a ser realizado em 2012.
Por fim, agradeceram a comissão organizadora e, sobretudo, os participantes
do seminário, representantes dos mais diversos órgãos e entidades governamentais,
do controle social, além de pesquisadores e alunos de universidades.
10

12. AVALIAÇÃO DO EVENTO PELOS PARTICIPANTES
Atendimento das Expectativas
Item Superou Atendeu Não Atendeu Sem resposta
Palestras 32% 57% 3% 7%
Localização e instalações 49% 47% 0% 3%
Recep/Credenciamento 33% 64% 0% 3%
Organização 39% 56% 1% 4%
Divulgação 13% 82% 1% 3%
Inscrição 32% 62% 1% 5%
Evento - Geral 35% 52% 0% 13%
Divulgação – Como ficou sabendo do seminário
Canal Como ficou sabendo?
E-mail 47%
Internet 28%
Impressos 5%
Outros 11%
Sem resposta 8%
11

13. EQUIPE
Andréa Silva da Cunha
Leonardo Maranhão Busatto
Leonidas Xausa Filho
Secretaria da Fazenda do
Rio Grande do Sul Guilherme Petry
Sergio Ubirajara Amorim
Gabriele dos Anjos
Isabel Noemia Ruckert
Alvaro Pontes de Magalhães Junior
Carla Giane Soares da Cunha
Carlos Eduardo Grings
Juliana Feliciati Hoffmann
Luciana Dal Forno Gianluppi
Paulo Eduardo Panassol
Sandro Trescastro Bergue
12