El documento describe el sistema de monitoreo y evaluación de políticas de protección social en Brasil. Explica que la implementación de sistemas de evaluación y monitoreo ha crecido rápidamente en el gobierno brasileño y la academia. También describe el ciclo de evaluación del Ministerio de Desarrollo Social, incluyendo la discusión del proyecto, la contratación de instituciones, el seguimiento y la difusión de resultados. Finalmente, identifica desafíos como la escasez de especialistas y la necesidad de cursos de formación continua.

1. Ministerio del Desarollo Social
y Lucha contra el Hambre
Sistema de Monitoreo y Evaluación de la
Política de Protección Social en Brasil
Romulo Paes de Sousa
Vice-Ministro
V Seminario Internacional - Transferencia Condicionada de Ingreso
Santiago, Chile
30 de Septiembre y 1 de Octubre de 2010

2. Ministerio del Desarollo Social
y Lucha contra el Hambre
En que pese ser reciente en países como Brasil, la
incorporación de instancias de E & M (Evaluación y
Monitoreo) ha crecido rápidamente en la academia y en
órganos gubernamentales.
El esfuerzo de implementación de sistemas de E & M ha
crecido en el sector público y, más recientemente, en
el sector no-público.
Consideraciones Iniciales

3. Ministerio del Desarollo Social
y Lucha contra el Hambre
El presupuesto del sector también aumentó, indicando
aumento en la legitimidad.
Las experiencias son heterogéneas en competencias y
resultados.
En Brasil, existe fuerte concentración de competencias
a nivel federal y en unidades de la federación y
municipalidades más ricas. En países más pobres, hay
fuerte influencia de instituciones de financiación.
Existe poca reflexión mundial sobre la política y
sociología de E & M.
Consideraciones Iniciales

4. Ministerio del Desarollo Social
y Lucha contra el Hambre
Consolidación de Experiencias:
- Gobierno: MEC/INEP, TCU, MPO, ENAP, MDS, IPEA, y secretarias de
planificación en unidades de la federación especificas (MG, SP, CE y PE)
- Academia: Cedeplar/UFMG, PUC RJ, escuelas de gobierno (FJP, Fundaj y
otras)
Convergencia conceptual
•Apropiación del lenguaje
Para más que las introducciones
•Convención interinstitucional en el uso de conceptos
Finalmente una lengua franca
•Uso de referencias comunes
Rutinas de diseminación de contenidos (teóricos y empíricos)
Consideraciones Iniciales

5. Ministerio del Desarollo Social
y Lucha contra el Hambre
Organigrama MDS

6. Ministerio del Desarollo Social
y Lucha contra el Hambre
Evaluación Monitoreo
Realización de Investigaciones
Desarrollo de Sistemas
Operacionales
• Definición del objeto
• Diseño metodológico
• Contratación
• Coordinación e implementación
• Análisis de resultados
• Alimentación con datos de los
programas
• Organización, hierarquización y
proveimiento de informaciones
• Gestión de las bases de datos
• Elaboración de las variables e
indicadores
Perfeccionamiento
de los programas
- Publicaciones
- Seminarios
- Microdatos para
el Consorcio de
Informaciones
Sociales
Retroalimentación Diseminación
y transparencia
- Asesoría para alta
dirección
- Preparación de
informes y notas
técnicas
- Apoyo a la toma de
decisión
- Gestión de
políticas sociales
- Evaluación y
Monitoreo
- Control Social
Disponibilidad de
informaciones
estratégicas
Formación y
capacitación en

7. Ministerio del Desarollo Social
y Lucha contra el Hambre
Ciclo de Evaluación
1. Discusión 2. Término de Referencia 3. Contratación
SAGI/SF
•Definición de la evaluación a ser
realizada
•Relevancia del estudio propuesto
SAGI/SF
•Elaboración del TOR por la SAGI
•Revisión del TOR por la SF
SAA y/o Órgano de Cooperación Internacional
•Aprobación del TOR
•Elaboración de regulación
•Contratación de la institución ejecutora (IE)
que presenta mejor propuesta técnica y
presupuestaria
4. Reunión/Definiciones
importantes
5. Seguimiento 6. Resultados Finales
SAGI/SF/IE
•Definición de cuestiones relevantes
para el estudio
•Disponibilidad de los datos
necesarios para la realización de la
encuesta
SAGI/IE
•Desarrollo de los instrumentos de
investigación
•Visitas a campo
•Evaluación y aprobación de
informes parciales y del informe
final
SAGI/SF/IE
•Recomendaciones de la evaluación (IE)
•Reuniones con gestores
•Retroalimentación de los programas
7. Divulgación de los Resultados 8. Publicaciones 9. Microdatos
SAGI/SF/IE
•Presentación de los resultados
finales al MDS
•Seminarios abiertos al público
externo
SAGI
•Cuadernos de estudios
•Informes de investigación
•Libros
SAGI
•Envío de los archivos de microdatos y
documentación de las investigaciones al CIS
SAGI = Secretaria de Evaluación y Gestión de la Información / SAA=Secretaría de Asuntos Administrativos
SF = Secretaría Finalística / IE= Institución Ejecutora / CIS = Consorcio de Informaciones Sociales
Adaptado de Vaitsman, J; Rodrigues, R.W. S.; Paes-Sousa, R. Brasília: UNESCO Management of Social Transformations, MDS, 2006. 77 p.

8. Ministerio del Desarollo Social
y Lucha contra el Hambre
Procesos de Evaluación 2005-2010
SAGI/MDS (referencia febrero, 2010)
Secretarías
Investigaciones
en Contratación
Investigaciones en
curso
Investigaciones
Concluidas
Total
Bolsa Familia 3 2 12 17
Seguridad
Alimentaria
2 3 25 30
Inclusión
Productiva
- 1 3 4
Asistencia
Social
1 3 21 25
MDS
(General)
3 2 15 19
Total 09 11 75 96

9. Ministerio del Desarollo Social
y Lucha contra el Hambre
Recursos humanos de la Secretaría de Evaluación y Gestión
de la Información, según carrera de licenciatura y la titulación más alta
Titulación
Carrera Licenciatura
Especializació
n
Máster
Doctorad
o
Total
Derecho 1 1 2
Historia 2 1 3
Servicio Social 1 2 3
Geografía /Arquitectura 2 1 1 4
Antropología/Sociología/Ciencias Políticas 3 3 7 2 15
Economía 3 3
Pedagogía 1 1 2
Psicología 2 2 3 7
Nutrición/Odontología 2 2
Agronomía 2 2
Estadística 1 1 1 3
Tecnología de la Información * 10 3 4 17
Administración 2 3 5
Biblioteconomía 1 1
Secretariado Ejecutivo 1 1
Comunicación Social/ Lenguaje 2 2
Total 29 15 24 4 72
* Esta categoría incluye a las carreras de Administración de Sistemas de Información, Computación, Tecnología e Tecnología Telemática e
Ingeniería.

10. Ministerio del Desarollo Social
y Lucha contra el Hambre
Cisternas (FAGRO/EMBRAPA):
Teniendo en cuenta que, de las 396 análisis de calidad realizadas, 177
fueron consideradas contaminadas (44,7%), el MDS estableció cooperación
con el Ministerio de Salud, que tiene como objetivo el seguimiento
regular de las familias beneficiarias del programa por los Agentes
Comunitarios de Salud (ACS);
Los ACS prestan informaciones sobre el hipoclorito de sodio como agente
descontaminante del agua para consumo, así como orientan sobre el uso
y el acceso al mismo.
Algunos resultados de evaluaciones (ejemplos)

11. Ministerio del Desarollo Social
y Lucha contra el Hambre
• Evaluación desarrollada por el ‘Instituto Internacional de
Pesquisa sobre Políticas Alimentares’ (IFPRI) para
mensurar los impactos del Programa Bolsa Familia en la
educación y en la salud.
Objetivo: Aislar a los efectos del Programa sobre su
población y entender si los cambios identificados en la
vida de la población tiene relación directa con el
Programa.
Algunos resultados de evaluaciones (ejemplos)
Programa Bolsa Familia (IFPRI):

12. Ministerio del Desarollo Social
y Lucha contra el Hambre
Impactos identificados
• Aumento de la matrícula en 4,4 puntos porcentuales
• Aumento de la progresión escolar en 6,0 puntos porcentuales
• Efectos más intensos sobre la matrícula en el Nordeste, región en que el
impacto del BF es de 11,7 puntos porcentuales
• Efectos importantes en retención escolar de niños de 15 años o más
• Aumento de la utilización de asistencia prenatal
• Mejora del estado nutricional de niños en edad preescolar (0 a 6 años)
residentes en hogares beneficiarios del PBF entre 2005 e 2009 en relación a
estándares internacionales, considerando su altura y peso
• La participación en el Programa Bolsa Familia aumentó en 15 puntos
porcentuales la probabilidad de que un niño reciba todas las seis vacunas
necesarias hasta los 6 meses de edad
Algunos resultados de evaluaciones (ejemplos)
Programa Bolsa Familia (IFPRI):

13. Ministerio del Desarollo Social
y Lucha contra el Hambre
Sistemática de Monitoreo
Cartografía preliminar y selección de programas que deben de ser
monitoreados
Construcción del modelo lógico
Elaboración del flujo detallado de actividades de los programas
seleccionados (detallar construcción, revisión, validación)
Construcción de indicadores
Alimentación de los indicadores: identificación y/o desarrollo de
herramientas para la coleta de los datos estratégicos de los
programas
Elaboración de informes y publicaciones

14. Ministerio del Desarollo Social
y Lucha contra el Hambre
Paso a Paso de la Sistemática de Monitoreo
OBJETIVO
ALCANZADO

15. Ministerio del Desarollo Social
y Lucha contra el Hambre
• MI Social - una estratégia de organización de las informaciones para
monitoreo de los programas sociales del Ministerio.
Disponibiliza informaciones e indicadores sociales específicos de las
unidades de la federación, de las municipalidades y del Distrito
Federal.
Tablas Sociales
Atlas Social
MI Vector
Reportes de Informaciones Sociales - RI
MDS en Mapas
Formas de
consultas
Disponible al
público
Informaciones Estratégicas:
Matriz de Información Social (familia de herramientas)

16. Ministerio del Desarollo Social
y Lucha contra el Hambre
Informaciones Gerenciales
http://www.mds.gov.br/gestaodainformacao
Acceso en línea:
• Sociedad civil;
• Unidades de la federación y
Municipalidades.

17. Ministerio del Desarollo Social
y Lucha contra el Hambre
http://www.mds.gov.br/gestaodainformacao/ferramentas/tipos-de-
ferramentas/matriz-de-informacao-social/atlas-social
ATLAS SOCIAL

18. Ministerio del Desarollo Social
y Lucha contra el Hambre
34 publicaciones técnicas “físicas”
Realización de seminarios internacionales, nacionales y premiaciones
Público Objetivo:
Gestores, organismos de la administración pública e internacionales,
instituciones de investigación, universidades, instituciones de control social,
bibliotecas públicas, escuelas de gobierno
Distribución gratuita:
Mailing; disponibilización en línea (sitio web de MDS); CD interactivo
Diseminación

19. Ministerio del Desarollo Social
y Lucha contra el Hambre
Desafios
• Baja densidad de especialistas en los organos
públicos
• Necesidad de cursos de formación
• Inestabilidad institucional (recursos humanos e
infraestructura)
• Conflicto inter-corporativo (E & M contra todos)
– Gestión ineficiente de los resultados
– Riesgos institucionales de la transparencia
(comunicación institucional)

20. Ministerio del Desarollo Social
y Lucha contra el Hambre
Desafios
• Contratación de investigaciones a largo plazo:
– Inconsistencia entre los tiempos legales y los
tiempos de la investigación;
– Reestruturación del diseño frente a la idea
inicial.
• Sobre el dumping, “aventureros” y otros problemas
de los procesos de licitación:
– Cuando el mercado se despierta para la
evaluación de programas.

21. Ministerio del Desarollo Social
y Lucha contra el Hambre
Institucionalización de los Sistemas
• Marco legal externo
– Ajuste a la legislación en las especificidades de
E & M
• Marco legal interno
– Prestadores de servicios: formalización según
demanda de E & M
– Definición de los temas y atribución de
responsabilidades
• Formalidad contractual
• Financiamiento

22. Ministerio del Desarollo Social
y Lucha contra el Hambre
Institucionalización de los Sistemas
• Liderazgo y legitimidad
• Desarrollo de competencia en los diferentes niveles
• Formación de redes de cooperación
– Acciones coordinadas en red
• MPO
• IPEA o “Instituto Nacional de Avaliação de
Políticas Públicas”
– Redes de intercambio técnico

23. Ministerio del Desarollo Social
y Lucha contra el Hambre
El papel de los órganos federales de control
• Participar de la red de diseminación de
metodologias de E & M
• TAC para contratación de estudios de evaluación
– Legislación adecuada a P & D (riesgos asociados
a la producción del conocimiento)
• Uso intensivo de las evaluaciones para evitar
redundancia

24. Ministerio del Desarollo Social
y Lucha contra el Hambre
El nivel federal como inductor de metodologias de E & M
• Diseminación de metodologias de E & M a los
niveles sub-nacionales de control
• Colaboración en la formación de redes de
diseminación del conocimiento
– Producción de material didáctico aplicado
– Desarrollo de medios de diseminación de
métodos y resultados
• Revista técnica, blog, congreso, etc
– Intercambio de herramientas

25. Ministerio del Desarollo Social
y Lucha contra el Hambre
¡Gracias!
romulo.paes@mds.gov.br