Presentacion scorecards tool_central_america_mh_mt

Manuel Hernandez y Maximo Torero, IFPRI
San Salvador, 4 de diciembre del 2013
Programa de Innovación en Acceso
a Mercados
Evaluación de Impacto de la Herramienta
PSC

Índice
Implementación de metodología y
Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards

¿Que es lo que se busca?
• En proyectos de desarrollo, es posible que proyectos con
mayor potencial para reducción de pobreza no sean
sostenibles en el tiempo y viceversa (tradeoff).
• La metodología de Scorecards busca asegurarse de que
los proyectos no solo se focalicen en disminuir la pobreza,
sino que además sean sostenibles.

Metodología de Scorecards
Comprende dos dimensiones:
• Primera etapa: score de riesgo.
Se estima un nivel de riesgo para cada proyecto y solo aquellos que
superan cierto nivel mínimo de riesgo pasan a una segunda instancia.
(Modelo semi-paramétrico)
• Segunda etapa: score de pobreza.
Se evalúan los proyectos sobre la base de sus potenciales efectos en la
reducción de pobreza y se eligen los proyectos con mayor puntuación.
(Método de componentes principales)

Proyectos que pasan el criterio de score de
riesgo

Proyectos que pasan el score de riesgo y de
pobreza

Características de la Empresa
• Experiencia en el sector
• Cantidad de trabajadores o
asociados
• Calificación crediticia
• Activos que posee
• Nivel de endeudamiento

Características de los
asociados
• Edad
• Género
• Situación civil
• Número de miembros de la familia
• Nivel de educación

Ubicación en zona de alta pobreza rural

Numero de nuevos puestos de trabajo
generados

Porcentaje de mano de obra no
calificada

Porcentaje de mano de obra femenina

Postulación, evaluación y selección de
proyectos
Etapa # Proyectos
Cierre de postulación (7 de enero del 2011) 58
Hábiles (completaron toda la información
requerida y establecida en las bases)
39
Superaron mínimo nivel de riesgo (67%) 24
Seleccionados (a partir de su puntuación de
pobreza) (24 de enero del 2011)
9
5 proyectos de Honduras; 2 de Nicaragua; 1 de El
Salvador y 1 de Guatemala por un monto total de
US$1,630,663.

Proyectos seleccionados
-5
-4
-3
-2
-1
0
1
2
3
4
5
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7
CP2(19.98%)
CP1 (31.70 %)
Banhcafé (Honduras)
Mayor alivio de
pobreza
Menor alivio de
pobreza
WWF (Guatemala)
Lemenigi (Honduras)
Las Segovias (Nicaragua)
COMUCAP (Honduras)
TechnoServe (Honduras)
Helvetas (Nicaragua)
Desarrollo Sostenible (El Salvador)
Aldea Global (Honduras)

Proyectos seleccionados
# pais empresa
# beneficiarios
directos # empleos monto (US$)
total mujeres directos
1 Honduras Fundación Banhcafé 391 155 1,571 212,176
2 Honduras Empresa Agroindustrial del Coco Lemenigi Lomba 30 19 308 176,300
3 Nicaragua COOPERATIVA MULTIFUNCIONAL LAS
SEGOVIAS RL
120 48 251 212,299
4 El Salvador FUNDACION PARA EL DESARROLLO
SOSTENIBLE
70 22 94 187,075
5 Honduras PROYECTO ALDEA GLOBAL 150 53 1,810 212,500
6 Honduras Asociación Coordinadora de Mujeres campesinas de
La Paz (COMUCAP)
50 50 144 212,500
7 Nicaragua Intercooperation-Helvetas 30 29 3 87,460
8 Guatemala World Wildlife Fund 98 3 1,257 186,700
9 Honduras Cooperativa CARUCHIL 80 27 85 143,623
1,019 406 5,523 1,630,663

Observaciones
• Los siete primeros proyectos seleccionados obtuvieron la
mayor puntuación en cuanto al scorecard de pobreza.
• Tal como se estableció en las bases de la convocatoria, el
octavo proyecto seleccionado, World Wildlife Fund de
Guatemala, obedeció a la disposición de agencias donantes
de al menos un proyecto por país (y a la posterior tacha de
la Red Nacional de Grupos Gestores).
• El noveno proyecto seleccionado, Cooperativa
CARUCHIL de Honduras, reemplazo a TechnoServe que
luego se retiro, y era precisamente el siguiente en línea.

¿Por qué la evaluación de impacto?
1. Evidencia de que sí funciona
▫ ¿Cuánto mejoro la situación de los beneficiarios debido al
programa?
2. Rendición de cuentas (transparencia)
▫ ¿Cuales fueron los resultados?
3. Herramienta de política fiscal y de gestión
▫ ¿Seguimos invirtiendo en el programa o mejor invertimos
en otra cosas?

4. Los resultados son esenciales para su sostenibilidad y
difusión
▫ ¿Es el programa costo-efectivo?
5. Replicabilidad
▫ ¿Podemos expandir el programa a otras áreas?
¿Por qué la evaluación de impacto? (2)

¿Como se realiza?
A: $100 ingresos
B: $100 ingresos
P: $140 ingresos
SP: ?
P: ?
SP: $120 ingresos
Beneficiarios
Grupo de Control
Antes de programa
(2011)
Después de programa
(2012/13)
Situación observable Situación no observable
140 - ?
 Compara situación de beneficiarios “con el programa (P)” vs. situación “sin el
programa (SP)”.
Impacto del programa: (140-100) – (120-100) = $20
 Se requiere realizar una encuesta de línea de base y por lo menos una
encuesta de seguimiento.

Encuestas de Línea de Base y Seguimiento
Diciembre 2011
Enero 2012
Encuesta de Línea de Base
721 beneficiarios
Diciembre 2012
Enero 2013
Encuesta de Seguimiento
681 beneficiarios
625 beneficiarios
en ambas
encuestas
Para evaluar la herramienta PSC se llevaron a cabo dos encuestas diseñadas
por IFPRI.
Muestra representativa según ubicación y género de los beneficiarios
(usando información brindada en las postulaciones).
Menos encuestados
debido a migración
temporal (corte de café),
migración permanente,
problemas de convocatoria

Encuestas de Línea de Base y Seguimiento (2)
• Se contó con la colaboración de Research & Planning, empresa con
amplia experiencia en recolección de datos en Centroamérica.
• Apoyo de RUTA (Francisco Olivet) en coordinaciones entre Research &
Planning y Coordinadores de los Proyectos.
• Para el levantamiento de información se utilizaron tabletas
electrónicas (mayor consistencia en el recojo de información).

El Salvador: 1 proyecto
Canton Valle Nuevo, Candelaria La Frontera
Hombres
Mujeres
Total
Encuestados
Línea de Base Seguimiento Ambas
566165
698087
131922
Fundación para el Desarrollo Sostenible
(El Salvador: Santa Ana)

Guatemala: 1 proyecto
Comunidad Monte Blanco, Purulha
Hombres
Mujeres
Total
33 34 33
97 97 96
Encuestados
64 63 63
World Wildlife Fund
(Guatemala: Baja Verapaz, Alta Verapaz)

Honduras: 4 proyectos (1)
Mohaga – Belen Gualcho
Hombres
Mujeres
Total
13 11 11
94 91 88
Encuestados
81 80 77
Poyecto Aldea Global
(Honduras: Ocotepeque)
Hombres
Mujeres
Total
16 13
Encuestados
AmbasSeguimientoLínea de Base
Fundación Banhcafé
(Honduras: La Paz, Intubuca)
89 82 73
606674
15

Honduras: 4 proyectos (2)
Punta Piedra - Limon
Hombres
Mujeres
Total
65 81 54
73 88 58
Ambas
Encuestados
478
Línea de Base Seguimiento
Empresa Agroindustrial de Coco
(Honduras: Iriona, Limon)
Hombres
Mujeres
Total
Asociación Coordinadora de Mujeres
Campesinas de La Paz (Honduras: La Paz)
100 91 90
100 91 90
Encuestados
0 0 0

Nicaragua: 2 proyectos
Comunidad Rio Blanco
Hombres
Mujeres
Total
Encuestados
58 53
34 30 30
92 83 83
Cooperativa Multifuncional Las Segovias
(Nicaragua: Nueva Segovia)
53
Hombres
Mujeres
Total
83 66 65
89 69 68
Intercooperacion-Helvetas
(Nicaragua: Matagalpa)
Encuestados
6 3 3

Muestra para análisis
Número de beneficiarios encuestados por proyecto
97 96
TOTAL 721 681 625
8 Wold Wildlife Fund Guatemala 97
91 90
7
Intercooperation-
Helvetas
Nicaragua 89 69 68
6 COMUCAP Honduras 100
80 69
5
Proyecto Aldea
Global
Honduras 94 91 88
4
Fundación para el
Desarrollo
El Salvador 87
88 58
3
Cooperativa
multifuncional Las
Nicaragua 92 83 83
2
Empresa
Agroindustrial de
Honduras 73
Nº de beneficiarios encuestados en
la Encuesta de Seguimiento
Nº de beneficiarios encuestados
en ambas encuestas
1
Fundación
Banhcafe
Honduras 89 82 73
Ranking de
proyecto
Nombre del
proyecto
País
Nº de beneficiarios
encuestados en Línea de Base

Evaluación de impacto
Umbral 1
itY
Línea de base (2011/12)
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
World Wildlife Fund
Seguimiento (2012/13)

Evaluación de impacto (2)
Umbral 2
itY
World Wildlife Fund
World Wildlife Fund
Línea de base (2011/12) Seguimiento (2012/13)

Umbral 7
itY
World Wildlife Fund
World Wildlife Fund

Listado de los indicadores considerados
VARIABLES DEPENDIENTES
Horas recreación
Horas descanso
Log producción cultivo principal
Solicitud crédito
Recibo crédito
Cuenta bancaria
Acceso mercados locales
Uso fertilizante
Nivel de estrés
Nivel de bienestar
Nivel de satisfacción
Ln ingreso mensual total
Ln ingreso mensual pc
Ln gasto mensual total
Ln gasto mensual pc
Ln gasto total alimentos
Ln gasto total educación
Ln gasto total salud
Horas actividad principal
Horas ambas actividades

Porcentaje de beneficiarios que recibieron alguna de las tres
principales intervenciones por proyecto
• Ayuda 1: Capacitación/
Asistencia técnica en aspectos
organizativos
• Ayuda 2:
Capacitación/Asistencia
técnica en producción y/o
transformación de productos
• Ayuda 3:
Capacitación/Asistencia
técnica en comercialización
de productos
• Ayuda 7: Provisión de
insumos (donación)
Variación en el numero de ayudas a cada beneficiario.

Valoración subjetiva de los proyectos
Nota promedio del conjunto de ayudas recibidas (rango 1 al 10)
7.4
6.3
8.7
7.7
8.2 8.0
8.3
9.1
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
10.0
Fbanhcafe ECACOLL COOPMULSE FUNDAPAES PAldeaGlobal COMUCAP Inter-Helvetas WWF

Valoración subjetiva de los proyectos (2)
Porcentaje de beneficiarios que participarían en un proyecto
similar en un futuro próximo
• Claro interés en
volver a participar
en un proyecto
similar
• Mas del 70% de
beneficiarios por
proyecto
definitivamente
participaría en
un proyecto
similar

Valoración subjetiva de los proyectos (3)
Aspectos donde los beneficiarios creen consiguieron un
mayor impacto

Resultados
Variación del ingreso mensual total y per cápita
• Incremento entre 30% y 45 % del ingreso (total y per cápita)
entre el antes y el después de la aplicación de los proyectos
• Los beneficiarios de los siete primeros proyectos
incrementaron en mayor proporción su ingreso en comparación
con los beneficiarios del octavo proyecto

Resultados (2)
Variación del gasto mensual total y per cápita
• Incremento entre 15% y 35% del gasto mensual (total y per cápita)
entre el antes y el después de la aplicación de los proyectos
• Los beneficiarios de los dos primeros proyectos en su conjunto
fueron los que más incrementaron su gasto en comparación con los
beneficiarios de los seis proyectos restantes

Resultados (3)
Variación del gasto mensual total en salud (y educación)
• Aumento del 20-
40% en el gasto en
salud para los
distintos umbrales de
selección
considerados

Resultados (4)
Variación de las horas de trabajo dedicadas a la actividad principal
• 6 horas más de
trabajo para los
beneficiarios de la
en comparación con
los beneficiarios de
los otros proyectos.
• 4 horas menos de
trabajo para los
beneficiarios de
todos los proyectos
en conjunto en
comparación con los
beneficiarios de
WWF

Resultados (5)
Variación en la probabilidad de solicitar un crédito
• Incremento en la
probabilidad de
solicitar un crédito
para los distintos
umbrales
• 11 puntos % mas
para el umbral 2 y
20 puntos % más
para el umbral 7

Resultados (6)
Variación en la probabilidad de vender producción en el mercado local
• Mayor variación en
probabilidad de vender
producción en el
mercado local para
beneficiarios de WWF
versus los demás
beneficiarios (38
puntos %)
• Diferencia no
significativa en los
otros umbrales

Comparaciones adicionales
• Se comparan pares de proyectos con cultivos principales similares pero con
distintas posiciones en el ranking.
itY
Fundación Banhcafé (puesto 1)
Proyecto Aldea Global (puesto 5)
Fundación Banhcafé (puesto 1)
Proyecto Aldea Global (puesto 5)
FUNDAPAES (puesto 4)
COOPMULSE (puesto 3)
FUNDAPAES (puesto 4)
COOPMULSE (puesto 3)
COMUCAP (puesto 6)
WWF (puesto 8)
COMUCAP (puesto 6)
WWF (puesto 8)
Hortalizas
Granos básicos
Café

Comparaciones adicionales (2)
Variación del ingreso total mensual
• El ingreso mensual
total se incrementó
para todos los proyectos
en una posición más alta
en el ranking en
comparación con aquellos
en las posiciones más
bajas.
• 16% al comparar
proyecto 1 con proyecto 5,
8% al comparar proyecto
3 con proyecto 4 y 20% al
comparar proyecto 6 con
proyecto 8

Comparaciones adicionales (3)
Variación en la probabilidad de solicitar un crédito
• La probabilidad de
solicitar un crédito
aumentó al hacer la
comparación entre los
pares de proyectos
seleccionados.
• Cambios de 1 punto %,
11.8 puntos % y 20.3
puntos %.

Análisis Cualitativo – Colaboración GWU
• Visitas a Fundación Banhcafé y Proyecto Aldea Global en Honduras.
• Grupos de enfoque con
beneficiarios y entrevistas
con representantes de los
proyectos.
• Grupos divididos por género,
ocho comunidades visitadas.
• Total de 12 grupos de enfoque Grupo de enfoque de mujeres en Yamaranguila
(seis por proyecto).

Análisis Cualitativo – Colaboración GWU (2)
Temas en los que se centraron las
entrevistas:
 Asistencia técnica
 Infraestructura productiva (incluyendo
sistemas de riego e invernaderos)
 Acceso a mercados formales
 Acceso al crédito
 Generación de ingresos
 Generación de empleo
 Calidad de vida (incluyendo vivienda,
salud, educación y dieta)
 Autonomía de las mujeres
Entrevista con productor de San Isidro (FUNBANHCAFE)
Productor de tomate en invernadero (PAG)

• Satisfacción general de los beneficiarios de ambos proyectos en temas de
asistencia técnica, mejoras de sistemas de riego, incremento de ingresos y
mejora de calidad de vida.
Análisis Cualitativo – Colaboración GWU (3)
Parte del equipo de GWU en una de las comunidades visitadas
Temas FunBanhcafé PAG
Invernaderos Propiedad comunal
Propiedad privada
Riesgo económico
Acceso a
mercados
formales
Falta de coordinación en
algunas comunidades
Venta del 80-90% de
la producción en
mercados formales
Acceso al
crédito
Acceso al crédito como
una estrategia de largo
plazo
Acceso al crédito
limitado a la
duración del proyecto
Empleo
Mayor generación de
empleo adicional
(contratación) y
empoderamiento de las
mujeres
Sólo agricultores con
mayores recursos
consiguieron
contratar personal

 ¿Cuanto dólares se generaron por cada dólar invertido?
 Se llevo a cabo un análisis costo-beneficio donde:
– El costo es el monto total otorgado a cada proyecto para su implementación.
– El beneficio es el cambio estimado en los ingresos de los beneficiarios
directos en cada proyecto.
 Se consideraron tres escenarios:
– Aumento en ingresos de beneficiarios solo durante periodo de ejecución
de proyectos.
– El ingreso de los beneficiarios aumenta en un horizonte temporal de 5
años.
– El ingreso de los beneficiarios aumenta en un horizonte temporal de 10
años.

Análisis costo-beneficio (2)
Beneficio neto total y beneficio neto por beneficiario
• Si el aumento de ingresos ocurre únicamente durante el periodo de
ejecución de los proyectos, el beneficio neto total sería de $2,929,187 y
el beneficio neto por beneficiario sería de $1,840.
• Los beneficios netos se incrementarían en casi 3 veces en un horizonte
de 5 años y 5 veces en un horizonte de 10 años.

Análisis costo-beneficio (3)
Beneficio neto total por proyecto
• Se obtiene un balance positivo de la implementación de la herramienta
Se omite WWF del cálculo porque se usa como proyecto base.

Diseño de la metodología de Scorecards
Índice
Implementación de metodología y
Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Conclusiones

Resumen y conclusiones
1. Los proyectos se caracterizaron por brindar distintos
tipos de ayuda y en distintos niveles de cobertura.
- Ayudas mas populares: capacitación/asistencia técnica en aspectos
organizativos, producción y comercialización; y provisión de insumos.
2. En términos de percepción, alto nivel de calificación por
parte de los beneficiarios.
- La gran mayoría estaría dispuesto a participar en un similar
proyecto a futuro.
- Aspectos donde se cree el programa tuvo mayor impacto: volúmenes de
producción y ventas.

Resumen y conclusiones (2)
3. Los resultados permiten validar la herramienta en
cuanto a la identificación de proyectos con gran (y
menor) potencial.
- Resultados de evaluación de la herramienta guardan estrecha
correlación con la puntuación inicial obtenida por los proyectos a través
de la PSC.
- Los dos primeros proyectos seleccionados son los que mostraron
mayores cambios en varios indicadores respecto a los demás proyectos; el
octavo proyecto seleccionado muestra menores cambios relativos.
- Principales diferencias entre los primeros proyectos y el resto se dan en
ingresos y gastos totales y per cápita, horas dedicadas a
actividad principal y acceso a canales formales de crédito.

Resumen y conclusiones (3)
4. El análisis costo-beneficio arroja, en líneas generales, un
balance positivo.
- Beneficio neto total y por beneficiario positivo.
- Proyectos con mejor posición en el ranking muestran un mayor
beneficio neto.
5. Importancia de expandir el programa piloto para refinar
evaluación de herramienta.
- Capturar heterogeneidades dentro de cada proyecto (debido a diferentes
niveles y tipos de ayuda) e identificar efectos de mediano y largo plazo.

Presentacion scorecards tool_central_america_mh_mt

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (11)

Similaire à Presentacion scorecards tool_central_america_mh_mt

Similaire à Presentacion scorecards tool_central_america_mh_mt (20)

Plus de Soonho Kim

Plus de Soonho Kim (6)

Dernier

Dernier (7)

Presentacion scorecards tool_central_america_mh_mt