DISEÑOS CONTRAFACTUALES

1. El diseño experimental
Martín Valdivia GRADE

2. Esquema de presentación
I.Introducción
II.Por qué aleatorizar
III.Cómo aleatorizar
IV.Ventajas y desventajas del diseño experimental

3. I.Introducción

4. El diseño experimental
•El problema de la inferencia causal:
•¿Cómo ha cambiado la vida de los beneficiarios de mi programa comparado con como hubieran cambiado si mi programa no hubiera existido?
•Pero, un mismo individuo no puede ser observado en dos estados distintos (con o sin programa) en el mismo momento
•Diferente de las preguntas de monitoreo:
•¿Qué servicios llegaron a recibir o usar los beneficiarios de mi programa?
•¿Cómo ha cambiado la vida de los beneficiarios de mi programa después de haber participado en el programa?

5. El diseño experimental II
•Cofluencia de factores hace el tema complicado
•Shocks agregados (macroeconómicos, climáticos, etc.)
•Selección de beneficiarios por el programa (lugares, definición de elegibilidad)
•Auto-selección de los beneficiarios (motivación, espíritu empresarial etc. definen take up)
•Tomamos las diferencia entre:
Qué ocurrió con el programa
- Qué hubiera ocurrido sin el programa
= Impacto
Este último escenario se denomina el contrafactual.

6. Tiempo
Resultado primario
Impacto
Intervención
Impacto

7. Tiempo
Intervención
Impacto
Resultado primario
Impacto

8. Tiempo
Intervención
Impacto
Resultado primario
Impacto

9. Contrafactual
•El contrafactual generalmente se construye a partir de la selección de un grupo no afectado por el programa
Sesgo de selección de beneficiarios
•Evaluación Aleatoria:
Usa una asignación aleatoria del programa para crear un grupo de control.
•Evaluación No Aleatoria:
Argumenta que un cierto grupo excluido del programa “replica” el contrafactual

10. El diseño experimental hoy
•En la actualidad, los experimentos aleatorios juegan un rol importante en development economics.
•Los experimentos que se utilizan para medir el impacto de programas sociales alrededor del mundo difieren de aquellos experimentos en el sector salud, tanto en escala como en presupuesto.
•Los experimentos aleatorios se han convertido en un importante instrumento para evaluar muchos programas sociales.
•J-PAL, así como IPA, CEGA, E-Pod, etc, se dedica exclusivamente a apoyar este tipo de evaluaciones.

11. II. ¿Por qué aleatorizar?

12. El sesgo de selección

13. El sesgo de selección II
•Sesgo positivo con auto-selección
Escuelas que compran libros de texto son las que le dedican más tiempo a la educación de sus hijos, mayor prioridad
•Sesgo negativo si la focalización del programa funciona adecuadamente
•Aunque no se puede observar ese sesgo
•Ambos procesos pueden operar conjuntamente

14. Aleatorización y la estimación del impacto de una intervención
•Elimina sesgo de selección:
•En el contexto de una regresión:

15. Aleatorización y la estimación del impacto de una intervención II
•Dos supuestos claves adicionales:
–Estabilidad del valor de la unidad de tratamiento (Rubin, 1980)?
–En inglés: Stable Unit Treatment Value Assumption (SUTVA)
•Estado de tratamiento de cualquier unidad no afecta el resultados potencial de las otras unidades (no interferencia)
•El tratamiento para todas las unidades es comparable (tratamientos sin variaciones)
•Externalidades, efectos de equilibrio general y SUTVA
–Entrenamiento laboral (job training) muy masivo (EEG)
–Tratamientos que suponen transferencia de Información clave puede ser transmitida a red de amigos
–Tratamientos flexibles que se adaptan a la necesidad del beneficiario

16. Aleatorización y la estimación del impacto de una intervención III
•Externalidades, EEG general establecen complicaciones, pero también oportunidades para otras preguntas.
•Externalidades y los mecanismos de difusión (Chong, et. al., 2012)
–Estudio busca evaluar el impacto de un programa de capacitación por internet en salud sexual y reproductiva para estudiantes de escuelas públicas en Colombia
–Escuelas tratadas asignaban tiempo a la revisión de esos materiales
–Escuelas asignadas aleatoriamente al tratamiento, pero con diferencias entre aulas
–En algunas escuelas tratadas, se observaban dos aulas, solo una tratada directamente
–No se encontraron efectos sobre los tratados indirectamente, el proceso de difusión no traspasa las aulas
–Si se encontró un efecto más fuerte para aquellos alumnos cuyos amigos cercanos también fueron tratados, sobre conocimiento y actitudes

17. Aleatorización y la estimación del impacto de una intervención IV
•Otro ejemplo: Giné y Mansuri (2011)
–Impacto de una campaña de promoción del proceso electoral sobre el voto femenino y la elección del candidato en Pakistán
–Grupos de manzanas dentro de las localidades fueron asignadas aleatoriamente a tratamiento y control; algunos hogares no tratados directamente fueron observados al final
–Mujeres tratadas directa e indirectamente votaron más (12 pps) – large spillovers
–¿Por qué nos importaría?
•10 mujeres tratadas aumentaban en 9 las mujeres que votaban. Costo por voto: US$ 2.3.

18. Aleatorización y la estimación del impacto de una intervención V
•Un ejemplo de tratamiento heterogéneo o flexible: programas integrales de desarrollo rural
–Varios elementos en la intervención: crédito, asistencia técnica, estrategias de comercialización, infraestructura
–Intervenciones se aplican según la demanda
–Descomposición de la intervención puede aportar mucho más información acerca de qué es lo que funciona

19. III. ¿Cómo aleatorizar?

20. ¿Cómo operativizar una aleatorización?
•Aleatorización simple
–Asumiendo que requieres 100 en cada grupo, de acuerdo a tus cálculos de poder
•En STATA, sobre una base de datos con las unidades de observación, algo como esto:
gen double random=uniform()
–sort random
–gen n=_n if random~=.
–gen treatment=0 if n<=100
–replace treatment=1 if n>=101 & n<=200
•¿Qué pasa si no hay marco muestral posible?
•De todas maneras, este tipo de programa/estrategia no es el mayor de los factores a tomar en cuenta
20

21. Viabilidad de la aleatorización
•La definición de quiénes serán los beneficiarios del programa ha estado siempre en manos de los implementadores del programa
–La aleatorización les quita poder
–Impide que usen sus conocimientos acerca quiénes deben/merecen recibir el tratamiento del programa
–Consideraciones éticas para la exclusión de ciertos grupos “necesitados” de los beneficios del tratamiento (que ellos ya saben que los beneficia)
•Estrategias útiles:
–Puede ayudar que Implementadores incorporen criterios de elegibilidad, aunque ello puede limitar validez externa de los resultados
–De todas maneras, es útil que el grupo elegible sea más grande que el tamaño de la intervención que puede manejar el programa en una primera etapa
21

22. Alternativas para la aleatorización
•No es necesario limitarse a programas nacientes
–Podemos trabajar con programas ya existentes
–Sobre innovaciones, expansiones, etc.
•Diferentes opciones:
–Diseño aleatorio por etapas
–Asignación aleatoria en la “burbuja”
–Diseño de estímulos
22

23. Diseños por etapas
•Es útil cuando restricciones administrativa o financieras impiden que el programa atienda a la población elegible desde el inicio
–Nadie está siendo excluido totalmente: A la larga, todos obtienen algo
–Miguel y Kremer (2004) con proyecto de desparasitación: 25 escuelas cada año por tres años
•Algunas Inquietudes
–Ventana de oportunidad puede ser más corta que el tiempo necesario para que los efectos de un programa se materialicen (¿microcrédito?)
–Puede complicar la estimación de los efectos a largo plazo
–Individuos en grupos rezagados pueden alterar su comportamiento si saben que recibirán el tratamiento luego (y si la ventana es muy corta)

24. Diseño por etapas
Ronda 3
Tratamiento: 3/3
Control: 0
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
Ronda 1
Tratamiento: 1/3
Control: 2/3
Ronda 2
Tratamiento: 2/3
Control: 1/3
La evaluación aleatoria finaliza

25. Aleatorización en “la burbuja”
•En ocasiones, un socio puede no estar dispuesto a aleatorizar entre personas elegibles - microfinanzas
–El socio podría estar dispuesto a aleatorizar en “la burbuja”.
–Las personas “en la burbuja” están en la línea limítrofe en términos de elegibilidad
–Justo por encima del umbral  no elegible, pero casi
•Karlan and Zinman (2007)
–Aleatorizan la asignación de crédito entre las solicitudes “marginales” de un banco en Sudáfrica, establecidas por un sistema de “credit scoring”
•¿Qué efecto del tratamiento medimos nosotros? ¿Qué significa esto para la validez externa?

26. Asignación aleatoria en “la burbuja”
Dentro de la burbuja, compare el tratamiento con el control
Participantes
No participantes
Tratamiento
Control

27. Diseño de estímulos
•En ocasiones, es práctica o éticamente imposible asignar el acceso al programa en forma aleatoria
–Pero la mayoría de los programas tiene una aceptación inferior al 100%
–En ese caso, puede asignarse aleatoriamente el estímulo para recibir tratamiento
•Ejemplo: León (2012)
–Votación en Perú es obligatoria y la ausencia supone una multa
–En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres
–Se asignó aleatoriamente los barrios de Lima en los cuales se proveía información acerca de la reducción de la multa
– elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados políticamente

28. Diseño de estímulos
Estimular
No estimular
participado
no participó
Cumplió
No cumple
compare los estimulados con los no estimulados
no compare participantes con no participantes
ajustar por incumplimiento en la fase de análisis
Estos deben ser correlacionados

29. Métodos de asignación aleatoria - recapitulación
Diseño
Los más útiles cuando…
Ventajas
Desventajas
Lotería Básica
•La suscripción al programa es sobrepasada
•Familiares
•Fáciles de entender
•Fáciles de implementar
•Se pueden implementar en público
•Puede que el grupo de control no coopere
•Desgaste diferencial

30. Diseño
Los más útiles cuando…
Ventajas
Desventajas
Diseño Por Etapas
•Se expanden en el tiempo
•A la larga, todos deben recibir tratamiento
•Fáciles de entender
•La restricción es fácil de explicar
•El grupo de control cumple, porque ellos esperan beneficiarse más tarde
•La anticipación del tratamiento puede afectar la conducta a corto plazo
•Es difícil medir el impacto a largo plazo
Métodos de asignación aleatoria - recapitulación

31. Diseño
Son más útiles cuando…
Ventajas
Desventajas
Estímulo
•El programa debe estar abierto a todos los recién ingresados
•Cuando la aceptación es baja, pero se puede mejorar fácilmente con un estímulo
•Se puede asignar en forma aleatoria a nivel individual, aun cuando el programa no sea administrado a ese nivel
•Mide el impacto de aquellos que responden al estímulo
•Necesita un aliciente suficientemente grande para mejorar la aceptación
•El estímulo mismo puede tener un efecto directo
Métodos de asignación aleatoria - recapitulación

32. Otros aspectos de la aleatorización
•La unidad de aleatorización óptima (individual, grupos)
–Tratar a los maestros y medir el rendimiento educativo de los niños
–Reparto de alimentos en una comunidad: limitaciones éticas/políticas para excluir familias elegibles al interior
•Tamaño y balance de la muestra
–Con muestras relativamente pequeñas, es posible que el grupo de tratamiento o de control difieran en variables relevantes para el análisis
32

33. La unidad de aleatorización
•Como dijimos antes, diferenciar la unidad de aleatorización (UA) de la de observación (UO) puede permitir analizar otras preguntas: mecanismos de difusión
•En todo caso, la diferencia entre la UA y la UO requiere algún cuidado a la hora de estimar los efectos del programa
–Ya no podemos usar las diferencias simples
–Modelo con efectos fijos a nivel de la unidad mayor (escuela, comunidad)
33
Yi j=a+b×Ti j+vj+ei j

34. Tamaño y balance de la muestra
•Si la muestra es relativemente, hay que estratificar
–dividir la muestra en diferentes subgrupos
–seleccionar el tratamiento y control de cada subgrupo
•Que variables son buenos estratificadores?
–variables que podrían tener un impacto importante sobre la variable de resultado
–subgrupos sobre los cuales se pueda pensar que el impacto del programa podría ser diferente
–valor de la variable en la línea de base
•Estimación:
•Aunque reduce grados de libertad, si correlación con variable Y es fuerte, aumenta precisión del efecto estimado β
34
Yi =a+b×Ti +gXi+ei

35. Evaluación de impacto como instrumento de gestión
•Diseño simple puede ser complicado de aceptar para el implementador
–Resultado nulo o negativo no puede desligarse de su capacidad de gestión
•Tratamientos múltiples
–Decidir entre diferentes intervenciones posibles
–Diseño completo: control, tratamiento 1, tratamiento 2, tratamiento completo
–Permite comparar tratamientos, pero también analizar sustituibilidad/complementariedad
Yi =a+b1×T1+b2×T2+b3×T1×T2+ei

36. Tratamiento 1
Tratamiento 2
Tratamiento 3
Tratamientos múltiples

37. ¡Gracias!