1. 11
EVALUACIÓN DEEVALUACIÓN DE
PROGRAMASPROGRAMAS
Consideraciones teórico prácticasConsideraciones teórico prácticas
VI Reunión de Expertos en Reducción de la Demanda
CICAD/OEA
Julio Bejarano, M.Sc.

2. 22
ANTECEDENTES
¿DE DONDE SURGE LA NECESIDAD DE EVALUAR PROGRAMAS?
¿EXISTE RELACIÓN ENTRE ESA NECESIDAD Y EL DESARROLLO DE
MODELOS TEÓRICOS EN PREVENCIÓN?
Desde 1985* se destaca la importancia de que:
- La evaluación de los programas sean intrínseca, no agregada
- La evaluación se conciba como una oportunidad de demostrar
los valores del programa, no como una experiencia
penosa.
- El personal del programa se involucre en las diferentes fases
de la planificación de la evaluación
- Los beneficiarios de la prevención, la escuela, la comunidad,
deberían también estar involucrados en la planificación de la
evaluación
* Herrel y Herrel, en Bejarano, J. Evaluación cuantitativa de campañas antidrogas. CICAD/OEA, 1992

3. 33
““La evaluación ...es un procesoLa evaluación ...es un proceso
estable y flexible de análisis deestable y flexible de análisis de
información que busca, medianteinformación que busca, mediante
procedimientos sistemáticos yprocedimientos sistemáticos y
confiables, aumentar la eficiencia enconfiables, aumentar la eficiencia en
el desarrollo de las actividadesel desarrollo de las actividades
actuales y la planificación apropiadaactuales y la planificación apropiada
de las futuras” (*)de las futuras” (*)
¿Qué es evaluar?¿Qué es evaluar?
(*) Bejarano, J. Evaluación cuantitativa de campañas antidrogas. En Comunicación contra las
drogas. CICAD/OEA, Quito, 1992

4. 44
TIPOS DE EVALUACIÓNTIPOS DE EVALUACIÓN
Evaluación de procesos...Evaluación de procesos...
Evaluación de resultados...Evaluación de resultados...
Evaluación de impactoEvaluación de impacto

5. 55
Diseños más utilizados para la evaluaciónDiseños más utilizados para la evaluación
de impacto de programas de prevenciónde impacto de programas de prevención
Diseños experimentalesDiseños experimentales
Diseños cuasi-Diseños cuasi-
experimentalesexperimentales
Diseños solo postestDiseños solo postest
Diseños de pretest - postestDiseños de pretest - postest
Tipos de investigación en revisión de Skara y Sussman.doc

6. 66
Diseño experimentalDiseño experimental
Grupo de
estudiantes
Asignación
al azar
Grupo 1
Grupo 2
Grupo 3
Programa
1
Programa
2
Controles
R- Grupo 1
R- Grupo 2
R- Grupo 3
PRETEST POSTEST

7. 77
Diseño cuasi experimentalDiseño cuasi experimental
Grupo 1
Grupo 2
Programa
1
Controles
R- Grupo 1
R- Grupo 2
POSTEST
Grupo de
estudiantes

8. 88
Diseño solo PostestDiseño solo Postest
Grupo 1 Programa
A
R- Grupo 1
POSTEST
Grupo de
estudiantes

9. 99
DISEÑOS DE PRETEST-POSTESTDISEÑOS DE PRETEST-POSTEST
( o de verificación previa y posterior)( o de verificación previa y posterior)
Observación
inicial
Grupo 1 y
Grupo Control
Observación final
Grupo 1 y
Grupo Control
Intervención
Grupo 1

10. 1010
0
5
10
15
20
Línea base Año 1 Año 2 Año 3 Año 4 Año 5
Programa Cont rol
%quefumadiariamente
Tasas de prevalencia diaria de
fumado en colegiales de la ciudad de
Kansas
* Pentz, M. Preventing drug abuse through the Community: Multicomponent program
make the difference. NIDA. National Conference on Drug Abuse Prevention Research
Washington, DC, Sept. 1996

11. 1111
Efectos de la enseñanza de habilidades paraEfectos de la enseñanza de habilidades para
resolver problemas sobre las tasas de suspensiónresolver problemas sobre las tasas de suspensión
de jóvenes de sétimo añode jóvenes de sétimo año
Programa No programa Totales
Número y proporción de estudiantes
suspendidos
14
(5.2%)
36
(13%)
50
(10%)
Número y proporción de estudiantes no
suspendidos
254
(94.8%)
240
(87%)
494
(90%)
Total
268
(100%)
276
(100%)
544
(100%)
Tomado de OSAP ¨Handbook for evaluating drug and alcohol prevention programs¨US Dept. of Health and Human Services, 1978

12. 1212
El PROCESO DE RECOLECCIÓN DE DATOSEl PROCESO DE RECOLECCIÓN DE DATOS
EN LA EVALUACIÓN DE PROGRAMASEN LA EVALUACIÓN DE PROGRAMAS
- Actividades vinculadas con laActividades vinculadas con la
recolección de datosrecolección de datos
- ¿Qué es medir?¿Qué es medir?

13. 1313
RECOLECCIÓN DE DATOSRECOLECCIÓN DE DATOS
 ¿Qué es un instrumento de medición?¿Qué es un instrumento de medición?
 Requisitos de los instrumentos de medición:Requisitos de los instrumentos de medición:
ConfiabilidadConfiabilidad
ValidezValidez

14. 1414
PROCESO PARA LA ELABORACIÓN DEPROCESO PARA LA ELABORACIÓN DE
INSTRUMENTOSINSTRUMENTOS
Revisión de literatura-
cuestionarios sobre
temas semejantes
Evaluación de su
confiabilidad y validez
Adaptar un cuestionario
aplicado en otro estudio
Adolescents Instruments.pdf
Desarrollar un
cuestionario propio
Indicar niveles de
medición de los ítemes
Determinar codificación
de preguntas cerradas
Elaborar primera versión
del instrumento
Consulta a expertos Ajuste de la
primera versión
Prueba piloto Versión final

15. 1515
INSTRUMENTOS PARA RECOLECTAR DATOSINSTRUMENTOS PARA RECOLECTAR DATOS
 Escalas para medir actitudesEscalas para medir actitudes
 Tipo LikertTipo Likert
 Diferencial semánticoDiferencial semántico
 Escalograma de GuttmanEscalograma de Guttman
 CuestionariosCuestionarios
 Tipos de preguntasTipos de preguntas
 Características de las preguntasCaracterísticas de las preguntas
 InstruccionesInstrucciones
 Extensión del cuestionarioExtensión del cuestionario
 Maneras de administraciónManeras de administración

16. 1616
Escala de estado de ánimo
Instrucciones: A continuación se le presenta una serie de afirmaciones en relación con su estado de ánimo
durante los últimos 12 meses. Marque con una “X” la casilla que mejor indica la frecuencia con la cual ha
experimentado cada situación. Recuerde que no hay respuestas buenas ni malas.
1. Durante los últimos 12 meses, ¿con qué frecuencia le ocurrieron las siguientes situaciones?:
Nunca o casi
nunca
Pocas veces Muchas veces Siempre o casi
1. Sentirse cansado(a) para hacer
cosas
2. Tener problemas para dormir
3. Sentirse deprimido(a) o triste
4. Sentirse sin esperanza por el futuro
5. Sentirse nervioso (a) o
angustiado(a)
6. Preocuparse demasiado
(0) (1) (2) (3)

17. 1717
En el ejemplo anterior...
¿Cuál es el puntaje máximo si la escala es de 3
puntos?
¿Cuál es el puntaje mínimo?
¿ Cuál es el significado de ello?
¿ Si la escala se dicotomizara en 1 y 0, qué sucedería?

18. 1818
1. Durante los últimos 12 meses, ¿con qué frecuencia le ocurrieron las siguientes situaciones?:
Nunca o casi nunca Pocas veces Muchas veces Siempre o casi
1. Sentirse cansado(a) para hacer
cosas X
2. Tener problemas para dormir X
3. Sentirse deprimido(a) o triste X
4. Sentirse sin esperanza por el
futuro X
5. Sentirse nervioso (a) o
angustiado(a) X
6. Preocuparse demasiado X
(0) (1)
¿Puntaje total? 5

19. 1919
0 1 2 3 4 5 6
Lo cual equivale a analizar la puntuación en el continuo
0 – 1, a partir de PT/N= 5/6= 0,83
Con respecto a la escala total un puntaje de 5/6 es indicativo
de alguien con una alteración significativa del estado de
ánimo
0 1

20. 2020
Muestra de un
instrumento para
medir habilidades
para vivir
Cuestionario
Secciones:
- Datos sociodemográficos
- Toma de decisiones
- Relaciones interpersonales
- Comunicación asertiva
- Autoestima
- Enfrentamiento del estrés
- Presión de grupo
- Consumo de drogas
- Conocimientos y actitudes

21. 2121
PROGRAMA “TRAZANDO CAMINO”
Comparación
Con P.T.C.7° Con P.T.C.8°
PARCIAL1
Sin P.T.C. Comparación
Con P.T.C.
PROPUESTA Comparación
AÑO 2001
Sin P.T.C.
1 En unos colegios no se aplicó el Programa, en otros se aplicó un 33%, 50% y un 66%.
7°
PRETEST
03/1999
8°
Evaluación
11/2000
8°
Grupo de
comparación
11/1999
7°
POSTEST
11/1999
7°-8°-9°
Pretest-Casos
02/2001
7°-8°-9°
Postest-Casos
11/2001
7°-8°-9°
Postest -Controles
11/2001
7°-8°-9°
Pretest-Controles
02/2001

22. 2222
Tipo de estudio eTipo de estudio e
instrumentoinstrumento
 Diseño pre test – post testDiseño pre test – post test
 Instrumento compuesto de:Instrumento compuesto de:
 50 reactivos para evaluar Habilidades para Vivir50 reactivos para evaluar Habilidades para Vivir
distribuídos en 6 dominios o escalasdistribuídos en 6 dominios o escalas
 25 preguntas sobre consumo de alcohol, tabaco y25 preguntas sobre consumo de alcohol, tabaco y
otras drogasotras drogas
 9 ítemes sobre conocimientos acerca del alcohol9 ítemes sobre conocimientos acerca del alcohol
 6 preguntas sobre actitudes hacia el alcohol6 preguntas sobre actitudes hacia el alcohol
 17 itemes sobre actitudes hacia el tabaco17 itemes sobre actitudes hacia el tabaco
 5 preguntas acerca de información demográfica5 preguntas acerca de información demográfica

23. 2323
MuestraMuestra
ESTUDIANTES 1 879 en pre-
test
1/3 por nivel
COLEGIOS
12 centros líderes
12 centros controles
80% públicos
47% hombres
920 en post-test 8 ° y 9 ° años

24. 2424
Dominios incluidos en el instrumento de evaluación del
Programa Trazando el Camino
Costa Rica, 2001
DOMINIODOMINIO SIGNIFICADOSIGNIFICADO NUMERO DENUMERO DE
PREGUNTASPREGUNTAS
CONFIBIALIDADCONFIBIALIDAD
Toma deToma de
decisionesdecisiones
Mide la capacidad del jovenMide la capacidad del joven
para asumir decisiones por sípara asumir decisiones por sí
solo.solo.
1111 74,474,4
RelacionesRelaciones
interpersonalesinterpersonales
Mide la capacidad del joven paraMide la capacidad del joven para
interactuar socialmente.interactuar socialmente.
66 47,847,8
ComunicaciónComunicación
asertivaasertiva
Mide la capacidad paraMide la capacidad para
comunicarse y transmitircomunicarse y transmitir
mensajes de manera efectivamensajes de manera efectiva
1212 40,740,7
Percepción dePercepción de
amenazasamenazas
Mide la forma como los jóvenesMide la forma como los jóvenes
perciben el entorno socialperciben el entorno social
88 42,542,5
AutoestimaAutoestima Mide la opinión que los jóvenesMide la opinión que los jóvenes
tienen de sí mismos.tienen de sí mismos.
66 17,617,6
Presión dePresión de
GrupoGrupo
Mide la influencia que los gruposMide la influencia que los grupos
de pares ejercen sobre losde pares ejercen sobre los
adolescentes que puedeadolescentes que puede
interferir o no, en las decisionesinterferir o no, en las decisiones
77 31,331,3

25. 2525
PuntuacionesPuntuaciones
en las escalasen las escalas
(significado)(significado)
Puntaje máximo: 5Puntaje máximo: 5
Puntaje mínimo: 1Puntaje mínimo: 1
A mayor puntaje mejorA mayor puntaje mejor
desempeño en el dominiodesempeño en el dominio

26. 2626
Puntajes promedio obtenidos por los estudiantes de los grupos
controles y grupos líderes en los dominios estudiados
Costa Rica, 2001
DOMINIOSDOMINIOS
pre-testpre-test post-testpost-test pre- testpre- test post- testpost- test
CONTROLESCONTROLES CONTROLESCONTROLES LIDERESLIDERES LIDERESLIDERES
Toma de decisionesToma de decisiones 4.024.02 3.94 (*)3.94 (*) 3.993.99 4.014.01
Relaciones Interpers.Relaciones Interpers. 3.623.62 3.613.61 3.563.56 3.66 (*)3.66 (*)
Comunicación AsertivaComunicación Asertiva 3.473.47 3.66 (*)3.66 (*) 3.413.41 3.65 (*)3.65 (*)
AutoestimaAutoestima 3.693.69 4.13 (*)4.13 (*) 3.653.65 4.10 (*)4.10 (*)
Manejo del estrésManejo del estrés 2.832.83 3.79 (*)3.79 (*) 2.902.90 3.80 (*)3.80 (*)
Presión grupalPresión grupal 2.522.52 4.19 (*)4.19 (*) 2.532.53 4.21 (*)4.21 (*)
(*) Diferencia estadísticamente significativa entre el pre-test y el post-test.

27. 2727
Prevalencia de vida de consumo de drogas en los
estudiantes de los grupos control y líderes
Costa Rica, 2001
(valores porcentuales)
DROGASDROGAS pre-testpre-test post-testpost-test pre- testpre- test post- testpost- test
CONTROLESCONTROLES CONTROLESCONTROLES LIDERESLIDERES LIDERESLIDERES
AlcoholAlcohol 37.437.4 45.0*45.0* 33.533.5 41.1*41.1*
TabacoTabaco 11.811.8 21.0*21.0* 13.013.0 23.0*23.0*
MarihuanaMarihuana 1.01.0 1.91.9 1.01.0 2.52.5
CocaínaCocaína 0.30.3 0.60.6 0.40.4 0.50.5
(*) Diferencia estadísticamente significativa entre el pre-test y el post-test.

28. 2828
pre-test post-test pre- test post- test
DROGAS CONTROLES CONTROLES LIDERES LIDERES
Alcohol 17.0 20.0 16.1 21.3*
Tabaco 7.5 7.1 7.0 9.8
Marihuana 0.6 1.7 0.5 1.0
Consumo activo de drogas en los estudiantes de los
grupos control y grupos líderes
Costa Rica, 2001

29. 2929
CONTROLES
pre-test post-test
LIDERES
pre- tests post- testDROGA
M F M F M F M F
Prevalencia de vida
Alcohol 49.2 53.2 50.4 60.2 52.9 49.2 49.7 56.7
Tabaco 27.2 19.3 30.9 24.4 34.4 20.3 30.1 29.8*
Mariguana 2.0 0.9 3.4 1.8 2.7 1.0 2.7 3.4
Prevalencia de mes
Alcohol 15.3 18.7 17.4 21.9 18.6 13.8 19.7 22.1*
Tabaco 10.0 5.4 8.1 6.5 11.3 2.6 10.9 9.1*
Mariguana 0.7 0.6 2.1 1.4 0.7 0.0 1.1 1.0*
Consumo de drogas por sexo según prevalencia en los estudiantes
de los grupos control y líderes
Costa Rica, 2001
(valores porcentuales)
* Diferencia estadísticamente significativa entre el pre-test y el post-test

30. 3030
Una experienciaUna experiencia
con niños encon niños en
edad escolar...edad escolar...

31. 3131
Puntajes obtenidos en las habilidades evaluadasPuntajes obtenidos en las habilidades evaluadas
en el pre y el postesten el pre y el postest
Costa Rica, mayo 2003 – diciembre 2003Costa Rica, mayo 2003 – diciembre 2003
1,95
1,98
1,92
2,0
1,81
1,81
1,51
1,65
1,21
1,23
0 1 2 3
Exposición a
publicidad
Reconoc.
Emociones
Conocerse
Toma
decisiones
Familia
Los valores corresponden a 1. Siempre, 2. A Veces, 3. Nunca. Lo recomendable es que las habilidades se ubiquen
En el nivel 1.

32. 3232
Programa Aprendo a Valerm e por Mí Mism o
Consum o activo de drogas en estudiantes de
4 grado de enseñanza prim aria
Costa Rica, mayo – diciembre 2003
DROGA PRETEST POSTEST
Alcohol 15.1% 10.0%
Tabaco 5.4% 4.3%
Otra 3.2% 2.8%
N: 700
Edad: 10 - 11 años

33. 3333
CUESTIONES ÉTICASCUESTIONES ÉTICAS

34. 3434* Tomado de CIOMS, Ginebra Pautas Internacionales para al Evaluación Ética de estudios Epidemiológicos, 1991
Principios Éticos Internacionales Aplicados enPrincipios Éticos Internacionales Aplicados en
Estudios EpidemiológicosEstudios Epidemiológicos**
En comparación con los estudiosEn comparación con los estudios experimentales,experimentales, los estudios delos estudios de cortecorte
transversaltransversal, los de, los de casos y controlescasos y controles y los dey los de cohortecohorte, suponen riesgos mínimos, suponen riesgos mínimos
para los participantes.para los participantes.
Aspectos por considerar:Aspectos por considerar:
 Otorgar o no consentimiento individualOtorgar o no consentimiento individual
 Anuencia de la comunidadAnuencia de la comunidad
 Divulgación selectiva de informaciónDivulgación selectiva de información
 Inducción a participarInducción a participar
 Comunicación de los resultados del estudioComunicación de los resultados del estudio
 Publicación de los resultadosPublicación de los resultados
 Atención médica a la comunidad sometida a estudioAtención médica a la comunidad sometida a estudio
 Capacitación del personal de salud localCapacitación del personal de salud local
 Evitar el daño a gruposEvitar el daño a grupos
 Publicidad perjudicialPublicidad perjudicial
 Respeto por las costumbres y las culturasRespeto por las costumbres y las culturas
 ConfidencialidadConfidencialidad

35. 3535
CONSENTIMIENTO INFORMADOCONSENTIMIENTO INFORMADO**
 Debe entenderse como un proceso y no como un formularioDebe entenderse como un proceso y no como un formulario
 El documento debe pensarse como herramienta educativa no comoEl documento debe pensarse como herramienta educativa no como
instrumento legalinstrumento legal
 Descripción minuciosa de los procedimientos y actualización de losDescripción minuciosa de los procedimientos y actualización de los
riesgos o beneficiosriesgos o beneficios
 Si hay pago de por medio, este no debe ser coercitivo, ni en losSi hay pago de por medio, este no debe ser coercitivo, ni en los
montos, ni en la forma de distribuciónmontos, ni en la forma de distribución
 Debe haber nombres de personas (no sólo el del que firma elDebe haber nombres de personas (no sólo el del que firma el
consentimiento) que respondan a preguntas sobre laconsentimiento) que respondan a preguntas sobre la investigacióninvestigación,,
loslos derechos del pacientederechos del paciente y losy los daños potencialesdaños potenciales del estudio. Estasdel estudio. Estas
tres áreas deben estar explícitamente indicadastres áreas deben estar explícitamente indicadas
 Participación en el estudio y eventual retiro como actosParticipación en el estudio y eventual retiro como actos
enteramente voluntariosenteramente voluntarios
* Tomado de Detailed Guidance for Presentation of a Single Project Assurance (SPA). En Librero 11-172-A

36. 3636
Muchas gracias...Muchas gracias...