Este documento presenta información sobre la validación de instrumentos de evaluación. Explica que para que un examen sea válido y confiable, debe medir lo que pretende medir de manera consistente. Describe métodos para analizar la dificultad de los ítems, la discriminación, la confiabilidad y la validez. También distingue entre la evaluación basada en criterios, que usa puntos de corte preestablecidos, y la evaluación normativa, que clasifica a los estudiantes según su rendimiento relativo al grupo.

1. Unidad II: La evaluación del
aprendizaje
Comunidad Educativa Tomás Moro Dos
Impartido por: Luis Medina Gual
Asesor Pedagógico Docente CCH

2. Teórico
Temario (tentativo)
Generalidades sobre educación.
◦ Concepto de educación y pedagogía.
◦ Historia y teoría pedagógica.
◦ La didáctica general y diferencial.
◦ El diseño instruccional.
La evaluación.
◦ La evaluación: constructo y tipología.
◦ La medida.
◦ Instrumentos de evaluación.
◦ Validación de instrumentos.
◦ Implicaciones de la evaluación.
Práctico

3. Validación de instrumentos
¿Mi examen es “bueno”?
Dificultad.
Evaluación basada en la norma vs basada
en criterio.

4. Validación de instrumentos
¿Mi examen es “bueno”?
Dificultad.
Evaluación basada en la norma vs basada
en criterio.

5. Validación de instrumentos
¿Mi examen es “bueno”?:
◦ Confiabilidad.
◦ Validez.

6. Validación de instrumentos
¿Mi examen es “bueno”?:
◦ Confiabilidad: es consistente.
◦ Validez: mide lo que debe medir.

7. Validación de instrumentos
Validez: mide lo que debe medir.
◦ Validación por jueces.
◦ Validación por análisis factorial.
◦ Relaciones entre pruebas.

8. Validación de instrumentos
Validez: mide lo que debe medir.
◦ ¿Quién mejor que el maestro para decir que
el examen mide lo que pretende medir?

9. Validación de instrumentos
Confiabilidad: si yo aplico el mismo
examen bajo las mismas condiciones…
¿los alumnos obtendrán las mismas
calificaciones?
◦ Consistencia de puntajes a través del tiempo.

10. Validación de instrumentos
Confiabilidad:
◦ Teoría clásica.
◦ Teoría de Respuesta al Ítem (TRI).

11. Validación de instrumentos
Confiabilidad:
◦ Teoría clásica: cómo se relacionan todos los
ítems entre sí.
◦ Teoría de Respuesta al Ítem (TRI).

12. Validación de instrumentos
Confiabilidad:
◦ Teoría clásica: cómo se relacionan todos los
ítems entre sí.
Split Half.
Correlación test-retest.
Alfa de Cronbach.

13. Validación de instrumentos
Confiabilidad:
◦ Teoría clásica.
◦ Teoría de Respuesta al Ítem (TRI): valora el
comportamiento de cada ítem por separado.
Discriminación: un reactivo logre discernir entre
quienes aprendieron y quienes no.
Resultado Competente No competente
Aprueba ☺ (falsos positivos)
No aprueba (falsos negativos) ☺

14. Validación de instrumentos
Confiabilidad: TRI sencillísimo…

15. Validación de instrumentos
Confiabilidad:
◦ % de alumnos de GS que aciertan - % de
alumnos en GI que aciertan.
27% % de sujetos que
aciertan, GS
Calificación
Discriminación
27% % de sujetos que
aciertan, GI

16. Validación de instrumentos
¿Mi examen es “bueno”?
Dificultad.
Evaluación basada en la norma vs basada
en criterio.

17. Validación de instrumentos
Dificultad:
◦ Se define como: (número de correctas /
número máximo).
◦ Es una “probabilidad de ejecución”.
◦ Capacidad del estudiante: (número de
correctas / número máximo).

18. Validación de instrumentos
Responder a reactivo es un proceso
“estocástico”:
◦ Estudiante 0.80 vs reactivo 0.60.
◦ Estudiante 0.65 vs reactivo 0.20.

19. Validación de instrumentos
¿Cómo distribuir dificultades de
reactivos?
◦ Método Ebel.
Rel-Dif Fácil Medio Difícil
Esencial
Importante
Aceptable
Cuestionable

20. Validación de instrumentos
¿Cómo distribuir dificultades de
reactivos?
◦ Método distributivo.
27% reactivos difíciles (0.39 ó menos).
27% reactivos fáciles (0.61 ó más).
46% reactivos medios (0.40-0.60).

21. Validación de instrumentos
¿Cómo distribuir dificultades de
reactivos?
◦ Método 20-80.
0.9
0.8
0.7
0.6
0.5
Dificultad Instrumento
0.4 Recta 20-80
0.3
0.2
0.1
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

22. Validación de instrumentos
¿Cómo distribuir dificultades de
reactivos?
◦ Método 20-80.
0.9
0.8
0.7
0.6
0.5 Dificultad Instrumento
0.4 Recta 20-80
0.3 Recta 25-85
0.2
0.1
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

23. Validación de instrumentos
Actividad:
◦ Analizar reactivos de mi examen: obtener
dificultades y discriminaciones.
◦ Graficar recta 20-80.
◦ ¿Qué reactivos tengo más?: difíciles, fáciles,
medios, etc…
◦ ¿Cuáles reactivos discriminan y cuáles no?
¿Qué características tienen en común los que
sí y los que no discriminan?

24. Validación de instrumentos
¿Mi examen es “bueno”?
Dificultad.
Evaluación basada en la norma vs basada
en criterio.

25. Evaluación basada en la norma vs
basada en criterio.
Evaluación basada en criterio: distribución
de los puntajes con base en un criterio
preestablecido.
Evaluación basada en la norma:
distribución de la capacidad de
ejecución de los estudiantes.

26. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Fija un “criterio”, una “condición” para que el
alumno obtenga un “nivel de logro”.
◦ Ejemplo típico:
Respuesta al 60% de reactivos: “aprobado”.
Respuesta a menos del 60%: “reprobado”.
◦ Aprobado o reprobado son “niveles de logro”
fijados por el criterio 60% de respuestas.
◦ El 60% es un “punto de corte”.
◦ Modelo Vienés (no calificación, sólo acreditación).

27. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ ¿Qué significa aprobado?
El alumno es capaz de… objetivos formulados.
◦ ¿Qué significa reprobado?
El alumno requiere mejorar su capacidad de…
objetivos formulados.

28. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ ¿Para qué establecer criterios?

29. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ ¿Para qué establecer criterios?
Cuestión de control o acreditatoria.
Comparación entre distintos sujetos evaluados.
Establecimiento claro de la capacidad de ejecución
del estudiante.

30. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

31. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

32. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Definir cuántos niveles de logro se
establecerán:
¿Qué tanta información requiero?
A mayor cantidad o detalle de logro del estudiante
requiero mayor número de niveles de logro.
Reprobado vs aprobado (dos categorías).
Insuficiente vs elemental vs avanzado (tres
categorías).

33. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

34. Evaluación basada en la norma vs
basada en criterio.
Elaborar la descripción guía:
◦ Proporcionar marcos de referencia que permita
identificar con mayor facilidad los conocimientos y
habilidades de cada nivel.
◦ Deben evitarse palabras ambiguas o con tecnicismos
o “negativos” para la población.
Etiquetas Origen
Básico, competente, avanzado National Assessment of Educational
Progress
Limitado, básico, competente, Pruebas de rendimiento del Estado
acelerado, avanzado de Ohio
Por debajo del básico, básico, medio Exámenes de Calidad y Logro
y avanzado Educativo (EXCALE)
Nivel 1, 2, 3 Proyecto PISA (2000), Lectura

35. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

36. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Elaborar las descripciones guía:
Refleja de manera global el desempeño de los
estudiantes.
Deben marcar diferencias claras de nivel a nivel.
Etiqueta Descripción guía del nivel de logro
Elemental El sustentante es capaz de identificar procedimientos, hechos y
conceptos y puede establecer relaciones básicas entre esos
elementos.
Satisfactorio El sustentante es capaz de organizar su conocimiento (…) a partir
de lo cual puede extraer inferencias o conclusiones.
Sobresaliente El sustentante es capaz de generalizar y aplicar los procedimientos
y conceptos en distintos contextos.

37. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

38. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Desarrollar la descripción de cada nivel de
logro:
Deben ser sucesivamente más complejas.
Deben ser cualitativamente diferentes (no debe de
ser sólo cambio en cantidad de capacidad de
ejecución).
Las descripciones deben ser positivas.
Deben referirse a comportamientos y habilidades
no al conocimiento de un tema (a lo que pueden
hacer con ellos).

39. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Pasos para el establecimiento de criterios:
a. Definir cuántos niveles de logro se
establecerán.
b. Seleccionar los nombres o etiquetas de cada
nivel.
c. Elaborar la descripción guía.
d. Desarrollar la descripción de cada nivel de
logro.
e. Evaluación del proceso de establecimiento de
los niveles de logro.

40. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Evaluación del proceso de establecimiento de
niveles de logro:
¿Los niveles de logro son representativos del
contenido y permiten interpretar las puntuaciones
de un modo adecuado por el examen?
¿El número de categorías fue el apropiado?
¿Apoyan el proceso de toma de decisiones para la
mejora del quehacer educativo?
¿Facilitan la comunicación efectiva de los
resultados a las instituciones educativas, los
alumnos y la sociedad en general?

41. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Puntos de corte: versión numérica de las
descripciones cualitativas de los niveles de
logro.
◦ Reflejan un estándar de desempeño.
◦ Debe aplicarse de forma idéntica para toda la
población.

42. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Puntos de corte: método Medina (sencillo para
exámenes en instituciones educativas; adecuación
del método Angoff).
Establece 3 puntos de corte.
a. Enlistar reactivos y poner valor.
b. Asignar probabilidad de respuesta.
c. Docente asigna probabilidad de respuesta correcta.
d. Ordenar de más a menos probabilidad.
e. Obtención de media de probabilidades.
f. Obtención de desviación estándar.
g. -1 desv. Estándar, media, desv. Estándar.

43. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Puntos de corte:

44. Evaluación basada en la norma vs
basada en criterio.
Evaluación criterial:
◦ Puntos de corte:

45. Evaluación basada en la norma vs
basada en criterio.
Evaluación normativa:
◦ A partir de la capacidad de los estudiantes yo
los evalúo.
◦ Evaluación por “campana”.
◦ Evaluación por normalización de puntajes.

46. Evaluación basada en la norma vs
basada en criterio.
Evaluación normativa:
◦ Evaluación por “campana”:
El de mayor puntaje= 10.
Veo cuál es el total de respuestas correctas y a ese
máximo lo convierto a 100%.
Examen de 45 reactivos; Juan es el más alto y
contestó 39. En lugar de 45=100%, 39=100%.

47. Evaluación basada en la norma vs
basada en criterio.
Evaluación normativa:
◦ Evaluación por normalización de puntajes:
“Depende de la distribución”.
Obtengo promedio.
Obtengo desviación estándar.
Fijo cuánto representa mi promedio (generalmente 8).
Fijo cuánta distancia representa mi desviación estándar
(generalmente 1 punto).
Obtener puntuaciones Z de los estudiantes: Z=(x-
media)/s.
Asigno puntuaciones cambiando media y desviación por
las establecidas y convirtiendo por: x=(Zs+media).

48. Evaluación basada en la norma vs
basada en criterio.
Evaluación normativa:
◦ Evaluación por normalización de puntajes:

49. Teórico
Temario (tentativo)
Generalidades sobre educación.
◦ Concepto de educación y pedagogía.
◦ Historia y teoría pedagógica.
◦ La didáctica general y diferencial.
◦ El diseño instruccional.
La evaluación.
◦ La evaluación: constructo y tipología.
◦ La medida.
◦ Instrumentos de evaluación.
◦ Validación de instrumentos.
◦ Implicaciones de la evaluación.
Práctico

50. Implicaciones de la evaluación
¿Para qué tanto evaluar?
¿Para qué desgastarnos?
¿A quién le sirve la evaluación?

51. Implicaciones de la evaluación
Alumno:
◦ Retroalimenta sobre desempeño.
◦ ¿Qué estrategias de estudio usó para cada
materia?
◦ Valora interés y capacidad del estudiante.
◦ ¿Qué tipo de contenidos se le dificultan?
◦ ¿Para qué sirve aprender?: para seguir
aprendiendo. Implicaciones como “meta-
aprendizaje”.

52. Implicaciones de la evaluación
Docente:
◦ Retroalimenta sobre su función docente.
◦ ¿Cuál es el fin del maestro? Volverse inútil
para su alumnos.
◦ ¿En qué temas aprendieron? ¿En qué temas
parecen no haber aprendido? ¿Qué estrategias
empleé? ¿Qué tiempo le di?
◦ ¿Qué tema fue el más fácil/difícil para los
estudiantes?
◦ ¿Hubo algún nivel taxonómico muy difícil/fácil?

53. Implicaciones de la evaluación
Docente:
◦ Relación dificultad y profundidad.
Dificultad
Profundidad

54. Implicaciones de la evaluación
Docente:
◦ Relación dificultad y nivel taxonómico.
Dificultad
Nivel
taxonómico

55. Implicaciones de la evaluación
Docente:
◦ Ejemplo:
Historia de México.
Unidad Objetivo Nivel Dificultad Profundidad Modificación Modificación
taxonómico (% del taxonomía profundidad
bimestre)
Unidad 1 Identificar 1 memoria 0.7 (la 20% 4 análisis 25%
elementos de (cognitivo) mayoría
origen de la contestó
independencia bien)
mexicana
Unidad 2 Analizar los 4 análisis 0.3 (la 10% 2 15%
hechos que (cognitivo) minoría comprensión
permitieron la contestó)
consumación de
la independencia

56. Implicaciones de la evaluación
Sociedad:
◦ Acreditación y reconocimiento de los
estudiantes: medida de control.
◦ Evaluación estandarizada: contraste entre
métodos educativos, currícula, alineación a
fines del sistema.