2. Introducción| La medida del rendimiento académico
Introducción
LA MEDIDA DEL RENDIMIENTO ACADÉMICO
• Medir (v. contínuas) ≠ contar (v. discontínuas)
• Distancia entre la medida y lo medido
(> cuanto más abstracto sea lo medido)
• Teoría Clásica de los Test (TCT):
X (puntuación) = V (puntuación verdadera) +e (error)
•El mismo rasgo puede dar distintas
medidas
•Contar con el error de nuestra
medida
•Prudencia, es una orientación…
En consecuencia:
3. Construcción del test | Paso 1: Contenidos a evaluar
Conocer bien la estructura de los contenidos (especificar
los distintos apartados del programa de la asignatura)
nos permitirá:
1. CONOCER LOS CONTENIDOS A EVALUAR
No olvidar ningún aspecto importante.
Prescindir de lo anecdótico.
Ponderar cada apartado en función de su relevancia
intrínseca y relativa. Llegar a un aprueba equilibrada y
coherente
Ofrecer puntuaciones o diagnósticos diferenciados
¿Cómo construir un buen test?: Paso 1
Estimar la duración de la prueba
4. 2. DETERMINAR LOS OBJETIVOS
T
a
x
o
n
o
m
í
a
B
l
o
o
m
CONOCIMIENTO
Recuerdo de material aprendido
anteriormente
COMPRENSIÓN
Percepción del significado del
material
APLICACIÓN
Utilización de la información en situaciones
concretas
ANÁLISIS
Fraccionamiento del material en sus
elementos constitutivos
SÍNTESIS
Reunión de los elementos en un
todo
EVALUACIÓN
Formulación de juicios sobre el valor de una cosa
para un determinado propósito, utilizando ciertos
criterios.
La diferencia principal entre…
El método más empleado para…
Las principales características…
El mejor ejemplo del principio…
¿Cuál es el significado de la fórmula….?
¿Cuál es la teoría que esta implícita en …?
Después de analizar los datos que se
presentan….
¿Qué definición es aplicable para….?
¿Cuál es el procedimiento experimental
más adecuado para …?
¿Qué aplicación ejemplifica el principio de
la….?
En el texto presentado ¿qué parte es la
conclusión?
¿Qué elementos de la siguiente comunicación…
pueden considerarse factuales?
¿Cuál es el error lógico del siguiente argumento?
¿Qué conclusión se puede extraer de…?
¿Cuál es la hipótesis de…?
¿Qué procedimiento es el más fiable
para… ¿Cuál es el error lógico del
siguiente argumento?
¿Cómo construir un buen test?: Paso 2
Construcción del test | Paso 2: Determinar los objetivos
5. 3. RELACIONAR
CONTENIDOS Y
OBJETIVOS
¿Cómo construir un buen test?: Paso 3
Qué objetivos deben
cubrir los distintos
contenidos y viceversa.
No serán incluidos en el
instrumento aquellos
contenidos referidos a los
objetivos para los que no
se haya marcado X.
Tabla de especificaciones
Construcción del test | Paso 3: Relacionar contenidos y objetivos
6. 4. SELECCIONAR EL CONTENIDO DEL TEST
¿Cómo construir un buen test?: Paso 4
Imposibilidad de incluir todos los elementos
SUFICIENCI
A
REPRESENTATIVID
AD
El número de elementos debe ser al menos aquel que
permita incluir a todos los grandes bloques de
contenidos y objetivos.
Ejemplo: Si tenemos 3 grandes apartados de
contenidos y trabajamos con 5 objetivos, debería haber,
al menos, 3x5= 15 elementos.
VALIDEZ DE CONTENIDO. No todos los
objetivos ni los contenidos son igualmente
relevantes:
•Atribuir a los grandes bloques un mayor numero
de elementos (dando a todos igual valoración).
•Valorar más los elementos referidos a tales
objetivos y contenidos.
MUESTR
A
Construcción del test | Paso 4: Seleccionar el contenido del test
7. ¿Cómo construir un buen test?: Paso 4
Pero…
¿Cuántos ítems
debe tener un
test?
Prueba diagnóstica 20-30
Prueba sumativa > 50
Cálculo: Minuto por ítem
no exceder de 90 ítems
(hora y media de duración)
Construcción del test | Paso 4: Seleccionar el contenido del test
8. ¿Cómo construir un buen test?: Paso 5
5. REDACTAR LOS ITEMS
RESPUESTA ÚNICA
De las siguientes afirmaciones, ¿cuáles son correctas respecto a la literatura medieval portuguesa?
I. Un poema que narre el sufrimiento de una campesina, abandonada por el hidalgo que amaba por
causa de otra mujer, es una “cantiga de amor”.
II. Un poema que narre la desdicha de un hidalgo empobrecido que ama a una dama inaccesible es una
“cantiga de amigo”.
III. “Cantiga de amor” y “cantiga de amigo” son “poesías trovadorescas”.
IV. “Cantiga de amor” y “cantiga de amigo” eran cantadas con acompañamiento musical.
A) I, II, III y IV.
B) I, II y III.
C) I, II y IV.
D) I y II.
E) III y IV.
EL USB fue creado en 1996:
a) verdadero
b) falso
RESPUESTA
MÚLTIPLE
El conocimiento científico es:
1) Un conocimiento fruto del pensar
espontáneo
2) Una forma de conocimiento práctico
3) El único capaz de resolver nuestros
problemas
4) Un conocimiento demostrado
Máximo 5 alternativas
Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
9. ¿Cómo construir un buen test?: Paso 5
Elige la frase que presenta la forma correcta de redacción
a) Esté dicho: sólo sé que no se nada.
b) Este dicho: sólo se que no se nada.
c) Éste dicho: solo sé que no sé nada.
d) Este dicho: sólo sé que no sé nada.
e) Éste dicho: solo se que no se nada.
Anotar en los paréntesis de la columna A (países), los números de los elementos de
la columna B (capitales) que correspondan:
Columna A Columna B
( ) Japón (1) Pekín
( ) India (2) Tel Aviv
( ) China (3) Katmandú
( ) Nepal (4) Nueva Delhi
( ) Israel (5) Tokio
(6) Jerusalem
SUSTITUCIÓN
ASOCIACIÓN,
EMPAREJAMIENTO
O
CORRESPONDENCI
A
AFIRMACIÓN INCOMPLETA
El número de átomos de oxígeno que existen en 0,10
moles de nitrato de bario es:
a) 0,6
b) 6,0
c) 3,6 x 1022
d) 6,0 x 1022
e) 3,6 x 1023
LAGUNA
El “gorjeo” es propio del bebe de ….
meses:
a) uno
b) dos
c) tres
d) cuatro
Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
10. ¿Cómo construir un buen test?: Paso 5
El gráfico siguiente muestra la duración, en días, del desarrollo embrionario del lepidóptero Ephestia
kühniella en función de la temperatura. De su examen concluimos que:
1) el desarrollo más rápido se produce cerca de los 30ºC
2) cuanto más alta es la temperatura, más rápido es el desarrollo
3) el desarrollo sigue una curva logarítmica
4) el animal sólo se encuentra en lugares tropicales
5) a temperaturas inferiores a 10ºC el huevo se muere.
INTERPRETACIÓN
IDENTIFICACIÓN O LOCALIZACIÓN
Identifica en ésta célula el núcleo ( ), el citoplasma ( ) y la membrana ( ).
1
2
3
Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
11. 5. REDACTAR LOS ITEMS
¿Cómo construir un buen test?: Paso 5
⇒ Cuestiones generales a tener en cuenta
⇒Ofrecer en lo que se denomina el pie del elemento toda la información
necesaria pero de forma breve y concisa.
⇒Claridad en la formulación. Vocabulario correcto.
⇒Brevedad del enunciado.
⇒Corrección gramatical, ortográfica y sintáctica de los enunciados.
⇒Redactar de forma afirmativa, evitando las dobles negaciones.
Ejemplo: La media no es una medida de variabilidad. SI-NO
⇒Todas las alternativas deben ser plausibles.
⇒Evitar situar la respuesta correcta en una posición preferente.
⇒Evitar asociaciones entre el tronco del elemento y la respuesta correcta
⇒Contar con un banco de preguntas lo suficientemente amplio para no
repetir de un curso a otro.
Construcción del test | Paso 5: Redactar los ítems | cuestiones generales
12. 5. REDACTAR LOS ITEMS
¿Cómo construir un buen test?: Paso 5
⇒ La independencia de los ítems
⇒Difícil asegurarla: cualquier palabra en un ítem puede servir de pista o ayuda para
resolver otro u otros.
⇒Procurar no incluir elementos en cadena, la forma de responder, o no, a uno de
ellos permita contestar, o no, a varios que le siguen.
⇒EJEMPLO:1. El “gorjeo” es propio del bebe de …. meses:
a) uno
b) dos
c) tres
d) cuatro
2. ¿Cuál de las siguientes afirmaciones es propia de la misma edad?
a) Sólo me despierto y lloro si tengo hambre o estoy incómodo
b) Boca abajo estoy tranquilo y me sostengo apoyado sobre las manos.
c) Si me pones un objeto en la mano seré capaz de sostenerlo y me lo llevaré a
la boca.
d) Soy capaz de sostenerme un ratito sentado pero necesito apoyarme delante
con las manos para no caerme.
Construcción del test | Paso 5: Redactar los ítems | la independencia de los ítems
13. 6. ORDENAR LOS ITEMS
¿Cómo construir un buen test?: Paso 6
⇒ Por tipos de elementos
⇒Para presentar al principio de cada bloque instrucciones necesarias para resolverlo.
⇒Facilitar la corrección ya que cada tipo de elemento puede tener reglas específicas.
⇒ Por orden de dificultad
⇒Situar los elementos más fáciles al principio da ánimos para seguir adelante.
⇒ Lógica o cronológica
⇒Seguir el orden que la estructura de la materia exige puede facilitar las
contestaciones.
⇒ Al azar
⇒Presenta más dificultades que ventajas.
Construcción del test | Paso 6: Ordenar los ítems
14. 7. VALORAR LOS ÍTEMS
¿Cómo construir un buen test?: Paso 7
⇒ A través de las siguientes fórmulas
⇒La tendencia natural puede ser atribuir un punto a la respuesta correcta y cero
para la incorrecta.
⇒Pero la posibilidad de respuestas correctas por azar lleva a la necesidad de valorar
los elementos de forma diferente para disuadir de contestarlos cuando se sabe que esa
contestación es puramente al azar.
Pruebas verdadero-falso
Resultado (R) =Aciertos (A) –
Errores (E)
Pruebas elección múltiple
Donde na es el numero de respuestas que se ofrecen.
1-n
E
-AR
a
=
Construcción del test | Paso 7: Valorar los ítems
15. 8. VALORAR LA PRUEBA
¿Cómo construir un buen test?: Paso 8
⇒ Según los diferentes tipos de objetivos evaluados
⇒En ocasiones conviene que junto a la puntuación global obtengamos puntuaciones
diferenciadas al menos en dos niveles:
⇒Se trata de apreciar si hay objetivos
claramente superados y otros
deficientes, si el nivel es uniforme en
sentido positivo o negativo. 0
10
20
30
40
50
60
70
80
90
100
Conocimiento
Comprensión
Cálculo
Aplicación
Valoración
Total
Puntuación
diferenciada
⇒ Según las diversas unidades importantes de contenido
⇒Un alumno puede obtener un valor
global suficiente pero con
determinadas unidades con
puntuación elevada y otras muy bajas. 0
10
20
30
40
50
60
70
80
Concepto
estadística
Organización
datos
Medidas
individuales
Correlación
Puntuación
diferenciada
Construcción del test | Paso 8: Valorar la prueba
16. 9. ELEGIR LA MODALIDAD DE EVALUACIÓN
¿Cómo construir un buen test?: Paso 9
⇒ Evaluación referida a la norma
⇒Comparación de la realización del alumno con la realización del grupo,
muestra o población a la que pertenece.
⇒Por ejemplo: MIR
⇒ Evaluación referida al criterio
⇒Comparación entre la realización del alumno y la realización objetiva
previamente establecida. Comparación con un criterio objetivo.
⇒Por ejemplo: TOEFL
Construcción del test | Paso 9: Elegir la modalidad de evaluación
17. Características de un test | Fiabilidad y validez
1. FIABILIDAD
Características de un test
⇒Mide el error (la distancia entre la medida y lo medido).
⇒A menor error, mayor fiabilidad.
⇒Indica hasta qué punto las diferencias entre puntuaciones de dos
alumnos son atribuibles a diferencias reales entre ellos o a errores de
medida del test.
⇒Ejemplo: una fiabilidad rxx= 0.85 significa que el 85% varianza
verdadera y 15% varianza error
⇒No se deben admitir tests con fiabilidad menor de 0.80
⇒CONDICIÓN NECESARIA PERO NO SUFICIENTE
2. VALIDEZ
⇒Qué medimos? ¿Medimos lo que queremos medir?
⇒Ninguna prueba es válida y fiable para todos los sujetos y ocasiones
LA MAQUINA DE CORRECCIÓN DE CIENCIAS NO CALCULA
18. 3. ANÁLISIS DE ÍTEMS
Características de un test
Estima la contribución de cada ítem a la fiabilidad y validez del test
1.- Índice de dificultad / facilidad: cociente entre quienes aciertan el ítem y
quienes lo intentan.
Muy difíciles: ID<0.25 (10%)
Difíciles: ID >0.25 y <0.45 (20%)
Normales: ID >0.44 y <0.55 (40%)
Fáciles: ID >0.54 y <0.75 (20%)
Muy fáciles: ID >0.74 (10%)
2.- Índice de discriminación: indica la capacidad del ítem para distinguir entre los
sujetos de mayor conocimiento y los de menor. Cálculo: la diferencia entre el %
del grupo superior que acierta el ítem y el % del grupo inferior que también lo acierta
D> 0.39 Excelente Conservar
D entre 0.30 y 0.39 Buena Mejorar
D entre 0.20 - 0.29 Regular Revisar
D entre 0.00 - 0.20 Pobre Descartar
D< -0.01 Pésima Descartar definitivamente
IDmax= 1
Idmin= 0
Dmax= 1
Dmin= -1
Características de un test | Análisis de ítems
19. Características de un test | Análisis de distractores
4. ANÁLISIS DE LOS DISTRACTORES
Características de un test
Nos informa del nº de alumnos del grupo superior (27%) y del grupo inferior
(27%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan
y cuántos se distraen.
•¿Qué significa que un distractor sea elegido por un gran nº de alumno del
grupo superior?:?:
•ítem mal redactado o confuso
•problema generalizado de comprensión
•
¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo
inferior? (mínimo un 10%):
•disminuye la fiabilidad y la validez del test pues aumenta el acierto
por azar
•no cumple su función
20. Informe de resultados de los alumnos
Características de un test
Puntuación (29) % Rendim iento
O RDEN EXPEDIENTE NO M BRE Rendim iento sobre 10
1 27 95995
APELLIDOS , NOMBRE
13,75 47,40 4,74
2 42 96123
APELLIDOS , NOMBRE
15,75 54,30 5,43
3 21 99844 APELLIDO S,NO M BRE 10,75 37,00 3,70
4 13 98639 APELLIDO S,NO M BRE 26,50 91,30 9,13
5 8 100188 APELLIDO S,NO M BRE 15,75 54,30 5,43
6 30 98798 APELLIDO S,NO M BRE 10,25 35,30 3,53
7 41 99830 APELLIDO S,NO M BRE 25,50 87,90 8,79
8 7 99851 APELLIDO S,NO M BRE 4,25 14,60 1,46
9 18 99361 APELLIDO S,NO M BRE 13,75 47,40 4,74
10 125 98795 APELLIDO S,NO M BRE 12,50 43,10 4,31
11 46 100167 APELLIDO S,NO M BRE 21,75 75,00 7,50
12 103 99447 APELLIDO S,NO M BRE 20,25 69,80 6,98
13 1 100235 APELLIDO S,NO M BRE 8,25 28,40 2,84
14 108 98968 APELLIDO S,NO M BRE 11,25 38,70 3,87
15 24 99355 APELLIDO S,NO M BRE 4,75 16,30 1,63
16 2 97571 APELLIDO S,NO M BRE 14,00 48,20 4,82
17 3 97273 APELLIDO S,NO M BRE 6,50 22,40 2,24
18 122 99471 APELLIDO S,NO M BRE 17,50 60,30 6,03
19 11 96624 APELLIDO S,NO M BRE 7,25 25,00 2,50
20 15 98732 APELLIDO S,NO M BRE 10,25 35,30 3,53
21 48 98786 APELLIDO S,NO M BRE 17,00 58,60 5,86
22 10 96153 APELLIDO S,NO M BRE 11,50 39,60 3,96
23 45 98689 APELLIDO S,NO M BRE 18,75 64,60 6,46
24 39 100133 APELLIDO S,NO M BRE 21,50 74,10 7,41
25 19 100092 APELLIDO S,NO M BRE 12,00 41,30 4,13
26 37 97480 APELLIDO S,NO M BRE 7,75 26,70 2,67
27 17 89238 APELLIDO S,NO M BRE 13,50 46,50 4,65
28 9 98554 APELLIDO S,NO M BRE 14,75 50,80 5,08
29 16 97143 APELLIDO S,NO M BRE 10,25 35,30 3,53
30 4 96765 APELLIDO S,NO M BRE 9,00 31,00 3,10
31 33 99819 APELLIDO S,NO M BRE 17,75 61,20 6,12
