Hay tres tipos de pruebas estandarizadas utilizadas en el contexto del ingreso a la universidad : Contenidos; Aptitud; No cognitiva

1. 16 de diciembre de 2015
Pontificia Universidad Católica de Chile,
Santiago
Programa Talento y Inclusión
Richard P. Phelps
Fortalezas y debilidades de las pruebas estandarizadas
como mecanismos inclusivos de admisión
a la educación superior

2. ¿Qué es una prueba estandarizada?
Una evaluación con al menos un aspecto - su
contenido o administración – que es el mismo para
todos quienes la rinden
¿Cuál es la principal ventaja de las pruebas
estandarizadas?
¡Que es estandarizada!

3. ¿Cuál es la principal desventaja de las pruebas
estandarizadas?
¡Que es estandarizada!

4. Hay tres tipos de pruebas estandarizadas utilizadas
en el contexto del ingreso a la universidad
Contenidos
Aptitud
No cognitiva

5. Pruebas de contenidos - Historia
J.M. Rice
– analizó sistemáticamente la
estructura y efectos de las pruebas
E.L. Thorndike
– desarrolló escalas de puntuación
Al comienzo, eran versiones más extensas de pruebas
escolares
~ 1900 – pruebas “científicas” de rendimiento
(Alemania y EE.UU.)

6. Pruebas de contenido en general
Objetivo: medir el dominio de los contenidos o habilidades
Desarrolladas: sobre la base del currículum (alineación
curricular)
Mayoría de las pruebas en
el aula (desarrolladas por
docentes) son de contenido

7. Pruebas de contenido para el acceso
a la universidad
¿Cómo se validan?
Por su alineación con el currículo de la escuela secundaria
Correlación con otras medidas, como las notas de educación
media y ranking
Asume que todos tienen la misma oportunidad de aprender
contenidos  equidad
Son, en alguna medida, entrenables - dominio de contenido se
conoce de antemano

8. Pruebas de Aptitud
- Historia
Niños en edad preescolar con discapacidad mental
- Imposible evaluarlos a través de pruebas de contenido
- Buscó desarrollar pruebas de capacidades mentales
libres de contenido : asociación, atención, memoria,
habilidades motoras, razonamiento
A. Binet y T. Simon
1890s (Francia)

9. Pruebas de Aptitud - Historia
1917
Adaptadas por el Ejército
de Estados Unidos para
seleccionar y asignar
soldados en la Primera
Guerra Mundial
Estados Unidos entró en la
guerra tarde, Paris estaba
bajo amenaza, y
necesitaba movilizar
tropas muy rápidamente

10. Pruebas de aptitud, en general
Objetivo: predecir cuánto puede ser aprendido
Desarrolladas: mediante el análisis de las habilidades
necesarias para llevar a cabo ciertas tareas, ampliamente
utilizado en la industria
Empleadas para identificar estudiantes talentosos o
alumnos con necesidades especiales
También se llaman pruebas de razonamiento
Los pruebas de inteligencia son un tipo de pruebas de
aptitud y utilizan la escala desarrollada originalmente por
Binet y Simon

11. Las pruebas de aptitud para el
acceso a la universidad
¿Como son validadas?
Validez predictiva: correlación con actividad futura
(ej. rendimiento universitario).
Poco énfasis en contenidos:
- Contenido utilizado es básico, amplio, comúnmente
conocido por todos
- Prueba mide lo que los estudiantes son capaces de
hacer con los contenidos
No puede ser fácilmente entrenado:
- Dominio del contenido es de conocimiento común:
demasiado amplio como para ser foco de estudio

12. Las pruebas de aptitud para el
acceso a la universidad – Historia
Década de 1930
El presidente de la U. de Harvard,
J. Conant …
- Quería una nueva prueba de
admisión para identificar alumnos
de las clase socio-económica baja
con potencial para tener éxito en
Harvard : "diamantes en bruto”
- Alentó al desarrollo de la primera
Scholastic Aptitude Test (SAT)

13. - alumnos que se aburren en la
educación media, pero que estudian lo
que les interesa por su cuenta
- alumnos desadaptados a la cultura de
la escuela secundaria, pero que
pueden adaptarse bien a la cultura
universitaria
- alumnos de alta capacidad
perjudicados por haber asistido a
escuelas de mala calidad
Las pruebas de aptitud para el
acceso a la universidad
Las pruebas de aptitud, bien construidas, pueden identificar:

14. Pruebas no-cognitivas - Historia
( miden actitudes, preferencias, comportamientos y
circunstancias de vida )
En realidad, más una
encuesta que una
prueba.
Utilizado por las
organizaciones
empresariales para
predecir el "ajuste"
entre un solicitante de
empleo y la cultura de la
organización

15. Pruebas no-cognitivas
Se desarrollan a través de cuestionarios, entrevistas personales.
El contenido es personal,
no requiere de estudio
Involucra más
sentimientos que
conocimientos
Aborda comportamientos
y circunstancias de vida.

16. Pruebas no-cognitivas en general
Distintos tipos: pruebas de integridad, exploración de carrera,
búsqueda de pareja, evaluación de fortalezas y debilidades para
ambientes particulares (ej. universidades, empleo en ciertas
carreras, programas militares)
Validado por validez predictiva, tasas de éxito en actividades
futuras.
Muy fácilmente falseables - "fingir" puede ser fácil; postulantes
pueden simular ser honestos y trabajadores, incluso si no lo son.

17. Las pruebas no-cognitiva para el
acceso a la universidad
Muchos factores no cognitivos son aplicables para predecir el
éxito universitario: por ejemplo, la perseverancia, la confianza,
la ambición, la curiosidad, la estabilidad familiar, la estabilidad
laboral.
Pruebas no cognitivas se validan a través de la correlación con
los resultados futuros, tales como la permanencia en la
universidad
Al ser fácilmente falsificables, las pruebas no cognitivas se
administran normalmente después de la admisión a la
universidad: sus resultados son usados para brindar apoyo
estudiantil y no con fines de selección

18. Más información suele ser mejor
Si la universidad fuera igual que la enseñanza media, las notas
de la enseñanza media y una prueba de contenidos bastarían
para fines de admisión
Pero la universidad no
sólo es más desafiante
académicamente que la
enseñanza media,
también es muy
diferente en otros
aspectos...

19. … tiene una más amplia variedad de estudiantes y profesores
… está más lejos de casa, requiere mayor tiempo de desplazamiento
… tiene profesores que además de enseñar hacen investigación
… tiene menos estructura, lo que requiere de más organización por parte
de los alumnos
… tiene menos supervisión, requiere de más iniciativa de los estudiantes
… demanda un menor número de horas de clase, pero requiere de más
horas de estudio personal
… el (la) estudiante elige lo que estudia (estudio focalizado), entre otros.
¿Cómo es diferente la universidad?

20. Para fines de admisión hay que maximizar la
información disponible con el fin de mejorar el
calce entre el alumno y la institución
Tres medidas son
importantes:
1. Validez predictiva
2. Diferencias entre grupos
3. Cobertura de contenidos

21. Validez predictiva
Mide si las puntuaciones en una prueba de admisión se
correlacionan con los resultados en la universidad
(por ejemplo, buenas calificaciones en los cursos,
graduación oportuna)
Mide la cantidad de información única que provee una
prueba de admisión, más allá de la información disponible
a partir de otras medidas.
Validez predictiva incremental

22. Los valores de validez predictiva
van desde -1,0 a +1,0
-1,0 representa la más alta correlación negativa posible
0 representa ausencia total de correlación
+1.0 representa la mayor correlación positiva posible
La correlación se puede representar gráficamente
con un diagrama de dispersión

23. Correlación positiva:
De la población de parejas casadas: la edad de la
mujer y la edad del marido
coeficiente
de
correlación,
r = + 0,97

24. + 1,0
Más ejemplos de diagramas de dispersión y coeficiente
de correlación:
+ 0,85
- 0,50
+ 0,15

25. Validez Predictiva
de accesso a la universidad
Mide cuán bien los puntajes en las
pruebas de admisión predicen
mejores resultados en la universidad
(por ejemplo, notas graduación)
Una prueba con baja validez predictiva provee
poca información

26. 0
0.1
0.2
0.3
0.4
0.5
0.6
Language Mathematics SAT Writing PSU Social
Science
SAT
PSU
2010
Validez predictiva: SAT y PSU
SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013;
SAT data from College Board.

27. 0
0.1
0.2
0.3
0.4
0.5
0.6
Language Mathematics SAT Writing PSU Social
Science
SAT PSU Administracion
Validez predictiva: SAT y PSU
(Carrera: Administración)
SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013;
SAT data from College Board.

28. 0
0.1
0.2
0.3
0.4
0.5
0.6
Language Mathematics SAT Writing PSU Social
Science
SAT PSU Arquitectura
Validez predictiva: SAT y PSU
(Carrera: Arquitectura)
SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013;
SAT data from College Board.

29. 0
0.1
0.2
0.3
0.4
0.5
0.6
Language Mathematics SAT Writing PSU Social
Science
SAT PSU Educacion
Validez predictiva: SAT y PSU
(Carrera: Educación)
SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013

30. Diferencias entre subgrupos
Las diferencias en las
puntuaciones entre los
subgrupos de población (por
ejemplo, género, etnia y tipo
de escuela) deben responder
sólo a diferencias en aquello
que la prueba debe medir y
no a factores ajenos (sesgos
sistemáticos) debidos a la
pertenencia a un grupo
específico

32. Media de puntuación de PSU Matemática
por tipo de escuela secundaria, 2001-2010
19-12-2015
300
350
400
450
500
550
600
650
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
Private Municipal SH Municipal TP

33. SOURCE: OECD (2011a), Education at a Glance 2011: OECD Indicators, OECD, Paris

34. 34
Cobertura de Contenidos
(valores entre 0% y 100%)
La cobertura completa del plan de
estudios de la educación media es
más importante en asignaturas
como las matemáticas o la música
donde los conocimientos son
acumulativos. Importa mucho
menos en las asignaturas que se
inician en el ámbito universitario,
como la arquitectura, la medicina o
la educación.

35. 35
Cobertura de Contenidos
Cuestión de la equidad
No es justo esperar que los estudiantes dominen
contenidos a los cuales no han estado expuestos ...
o comparar estudiantes que han estado expuestos
al contenido con otros que no lo han estado
¿Cuánto del contenido de una prueba se ha
cubierto en la enseñanza media?
La oportunidad de aprender es un requisito de
equidad, particularmente en países en que el retorno
de la inversión en educación superior es alto

36. Los retornos a la inversión en la educación superior en
Chile es, proporcionalmente, el más alto entre los 35
países de la OCDE.
Los beneficios para la sociedad de más graduados
universitarios es alto – p.ej. en un pueblo rural tener
un médico por primera vez.
Los beneficios para los graduados universitarios como
individuos es aún mayor: reciben salarios mucho más
altos que los menos educados.
Retorno de la inversión la
educación superior

38. SOURCE: Education at a Glance 2014: OECD Indicators, OECD, Paris

39. Es mayor en Chile que en otros 35 países de la OCDE.
Dos posibles soluciones:
1. Matricular a más estudiantes
2. Aumentar la eficiencia de la búsqueda y calce de
estudiantes e instituciones de educación superior, lo
que aumenta la eficiencia del proceso de enseñanza-
aprendizaje, y aumenta la retención.
¿Cómo? ¡Maximizando la validez predictiva!
La necesidad de más graduados de
la educación superior