¿Es lo mismo hacer las pruebas de acceso a la universidad en Madrid o Galicia que en Murcia o Andalucía? ¿Tienen los exámenes el mismo grado de dificultad? ¿Se evalúan con los mismos criterios?
Estas preguntas son fundamentales para los miles de estudiantes españoles que cada año se enfrentan a la PAU (prueba de acceso a la universidad). Un proceso que determina, en función de diferencias mínimas de décimas, si podrán o no estudiar el grado deseado en la universidad pública elegida.
Garantizar la equidad en todo el ámbito nacional es el objetivo de los últimos cambios legislativos realizados en la PAU, ya que el sistema universitario español es de “distrito único”: los estudiantes de todas las comunidades autónomas pueden solicitar plaza en cualquier universidad pública del estado. Si las pruebas de acceso son más fáciles o puntúan más alto en una comunidad autónoma que en otra, esto representaría una ventaja frente a aspirantes de otras comunidades para una misma universidad.
¿Por qué son distintas las pruebas?
Existen unas pautas comunes para las características, el diseño y el sistema de calificación de las pruebas, pero cada comunidad confecciona sus propios exámenes con preguntas distintas y criterios de corrección específicos.
¿Es posible comparar pruebas académicas si cada comunidad diseña sus propios contenidos y criterios de corrección? Lo es: la ciencia nos aporta métodos y conceptos clave para lograrlo.
La psicometría en la educación
En los últimos 100 años se ha avanzado considerablemente en la medición de variables psicológicas y educativas. El rendimiento académico ha sido por excelencia el principal “caballo de batalla” de muchos países, tratando de elaborar exámenes en diversos formatos: pruebas objetivas o tipo test, preguntas cortas, abiertas, etc.
En este contexto, la psicometría es la rama de la psicología que se encarga de comprobar las propiedades estadísticas de estas mediciones. Como no podemos medir directamente el rendimiento cognitivo de un estudiante, realizamos lo que en psicología se conoce como proceso de inferencia en función de la conducta observable de una persona: medimos la forma en la que los estudiantes responden a las cuestiones de un examen.
Por ejemplo, en una prueba de historia, se emplean criterios tales como la calidad en la argumentación, o el uso de normas gramaticales.
La importancia de los estándares en la evaluación
La psicometría nos permite diseñar modelos estadísticos para establecer las puntuaciones, como si usáramos una regla de medir. El conjunto de las normas que se emplean para asignar un valor numérico, en base a uno o varios criterios, a una respuesta determinada se denomina, en psicometría, “estándar”.
Existen múltiples clasificaciones de estándares, aunque las dos más conocidas son los estándares aplicados al criterio (criterion referencing) y los aplicados a la norma (norm referencing). En el primer caso, se determinan las habilidades o destrezas que se requieren para alcanzar un determinado umbral de calificación.
El segundo caso consiste en comparar el rendimiento de todos los estudiantes en su conjunto, pudiéndose establecer categorías de rendimiento. Por ejemplo, aquellos situados en el percentil 95 o superior se les podría dar la máxima calificación; entre el percentil 90 y 94 se le daría la calificación siguiente, y así sucesivamente.
La PAU: estándares aplicados al criterio
En el contexto de la PAU, las puntuaciones de los exámenes se delimitan a partir de estándares aplicados al criterio, de forma que una comisión evaluadora de cada comunidad autónoma determina, para cada pregunta del examen, la puntuación que se obtiene en función de la calidad de respuesta.
No obstante, dado que cada comunidad desarrolla sus propias pruebas, sería interesante plantear estándares aplicados a la norma, ya que permitiría, para cada prueba específica, equiparar la dificultad de las mismas.
Por ejemplo, consideremos la prueba de Historia de España. Aunque el formato del examen y el tipo de preguntas puedan variar entre comunidades autónomas, es posible establecer mecanismos para hacer comparables los resultados. Una estrategia sería fijar umbrales de rendimiento basados en percentiles. Así, para obtener la máxima puntuación, un estudiante debería situarse, por ejemplo, por encima del percentil 95 de su grupo.
Esto implica que la calificación numérica necesaria para alcanzar ese nivel podría variar según la dificultad del examen en cada comunidad: si una prueba es más exigente, una nota más baja podría corresponder a un alto percentil; en cambio, si el examen es más sencillo, se requeriría una nota más alta para alcanzar el mismo estándar. De este modo, se ajusta la interpretación de las puntuaciones y se favorece la comparabilidad entre pruebas distintas.
Mejorar la comparabilidad
Como principal propuesta psicométrica para comparar exámenes de certificación o de acceso al sistema universitario destaca el modelo de Rasch, que permite situar en una misma escala tanto la habilidad de los estudiantes como la dificultad de las pruebas. Este método ayuda a obtener una mayor objetividad para determinar umbrales de calificación (alcanza/no alcanza un criterio de evaluación) o para estudiar las distribuciones muestrales en función de percentiles, cuartiles, etc.
En España, este modelo se ha implementado por primera vez en la Comunidad Valenciana. Las pruebas confirman la medición eficaz del rendimiento como variable general: nos permiten comprobar si la dificultad de las pruebas varía entre convocatorias.
Aunque estos estudios se centran solo en la Comunidad Valenciana, ya se está trabajando en la aplicación del mismo procedimiento al resto de comunidades: de esta manera se podría iniciar un proceso comparativo entre ellas más fiable.
Estandarizar los tribunales evaluadores
Otra manera de garantizar la comparabilidad de los resultados es formar a los tribunales evaluadores en la aplicación de estándares, con el fin de garantizar la equidad en los procesos de corrección.
Con espíritu científico, esperemos que el tiempo permita poder implementar estas y otras posibles acciones, en beneficio del sistema de acceso universitario en general, y de nuestros estudiantes en particular.
Alejandro Veas Iniesta, Profesor Titular de Universidad en la especialidad de psicología evolutiva y de la educación, Universidad de Murcia y José Antonio López Pina, Catedrático de Universidad, Universidad de Murcia
Este artículo fue publicado originalmente en The Conversation. Lea el original.
