La calidad de las preguntas de selección múltiple es un tema central en educación. Estas preguntas se usan muy frecuentemente para evaluar el aprendizaje en pruebas de diverso tipo y consecuencias, como el SIMCE o las pruebas de admisión a la universidad. La construcción de las preguntas toma un tiempo considerable y a veces los items presentan imperfecciones de construcción que pueden afectar negativamente la medición.
Frente a estos desafíos, un equipo de investigadores del CIAE del Instituto de Estudios Avanzados en Educación de la Universidad de Chile, con el apoyo del DEMRE y de la Agencia de la Calidad de Educación, y el financiamiento de FONDEF, desarrolló SARI, una nueva herramienta tecnológica para apoyar la construcción de estas preguntas en los test de selección múltiple. Se trata de un algoritmo que es capaz de detectar imperfecciones de construcción en estos ítems. Por ejemplo, un tipo de error en los ítems que detecta SARI es que el enunciado presenta demasiada información o que una pista gramatical lleva a la opción correcta.
“Es importante que las pruebas midan lo que se quiere que midan. La literatura señala que hay fallas típicas que impiden que se logre este objetivo. Por eso, SARI detecta 24 tipos de imperfecciones, las más frecuentes, señala qué parte puede ser editada y permite chequear que la nueva versión esté libre de imperfecciones. No es un reemplazo para los constructores de pruebas, sino un apoyo”, explica Pablo Dartnell, investigador del CIAE de la U. de Chile y director de este proyecto.
“SARI aporta con alertas a constructores y revisores de pruebas para mejorar las preguntas. Así permite enfocarse en lo que se quiere medir”, destaca por su parte Daniela Jiménez, jefa de área de instrumentos del DEMRE.
Para su construcción, el equipo de investigadores a cargo del proyecto consolidó una planilla de 5.471 ítems, los cuales fueron revisados por dos expertos de manera independiente, quienes después se reunieron para consensuarlos. SARI fue validado con equipos del DEMRE y de la Agencia de Calidad de Educación, mediante estudios de utilidad y validación. El instrumento, de esta forma, fue traspasado a ambas instituciones para su implementación.
De acuerdo a Carla Barrios, jefa del Departamento de la Calidad de la Educación de la Agencia, ya están trabajando para incorporar SARI en el banco de ítems de la institución, de manera que sea una herramienta que permita apoyar a las y los constructores de ítems.
“Gracias a estos estudios de validación pudimos destacar varios elementos de SARI que los validadores destacaron: agradecen que SARI sea una máquina, es decir, lo que hace bien lo hará siempre; entrega una retroalimentación muy rápida; y es capaz de verificar los cambios realizados. En definitiva, permite asegurar la calidad de las preguntas, obtener esta calidad en un tiempo más reducido y, en definitiva, ahorrar costos”, sostiene Severin Lion, investigador asociado del CIAE y director alterno del proyecto.