¿Cómo asegurar que una pregunta de selección múltiple esté bien construida? ¿Cómo detectar errores que puedan afectar la validez de una evaluación? ¿Y cómo apoyar a docentes y especialistas en ese proceso de manera rápida y eficiente? Esas son algunas de las preguntas que busca responder SARI, el “Sistema Automático de Revisión de Ítems”, una herramienta basada en inteligencia artificial desarrollada por un equipo multidisciplinario liderado por los investigadores Pablo Dartnell, Séverin Lions y Abelino Jiménez, del Centro de Investigación Avanzada en Educación (CIAE) de la Universidad de Chile.
Actualmente, SARI se encuentra en una nueva etapa de desarrollo tecnológico -denominada SARI 2.0- que permite ampliar significativamente sus capacidades, disciplinas y usuarios potenciales.
La nueva iniciativa, impulsada tras la adjudicación de un proyecto Fondef IT por parte de la Agencia Nacional de Investigación y Desarrollo (ANID), busca convertirse en un asistente virtual capaz de apoyar la elaboración y revisión de preguntas de selección múltiple utilizadas en distintos niveles educativos y en pruebas estandarizadas de altas consecuencias. Trabajan en ella numerosos investigadores con importantes trayectorias en educación, en particular, Beatrice Ávalos y Patricio Rodríguez, del CIAE, y Leonor Varas, Daniela Jiménez y María Inés Godoy, del DEMRE.
“SARI 2.0 detecta automáticamente imperfecciones de construcción en preguntas de selección múltiple y entrega sugerencias para mejorarlas. Además, buscamos que pueda transformarse también en una herramienta formativa para quienes elaboran evaluaciones”, explica el investigador del CIAE y director alterno del proyecto, Séverin Lions.
Una herramienta para mejorar la calidad de las evaluaciones
La calidad de los ítems de selección múltiple es un tema clave para los sistemas educativos, especialmente en pruebas que buscan medir aprendizajes, certificar competencias o definir el acceso a oportunidades académicas y laborales. Sin embargo, distintos estudios muestran que muchas preguntas utilizadas en evaluaciones presentan errores de construcción, como pistas gramaticales, distractores poco plausibles o problemas de redacción que pueden afectar los resultados.
Frente a ello, SARI funciona como un sistema de apoyo automatizado: el usuario ingresa una pregunta completa, incluyendo alternativas y respuesta correcta, y la plataforma analiza posibles imperfecciones, las etiqueta y entrega recomendaciones de mejora. “Uno de los principales desafíos es asegurar evaluaciones válidas y de calidad, pero también optimizar los tiempos de elaboración y revisión de preguntas. Ahí, SARI 2.0 puede transformarse en un apoyo muy relevante para docentes y profesionales de la evaluación”, señala el investigador del CIAE y director del proyecto, Pablo Dartnell.
Además de identificar problemas, SARI 2.0 incorporará un componente formativo, capaz de explicar por qué los problemas señalados constituyen imperfecciones de construcción y cómo corregirlos.
De la educación escolar a las ciencias de la salud
Hasta ahora, SARI ha sido entrenado para trabajar con preguntas vinculadas a matemáticas, lectura, ciencias e historia/ciencias sociales. Sin embargo, el nuevo Fondef permite expandir su funcionamiento hacia pedagogías y ciencias de la salud, además de fortalecer su uso en educación superior.
Para ello, el proyecto incorporó nuevas alianzas estratégicas con instituciones e instrumentos vinculados a algunas de las principales evaluaciones nacionales del país.
Entre ellos se encuentran el Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas (CPEIP) del Ministerio de Educación; EUNACOM, examen requerido para ejercer medicina en Chile; la Asociación Chilena de Educación en Enfermería (ACHIEEN), encargada del ENENF, prueba nacional de enfermería; y la Corporación Nacional Autónoma de Certificación de Especialidades Médicas (CONACEM).
“Estas instituciones son expertas en el desarrollo de instrumentos de alta calidad y su colaboración permitirá entrenar SARI 2.0 conforme a los mejores estándares nacionales”, afirma Séverin Lions.
Junto con su desarrollo nacional, el proyecto también busca consolidar redes internacionales de colaboración en evaluación educativa e inteligencia artificial. Actualmente, el equipo trabaja con instituciones como la organización holandesa CITO -especializada en soluciones tecnológicas para la evaluación educativa- y el Laboratorio de Cognición y Ergonomía de la Universidad de Toulouse, Francia.
Para los investigadores, esta nueva etapa representa un reconocimiento al potencial de la inteligencia artificial aplicada a la educación y abre oportunidades para masificar el uso de SARI y proyectar la iniciativa más allá de Chile.
“Este proyecto valida el alto potencial de las herramientas de inteligencia artificial para mejorar la evaluación educativa y fortalecer la calidad de las pruebas utilizadas en distintos niveles del sistema”, concluye Lions.