Durante el mes de julio, el Departamento de Evaluación, Medición y Registro Educacional (DEMRE) de la Universidad de Chile tuvo una destacada participación en dos de los encuentros científicos más relevantes en el ámbito de la medición educativa y la psicometría: el congreso de la International Test Commission (ITC), realizado en Auckland, Nueva Zelanda, y el International Meeting of the Psychometric Society (IMPS), celebrado en Seúl, Corea del Sur.
En ambas instancias, profesionales e investigadores del DEMRE presentaron estudios centrados en los avances del sistema de admisión chileno, abordando temáticas clave como el impacto de las ponderaciones en la composición del tipo de postulantes seleccionados y la equidad en el acceso, la incorporación de inteligencia artificial en la generación de ítems y las diferencias en términos de validez predictiva entre la antigua PSU y la actual Prueba de Acceso a la Educación Superior (PAES).
ITC: política pública, equidad e IA Generativa
El congreso bianual de la ITC, llevado a cabo en Nueva Zelanda, reunió a diversos especialistas en las pruebas de admisión y su implicancia en las políticas públicas. El 2 de julio, el profesional del Equipo de Modelamiento y Difusión Científica del DEMRE, Eduardo Alarcón, participó con una presentación en la sesión “Admission Assessment in Higher Education”. En dicha instancia, Alarcón expuso avances de su proyecto Fondecyt 11260407 titulado “Who could have succeeded? From observed to plausible inference across University Admission Selection Rules”, estudio que aborda cómo los cambios de ponderación de los factores de selección impactan tanto en la composición de los seleccionados y la capacidad predictiva de los instrumentos.
Al día siguiente, la delegación del DEMRE, integrada por el propio Eduardo Alarcón, el investigador David Torres y la coordinadora del Equipo IAG DEMRE Paulina Barriga, junto a la jefa del Área de Instrumentos, Daniela Jiménez, participó en el simposio "Psychometric Innovations for Fairer Decisions in Chile's National University Admissions System".
Durante la conferencia, Paulina Barriga presentó los resultados de un trabajo realizado durante 2025 por su equipo, titulado "Generative AI for Standardized Item Development: Evidence from Basic Mathematics Items in a National Higher Education Admission Test Context". El trabajo incluyó la evaluación del rendimiento de modelos de lenguaje (LLMs) como GPT-4o, GPT-4.1 y Gemini 2.5 Pro para elaborar ítems de matemática básica alineados al constructo de la PAES y a sus estándares de evaluación.
“Los resultados muestran que estos modelos, bajo una metodología basada en una rigurosa validación humana, pueden aumentar significativamente la eficiencia en la elaboración de ítems sin sacrificar su calidad evaluativa. El juicio experto es indispensable: el rol de la IA Generativa es de co-creación y funciona como un apoyo al trabajo de los equipos, no como un reemplazo de su criterio experto”, destacó Barriga.
Durante la discusión, los asistentes extranjeros valoraron la robustez del modelo chileno. “Desde afuera, la importancia que veo en términos de investigación es que el DEMRE se está empezando a visibilizar y consolidar bastante. Chile es uno de los pocos países que ocupa ponderaciones y el algoritmo de selección centralizado, por lo que mostrar cómo funcionan las cosas acá y cómo abordamos los desafíos desde la investigación ha sido muy bien recibido”, agregó Alarcón.
IMPS: solidez técnica y capacidad predictivas de la PAES
Posteriormente, el 23 de julio, se desarrolló en Seúl el International Meeting of the Psychometric Society (IMPS), uno de los congresos internacionales de mayor prestigio en el ámbito de la psicometría que congregó a más de 700 asistentes.
En esta instancia, Eduardo Alarcón y la profesional del Equipo de Modelamiento y Difusión Científica del DEMRE, Victoria Florenzano, expusieron en el Simposio “Fairness and Equity”. En su presentación, Florenzano presentó el estudio titulado “Predictive Validity Under Test Reform: Challenges of Comparing Curriculum and Competency-Based Admission Tests”, un trabajo comparativo entre los indicadores de validez predictiva de la antigua PSU y de la PAES, mostrando que los puntajes de la PAES presentan una mayor asociación con el desempeño académico en la educación superior, lo que sugiere una mejor alineación entre los resultados de la prueba y el rendimiento posterior de los estudiantes en la universidad.
Por su parte, Alarcón presentó la investigación “The Role of Selection Weights in Shaping Equity and Predictive Validity in University Admissions”, retomando el trabajo expuesto en el ITC desde un enfoque metodológico, con énfasis en las implicancias del modelamiento estadístico para evaluar escenarios alternativos de ponderación de los factores de selección y en las estrategias para abordar el sesgo de selección.
Actividad científica y trabajo interdisciplinario
La recepción favorable en ambas instancias reafirma el posicionamiento del DEMRE no solo como un organismo que produce y aplica evaluaciones, sino como una institución que también aborda investigación de vanguardia en el ámbito de su quehacer y responsabilidad pública.
Respecto a la evolución interna del organismo y la articulación entre las distintas áreas técnicas, Alarcón destacó la creación del Equipo de Modelamiento y Difusión Científica: “Queremos que el DEMRE deje de ser mirado únicamente como el ente que hace y aplica las pruebas. Hay muchísimas más cosas que hacemos dentro y que queremos visibilizar. Nos estamos posicionando como una institución de producción científica porque tenemos los datos, los problemas y el equipo suficientemente capacitado para hacerlo”.
Sobre el impacto de estas instancias de intercambio internacional y el diálogo con la comunidad científica global, Barriga señaló que “ver el trabajo que nuestros pares están realizando y la discusión con especialistas de distintas instituciones, en un ambiente donde lo importante es compartir conocimientos y experiencias para seguir perfeccionando nuestra labor, permitió que volviéramos con muchas ideas y motivación para enriquecer nuestro trabajo”.
Con miras a la segunda mitad del año, el equipo continuará difundiendo sus hallazgos en instancias académicas locales, tales como las próximas Jornadas Nacionales de Estadística que se realizarán en Viña del Mar, el Séptimo Congreso Interdisciplinario de Investigación en Educación y el Seminario por los 30 años del DEMRE, que se llevará a cabo el 27 de agosto.