Por qué la detección de IA no basta: evaluar el razonamiento estudiantil con simulaciones

El resultado de un detector de IA no puede decirle a un docente todo lo que necesita saber sobre el aprendizaje de un estudiante. La evaluación también necesita evidencias de cómo llegó a una conclusión y de si puede explicarla.

Los casos interactivos pueden añadir puntos de decisión, explicaciones y debates posteriores a esas evidencias. Contribuyen al diseño de la evaluación, pero no hacen imposible la asistencia de la IA.

La trampa de la detección

Weber-Wulff y sus colegas probaron 14 herramientas de detección en un estudio de 2023 publicado en International Journal for Educational Integrity e identificaron importantes limitaciones de fiabilidad en las condiciones evaluadas. Esos resultados se refieren a las herramientas y al material de prueba utilizados en aquel momento, y no demuestran cómo funciona cada detector actual.

El artículo de 2023 de Liang y sus colegas informó de sesgos contra textos en inglés escritos por personas no nativas en los detectores que evaluaron. Esto aconseja prudencia antes de considerar los resultados de un detector como prueba concluyente de una falta académica.

Un resultado de detección no es una evaluación de la comprensión. Pregúntese qué evidencias adicionales le ayudarían a valorar el objetivo de aprendizaje, por ejemplo, una justificación, el trabajo intermedio o un debate sobre un supuesto modificado.

El diseño supera a la detección

Las simulaciones interactivas de casos con IA pueden combinar decisiones previamente diseñadas y recorridos ramificados con conversaciones dinámicas con personajes. Diseñe cada interacción en torno a evidencias que los estudiantes deban interpretar.

Algunas decisiones de diseño útiles:

• Decisiones específicas del contexto. Pida a los estudiantes que elijan a partir de las evidencias disponibles en el caso.
• Ramificaciones diseñadas. Introduzca distintos acontecimientos cuando contribuyan al objetivo de aprendizaje.
• Juego de roles. Ofrezca a los estudiantes un motivo para hacer preguntas y responder a una parte interesada.
• Criterios de evaluación explícitos. En LiveCase, los autores pueden configurar la calificación con IA de respuestas escritas y conversaciones con personajes. Esto no evalúa automáticamente todas las decisiones ni detecta el uso de IA.

El metaanálisis de Freeman y sus colegas, publicado en PNAS en 2014, abarcó 225 estudios de cursos universitarios de ciencias, tecnología, ingeniería y matemáticas, y constató mejores resultados en los exámenes y menores tasas de reprobación con el aprendizaje activo. No evaluó LiveCase ni estableció que las simulaciones prevengan las trampas con IA.

Qué pueden decirle las evidencias

La finalización mide la participación en una actividad. Por sí sola, no demuestra que haya habido aprendizaje, no prueba quién es el autor y tampoco muestra qué habrían hecho esos mismos estudiantes con un PDF.

Use las respuestas entregadas y las evidencias de las conversaciones para identificar preguntas para el debate posterior. El tiempo de respuesta no permite saber si el estudiante se bloqueó por la presión o utilizó IA.

Incorpore la integridad académica a su próximo curso

No necesita rehacer todo el programa. Empiece con un caso que ya enseñe.

Convierta su caso. Use el creador de simulaciones con IA para preparar un caso interactivo a partir de materiales didácticos. Revise el contenido y los criterios de evaluación antes de usarlo.

Elija las restricciones adecuadas. Recurra a la presión del tiempo solo cuando contribuya al objetivo de aprendizaje y ofrezca las adaptaciones pertinentes. Un temporizador no garantiza la integridad académica.

Compruebe la vía de distribución. LiveCase es compatible con Canvas LTI, Blackboard LTI y LTI de socios. Confirme la configuración de su curso; no dé por sentado que las calificaciones o las listas de estudiantes se sincronizan automáticamente.

Analice las evidencias en el debate posterior. Compare las explicaciones y pida a los estudiantes que defiendan o revisen su razonamiento. Nuestra guía sobre cómo evaluar el pensamiento cuando la IA puede leer el caso por ellos profundiza en este desafío pedagógico.

Si prefiere no crear el caso desde cero, el catálogo de casos ofrece escenarios listos para usar, varios de ellos superventas en Harvard Business Impact. También puede dejar todo el desarrollo en manos del equipo de Studio Services y obtener una simulación personalizada sin tener que usar la herramienta de autoría. Además, una vez que el escenario funcione en su aula, puede publicarlo a través de la misma red de distribución y obtener regalías cuando otros docentes lo utilicen.

Profundizamos en el creador de simulaciones con IA en Simulaciones de gestión del cambio: enseñar la transformación organizacional.

Deje de vigilar y empiece a diseñar

Combine una política clara de uso de IA con una evaluación que ofrezca a los estudiantes oportunidades para explicar su trabajo. Las simulaciones pueden respaldar este enfoque, pero no sustituyen el criterio docente ni los procedimientos institucionales.

Pruebe el estudio de creación de casos con IA con un objetivo de aprendizaje y un caso breve. Revise la experiencia del estudiante y perfeccione el debate posterior antes de ampliar la actividad.

Preguntas frecuentes

¿Por qué los detectores de IA no son fiables?

La investigación ha identificado problemas de fiabilidad y sesgo en determinados detectores. Revise las evidencias y limitaciones de la herramienta que esté considerando y evite tratar su puntuación como prueba de autoría.

¿Qué es una simulación interactiva de casos?

Una simulación interactiva de casos combina el contenido de un escenario, las decisiones del estudiante y las respuestas a esas decisiones. La duración y las ramificaciones dependen del diseño del caso.

¿Pueden las simulaciones prevenir las trampas con IA?

Ningún formato de evaluación garantiza que se eviten. Las simulaciones pueden aportar más evidencias del razonamiento mediante decisiones, explicaciones y debates. Los estudiantes siguen necesitando reglas claras sobre el uso de la IA.

¿Cuánto tiempo se tarda en crear una simulación?

El tiempo de creación depende del material de partida, la complejidad del caso y la revisión necesaria. La IA puede ayudar a preparar un borrador, pero reserve tiempo para comprobar el resultado y revisar la experiencia.

¿Cómo funciona el precio de LiveCase?

Consulte los precios actuales de LiveCase según el uso previsto y la forma en que se ofrecerá la actividad a los estudiantes. Al planificarla, considere por separado la creación y la distribución a los estudiantes.

¿Pueden integrarse las simulaciones con mi LMS?

LiveCase es compatible con Canvas LTI, Blackboard LTI y LTI de socios. Confirme la configuración específica y los requisitos de informes de su institución.