Pourquoi la détection de l’IA ne suffit pas : évaluer le raisonnement des étudiants avec des simulations

Le résultat d’un détecteur d’IA ne peut pas tout révéler à un enseignant sur l’apprentissage d’un étudiant. Une évaluation doit aussi fournir des indices sur le cheminement qui l’a mené à une conclusion et sur sa capacité à l’expliquer.

Les études de cas interactives peuvent intégrer des points de décision, des explications et des discussions de suivi, autant d’éléments utiles à l’évaluation. Elles contribuent à concevoir les évaluations, mais ne rendent pas impossible le recours à l’IA.

Le piège de la détection

Weber-Wulff et ses collègues ont testé 14 outils de détection dans une étude publiée en 2023 dans l’International Journal for Educational Integrity et ont relevé d’importantes limites de fiabilité dans les conditions évaluées. Ces résultats concernent les outils et les contenus testés à l’époque, ils ne démontrent pas les performances de tous les détecteurs actuels.

Un article de 2023 de Liang et ses collègues a fait état de biais à l’encontre des textes en anglais rédigés par des personnes dont l’anglais n’est pas la langue maternelle, parmi les détecteurs évalués. Ces conclusions invitent à la prudence : un résultat de détection ne doit pas être considéré comme une preuve concluante de faute académique.

Un résultat de détection ne permet pas d’évaluer la compréhension. Demandez-vous quels éléments supplémentaires vous aideraient à juger l’atteinte de l’objectif d’apprentissage : une justification, les étapes intermédiaires du travail ou une discussion autour d’une hypothèse modifiée, par exemple.

La conception plutôt que la détection

Les simulations interactives de cas avec l’IA peuvent associer des décisions et des parcours à embranchements rédigés à l’avance à des conversations réactives avec des personnages. Concevez chaque interaction autour des éléments que les étudiants doivent interpréter.

Voici quelques choix de conception utiles :

• Des décisions propres au contexte. Demandez aux étudiants de faire un choix à partir des éléments disponibles dans le cas.
• Des embranchements rédigés à l’avance. Faites intervenir différentes évolutions lorsqu’elles contribuent à l’objectif d’apprentissage.
• Des jeux de rôle. Donnez aux étudiants une raison de poser des questions et de répondre à une partie prenante.
• Des critères d’évaluation explicites. Dans LiveCase, les auteurs peuvent configurer la notation par l’IA des réponses écrites et des conversations avec les personnages. Cela n’évalue pas automatiquement chaque choix et ne détecte pas l’utilisation de l’IA.

La méta-analyse de Freeman et ses collègues, publiée en 2014 dans PNAS, a porté sur 225 études de premier cycle en sciences, technologies, ingénierie et mathématiques. Elle a relevé de meilleurs résultats aux examens et des taux d’échec plus faibles avec l’apprentissage actif. Elle n’a pas étudié LiveCase et n’a pas établi que les simulations empêchent la triche par l’IA.

Ce que les éléments recueillis peuvent vous apprendre

L’achèvement mesure la participation à une activité. À lui seul, il ne prouve ni l’apprentissage ni l’auteur d’un travail, et ne montre pas ce que ces mêmes étudiants auraient fait avec un fichier PDF.

Utilisez les réponses soumises et les échanges pour repérer les questions à aborder lors du retour sur l’activité. Le temps de réponse ne permet pas de savoir si l’apprenant s’est figé sous la pression ou s’il a utilisé l’IA.

Intégrez l’intégrité à votre prochain cours

Vous n’avez pas besoin de revoir l’ensemble de votre programme. Commencez par un cas que vous enseignez déjà.

Adaptez votre cas. Utilisez l’outil de création de simulations d’IA pour produire une première version interactive à partir de supports pédagogiques. Vérifiez le contenu et les critères d’évaluation avant de l’utiliser.

Choisissez les bonnes contraintes. N’imposez une limite de temps que si elle sert l’objectif d’apprentissage, et prévoyez les aménagements nécessaires. Un chronomètre ne garantit pas l’intégrité.

Vérifiez le mode de diffusion. LiveCase prend en charge Canvas LTI, Blackboard LTI et LTI pour les plateformes partenaires. Vérifiez la configuration de votre cours et ne présumez pas que la synchronisation des notes ou des listes d’étudiants est automatique.

Faites le bilan à partir des éléments recueillis. Comparez les explications et demandez aux étudiants de défendre ou de réviser leur raisonnement. Notre guide sur l’évaluation du raisonnement lorsque l’IA peut lire le cas à leur place aborde cet enjeu pédagogique.

Si vous préférez éviter entièrement la création, le catalogue de cas propose des scénarios prêts à l’emploi, dont plusieurs sont des meilleures ventes sur Harvard Business Impact. Vous pouvez aussi confier l’ensemble de la création à l’équipe Studio Services et obtenir une simulation clé en main, sans toucher à l’outil de création. Une fois qu’un scénario a fait ses preuves dans votre cours, vous pouvez le publier sur le même réseau de diffusion et percevoir des redevances lorsque d’autres enseignants l’utilisent.

Nous approfondissons le sujet de l’outil de création de simulations d’IA dans Simulations de conduite du changement : enseigner la transformation organisationnelle.

Cessez de faire la police, concevez mieux vos évaluations

Associez une politique claire sur l’utilisation de l’IA à des évaluations qui donnent aux étudiants l’occasion d’expliquer leur travail. Les simulations peuvent contribuer à cette approche, mais elles ne remplacent ni le jugement de l’enseignant ni les procédures de l’établissement.

Essayez le Studio de création de cas avec l’IA en partant d’un objectif d’apprentissage et d’un cas court. Prévisualisez l’expérience de l’apprenant et améliorez le retour sur l’activité avant d’élargir le projet.

FAQ

Pourquoi les détecteurs d’IA ne sont-ils pas fiables ?

Des études ont relevé des problèmes de fiabilité et des biais dans certains détecteurs. Examinez les données disponibles et les limites de l’outil envisagé, et évitez de considérer son score comme une preuve de l’identité de l’auteur.

Qu’est-ce qu’une simulation interactive d’étude de cas ?

Une simulation interactive d’étude de cas associe le contenu d’un scénario, les décisions de l’apprenant et les réponses à ces décisions. Le rythme et les embranchements dépendent de la conception du cas.

Les simulations peuvent-elles empêcher la triche par l’IA ?

Aucun format d’évaluation ne garantit que la triche sera évitée. Les simulations peuvent fournir davantage d’éléments sur le raisonnement, grâce aux décisions, aux explications et aux discussions. Les étudiants ont toujours besoin de règles claires sur l’utilisation de l’IA.

Combien de temps faut-il pour créer une simulation ?

Le temps nécessaire dépend des ressources de départ, de la complexité du cas et des vérifications requises. L’IA peut aider à préparer une première version du contenu, mais prévoyez du temps pour la vérifier et prévisualiser l’expérience.

Comment fonctionne la tarification de LiveCase ?

Consultez les tarifs actuels de LiveCase en fonction de l’usage prévu et des modalités d’accès des apprenants. Lors de la planification de l’activité, envisagez séparément la création et la diffusion auprès des apprenants.

Les simulations peuvent-elles s’intégrer à mon système de gestion de l’apprentissage ?

LiveCase prend en charge Canvas LTI, Blackboard LTI et LTI pour les plateformes partenaires. Vérifiez la configuration précise et les exigences en matière de rapports de votre établissement.