KI-Erkennung ergänzen und Denkprozesse fair beurteilen

KI-Erkennung ergänzen und Denkprozesse fair beurteilen | LiveCase blog

Das Ergebnis eines KI-Detektors verrät Lehrenden nicht alles, was sie über den Lernerfolg einer studierenden Person wissen müssen. Für die Beurteilung braucht es auch Belege dafür, wie die Person zu einer Schlussfolgerung gelangt ist und ob sie diese erklären kann.

Interaktive Fälle können dieser Beleglage Entscheidungspunkte, Erklärungen und anschließende Diskussionen hinzufügen. Sie unterstützen die Gestaltung von Prüfungen, machen KI-Unterstützung aber nicht unmöglich.

Die Falle der Erkennung

Weber-Wulff und Kollegen testeten in einer Studie aus dem Jahr 2023 im International Journal for Educational Integrity 14 Erkennungstools und stellten unter den getesteten Bedingungen erhebliche Einschränkungen bei deren Zuverlässigkeit fest. Diese Ergebnisse betreffen die damals verwendeten Tools und Testmaterialien. Sie belegen nicht, wie alle derzeit verfügbaren Detektoren abschneiden.

In ihrer Arbeit aus dem Jahr 2023 berichteten Liang und Kollegen von einer Benachteiligung nicht englischer Muttersprachlerinnen und Muttersprachler durch die von ihnen untersuchten Detektoren. Das spricht dafür, Ergebnisse von Detektoren nicht als schlüssigen Beweis für Fehlverhalten zu behandeln.

Ein Erkennungsergebnis ist keine Beurteilung des Verständnisses. Fragen Sie sich, welche zusätzlichen Belege Ihnen helfen würden, das Erreichen des Lernziels einzuschätzen, etwa eine Begründung, Zwischenschritte oder eine Diskussion über eine veränderte Annahme.

Gestaltung statt Erkennung

Interaktive KI-Fallsimulationen können vorgegebene Entscheidungen und verzweigte Handlungsverläufe mit dynamischen Gesprächen mit Figuren verbinden. Gestalten Sie jede Interaktion so, dass Studierende Belege interpretieren müssen.

Nützliche Gestaltungsentscheidungen sind unter anderem:

Entscheidungen mit konkretem Fallbezug. Bitten Sie Studierende, anhand der im Fall verfügbaren Belege eine Wahl zu treffen.
Vorgegebene Verzweigungen. Führen Sie unterschiedliche Entwicklungen ein, wenn sie dem Lernziel dienen.
Rollenspiel. Geben Sie Studierenden einen Grund, Fragen zu stellen und auf eine beteiligte Person zu reagieren.
Explizite Bewertungskriterien. In LiveCase können Autorinnen und Autoren eine KI-Bewertung für schriftliche Antworten und Gespräche mit Figuren einrichten. Dadurch werden jedoch nicht automatisch alle Entscheidungen bewertet oder KI-Nutzung erkannt.

Die Metaanalyse von Freeman und Kollegen aus dem Jahr 2014 in PNAS umfasste 225 Studien in grundständigen MINT-Studiengängen und stellte bei aktivem Lernen bessere Prüfungsergebnisse sowie niedrigere Durchfallquoten fest. Sie untersuchte weder LiveCase noch belegte sie, dass Simulationen KI-Betrug verhindern.

Was die Belege aussagen können

Der Abschluss einer Aktivität misst die Teilnahme. Für sich genommen belegt er weder den Lernerfolg noch die Urheberschaft und zeigt auch nicht, was dieselben Studierenden mit einer PDF-Datei getan hätten.

Nutzen Sie eingereichte Antworten und Gesprächsverläufe, um Fragen für die Nachbesprechung zu finden. Die Antwortzeit verrät nicht, ob eine lernende Person unter Druck blockiert war oder KI verwendet hat.

Integrieren Sie Integrität in Ihren nächsten Kurs

Sie müssen nicht Ihren gesamten Lehrplan neu gestalten. Beginnen Sie mit einem Fall, den Sie bereits unterrichten.

Wandeln Sie Ihren Fall um. Nutzen Sie den KI-Simulations-Builder, um aus Unterrichtsmaterialien einen interaktiven Fall zu entwerfen. Prüfen Sie die Inhalte und Bewertungskriterien, bevor Sie ihn einsetzen.

Wählen Sie passende Rahmenbedingungen. Setzen Sie Zeitdruck nur ein, wenn er dem Lernziel dient, und ermöglichen Sie angemessene Anpassungen. Ein Timer garantiert keine Integrität.

Prüfen Sie den Bereitstellungsweg. LiveCase unterstützt Canvas LTI, Blackboard LTI und Partner-LTI. Bestätigen Sie die Einrichtung für Ihren Kurs und gehen Sie nicht von einer automatischen Synchronisierung von Noten oder Kurslisten aus.

Besprechen Sie die Belege. Vergleichen Sie Erklärungen und bitten Sie Studierende, ihre Argumentation zu verteidigen oder zu überarbeiten. Unser Leitfaden zur Beurteilung des Denkens, wenn KI den Fall für Studierende lesen kann, geht näher auf diese Herausforderung im Unterricht ein.

Wenn Sie die Erstellung lieber ganz überspringen möchten, bietet der Fallkatalog sofort einsetzbare Szenarien. Einige davon sind Bestseller bei Harvard Business Impact. Oder überlassen Sie die gesamte Erstellung dem Team von Studio Services und erhalten Sie eine umfassend betreute Simulation, ohne das Autorentool selbst zu verwenden. Und sobald ein Szenario in Ihrem Kurs funktioniert, können Sie es über dasselbe Vertriebsnetzwerk veröffentlichen und Lizenzgebühren verdienen, wenn andere Lehrende es einsetzen.

Ausführlicher befassen wir uns mit dem KI-Simulations-Builder in Simulationen zum Veränderungsmanagement: organisatorischen Wandel vermitteln.

Schluss mit Kontrolle, her mit guter Gestaltung

Kombinieren Sie eine klare Richtlinie zur KI-Nutzung mit Prüfungsformen, die Studierenden Gelegenheit geben, ihre Arbeit zu erklären. Simulationen können diesen Ansatz unterstützen, ersetzen aber weder das Urteilsvermögen der Lehrenden noch die Verfahren der Institution.

Probieren Sie das KI-Fallautorenstudio mit einem Lernziel und einem kurzen Fall aus. Sehen Sie sich die Lernerfahrung in der Vorschau an und verbessern Sie die Nachbesprechung, bevor Sie das Angebot ausweiten.

Häufig gestellte Fragen

Warum funktionieren KI-Detektoren nicht zuverlässig?

Studien haben bei bestimmten Detektoren Probleme mit der Zuverlässigkeit und mögliche Verzerrungen festgestellt. Prüfen Sie die Belege und Einschränkungen des jeweiligen Tools und behandeln Sie dessen Bewertung nicht als Urheberschaftsnachweis.

Was ist eine interaktive Fallsimulation?

Eine interaktive Fallsimulation verbindet Szenariomaterial mit Entscheidungen der Lernenden und Reaktionen auf diese Entscheidungen. Zeitvorgaben und Verzweigungen hängen von der Gestaltung des Falls ab.

Können Simulationen KI-Betrug verhindern?

Keine Prüfungsform kann eine Verhinderung garantieren. Simulationen können durch Entscheidungen, Erklärungen und Diskussionen zusätzliche Belege für Denkprozesse liefern. Für die KI-Nutzung brauchen Studierende weiterhin klare Regeln.

Wie lange dauert es, eine Simulation zu erstellen?

Die Erstellungsdauer hängt vom Ausgangsmaterial, der Komplexität des Falls und dem erforderlichen Prüfaufwand ab. KI kann beim Entwurf der Inhalte helfen, doch planen Sie Zeit ein, um das Ergebnis zu prüfen und die Erfahrung in der Vorschau anzusehen.

Wie funktioniert die Preisgestaltung von LiveCase?

Informieren Sie sich über die aktuellen Preise von LiveCase für Ihren vorgesehenen Einsatz und die Bereitstellung für Lernende. Berücksichtigen Sie bei der Planung der Aktivität die Erstellung und die Bereitstellung für Lernende getrennt voneinander.