Der KI-Tutor war nicht allein

Ein Schüler begründet eine falsche Matheantwort. Der Chatbot reagiert nicht mit der Lösung, sondern mit einer passenden Rückfrage. Das klingt nach einem hilfreichen KI-Tutor. Doch bevor eine Schule daraus ein Einsatzmodell ableitet, braucht es eine genauere Frage: Wer prüft die nächste Nachricht des Bots?

Die Antwort aus der hier betrachteten Studie lautet: erfahrene Tutor:innen. Sie sahen jeden KI-Entwurf, bevor er die lernende Person erreichte. Sie konnten ihn freigeben, ändern oder vollständig ersetzen. Getestet wurde also kein frei laufender allgemeiner Chatbot, sondern ein vorbereitetes und beaufsichtigtes System.

Was wurde untersucht?

Die formal als «LearnLM Team, Google & Eedi» ausgewiesene Autorenschaft beschreibt in einer öffentlich zugänglichen, vorläufigen Studie eine explorative randomisierte Untersuchung mit 165 Jugendlichen im Alter von 13 bis 15 Jahren. Die Lernenden kamen aus fünf britischen Sekundarschulen und arbeiteten während sieben Wochen auf der Matheplattform Eedi, etwa eine Stunde pro Woche. Beteiligt waren 17 erfahrene, qualifizierte Tutor:innen.

Zunächst wurden 91 Lernende statischen Hinweisen und 74 interaktiven Tutorien zugeteilt. Innerhalb der interaktiven Sitzungen wurde zufällig entschieden, ob die Unterstützung durch einen Menschen oder durch LearnLM unter menschlicher Aufsicht entstand. Die Studie enthält deshalb zwei Vergleiche: interaktive Hilfe gegenüber einem statischen Hinweis sowie menschliche Unterstützung gegenüber beaufsichtigten KI-Entwürfen.

Gemessen wurde, ob Lernende ihren Fehler korrigierten, eine hinterlegte Fehlvorstellung auflösten und die erste Aufgabe im folgenden Themenabschnitt korrekt beantworteten. Diese nächste Aufgabe ist ein nahes Transfermass: Sie geht über die unmittelbare Korrektur hinaus, zeigt aber weder langfristiges Behalten noch fachübergreifenden Transfer. Die Auswertung war bayesianisch; sie arbeitete mit Wahrscheinlichkeitsverteilungen für die geschätzten Unterschiede.

Aufsicht war Teil der Intervention

LearnLM kannte die Aufgabe, die falsche Antwort und eine auf der Plattform hinterlegte Fehlvorstellung. Daraus entwarf es eine knappe sokratische Antwort, die zum Weiterdenken anregen sollte. Dann prüfte eine Tutorin oder ein Tutor den Text vor dem Versand. Die Nachricht konnte unverändert freigegeben, bearbeitet oder ersetzt werden.

Diese Aufsicht war keine zusätzliche Kontrolle nach dem Experiment. Sie gehörte zur getesteten Lernumgebung. Darum wäre «Ein KI-Tutor war so gut wie ein Mensch» zu grob. Präziser ist: In diesem vorbereiteten Mathe-System war beaufsichtigte LearnLM-Unterstützung bei der Auflösung der Fehlvorstellung nicht bedeutsam anders als menschliche Unterstützung.

Was kam dabei heraus?

Für die erste Aufgabe des folgenden Themenabschnitts schätzte das bayesianische Modell die Erfolgsrate nach LearnLM-Unterstützung auf 66,2 Prozent (95-%-Kredibilitätsintervall 61,1 bis 71,2) und nach menschlicher Unterstützung auf 60,7 Prozent (55,8 bis 65,4). Die geschätzte Differenz betrug 5,5 Prozentpunkte; ihr 95-%-Kredibilitätsintervall reichte von −1,4 bis +12,4. Weil dieses Intervall auch Unterschiede um null umfasst, belegt der Vergleich keine allgemeine Überlegenheit. Bei der Auflösung der Fehlvorstellung fanden die Autor:innen keinen bedeutsamen Unterschied zwischen den beiden interaktiven Bedingungen.

Für den Vergleich von interaktiver menschlicher Hilfe und statischen Hinweisen schätzte das Modell die Auflösung der Fehlvorstellung auf 94,9 Prozent (92,6 bis 96,8) beziehungsweise 86,8 Prozent (85,7 bis 88,0). Das stützt zunächst den Wert interaktiver Hilfe. Es isoliert keine allgemeine Wirkung von KI. Die Zahlen sind interessant, aber kein Versprechen für jede Klasse.

Was das Audit sagt – und was nicht

Das Modell entwarf 3‘617 Nachrichten. Davon wurden 74,4 Prozent unverändert angenommen. Eine nachträgliche Prüfung fand fünf Faktenfehler, entsprechend 0,1 Prozent, und keine schädlichen oder riskanten Inhalte.

Diese Werte beschreiben nur die kontrollierten Nachrichten dieses Settings. Sie sind keine Sicherheitsquote für andere Chatbots, Sprachen, Fächer oder einen Betrieb ohne Aufsicht. Auch viele unverändert angenommene Entwürfe machen die Kontrolle nicht überflüssig: Die Möglichkeit zum Eingreifen war Teil des Verfahrens.

Unterrichtsbeispiel: Brüche vergleichen

Nehmen wir eine Sek-I-Aufgabe: «Was ist grösser: 3/8 oder 4/10? Begründe ohne Rechner.» Eine Schülerin wählt 4/10 und schreibt sinngemäss, zehn sei grösser als acht. Die Lehrperson erkennt darin die mögliche Fehlvorstellung, ein grösserer Nenner bedeute automatisch einen grösseren Bruch.

Für einen vorbereiteten KI-Dialog legt die Lehrperson fest, welche Hilfe erlaubt ist. Der Bot soll das Ergebnis nicht nennen. Eine mögliche Rückfrage lautet: «Zeichne beide Brüche auf gleich langen Balken. Wie gross ist ein einzelnes Teil jeweils?» Die Lehrperson oder ein fachlich geprüfter Antwortkatalog kontrolliert, ob die Frage zur Aufgabe und zur vermuteten Fehlvorstellung passt.

Die Schülerin zeichnet, vergleicht und erklärt neu. Danach bearbeitet sie eine ähnliche Aufgabe ohne KI. So wird sichtbar, ob sie den Vergleich selbst begründen kann. Das Beispiel ist keine Replikation der Studie und keine Wirkungsgarantie. Nicht jede falsche Antwort zeigt eine einzelne Fehlvorstellung. Es ist eine didaktische Übertragung: Die Hilfe bleibt begrenzt, die Prüfung verantwortlich und die Denkarbeit sichtbar.

Grenzen der Aussage

Der Text ist ein explorativer, nicht peer-reviewter Preprint. Die Studie fand in fünf britischen Schulen statt und untersuchte Mathematik mit 13- bis 15-Jährigen. Ergebnisse für den Lehrplan 21, andere Fächer, Sprachen oder offene Generalisten-Chats sind nicht geklärt.

Das Transfermass war nur die erste Aufgabe der nächsten aufbauenden Lerneinheit. Langfristiges Behalten, Prüfungserfolg und fachübergreifender Transfer wurden nicht gemessen. Die Autor:innen nennen mögliche Frustration durch starre sokratische Führung. Menschliches Taktgefühl bleibt wichtig. Zudem sind Forschungsteam und Produktumfeld mit Google/LearnLM und Eedi verbunden; das gehört zur Einordnung.

Eine einfache Planungsregel

Vor dem KI-Dialog sollten vier Dinge feststehen: die vermutete Fehlvorstellung, die erlaubte Rückfrage statt einer Lösung, die verantwortliche fachliche Prüfung und eine neue Aufgabe ohne KI.

Fehlt die passende Rückfrage oder die verlässliche Prüfung, kann ein statischer Hinweis oder ein Gespräch transparenter sein. Die Studie liefert keinen Freipass für autonome Tutor-Bots. Sie zeigt, wie viel pädagogische und menschliche Konstruktion in einem vielversprechenden KI-Ergebnis stecken kann. Methoden und Resultate stehen im HTML-Volltext, im Abstract und in der PDF-Fassung.