Ein KI-Tutor ist ein System unter Dauerprüfung

· KI-Tutor · Evaluation · Lernen

Das Wort Tutor steht auf einem Prüfstand; fünf Messfühler zeigen, dass mehrere Qualitätsdimensionen getrennt geprüft werden müssen.
Slide 1 von 10
Schnelle Antworten, viele Dialogzüge und eine richtige nächste Aufgabe werden von Tutorqualität, tiefem Denken und langfristigem Lernen abgegrenzt.
Slide 2 von 10
Mehr als 40 produktinterne Experimente prüfen Modell, Prompt, Personalisierung und Agenten; zwei berichtete Metriken steigen kumulativ um 10 und 14 Prozent.
Slide 3 von 10
In einem Experiment sank die Preisgabe von Endantworten um 85,5 % ± 5,56 %, die Zahl der Dialogzüge stieg um 7,66 % ± 2,25 %, und die klassifizierte kognitive Beteiligung sank um 18,09 % ± 7,45 %; angegeben sind die berichteten Fehlerspannen der 95-%-Konfidenzintervalle.
Slide 4 von 10
Eine sechsstufige Metrikleiter trennt Systemfunktion, Tutorverhalten, Nutzung, sichtbares Denken, kurzfristigen Nahtransfer und nicht gemessenes späteres Behalten oder Ferntransfer.
Slide 5 von 10
Fünf gleich gewichtete Dimensionen verbinden Fachlichkeit, Hilfetiefe, Interaktionsqualität, unabhängigen Lernnachweis und menschliche Änderungskontrolle.
Slide 6 von 10
Ein automatischer Prüffilter übersieht gemäss berichteter Falsch-Negativ-Rate einen relevanten Anteil mathematischer Fehler; menschliche Stichproben ergänzen ihn.
Slide 7 von 10
Ein schulischer Prüfzyklus führt vom Lernziel über Metriken und Pilot zum unabhängigen Nachweis, Audit und erneuten Entscheid nach Updates.
Slide 8 von 10
Fünf Beschaffungsanforderungen decken Metriken, Prüfergüte, Versionen, Abbruchregeln und einen lokalen Pilot mit unabhängiger Nachweisphase ab.
Slide 9 von 10
Die Schlussfolie fordert eine erneute Prüfung nach Updates. Randomisierte Live-Experimente können kurzfristige kausale Varianteneffekte schätzen; langfristiger, allgemeiner oder über die same-session-Nahtransfermetrik hinausgehender kausaler Lernerfolg ist nicht belegt.
Slide 10 von 10
1/10

Was die Prüfstudie misst

Eine gute Antwort ist noch kein Lernnachweis: Schulen brauchen getrennte Metriken, menschliche Audits und unabhängige Lernnachweise.

Ein Tutor-Label ist kein Gütesiegel. Die auf arXiv veröffentlichte Fassung eines AIED-2026-Konferenzbeitrags beschreibt, wie Khan Academy Khanmigo mit Offline-Tests und meist ein- bis zweiwöchigen Live-Experimenten prüft. In mehr als 40 Experimenten bewegten sich produktinterne Metriken teils gegeneinander.

Die Messungen müssen getrennt bleiben: Dialogzüge zählen Interaktion. LLM-klassifizierte «kognitive Beteiligung» bewertet sichtbare Äusserungen. Next-item correctness prüft einen neuen Gegenstand derselben Fertigkeit in derselben Sitzung ohne erneute Khanmigo-Hilfe. Randomisierte Live-Experimente können kausale Varianteneffekte auf solche kurzfristigen Produktmetriken schätzen. Das belegt aber weder langfristiges Behalten noch Ferntransfer oder allgemeinen beziehungsweise darüber hinausgehenden kausalen Lernerfolg.

Auch der Messfühler macht Fehler: Für den Math-Error-Judge berichtet der Beitrag F1 0,61 und eine Falsch-Negativ-Rate von 0,41. Automatische Judges brauchen deshalb dokumentierte Güte, menschliche Fachstichproben und Eskalationswege.

Alle Autor:innen sind mit Khan Academy affiliiert; untersucht werden das eigene Produkt und die eigene Messinfrastruktur. Unabhängige Replikation, längerfristige Outcomes und die Übertragbarkeit auf andere Kontexte sind begrenzt oder nicht berichtet.

Das Carousel führt unsere publizierte Position bewusst fort: Gute Lerndialoge diagnostizieren, dosieren Hilfe, schützen Eigenaktivität, reagieren auf Fehler und führen zurück in selbstständiges Können. Neu sind Metrikleiter, sichtbare Zielkonflikte samt Unsicherheit, Versionslogik, menschliche Auditierung und der Prüfcheck für Schulen.

Für die Schweiz bleibt offen: Passen Lehrplan, Sprachen, Datenschutz, Minderjährigenschutz, Verträge, Ressourcen und Assessment? Das ist eine lokale Anschlussfrage, keine Rechtsauskunft und keine Aussage des Papers.

Quellen

Mehr aus diesem Thema