Nah dran ist nicht punktgenau

TeachEdge hat sein KI-Bewertungssystem mit veröffentlichten Prüferurteilen verglichen: 67 ausgewählte Antworten aus britischen A-Level-Wirtschaftsprüfungen. Bei 55 lag die KI höchstens zwei Punkte daneben. Exakt dieselbe Punktzahl vergab sie bei 31.

Beide Zahlen stimmen. Sie beantworten aber unterschiedliche Fragen. Zwei Punkte Abstand sind bei einer Vier-Punkte-Aufgabe etwas anderes als bei einem Essay mit 25 möglichen Punkten.

Der Anbieter führte den Pilot selbst durch. Die Auswahl ist nicht repräsentativ, jede Antwort wurde nur einmal bewertet. Ob die KI bei einer Wiederholung gleich urteilt, bleibt offen. Auch frühere Kontakte des Modells mit dem öffentlich verfügbaren Prüfungsmaterial lassen sich nicht ausschliessen. Ein direkter Vergleich mit unabhängig bewertenden Lehrpersonen fehlt.

Wenn eine Schule solche Ergebnisse prüft, gehört deshalb die zugelassene Abweichung direkt neben die Übereinstimmungszahl. Und die Entscheidung, welche Abweichung bei welcher Aufgabe vertretbar ist, muss vor dem Einsatz fallen.