Token

Die kleinste Einheit, in der ein Sprachmodell Text verarbeitet — meist ein Wortfragment.

Was es bedeutet

Sprachmodelle lesen und schreiben nicht in Buchstaben oder ganzen Wörtern, sondern in Tokens. Ein deutsches Wort hat im Schnitt 1.5 bis 2 Tokens — «Schule» ist ein Token, «Schulkommunikation» können drei oder vier sein. Tokens sind die Einheit, in der KI-Kosten abgerechnet werden und Kontextfenster gemessen werden. Faustregel: 1'000 Tokens ≈ 750 deutsche Wörter ≈ 1.5 A4-Seiten Fliesstext.

Im Schulalltag

Eine API-Abrechnung sagt «42'000 Input-Tokens, 3'500 Output-Tokens». Das entspricht etwa 30 Seiten Eingabe und einer halben A4-Seite Antwort.

Verwandte Begriffe

← Alle Begriffe