Experimente, Ergebnisse
und die Entscheidungen dahinter.

LLM Basics: Tokenizer – warum derselbe Text unterschiedlich viele Tokens benötigt

Ein und derselbe Text kann je nach Tokenizer unterschiedlich viele Tokens benötigen. Anhand eines Thai-Satzes vergleiche ich fünf Tokenizer und zeige, was die Unterschiede für Kontextfenster, API-Kosten und die Auswahl von Sprachmodellen bedeuten. Entscheidend ist nicht die kleinste Tokenzahl, sondern das Verhältnis von Kosten und Qualität bei der konkreten Aufgabe.