modelle

    Token

    Die kleinste Einheit, in die Text für die Verarbeitung durch ein Sprachmodell zerlegt wird.

    Ein Token ist ein Textfragment – typischerweise ein Wort, Wortteil oder Satzzeichen. LLMs verarbeiten Text als Sequenz von Tokens. Die Token-Anzahl bestimmt die Kosten und die maximale Kontextlänge. Faustregel: 1 Token ≈ 4 Zeichen im Englischen, etwas weniger im Deutschen.