In diesem Artikel erklären wir, was Tokens sind und wie sie berechnet werden. Außerdem zeigen wir ein konkretes Beispiel und geben Tipps, wie du Tokens effizient sparen kannst.
- Definition von Tokens
- Wie Tokens berechnet werden
- Ein Beispiel für Tokens
- Vergleich: Wort- vs. Subwort-Tokenisierung
- Effiziente Nutzung von Tokens
Definition von Tokens
Tokens sind ein zentraler Bestandteil der Textverarbeitung in Machine-Learning-Modellen wie ChatGPT von OpenAI und bilden die Grundlage für das Verständnis und die Interpretation von Textdaten. Diese sogenannten Tokens sind die kleinsten Einheiten, die solche Modelle verarbeiten können.
In der einfachsten Form kann ein Token ein Wort, ein Satzzeichen oder ein Leerzeichen sein. Fortgeschrittene Modelle wie ChatGPT erweitern dieses Konzept jedoch und können Tokens auch als Teile von Wörtern oder sogar als Kombinationen mehrerer Wörter definieren. Dieser Ansatz wird als Subwort-Tokenisierung bezeichnet.
Wie Tokens berechnet werden
Beim Verarbeiten eines Textes wird dieser zunächst in eine Reihe von Tokens zerlegt – ein Vorgang, der als Tokenisierung bezeichnet wird. Das Modell nutzt anschließend numerische Repräsentationen dieser Tokens, um den Text zu analysieren und Vorhersagen zu treffen.
Ein wichtiger Aspekt ist die maximale Anzahl an Tokens, die ein Modell verarbeiten kann. Beim GPT-3.5 Turbo liegt dieses Limit beispielsweise bei 4.096 Tokens, beim GPT-4 bei 8.192 Tokens. Diese Begrenzung gilt sowohl für Eingaben als auch für Ausgaben und wird als Kontextfenster bezeichnet.
Die tatsächlich verfügbare Anzahl an Tokens hängt nicht nur von den technischen Grenzen des Modells ab, sondern auch von den Einstellungen der jeweiligen Anwendung oder Plattform.
Ein Beispiel für Tokens
Ein Satz wie „ChatGPT ist ein Sprachmodell von OpenAI“ wird in einzelne Tokens zerlegt. Bei einer einfachen Wort-Tokenisierung könnte die Aufteilung wie folgt aussehen:
Bei der Subwort-Tokenisierung kann derselbe Satz jedoch in mehr oder weniger Tokens unterteilt werden – abhängig von der Tokenisierungslogik des jeweiligen Modells.
Vergleich: Wort- vs. Subwort-Tokenisierung
Angenommen, ein Text besteht aus 1.000 Wörtern. Bei einer einfachen Wort-Tokenisierung entspricht dies ebenfalls 1.000 Tokens. Bei der Subwort-Tokenisierung kann die Anzahl der Tokens jedoch variieren.
Ein Wort wie „Konfiguration“ könnte beispielsweise in mehrere Tokens zerlegt werden, etwa „Konfi“, „gura“, „tion“. Auch Satzzeichen oder Leerzeichen können als eigene Tokens gezählt werden. Dadurch kann die Gesamtzahl der Tokens höher sein als die tatsächliche Wortanzahl.
Effiziente Nutzung von Tokens
Grundsätzlich gilt: Je weniger Text in Eingabe und Ausgabe verwendet wird, desto weniger Tokens werden verbraucht. Das ist entscheidend, um die Effizienz zu maximieren und den Tokenverbrauch zu optimieren.
Effiziente Eingaben: Formuliere deine Fragen möglichst klar und präzise. Unnötige Wiederholungen, sehr lange Sätze oder irrelevante Informationen erhöhen den Tokenverbrauch.
Kürzere Antworten anfordern: In vielen Fällen kannst du die Länge der Antworten steuern. Kürzere Antworten verbrauchen weniger Tokens.
Umgang mit vorherigen Nachrichten: Je nach Anwendung kann es sinnvoll sein, die Funktion zum Speichern vorheriger Nachrichten zu aktivieren oder zu deaktivieren. Diese Einstellung kann beispielsweise in den Chat-Einstellungen angepasst werden. Wichtig: Wenn diese Funktion aktiv ist, werden auch frühere Fragen und Antworten in die Gesamtzahl der Tokens einbezogen.
Aktivierte Speicherfunktion: Wenn du ChatGPT beispielsweise zum Zusammenfassen von Texten nutzt und das erste Ergebnis verbessern möchtest, kann die Speicherfunktion hilfreich sein. So kann das Modell auf vorherige Informationen zurückgreifen und eine bessere Version erstellen. Das spart Tokens, da du den ursprünglichen Text nicht erneut eingeben musst.
Deaktivierte Speicherfunktion: Wenn du hingegen unabhängige Inhalte wie mehrere einzelne Gedichte erzeugen möchtest, ist es sinnvoll, die Speicherfunktion zu deaktivieren. Jede Anfrage wird dann separat behandelt. Alternativ kannst du auch für jede Anfrage einen neuen Chat starten. Das spart Tokens, da irrelevante vorherige Inhalte nicht berücksichtigt werden.