Tutorials · Grundlagen

Wie große Sprachmodelle (LLMs) funktionieren

Stand: · Lesezeit etwa 20 Minuten

Kurzüberblick

Ein großes Sprachmodell (Large Language Model, LLM) ist ein Computerprogramm, das zu einem Text das wahrscheinlichste nächste Textstück vorhersagt. Es arbeitet wie die Wortvorschläge auf der Handytastatur, nur mit unvergleichlich mehr Wissen und Übersicht. Antworten, Übersetzungen oder Programmcode entstehen, indem diese eine Vorhersage viele Male hintereinander ausgeführt wird.

Ein Beispiel: Auf „Die Hauptstadt von Frankreich ist“ folgt mit hoher Wahrscheinlichkeit „Paris“. Das Modell schlägt das nirgends nach. Es hat im Training so viele Texte gesehen, dass „Paris“ an dieser Stelle am besten passt.

Drei Gedanken tragen das ganze Dokument:

  • Das Wissen steckt in Milliarden von Stellschrauben. Fachleute nennen sie Parameter. Im Training werden sie Schritt für Schritt eingestellt; niemand tippt Wissen von Hand ein.
  • Der Kontext ist der Schreibtisch. Das Modell kann bei einer Antwort nur nutzen, was gerade vor ihm liegt: die Frage, den Gesprächsverlauf, angehängte Dokumente.
  • Lernen und Antworten sind getrennt. Beim Chatten verstellt sich keine Stellschraube. Das Modell lernt aus einem Gespräch nichts dauerhaft.

Bausteine eines LLM

Ein LLM zerlegt Text in kleine Stücke, übersetzt jedes Stück in Zahlen und rechnet mit diesen Zahlen in vielen Stufen weiter. Am Ende steht für jedes mögliche nächste Textstück eine Wahrscheinlichkeit. Die folgenden Begriffe beschreiben die Stationen auf diesem Weg.

Neuronales Netz. Ein Rechenverfahren aus sehr vielen einfachen Recheneinheiten, die miteinander verbunden sind, lose angelehnt an Nervenzellen im Gehirn. Jede Einheit kann wenig; das Können entsteht aus dem Zusammenspiel von Milliarden Verbindungen.

Token. Ein Textbaustein: ein Wort, ein Wortteil oder ein Satzzeichen. Tokens sind wie Legosteine, aus denen sich jeder Text zusammensetzen lässt. Ein langes Wort wie „Dampfschifffahrt“ wird etwa in „Dampf“, „schiff“ und „fahrt“ zerlegt; ein Modell kennt meist rund 100.000 solcher Bausteine.

Vektor. Eine Liste von Zahlen, die etwas beschreibt. Zwei Zahlen reichen, um einen Ort auf der Landkarte zu finden: Berlin liegt bei 52,5° Nord und 13,4° Ost. Ein LLM beschreibt jedes Token mit einer Liste aus einigen tausend Zahlen.

TextDampfschifffahrtTokensDampfschifffahrtVektoren0,12 -0,48 0,91 …-0,33 0,07 0,64 …0,58 0,21 -0,76 …
Vom Text zu Zahlen: Das Wort wird in Tokens zerlegt, jedes Token wird zu einer Zahlenliste (Beispielwerte; ein echter Vektor hat einige tausend Zahlen).

Embedding. Der Vektor, der die Bedeutung eines Tokens festhält: seine Adresse auf einer „Landkarte der Bedeutungen“. Wörter mit ähnlicher Bedeutung wohnen dort nah beieinander: „Hund“ neben „Katze“, weit weg von „Steuererklärung“. Sogar Beziehungen lassen sich ablesen: Der Weg von „Mann“ zu „Frau“ ist ungefähr derselbe wie von „König“ zu „Königin“.

HundKatzeähnliche Bedeutung: nah beieinanderweit entferntSteuererklärungMannFrauKönigKönigingleicher Weg = gleiche Beziehung
Die „Landkarte der Bedeutungen“, vereinfacht auf zwei Dimensionen: Ähnliches liegt nah beieinander, und Beziehungen zeigen sich als gleiche Wege.

Positionsinformation. Ein Zusatz, der jedem Token seinen Platz im Satz mitgibt, wie eine Hausnummer. Ohne ihn wären „Hund beißt Mann“ und „Mann beißt Hund“ für das Modell dasselbe.

Attention (Aufmerksamkeit). Der Mechanismus, mit dem das Modell Wörter aufeinander bezieht, wie ein Leser mit Textmarker. In „Die Katze jagte die Maus, weil sie hungrig war“ muss klar werden, wen „sie“ meint. Attention lässt das Token „sie“ auf die anderen Wörter schauen und die Information von „Katze“ übernehmen.

DieKatzejagtedieMaus,weilsiehungrigwarstarker Bezugschwacher Bezug
Attention als Textmarker: Das Token „sie“ schaut auf alle anderen Wörter und übernimmt vor allem die Information von „Katze“.

Feed-Forward-Netz. Der Teil, der nach dem Abgleich mit den Nachbarwörtern gespeichertes Wissen beisteuert, wie ein Griff ins Gedächtnis. Nach heutigem Forschungsstand liegt hier ein großer Teil des Faktenwissens.

Schicht (Layer). Eine Runde aus Attention und Feed-Forward-Netz. Dutzende Schichten folgen aufeinander wie Stationen an einem Fließband. Frühe Schichten erfassen tendenziell Grammatik, spätere eher Bedeutung und Zusammenhänge.

Transformer. Der Name der gesamten Bauweise, also des Stapels aus solchen Schichten. Das „T“ in „GPT“ steht dafür.

Ausgabeschicht. Die letzte Station rechnet das Ergebnis in Wahrscheinlichkeiten um, ähnlich einer Wettervorhersage. Nach „Ich trinke morgens gern eine Tasse“ könnte dort stehen: „Kaffee“ 60 %, „Tee“ 30 %, alle übrigen Wörter zusammen 10 % (Beispielwerte).

Gewichte und Biases: die Stellschrauben

Gewichte und Biases sind die Zahlen, die im Training eingestellt werden; zusammen heißen sie Parameter. Ein Mischpult im Tonstudio ist ein gutes Bild dafür.

  • Gewichte sind die Schieberegler: Sie bestimmen, wie laut jedes Eingangssignal in den Gesamtklang eingeht. Ein hohes Gewicht heißt „diese Information ist hier wichtig“, ein Gewicht nahe null heißt „ignorieren“.
  • Der Bias ist die Grundeinstellung eines Kanals. Er verschiebt das Ergebnis nach oben oder unten, egal was hereinkommt.
  • Die Aktivierungsfunktion ist eine Art Schwelle: Erst ab einer gewissen Stärke gibt die Recheneinheit ein Signal weiter.

Ein Alltagsbeispiel: Die Entscheidung „Gehe ich spazieren?“ hängt von Wetter, Uhrzeit und Wochentag ab. Das Wetter zählt stark (hohes Gewicht), der Wochentag kaum (niedriges Gewicht). Der Bias ist die Grundneigung: Ein Stubenhocker braucht mehr gute Gründe als ein Frischluftfan.

Für Interessierte dieselbe Idee als Formel, mit Eingaben x, Gewichten W, Bias b und Aktivierungsfunktion f:

y = f(W · x + b)

Ein Modell wie DeepSeek V4 Flash hat 284 Milliarden solcher Stellschrauben. Fast alle davon sind Gewichte; viele Schichten kommen ganz ohne Bias aus. Der Parameter „Bias“ ist nicht dasselbe wie „Bias“ im Sinn von Voreingenommenheit (siehe Grenzen und Risiken).

Wie ein Modell trainiert wird

Training heißt: Die Stellschrauben werden in sehr vielen kleinen Schritten nachjustiert, bis das Modell in echten Texten das nächste Token gut vorhersagt. Das Prinzip ist ein riesiger Lückentext: Wort verdecken, raten lassen, auflösen, aus dem Fehler lernen. Niemand programmiert Regeln oder Fakten von Hand ein.

Ein Trainingsschritt läuft so ab:

  1. Start mit Zufall. Alle Regler stehen anfangs beliebig. Das Modell erzeugt Buchstabensalat.
  2. Raten (Forward Pass). Das Modell bekommt einen Textausschnitt, etwa „Der Himmel ist“, und nennt Wahrscheinlichkeiten für das nächste Token.
  3. Fehler messen (Loss). Im echten Text folgt „blau“. Hat das Modell „blau“ nur 2 % gegeben, ist der Fehler groß; bei 90 % ist er klein. Der Loss ist diese Fehlerzahl, vergleichbar mit Fehlerpunkten in einer Klassenarbeit.
  4. Ursachen finden (Backpropagation). Das Verfahren rechnet vom Fehler rückwärts durch das Netz und ermittelt für jeden Regler, wie viel er zum Fehler beigetragen hat. Das Ergebnis pro Regler heißt Gradient: die Richtung, in die man drehen muss, damit der Fehler sinkt.
  5. Nachjustieren (Update). Jeder Regler wird ein winziges Stück in die bessere Richtung gedreht. Wie groß das Stück ist, bestimmt die Lernrate; das Programm, das dreht, heißt Optimierer.
  6. Wiederholen. Dieser Ablauf läuft über Billionen von Tokens.

Ein Bild für die Schritte 4 und 5: ein Wanderer im dichten Nebel, der ins Tal will. Er sieht das Tal nicht, spürt aber unter den Füßen, wo es bergab geht (Gradient), und macht einen kleinen Schritt dorthin (Lernrate). Zu große Schritte lassen ihn am Tal vorbeilaufen, zu kleine dauern ewig.

Start: großer Fehlerkleine Schritte bergab,Schrittgröße = LernrateTal: kleiner FehlerFehler (Loss)Einstellung der Stellschrauben
Der Wanderer im Nebel: Jeder Trainingsschritt dreht die Stellschrauben ein kleines Stück in die Richtung, in der der Fehler sinkt.

Das Verfahren heißt selbstüberwachtes Lernen, weil der Text selbst die Lösung liefert; Menschen müssen nichts von Hand beschriften. Aus der simplen Aufgabe entsteht erstaunlich viel. Wer „Die Hauptstadt von Frankreich ist …“ gut fortsetzen will, muss nebenbei Geografie lernen.

Die Phasen des Trainings

PhaseWas passiert
Pretraining (Vortraining)Wie Schulzeit und Allgemeinbildung: Das Modell liest Billionen Tokens aus Webtexten, Büchern, Programmcode und Fachliteratur. Danach beherrscht es Sprache und viel Weltwissen, setzt aber nur Texte fort.
Supervised Fine-Tuning (SFT), Lernen mit MusterlösungenWie eine Berufsausbildung: Das Modell sieht ausgewählte Beispiele aus Anfrage und guter Antwort. Aus dem Textfortsetzer wird ein Assistent, der Anweisungen befolgt.
Reinforcement Learning (RL), Lernen durch BelohnungWie Üben mit einem Trainer: Das Modell löst Aufgaben und erhält Punkte für gute Ergebnisse, etwa wenn sein Programm alle Tests besteht. Verhalten, das Punkte bringt, wird verstärkt.
Evaluation und Red-TeamingWie Abschlussprüfung und Crashtest: Standardaufgaben messen die Qualität, und Fachleute versuchen gezielt, das Modell zu Fehlverhalten zu verleiten.

Pretraining ist der teuerste Teil. Es läuft auf großen Verbünden von Spezialchips (GPUs) über Wochen bis Monate (ungefähre Größenordnung, je nach Modell). Die späteren Phasen heißen zusammen Post-Training.

Wie Kontext funktioniert

Der Kontext ist alles, was das Modell bei einer Anfrage vor sich hat. Ein Bild dafür: Die Parameter sind das Wissen im Kopf eines Experten, der Kontext ist sein Schreibtisch. Eine Antwort entsteht nur aus diesen beiden Quellen.

Auf dem Schreibtisch liegen typischerweise:

  • die Arbeitsanweisung des Anbieters (System Prompt)
  • der bisherige Gesprächsverlauf
  • angehängte Dokumente, Suchergebnisse und Ergebnisse von Werkzeugen
  • die aktuelle Frage
  • die schon geschriebenen Teile der Antwort
Parameterdas Wissen im KopfMilliarden Stellschrauben,im Training eingestellt,beim Chatten unverändertKontextder SchreibtischArbeitsanweisung (System Prompt)Bisheriger GesprächsverlaufDokumente, Suchergebnisse, WerkzeugeAktuelle FrageSchon geschriebene Teile der AntwortAntwort
Zwei Quellen, sonst nichts: Was weder in den Parametern steckt noch im Kontext liegt, existiert für das Modell nicht.

Kontextfenster. Die Größe des Schreibtischs, gemessen in Tokens. Bei DeepSeek V4 Flash sind es 1 Million Tokens; das entspricht grob mehreren dicken Büchern (ungefähre Einordnung). Was nicht auf den Tisch passt, existiert für das Modell nicht.

Kein eingebautes Gedächtnis. Nach jeder Antwort wird der Schreibtisch abgeräumt. Damit ein Gespräch zusammenhängend wirkt, legt die Anwendung bei jeder neuen Nachricht den gesamten Verlauf wieder hin. Das Modell gleicht einem Gutachter, der bei jedem Termin die komplette Akte neu liest.

Gedächtnisfunktionen. „Erinnerungen“ über mehrere Gespräche hinweg sind eine Zusatzfunktion der Anwendung. Sie speichert Notizen und legt sie beim nächsten Mal mit auf den Tisch.

In-Context-Learning (Lernen aus dem Kontext). Beispiele im Prompt ändern das Verhalten sofort, ohne dass sich eine Stellschraube bewegt. Das ist, als zeige man einer neuen Kollegin zwei Musterbriefe: Sie schreibt den dritten im selben Stil, ohne neu ausgebildet zu werden.

RAG (Retrieval-Augmented Generation). Eine Suche holt passende Dokumente und legt sie in den Kontext. Das entspricht einer Prüfung mit aufgeschlagenem Buch: Das Modell muss die Fakten nicht auswendig wissen, es darf nachlesen.

KV-Cache (Zwischenspeicher). Die Notizen, die sich das Modell beim Lesen macht. Ohne sie müsste es für jedes neue Wort den ganzen Text von vorn durcharbeiten. Die Notizen sparen Rechenzeit, brauchen aber Speicherplatz.

Lange Kontexte sind teuer, weil Attention im Grundprinzip jedes Token mit jedem anderen vergleicht. Es ist wie Händeschütteln auf einer Feier: Bei 10 Gästen sind es 45 Handschläge, bei 100 Gästen schon 4.950. Anbieter entwickeln deshalb sparsamere Verfahren und kompaktere Notizen; DeepSeek V4.1 Flash braucht nach eigenen Angaben 890 Bytes pro Token, etwa ein Viertel des Vorgängers.

Ein großer Schreibtisch garantiert keine gleichmäßige Aufmerksamkeit. Bei sehr langen Eingaben übersehen Modelle Details aus der Mitte eher als solche am Anfang oder Ende.

Wie eine Antwort entsteht (Inferenz)

Das Modell schreibt eine Antwort Stück für Stück: Es berechnet Wahrscheinlichkeiten für das nächste Token, wählt eines aus, hängt es an den Text an und beginnt von vorn. Der Fachbegriff für diesen Betrieb des fertigen Modells ist Inferenz. Die Stellschrauben bleiben dabei unverändert.

KontextBisheriger Text als TokensEmbeddingsJedes Token wird eine ZahlenlisteTransformer-SchichtenAttention + Feed-Forward, viele MaleWahrscheinlichkeitenEin Wert für jedes Token im VokabularAuslosen (Sampling)Ein Token wird gezogenToken anhängen,von vorn beginnen
Jedes neue Token durchläuft das ganze Modell. Erzeugungsschleife · 5 Schritte, 1 Rücksprung

Für eine Antwort mit 500 Tokens läuft diese Schleife 500 Mal. Die Notizen im KV-Cache sorgen dafür, dass der schon gelesene Kontext dabei nicht jedes Mal neu berechnet wird.

  • Sampling (Auslosen). Das Modell nimmt nicht stur das wahrscheinlichste Token, sondern lost aus. Man kann sich ein Glücksrad vorstellen, auf dem „Kaffee“ 60 % der Fläche hat und „Tee“ 30 %. Deshalb kann dieselbe Frage verschiedene Antworten ergeben.
  • Temperatur. Ein Regler dafür, wie mutig gelost wird. Niedrig: Das Modell bleibt beim Naheliegenden, gut für Fakten. Hoch: Auch unwahrscheinliche Wörter kommen zum Zug, gut für kreative Texte, aber fehleranfälliger. Bei Temperatur 0 gewinnt immer das wahrscheinlichste Token.
  • Top-p und Top-k. Vor dem Losen werden die abwegigsten Kandidaten vom Glücksrad entfernt. Übrig bleiben nur die wahrscheinlichsten Wörter.
  • Ende der Antwort. Auch „Schluss“ ist ein Token: Das Modell wählt ein spezielles Stopp-Zeichen, oder eine Längengrenze greift.
  • Reasoning („Thinking“). Das Modell schreibt zuerst Zwischenüberlegungen auf, wie eine Nebenrechnung auf dem Schmierzettel in der Mathearbeit. Sie liegen dann im Kontext und verbessern die eigentliche Antwort. DeepSeek V4 bietet dafür die Stufen Non-Think, High und Max.
  • Kosten. Abgerechnet wird nach Tokens, getrennt für gelesenen und geschriebenen Text. Geschriebene Tokens sind teurer, weil jedes einen eigenen Durchlauf der Schleife braucht.
Temperatur niedrigbleibt beim Naheliegenden78 %Kaffee20 %Tee2 %übrigeAusgangswerteWahrscheinlichkeiten des Modells60 %Kaffee30 %Tee10 %übrigeTemperatur hochmutiger, fehleranfälliger49 %Kaffee33 %Tee18 %übrige
Das Glücksrad und die Temperatur: Eine niedrige Temperatur verstärkt den Favoriten, eine hohe gibt auch unwahrscheinlichen Wörtern eine Chance (gerundete Beispielwerte).

Wie ein Modell nachtrainiert wird

Nachtrainieren (Fine-Tuning) ist eine Fortbildung für ein fertiges Modell: Es lernt mit neuen, gezielt ausgewählten Beispielen weiter. Der Mechanismus ist derselbe wie im ersten Training: raten, Fehler messen, Regler nachjustieren. Gewichte und Biases werden also nicht von Hand geändert, sondern durch weitere Lernschritte verschoben.

MethodeWas passiert
Volles Fine-TuningWie eine Umschulung: Alle Gewichte und Biases dürfen sich ändern. Das wirkt am stärksten, ist aber teuer. Das Modell kann dabei früher Gelerntes verlieren („katastrophales Vergessen“), so wie jemand, der nur noch Spanisch übt, sein Französisch einbüßt.
Fortgesetztes PretrainingDas Modell liest weitere Rohtexte, etwa medizinische Fachliteratur oder Texte in einer neuen Sprache. Alle Parameter ändern sich.
LoRA und AdapterWie Klebezettel in einem Lehrbuch: Das Buch (die Originalgewichte) bleibt unverändert. Gelernt werden nur kleine Zusätze, meist weit unter 1 % der Parameter (ungefährer Richtwert). Das ist günstig, und die Zettel lassen sich je nach Aufgabe austauschen.
Nur-Bias-Tuning (BitFit)Nur die Grundeinstellungen (Biases) werden verändert, alle Schieberegler (Gewichte) bleiben fest. Sehr sparsam, für kleine Anpassungen.
RL-FeintuningLernen durch Belohnung, wie beim Training beschrieben. Geeignet für Verhalten, das sich bewerten, aber schwer vormachen lässt.
Model EditingEin chirurgischer Eingriff: Einzelne Gewichte werden gezielt verändert, um einen bestimmten Fakt zu korrigieren. Noch Forschungsgebiet, mit Nebenwirkungen.
DestillationEin neues, kleineres Modell lernt von einem großen (siehe Komprimierung).

So läuft ein Fine-Tuning praktisch ab:

  1. Beispiele sammeln, die das gewünschte Verhalten zeigen, zum Beispiel Kundenanfragen mit vorbildlichen Antworten.
  2. Das Basismodell laden und festlegen, welche Stellschrauben sich bewegen dürfen.
  3. Mit kleinen Schritten (niedriger Lernrate) trainieren, damit vorhandenes Wissen erhalten bleibt.
  4. Mit Beispielen prüfen, die das Modell im Training nie gesehen hat. So fällt auf, ob es nur auswendig gelernt hat (Overfitting), wie ein Schüler, der alte Prüfungsfragen paukt, statt den Stoff zu verstehen.
  5. Das neue Modell oder den Adapter bereitstellen.

Voraussetzung ist der Zugriff auf die Gewichte. Bei Open-Weight-Modellen kann man die Datei mit allen Gewichten herunterladen. Bei geschlossenen Modellen geht es nur, wenn der Anbieter einen Fine-Tuning-Dienst anbietet.

Oft ist Nachtrainieren nicht nötig. Eine bessere Anweisung (Prompt) oder RAG ändert das Verhalten ohne Training. Faustregel: Fine-Tuning für Stil und Verhalten, RAG für aktuelle oder interne Fakten.

Wie ein Modell komprimiert wird

Komprimierung macht ein Modell kleiner, schneller oder billiger im Betrieb und nimmt dafür einen meist kleinen Qualitätsverlust in Kauf. Das Prinzip kennt man vom Foto: Als JPG braucht es einen Bruchteil des Speichers und sieht fast gleich aus.

MethodeWas passiert
QuantisierungRunden. Jede Stellschraube ist eine Zahl mit vielen Nachkommastellen; gespeichert wird eine gröbere Fassung, etwa 3,1 statt 3,14159. Technisch: 8 oder 4 Bit pro Zahl statt 16. Der Speicherbedarf halbiert oder viertelt sich. Das ist die wichtigste Methode, um Modelle auf eigener Hardware zu betreiben.
Quantization-Aware Training (QAT)Das Modell übt schon im Training mit gerundeten Zahlen und lernt, damit zurechtzukommen. Der Qualitätsverlust ist deutlich kleiner als beim nachträglichen Runden.
Pruning (Beschneiden)Wie der Obstbaumschnitt: Verbindungen, die kaum etwas beitragen, werden entfernt. Das Netz wird kleiner und schneller; meist folgt ein kurzes Nachtraining.
DestillationMeister und Lehrling: Ein kleines Schülermodell lernt, die Antworten eines großen Lehrermodells nachzuahmen. Es erreicht einen Großteil des Könnens bei einem Bruchteil der Größe.
Low-Rank-ZerlegungEine große Zahlentabelle wird durch zwei kleine ersetzt, aus denen sie sich annähernd berechnen lässt. Beispiel Einmaleins: Statt 100 Ergebnisse zu speichern, genügen die Zahlen am Rand und die Rechenregel.
Mixture-of-Experts (MoE)Wie ein Krankenhaus mit vielen Fachärzten: Die Aufnahme schickt jeden Patienten nur zu den wenigen, die zuständig sind. Im Modell rechnet pro Token nur eine kleine Auswahl der „Experten“. Die Datei bleibt groß, aber der Rechenaufwand sinkt stark.
KV-Cache-KompressionDie Lesenotizen aus dem Kontext-Kapitel werden in Kurzschrift geführt. Lange Kontexte brauchen dadurch weniger Speicher.

Zur Einordnung: Ein Bit ist die kleinste Speichereinheit, eine einzelne 0 oder 1. Je mehr Bits eine Zahl bekommt, desto genauer ist sie und desto mehr Platz braucht sie.

Ein Rechenbeispiel: DeepSeek V4 Flash hat 284 Milliarden Parameter. Mit 16 Bit pro Parameter wären das rechnerisch 568 GB, mit 4 Bit 142 GB. Die bei LM Studio angebotene Datei ist 156,40 GB groß und braucht ebenso viel Arbeitsspeicher, weit mehr als ein üblicher Laptop hat.

Dasselbe Modell nutzt drei der Methoden zugleich. Pro Token sind nur 13 der 284 Milliarden Parameter aktiv (Mixture-of-Experts). Die Expertengewichte wurden mit QAT auf ein 4-Bit-Format trainiert. Das fertige Modell entstand durch Destillation aus mehr als zehn spezialisierten Lehrermodellen.

Speicherbedarf bei 284 Mrd. Parametern (rechnerisch)16 Bit568 GB8 Bit284 GB4 Bit142 GBPro Token aktiv (Mixture-of-Experts)13 von 284 Mrd. Parametern rechnen bei einem Token mit - knapp 5 %
Zwei Wege zum sparsamen Modell am Beispiel DeepSeek V4 Flash: gröber gespeicherte Zahlen (Quantisierung) und nur wenige aktive „Experten“ pro Token.

Trainingsdaten am Beispiel DeepSeek Flash

Ein Sprachmodell wird mit zwei Arten von Material gefüttert: erst mit riesigen Mengen Rohtext, dann mit ausgewählten Übungsaufgaben. DeepSeek nennt Umfang und Kategorien dieses Materials, aber nicht die einzelnen Quellen. „DeepSeek Flash“ ist die schnelle, günstige Modellreihe des Anbieters; unter dem Namen deepseek-flash läuft laut OpenRouter derzeit die Version V4.1 Flash (Stand 17. Oktober 2026).

MerkmalDeepSeek V4 FlashDeepSeek V4.1 Flash
Rohtext im Pretraining32 Billionen Tokens (englisch: 32 trillion)45 Billionen Tokens, multimodal
VerarbeitetTextText und Bilder
Stellschrauben (Parameter) gesamt284 Mrd.552 Mrd.
Davon pro Token aktiv13 Mrd.16 Mrd. beim Schreiben, 8 Mrd. beim Lesen
Kontextfenster1 Mio. Tokens1 Mio. Tokens

Zur Größenordnung: 32 Billionen Tokens entsprechen grob 24 Billionen Wörtern. Ein Mensch, der Tag und Nacht 250 Wörter pro Minute liest, bräuchte dafür rund 180.000 Jahre (grobe Schätzung mit ¾ Wort pro Token). „Multimodal“ heißt, dass neben Text auch andere Datenarten wie Bilder enthalten sind.

Was im Pretraining steckt

Für V4 beschreibt DeepSeek den Lesestoff als Weiterentwicklung der Daten des Vorgängers V3:

  • Webtexte, gefiltert: Massenhaft automatisch erzeugte und schablonenhafte Seiten werden aussortiert, damit das Modell nicht aus minderwertigem Text lernt.
  • Programmcode und Mathematik als Kernbestandteile.
  • Mehrsprachige Texte in größerem Umfang als zuvor, für selteneres Wissen aus verschiedenen Kulturen.
  • Lange Dokumente, vor allem wissenschaftliche Arbeiten und technische Berichte.
  • Agenten-Daten: Aufzeichnungen, in denen ein Modell Aufgaben Schritt für Schritt mit Werkzeugen löst. Sie kamen in einer späteren Phase hinzu, um das Programmieren zu stärken.

In welcher Form die Daten ins Modell gehen

  1. Ein Tokenizer, das Programm zum Zerlegen von Text, schneidet alles in Tokens. Sein Vokabular umfasst 128.000 Bausteine.
  2. Dokumente aus verschiedenen Quellen werden zu langen Textbahnen (Sequenzen) aneinandergereiht.
  3. Die Länge dieser Bahnen wächst im Lauf des Trainings: 4.000, 16.000, 64.000 und schließlich 1 Million Tokens. Das Modell lernt also erst kurze, dann immer längere Zusammenhänge.
  4. Die Aufgabe bleibt stets der Lückentext: das nächste Token vorhersagen.

Was im Post-Training dazukommt

  1. Für jedes Fachgebiet (Mathematik, Programmieren, Agenten, Befolgen von Anweisungen) entsteht ein Spezialmodell. Es lernt erst mit Musterlösungen (SFT), dann durch Belohnung (RL).
  2. Agenten-Aufgaben laufen in einer Sandbox. Das ist ein abgeschotteter Übungsrechner, ein „Sandkasten“, in dem das Modell gefahrlos Befehle ausführen und Dateien bearbeiten kann.
  3. Ein einziges Schülermodell lernt per Destillation von mehr als zehn dieser Spezialisten, wie ein Lehrling mit vielen Meistern.

Was offen bleibt

  • Welche Websites, Bücher oder Code-Sammlungen genau enthalten sind, ist nicht veröffentlicht.
  • Die Anteile der Kategorien am Gesamtumfang sind nicht angegeben.
  • Für V4.1 Flash stammen die Angaben hier nur aus der Kurzfassung der Veröffentlichung; welche Bilddaten oder sonstigen Daten im multimodalen Korpus stecken, steht dort nicht.

Weitere Aspekte zum Verständnis

Ein LLM im Alltag ist mehr als das nackte Modell: Um die Stellschrauben herum liegt ein System aus Anweisungen, Werkzeugen und Prüfungen.

BegriffWas dahintersteckt
System PromptDie Arbeitsanweisung, die der Anbieter dem Modell vor jedem Gespräch mitgibt, wie die Einweisung für einen neuen Mitarbeiter. Ein großer Teil des sichtbaren Verhaltens kommt von hier, nicht aus den Gewichten.
Tools (Werkzeuge)Das Modell kann selbst nur Text schreiben. Braucht es eine Suche oder einen Taschenrechner, schreibt es eine Art Bestellung: „Suche nach X“. Die Anwendung führt sie aus und legt das Ergebnis in den Kontext.
AgentenEin Modell, das eine Aufgabe selbstständig in vielen Schritten abarbeitet: planen, Werkzeug nutzen, Ergebnis prüfen, weitermachen. Man nennt ihm ein Ziel statt einzelner Handgriffe.
MultimodalitätDas Modell verarbeitet neben Text auch Bilder, Ton oder Video. Auch sie werden in Tokens und Vektoren übersetzt, also in dieselbe Sprache aus Zahlen.
Offene und geschlossene ModelleBei Open-Weight-Modellen lässt sich die Datei mit allen Stellschrauben herunterladen und auf eigenen Rechnern betreiben. Geschlossene Modelle bleiben beim Anbieter; man erreicht sie nur über dessen App oder eine API.
APIEine Programmierschnittstelle: der Lieferanteneingang, über den andere Programme Anfragen an das Modell schicken, ohne die Chat-Oberfläche zu benutzen.
Evaluation (Benchmarks)Einheitliche Prüfungen, etwa in Programmieren oder Mathematik, mit denen Modelle verglichen werden. Sie veralten schnell. Sind Prüfungsaufgaben in die Trainingsdaten geraten, hat das Modell die Lösungen gewissermaßen vorab gesehen.
Hardware (GPUs)Spezialchips, die sehr viele einfache Rechnungen gleichzeitig ausführen; ursprünglich für Computergrafik gebaut. Training ist ein einmaliger Großaufwand, der tägliche Betrieb verursacht über die Zeit oft die höheren Gesamtkosten.
InterpretierbarkeitDer Versuch, dem Modell in den Kopf zu schauen. Warum genau eine bestimmte Antwort entsteht, ist bisher nur in Teilen verstanden.
Alignment und SicherheitDie „Erziehung“ des Modells: Training und zusätzliche Filter sollen dafür sorgen, dass es hilfreich bleibt und schädliche Anfragen ablehnt.

Grenzen und Risiken

Ein LLM ist darauf trainiert, plausiblen Text zu erzeugen, nicht darauf, die Wahrheit zu sagen. Die meisten Schwächen folgen direkt aus dieser Bauweise.

  • Halluzinationen. Das Modell erfindet flüssig klingende, aber falsche Angaben, etwa Quellen oder Zahlen. Es verhält sich wie ein Prüfling, der lieber selbstbewusst rät, als eine Lücke zu lassen.
  • Wissensstand. Das Wissen in den Parametern endet mit den Trainingsdaten, wie bei jemandem, der von einer langen Expedition zurückkehrt. Neueres muss über Suche oder Dokumente in den Kontext kommen.
  • Verzerrungen (Bias). Das Modell übernimmt Vorurteile und Lücken seiner Trainingstexte. Kommen dort Ärzte meist als Männer vor, setzt es dieses Muster fort.
  • Keine Quellenangabe aus dem Gedächtnis. Das Modell weiß meist nicht, woher es etwas weiß; gelernt ist ein Gesamteindruck, kein Zettelkasten. Wörtliche Zitate aus dem Gedächtnis sind unzuverlässig.
  • Rechnen und Zählen. Das Modell schätzt Ergebnisse eher nach Sprachgefühl, als wirklich zu rechnen. Für exakte Zahlen braucht es ein Werkzeug wie einen Taschenrechner.
  • Schwankende Antworten. Wegen des Losverfahrens fällt die Antwort nicht jedes Mal gleich aus.
  • Prompt Injection (eingeschleuste Anweisungen). Steht in einem Dokument oder auf einer Webseite versteckt „Ignoriere deine bisherigen Anweisungen“, kann das Modell darauf hereinfallen. Es kann Lesestoff und Befehle im Kontext nicht sicher trennen.
  • Datenschutz und Urheberrecht. Herkunft und Rechte der Trainingsdaten sind oft ungeklärt. Eingaben können je nach Anbieter gespeichert oder für Training genutzt werden.

Für die Praxis heißt das: Wichtige Fakten gegenprüfen, Quellen verlangen und vertrauliche Daten nur nach Prüfung der Anbieterbedingungen eingeben.

Glossar

BegriffIn einem Satz
Neuronales NetzRechenverfahren aus sehr vielen verbundenen, einfachen Recheneinheiten.
ParameterDie Stellschrauben des Modells: alle Gewichte und Biases zusammen.
GewichtSchieberegler, der bestimmt, wie stark eine Information zählt.
BiasGrundeinstellung einer Recheneinheit, unabhängig von der Eingabe.
TokenTextbaustein (Wort, Wortteil, Satzzeichen), wie ein Legostein.
TokenizerProgramm, das Text in Tokens zerlegt.
VektorListe von Zahlen, die etwas beschreibt, wie Koordinaten auf einer Karte.
EmbeddingVektor für die Bedeutung eines Tokens: seine Adresse auf der Landkarte der Bedeutungen.
TransformerBauweise heutiger LLMs: ein Stapel aus vielen gleichartigen Schichten.
AttentionMechanismus, der Wörter im Text aufeinander bezieht, wie ein Textmarker.
LossFehlerzahl: wie weit die Vorhersage danebenlag.
GradientRichtung, in die ein Regler gedreht werden muss, damit der Fehler sinkt.
BackpropagationRückwärtsrechnung, die für jeden Regler seinen Anteil am Fehler ermittelt.
LernrateSchrittgröße beim Nachjustieren.
PretrainingErstes, großes Training auf allgemeinen Texten: die Schulzeit.
Fine-TuningNachträgliches Training auf speziellen Beispielen: die Fortbildung.
LoRASparsames Fine-Tuning über kleine Zusätze: Klebezettel im Lehrbuch.
InferenzBetrieb des fertigen Modells zum Erzeugen von Text.
SamplingAuslosen des nächsten Tokens nach Wahrscheinlichkeit.
TemperaturRegler dafür, wie mutig gelost wird.
KontextfensterGröße des Schreibtischs: wie viele Tokens das Modell gleichzeitig sieht.
RAGSuche plus Einfügen der Treffer in den Kontext: Prüfung mit aufgeschlagenem Buch.
KV-CacheLesenotizen des Modells, damit es nicht alles neu berechnen muss.
QuantisierungRunden der Parameter, um Speicher zu sparen.
DestillationEin kleines Modell lernt von einem großen: Lehrling und Meister.
Mixture-of-ExpertsBauweise, bei der pro Token nur wenige „Fachärzte“ rechnen.
GPUSpezialchip, der sehr viele Rechnungen gleichzeitig ausführt.
APISchnittstelle, über die Programme das Modell ansprechen.
HalluzinationPlausibel klingende, aber falsche Ausgabe.

Weitere Begriffe - auch zu Pseudonymisierung, Datenschutz und Berufsrecht - stehen im Glossar der Tutorials.

Quellen

Die Angaben zu DeepSeek stammen aus diesen Seiten, abgerufen am 20. November 2026. Die allgemeinen Erklärungen geben etabliertes Fachwissen wieder.

Weiterlesen:Alle Tutorials und das Glossar · KI & Berufsrecht · Dokumente vor der KI-Nutzung pseudonymisieren · Pseudonymisierung oder Anonymisierung?

KI nutzen, ohne Namen preiszugeben

LexITanon pseudonymisiert Urteile und Schriftsätze lokal, bevor sie an einen KI-Dienst gehen. Die Demo im Browser bearbeitet Texte und PDFs bis zu 20 Angaben - ohne Anmeldung.