Lokale Sprachmodelle sind eine praktische Option, wenn du mehr Kontrolle über Datenflüsse, Betrieb und Modellwahl brauchst. Sie sind aber keine pauschal bessere oder günstigere Alternative zur Cloud. Entscheidend sind deine Aufgaben, die vorhandene Hardware und der Aufwand für Wartung und Qualitätssicherung.
Dieser Artikel ordnet die im ursprünglichen Überblick vom Mai 2026 genannten Modellfamilien ein. Prüfstand der Korrekturen ist der 30. September 2026. Er ist keine vollständige Rangliste aller inzwischen veröffentlichten Modelle. Die früher genannten Geschwindigkeiten waren nicht durch einen dokumentierten Testaufbau belegt und eignen sich nicht als Kaufberatung.
Die Hardware-Realität#
Drei Wege sind sinnvoll: CPU mit ausreichend Arbeitsspeicher, NVIDIA-GPU mit eigenem VRAM und Apple Silicon mit Unified Memory. Die Zahl der CPU-Kerne allein sagt wenig über die Geschwindigkeit aus. Speicherbandbreite, Modell, Quantisierung, Kontextlänge, Backend und parallele Anfragen zählen ebenfalls.
Nur CPU: Ein kleineres quantisiertes Modell kann für Entwürfe, Zusammenfassungen und Hintergrundaufgaben ausreichen. Prüfe die Reaktionszeit an deinen eigenen Aufgaben. Ein konkreter Intel i9 oder Ryzen 9 hat nicht automatisch 32 CPU-Kerne. Große Modelle können in den Arbeitsspeicher passen und trotzdem für interaktive Arbeit zu langsam sein.
Consumer-GPU: Eine RTX 4090 hat 24 GB VRAM, eine RTX 4080 16 GB. Ein 32B-Modell in einer verbreiteten Vierbit-Quantisierung kann auf der 4090 je nach Datei und Kontextbudget passen. Das ist kein Versprechen für die 4080. Gewichte, KV-Cache und Laufzeitpuffer müssen gemeinsam hineinpassen.
Ein 70B-Modell benötigt allein für seine Gewichte bei rechnerisch vier Bit mindestens rund 35 GB, bei drei Bit rund 26,25 GB, jeweils ohne Zusatzbedarf. Es passt deshalb nicht vollständig in den VRAM einer 24-GB-Karte. Auslagerung in RAM oder mehrere GPUs können es ausführbar machen, verändern aber Geschwindigkeit und Betrieb erheblich.
Apple Silicon: CPU und GPU teilen sich den Speicher. Das ermöglicht größere Modelle als auf einer Karte mit wenig VRAM. Das Betriebssystem und andere Programme brauchen ebenfalls Speicher. Ein Mac mit 64 GB ist kein Beleg für eine bestimmte Tokenrate oder einen pauschalen Geschwindigkeitsvorteil gegenüber NVIDIA.
Bevor du Hardware kaufst, teste Modellqualität, Antwortzeit, langen Kontext und gleichzeitige Nutzer auf einem passenden Testsystem. Rechne Strom, Einrichtung und Pflege in die Kosten ein.
Die Modelle, die du einordnen solltest#
Qwen3: Die ursprüngliche Veröffentlichung enthält dichte Modelle mit 0,6B, 1,7B, 4B, 8B, 14B und 32B Parametern sowie die MoE-Modelle 30B-A3B und 235B-A22B. Ein ursprüngliches Qwen3 7B oder 72B gehört nicht dazu. Für erste Tests sind kleinere Varianten oder 14B mögliche Kandidaten, keine allgemeingültigen Sieger.
Llama 3.3: Das hier gemeinte offizielle Modell ist Llama 3.3 70B Instruct. Die frühere Empfehlung eines Llama 3.3 8B war falsch. Ein kleineres Llama aus einer anderen Generation muss mit seiner tatsächlichen Modellbezeichnung geprüft werden.
Gemma 3: Die ursprüngliche Familie umfasst 1B, 4B, 12B und 27B. Eine ursprüngliche 8B-Variante war hier falsch angegeben. Prüfe Modellkarte, Lizenz, Sprachqualität und gegebenenfalls Bildverarbeitung der konkreten Variante.
Mistral, Phi-4 und die destillierten DeepSeek-R1-Varianten sind weitere mögliche Testkandidaten. Reasoning-Modelle können längere Antworten erzeugen und mehr Zeit benötigen. Gute Ergebnisse in einem fremden Benchmark ersetzen keine Prüfung deiner deutschen Texte, Dokumente oder Werkzeugaufrufe. Auch ein Open-Weight-Modell hat Lizenzbedingungen.
Bei MoE steht die aktive Parameterzahl für den Rechenaufwand pro Token, nicht für den gesamten Speicherbedarf. Ein 235B-A22B-Modell muss weiterhin seine Expertengewichte bereithalten; es ist kein 22B-Modell für die Hardwareplanung.
Der Stack#
Ollama ist ein unkomplizierter Einstieg mit lokaler API. llama.cpp bietet direktere Kontrolle über GGUF-Dateien und Laufzeitoptionen. vLLM ist für Serving und parallele Anfragen interessant, seine Eignung hängt von Modell und Hardware ab. LocalAI bündelt mehrere Backends. MLX-LM ist eine Option für Apple Silicon.
Wähle den Stack nach benötigten Schnittstellen, Modellunterstützung und Betrieb. Ein OpenAI-kompatibles API erleichtert die Anbindung, garantiert aber keine identische Funktion jedes Tools.
Quantisierung und Speicher#
Quantisierung reduziert den Speicherbedarf der Gewichte. Sie macht aus einem großen Modell kein beliebig kleines Modell ohne Qualitätsverlust. Q4_K_M kann ein vernünftiger Ausgangspunkt sein; Q5, Q6 oder Q8 brauchen mehr Speicher. IQ-Varianten und sehr niedrige Bitbreiten musst du an deinen Aufgaben vergleichen.
Die Größe der heruntergeladenen Datei ist nur ein Teil der Rechnung. Langer Kontext und mehrere Anfragen erhöhen den Bedarf. Wenn etwas gerade noch lädt, heißt das nicht, dass es bei deinem geplanten Kontext stabil läuft.
Dein Setup wählen#
Starte mit einem überschaubaren Modell und einer dokumentierten Konfiguration. Teste dieselben Aufgaben mit mehreren Kandidaten: eine Zusammenfassung, einen deutschen Entwurf, eine Frage über deine Dokumente und einen Werkzeugaufruf, falls du ihn brauchst. Halte Fehler, Laufzeit und Speicherverbrauch fest.
Für einen lokalen Ollama-Test kannst du etwa ollama run qwen3:14b verwenden. Prüfe die tatsächlich geladene Variante und Quantisierung. Für einen schwächeren Rechner ist ein kleineres Modell wie Qwen3 8B ein Testkandidat. Eine Empfehlung für einen Teamserver braucht zusätzlich einen Lasttest und Zugriffsschutz.
Lokal heißt: Datenflüsse prüfen#
Lokale Inferenz kann verhindern, dass Prompts an einen Modellanbieter gehen. Das gilt nur für den tatsächlich lokalen Pfad. Cloud-Modelle, Websuche, Embedding-APIs, Fernwartung, Logs und Sicherungen können weiterhin Daten übertragen. Ollama dokumentiert OLLAMA_NO_CLOUD=1, um seine Cloud-Funktionen zu deaktivieren. Prüfe zusätzlich deine Anwendung und Integrationen.
Die nächsten Modellversionen können bessere Qualität oder andere Hardwareanforderungen bringen. Kaufentscheidungen sollten deshalb auf einem reproduzierbaren Test deiner Aufgaben beruhen, nicht auf einer Prognose für das nächste Quartal.
Quellen und Prüfstand#
Geprüft am 30. September 2026.
