Lokale KI: Welches Modell läuft auf welcher Hardware?

Welches lokale KI-Modell läuft, entscheidet der Grafikspeicher. Ein 4-Bit-Modell braucht rund 0,6 GB pro Milliarde Parameter plus Kontext-Reserve. Mit 8 GB VRAM laufen Modelle bis etwa 8B, mit 16 GB bis rund 20B, mit 32 GB bis rund 35B.

Kurz zusammengefasst

Lokale KI bedeutet, ein Sprachmodell auf dem eigenen Rechner statt in der Cloud auszuführen. Der limitierende Faktor ist der Speicher, in den das Modell passt: VRAM der Grafikkarte oder Unified Memory beim Mac. Quantisierung auf 4 Bit reduziert den Bedarf auf etwa ein Viertel gegenüber 16 Bit. Die Geschwindigkeit bestimmt vor allem die Speicherbandbreite. Mixture-of-Experts-Modelle wie gpt-oss-20b oder Qwen3.6-35B-A3B antworten schneller als gleich große dichte Modelle, brauchen aber trotzdem Platz für alle Gewichte.

Wie viel Speicher braucht ein lokales KI-Modell?

Ein lokales KI-Modell braucht Speicher für drei Dinge: die Modellgewichte, den KV-Cache für den Kontext und Laufzeit-Overhead. Die Gewichte dominieren. Ihr Bedarf ergibt sich aus Parameterzahl mal Bits pro Gewicht geteilt durch acht, gemessen in Byte.

Für die Planung nutzen wir bei bfg-it.de eine einfache Rechnung, die wir die 3-Posten-Speicherformel nennen: Gewichte plus Kontext plus Reserve. Posten 1 sind die Gewichte. Ein Modell mit 8 Milliarden Parametern belegt in voller 16-Bit-Präzision (BF16) rund 16 GB, in 8 Bit rund 8 GB und in 4 Bit rund 4 bis 5 GB. Posten 2 ist der KV-Cache. Er speichert Zwischenergebnisse aller Token im Kontextfenster und wächst linear mit der Kontextlänge. Posten 3 ist die Reserve für Laufzeit, Treiber und Desktop, praktisch 1 bis 2 GB.

Wie genau die Gewichte schrumpfen, zeigt die Dokumentation von llama.cpp am Beispiel Llama-3.1-8B. Die Quantisierungsstufe Q4_K_M nutzt 4,89 Bit pro Gewicht und ergibt eine Datei von 4,58 GiB. Q8_0 liegt bei 8,50 Bit und 7,95 GiB. Q4_K_M ist das Standardformat, das Ollama und LM Studio für die meisten Modelle ausliefern.

Quantisierung Bit pro Gewicht Dateigröße Llama-3.1-8B
Q4_K_M 4,89 4,58 GiB
Q5_K_M 5,70 5,33 GiB
Q6_K 6,56 6,14 GiB
Q8_0 8,50 7,95 GiB

Aus den 4,89 Bit von Q4_K_M folgt der Richtwert von rund 0,61 GB pro Milliarde Parameter. Ein 14B-Modell landet damit bei etwa 8,6 GB, ein 32B-Modell bei etwa 19,6 GB und ein 70B-Modell bei etwa 43 GB. Das sind eigene Hochrechnungen aus den llama.cpp-Werten, keine Herstellerangaben. Einzelne Modelle weichen ab, weil manche Schichten in höherer Präzision bleiben.

Welches Modell passt zu welcher Grafikkarte?

Welches Modell zu einer Grafikkarte passt, bestimmt der VRAM: 8 GB tragen Modelle bis etwa 8B in 4 Bit, 12 GB bis etwa 14B, 16 GB bis rund 20B oder kompakte MoE-Modelle, 32 GB bis rund 35B. Größere Modelle brauchen Unified Memory oder mehrere GPUs.

Die folgende Zuordnung kombiniert die VRAM-Angaben von NVIDIA für die GeForce-RTX-50-Serie mit den offiziellen Speicherangaben der Modellhersteller. Google nennt für Gemma 4 feste Werte für die geladenen Gewichte in 4 Bit (Q4_0): E4B 4,5 GB, 12B 6,7 GB, 26B A4B 14,4 GB und 31B 17,5 GB. OpenAI gibt für gpt-oss-20b an, dass das Modell mit 16 GB Speicher läuft.

Speicher Beispiel-Hardware Passende Modellklasse (4 Bit)
8 GB VRAM RTX 5060, RTX 5060 Ti 8 GB Gemma 4 E4B, Llama-3.1-8B, Qwen3-8B
12 GB VRAM RTX 5070 Gemma 4 12B, Qwen3-14B
16 GB VRAM RTX 5060 Ti 16 GB, RTX 5070 Ti, RTX 5080 gpt-oss-20b, Gemma 4 26B A4B (knapp)
32 GB VRAM RTX 5090 Gemma 4 31B, Qwen3-32B, Qwen3.6-35B-A3B
64–128 GB Unified Memory Mac Studio mit M5 Max 70B-Modelle, gpt-oss-120b
bis 512 GB Unified Memory Mac Studio mit M5 Ultra große MoE-Modelle wie Qwen3-235B-A22B

Die Tabelle rechnet mit etwas Luft für den Kontext. „Knapp“ bedeutet: Die Gewichte passen, aber bei langem Kontext lagert die Software Teile in den Arbeitsspeicher aus. Das Modell läuft dann weiter, allerdings deutlich langsamer. AMD-Karten wie die Radeon RX 9070 XT oder RX 7900 XTX unterstützt Ollama unter Linux über ROCm 7, dazu kommt Vulkan als zusätzlicher Pfad für AMD- und Intel-GPUs unter Windows und Linux.

Expert Insight

Die RTX 5060 Ti gibt es mit 8 und 16 GB, bei identischer Bandbreite von 448 GB/s. Für lokale KI ist die 16-GB-Variante die deutlich bessere Wahl, weil sie eine ganze Modellklasse mehr trägt: gpt-oss-20b statt eines 8B-Modells. Eine RTX 5080 hat ebenfalls nur 16 GB. Sie rechnet schneller, lädt aber keine größeren Modelle. Wer gezielt für KI kauft, sollte deshalb zuerst auf die Speichergröße schauen und erst danach auf die Rechenleistung.

Warum laufen Mixture-of-Experts-Modelle schneller?

Mixture-of-Experts-Modelle laufen schneller, weil pro Token nur ein kleiner Teil der Parameter rechnet. gpt-oss-20b hat 21 Milliarden Parameter, davon 3,6 Milliarden aktiv. Den Speicher sparen MoE-Modelle dadurch nicht: Alle Gewichte müssen trotzdem vollständig geladen sein.

Ein Mixture-of-Experts-Modell (MoE) besteht aus vielen Teilnetzen, den Experten. Ein Router wählt für jedes Token wenige Experten aus. Laut Modellkarte hat gpt-oss-120b 117 Milliarden Parameter, von denen 5,1 Milliarden pro Token aktiv sind, und passt auf eine einzelne 80-GB-GPU. Qwen3.6-35B-A3B aus dem April 2026 kombiniert 35 Milliarden Gesamt- mit 3 Milliarden aktiven Parametern. Beide Modelle stehen unter der Apache-2.0-Lizenz.

Der Geschwindigkeitsvorteil folgt aus der Physik der Inferenz. Beim Erzeugen jedes Tokens liest die Hardware alle aktiven Gewichte einmal aus dem Speicher. Die Speicherbandbreite ist damit die Obergrenze. Ein dichtes 12B-Modell mit 6,7 GB auf einer RTX 5070 mit 672 GB/s schafft theoretisch maximal etwa 100 Token pro Sekunde. Ein MoE-Modell mit 3 Milliarden aktiven Parametern liest pro Token nur einen Bruchteil seiner Gewichte und kommt dadurch einem 3B-Modell im Tempo nahe. Reale Werte liegen unter diesen theoretischen Grenzen, weil Kontextverarbeitung und Software-Overhead dazukommen.

Für die Praxis heißt das: MoE-Modelle sind ideal, wenn genug Speicher da ist, die Bandbreite aber begrenzt. Das trifft auf Macs mit viel Unified Memory und auf PCs zu, die Teile des Modells in den Arbeitsspeicher auslagern.

Reicht ein Mac mit Apple Silicon für lokale KI?

Ein Mac mit Apple Silicon reicht für lokale KI gut aus, weil CPU und GPU denselben Unified Memory nutzen. Der aktuelle Mac Studio mit M5 Ultra bietet bis zu 512 GB und 1,2 TB/s Bandbreite und lädt damit Modelle, die auf keine Consumer-Grafikkarte passen.

Unified Memory ist Arbeitsspeicher, auf den CPU und GPU gemeinsam zugreifen. Ein Mac mit 64 GB hat damit effektiv deutlich mehr Grafikspeicher als eine RTX 5090 mit 32 GB. Laut Apple-Datenblatt bietet der Mac Studio mit M5 Max bis zu 128 GB und bis zu 614 GB/s, mit M5 Ultra bis zu 512 GB. Ollama beschleunigt Apple-Chips über die Metal-Schnittstelle, eine Treiberinstallation entfällt.

Den Nachteil zeigt die Bandbreite. Eine RTX 5090 liefert laut NVIDIA 1.792 GB/s, ein M5 Max 614 GB/s. Bei einem 70B-Modell mit rund 43 GB ergibt die Bandbreiten-Obergrenze auf dem M5 Max etwa 14 Token pro Sekunde, real eher weniger. Das reicht für Chat und Textarbeit, für schnelle Code-Vervollständigung ist es knapp. macOS reserviert außerdem einen Teil des Speichers für das System, sodass nicht der volle Unified Memory für das Modell bereitsteht.

Einen praktischen Einstieg mit Mac Studio, Ollama und Open-Weight-Modellen beschreibt unser Beitrag Lokale LLMs Setup mit Mac Studio und Ollama. Für Workstations mit großer CPU und viel RAM lohnt ein Blick auf den Vergleich der Workstation-CPUs für lokale KI.

Läuft lokale KI auch ohne Grafikkarte?

Lokale KI läuft auch ohne Grafikkarte, dann rechnet die CPU mit dem normalen Arbeitsspeicher. Das funktioniert für kleine Modelle bis etwa 8B ordentlich. Größere Modelle werden spürbar langsam, weil Dual-Channel-DDR5-Speicher nur einen Bruchteil der Bandbreite einer Grafikkarte liefert.

Ollama, LM Studio und llama.cpp starten ohne passende GPU automatisch im CPU-Modus. Die Speicherformel gilt unverändert, nur zählt jetzt der System-RAM. Ein Notebook mit 16 GB RAM lädt ein 8B-Modell in 4 Bit problemlos und behält genug Platz für Browser und Betriebssystem. Ein 14B-Modell passt ebenfalls, lässt aber wenig Reserve.

Wird ein Modell zu groß für die GPU, verteilt Ollama die Schichten auf GPU und CPU. Der Befehl ollama ps zeigt diese Aufteilung in der Spalte „Processor“. Steht dort „100% GPU“, liegt das Modell vollständig im Grafikspeicher. Ein gemischter Wert wie „48%/52% CPU/GPU“ ist das typische Zeichen für eine zu kleine Karte und erklärt die meisten Klagen über langsame lokale Modelle.

Wie prüfe und optimiere ich den Speicherbedarf in der Praxis?

Den Speicherbedarf prüfen Sie mit ollama ps und dem Werkzeug des GPU-Herstellers. Optimieren lässt er sich über drei Stellschrauben: kleinere Quantisierung, kürzeres Kontextfenster und einen quantisierten KV-Cache. Jede davon spart Speicher, kostet aber etwas Qualität oder Kontext.

So gehen Sie Schritt für Schritt vor:

  1. Modell laden und Verteilung prüfen. Starten Sie das Modell und lassen Sie sich in einem zweiten Terminal die Speicheraufteilung anzeigen.
    ollama run <modellname>
    ollama ps
  2. VRAM-Auslastung ablesen. Auf NVIDIA-Karten zeigt nvidia-smi den belegten Grafikspeicher. Bleiben weniger als 1 GB frei, ist das Kontextfenster der erste Kandidat für eine Verkleinerung.
    nvidia-smi
  3. Kontextlänge festlegen. Ollama wählt den Standardkontext nach verfügbarem VRAM: 4.096 Token unter 24 GiB, 32.768 Token zwischen 24 und 48 GiB und 256k Token ab 48 GiB. Mit einer Umgebungsvariablen setzen Sie einen festen Wert.
    OLLAMA_CONTEXT_LENGTH=8192 ollama serve
  4. KV-Cache quantisieren. Laut Ollama-FAQ halbiert q8_0 den Speicherbedarf des KV-Caches gegenüber f16, q4_0 viertelt ihn. Flash Attention aktiviert Ollama automatisch, wenn Backend und GPU es unterstützen.
    OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
  5. Erst dann kleiner quantisieren. Reicht der Platz immer noch nicht, wählen Sie eine kleinere Quantisierung oder das nächstkleinere Modell. Ein 14B-Modell in Q4_K_M liefert in der Regel bessere Antworten als ein 32B-Modell, das zur Hälfte auf der CPU läuft und dadurch unbrauchbar langsam wird.

Hält Ollama ein Modell nach der letzten Anfrage fest, bleibt der Speicher belegt. Laut FAQ gibt Ollama ein Modell standardmäßig nach 5 Minuten Inaktivität frei. Wer zwischen mehreren Modellen wechselt, sollte das im Blick behalten, da zwei geladene Modelle den VRAM addieren.

Welches lokale Modell eignet sich für welchen Zweck?

Für Alltagschat und Zusammenfassungen reichen Modelle mit 4B bis 12B Parametern. Für Programmierung und längere Analysen lohnen sich 20B bis 35B, idealerweise als MoE-Modell. Modelle ab 70B lohnen sich lokal nur mit viel Unified Memory oder mehreren GPUs.

Kleine Modelle wie Gemma 4 E4B oder Qwen3-4B eignen sich für Klassifikation, Übersetzung kurzer Texte und einfache Zusammenfassungen. Sie laufen sogar auf Notebooks ohne dedizierte GPU. Die Mittelklasse mit 12B bis 14B beantwortet Fachfragen spürbar genauer und formuliert längere Texte sauber.

Ab etwa 20B beginnt der Bereich, in dem lokale Modelle für Code-Assistenz und Agenten-Workflows ernsthaft nutzbar werden. gpt-oss-20b und Qwen3.6-35B-A3B sind hier die naheliegenden Kandidaten, weil sie als MoE-Modelle trotz der Größe schnell antworten. Wer lokale Modelle mit eigenen Dokumenten kombinieren will, findet die Architektur dafür im Beitrag zur RAG-Implementierung mit Vector Store und Embeddings. Die Einordnung gegenüber den großen Cloud-Modellen liefert der Überblick zu den Frontier-Modellen der Künstlichen Intelligenz.

Meine Einschätzung

Die verbreitete Annahme lautet, für lokale KI brauche man vor allem eine schnelle Grafikkarte. Die Zahlen sprechen für eine andere Reihenfolge: Speichergröße zuerst, Bandbreite danach, Rechenleistung zuletzt. Eine RTX 5080 und eine RTX 5060 Ti 16 GB laden exakt dieselben Modelle, die teurere Karte antwortet nur schneller. Ein Mac mit 64 GB lädt Modelle, an denen jede Consumer-GPU scheitert, antwortet aber langsamer. Mit den MoE-Modellen hat sich die Rechnung zusätzlich verschoben: gpt-oss-20b und Qwen3.6-35B-A3B holen aus 16 bis 32 GB mehr heraus als ein dichtes Modell derselben Größe. Wer heute neu kauft, sollte deshalb 16 GB VRAM als Untergrenze setzen und nicht bei 8 GB anfangen.

Das Wichtigste in Kürze

  • 3-Posten-Speicherformel: Gewichte plus KV-Cache plus 1 bis 2 GB Reserve
  • Q4_K_M braucht rund 0,61 GB pro Milliarde Parameter (4,89 Bit pro Gewicht)
  • 8 GB VRAM: bis 8B, 16 GB: gpt-oss-20b, 32 GB: bis rund 35B
  • MoE-Modelle antworten schneller, brauchen aber Platz für alle Gewichte
  • Mac Studio mit M5 Ultra: bis 512 GB Unified Memory für sehr große Modelle
  • ollama ps zeigt, ob ein Modell zu 100 % auf der GPU läuft

Häufige Fragen zu lokaler KI und Hardware

Wie viel VRAM brauche ich für ein 7B- oder 8B-Modell?

Ein 8B-Modell in Q4_K_M belegt laut llama.cpp 4,58 GiB. Mit Kontext und Reserve reicht eine Grafikkarte mit 8 GB. In 8-Bit-Quantisierung steigt der Bedarf auf knapp 8 GiB für die Gewichte, dann sind 12 GB VRAM die sinnvolle Größe.

Kann ich zwei Grafikkarten für ein Modell kombinieren?

Ja. Ollama und llama.cpp verteilen die Schichten eines Modells auf mehrere GPUs, der VRAM addiert sich also näherungsweise. Die Geschwindigkeit steigt dadurch kaum, weil die Karten nacheinander rechnen. Der Hauptnutzen liegt darin, größere Modelle vollständig auf GPUs zu halten.

Verliert ein Modell durch 4-Bit-Quantisierung stark an Qualität?

Q4_K_M gilt als guter Kompromiss, der Qualitätsverlust gegenüber 16 Bit ist bei den meisten Aufgaben gering. Kleine Modelle unter 4B reagieren empfindlicher. Für Code und Mathematik lohnt sich bei ausreichendem Speicher Q6_K oder Q8_0.

Wie viel Arbeitsspeicher braucht lokale KI ohne GPU?

Für CPU-Betrieb gilt dieselbe Formel mit System-RAM statt VRAM. 16 GB RAM reichen für 8B-Modelle, 32 GB für Modelle bis etwa 20B wie gpt-oss-20b. Die Geschwindigkeit hängt dann vor allem von Speicherkanälen und RAM-Takt ab.

Welche Software brauche ich für lokale KI?

Für den Einstieg genügen Ollama oder LM Studio. Beide laden Modelle mit einem Klick oder Befehl, erkennen die GPU automatisch und bieten eine lokale API. llama.cpp ist die Basis darunter und eignet sich für Nutzer, die jede Einstellung selbst setzen wollen.

Quellen

  • llama.cpp: Quantize-Dokumentation mit Bit-pro-Gewicht und Dateigrößen für Llama-3.1-8B (github.com/ggml-org/llama.cpp, tools/quantize/README.md)
  • Google AI for Developers: Gemma 4, Speicherbedarf für BF16, SFP8 und Q4_0 (ai.google.dev/gemma/docs/core, Stand Juli 2026)
  • OpenAI: Modellkarten gpt-oss-20b und gpt-oss-120b (huggingface.co/openai)
  • Qwen: Modellkarte Qwen3.6-35B-A3B (huggingface.co/Qwen) und Qwen3-Repository (github.com/QwenLM/Qwen3)
  • NVIDIA: Vergleich der GeForce-RTX-50-Serie mit Speichergröße und Bandbreite (nvidia.com)
  • Apple: Technische Daten Mac Studio mit M5 Max und M5 Ultra (apple.com/de/mac-studio/specs, Stand September 2026)
  • Ollama: FAQ, Context Length und Hardware-Support (docs.ollama.com)