Vergleich der Q4-, Q5- und Q8-Quantisierung in Ollama
Die Wahl der Quantisierung in Ollama bestimmt zugleich Geschwindigkeit, Speicherbedarf und Ausgabequalität eines lokalen Modells. Ich erkläre die Unterschiede zwischen Q4, Q5 und Q8 und wie Sie die passende Stufe für Ihre eigene Hardware auswählen.
Die Quantisierungs-Tags in Ollama wirken auf den ersten Blick unübersichtlich: Dasselbe Modell gibt es in Varianten wie q4_K_M, q5_K_M und q8_0. Quantisierung bedeutet, dass die Modellgewichte mit weniger Bits gespeichert werden. Je geringer die Bitzahl, desto weniger Speicher benötigt das Modell und desto schneller läuft es auf den meisten Systemen – ab einem gewissen Punkt sinkt jedoch auch die Ausgabequalität.
Was ändert sich zwischen den Stufen?
- Q4 (z. B. q4_K_M): die kleinste und meist schnellste Option. Ein Modell mit 8 Milliarden Parametern belegt etwa 5 GB.
- Q5 (z. B. q5_K_M): etwas größer (ca. 5,5–6 GB bei einem 8B-Modell), geringerer Qualitätsverlust als bei Q4.
- Q8 (q8_0): dem Originalmodell am nächsten; ca. 8,5 GB bei einem 8B-Modell und deutlich höherer Bedarf an Speicherbandbreite.
Zu diesen Größen kommt noch der Speicher für das Kontextfenster hinzu. Wenn Sie lange Kontexte nutzen, planen Sie im Grafikspeicher (VRAM) mindestens einige GB Reserve ein. Passt das Modell nicht vollständig in den VRAM, wird ein Teil auf die CPU ausgelagert und die Geschwindigkeit bricht stark ein.
| Stufe | Ungefähre Größe (8B-Modell) | Geschwindigkeit | Qualität | Geeigneter Einsatz |
|---|---|---|---|---|
| Q4 (q4_K_M) | ~5 GB | Am höchsten | Akzeptabler Verlust | Begrenzter Speicher, schnelle Antwort |
| Q5 (q5_K_M) | ~5,5–6 GB | Hoch | Besser als Q4 | Allgemeiner Einsatz, Klassifizierung |
| Q8 (q8_0) | ~8,5 GB | Niedriger | Am nächsten am Original | Lange und detaillierte Texte |
Das „K“ in den Bezeichnungen steht für die k-quant-Methode, das „M“ für eine mittlere (medium) Mischung: Einige Schichten des Modells werden mit höherer, andere mit geringerer Präzision gespeichert. Bei gleicher Bitzahl liefern „K_M“-Versionen in der Regel eine bessere Qualität als ältere Verfahren.
Wie testen Sie auf Ihrer eigenen Hardware?
Allgemeine Tabellen bieten eine gute Orientierung, doch für die Entscheidung ist ein kurzer Test mit Ihrer tatsächlichen Arbeitslast verlässlicher. Laden Sie drei Versionen desselben Modells herunter und führen Sie sie mit demselben Satz an Prompts aus:
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull llama3.1:8b-instruct-q5_K_M
ollama pull llama3.1:8b-instruct-q8_0
# --verbose, yanıtın sonunda saniyedeki token sayısını (eval rate) yazar
ollama run llama3.1:8b-instruct-q5_K_M --verbose- Wählen Sie 15–20 Prompts aus Ihrem realen Arbeitsalltag und führen Sie jeden mindestens dreimal aus.
- Notieren Sie die Tokens pro Sekunde und die Speicherauslastung (ollama ps).
- Wenn Sie strukturierte Ausgaben benötigen, erfassen Sie zusätzlich die Quote gültiger JSON-Antworten.
Die Ergebnisse variieren je nach Grafikkarte, Treiber und Modell. Messwerte von einem System lassen sich nicht direkt auf einen anderen Rechner übertragen.
Mit den folgenden Befehlen prüfen Sie, ob das Modell vollständig in den Speicher passt und wie das Kontextfenster eingestellt ist:
# Yüklü modeller, bellek kullanımı ve GPU / CPU payı
ollama ps
# Bağlam penceresini sabitleyen özel model
cat > Modelfile <<'EOF'
FROM llama3.1:8b-instruct-q5_K_M
PARAMETER num_ctx 8192
PARAMETER temperature 0.2
EOF
ollama create llama31-q5-8k -f ModelfileFür die Qualitätsbewertung reicht ein einfaches Punktesystem. Bewerten Sie jede Antwort nach denselben Kriterien auf einer Skala von 1 bis 3:
- Richtigkeit: Liefert die Antwort die angeforderten Informationen korrekt?
- Format: Hält sie die gewünschte Struktur (Liste, JSON, Länge) ein?
- Konsistenz: Fällt das Ergebnis bei Wiederholung desselben Prompts ähnlich aus?
Welche Stufe sollten Sie wählen?
Für Klassifizierung, Zusammenfassungen und kurze strukturierte Ausgaben bietet Q5 meist einen guten Kompromiss. Wenn der Speicher begrenzt ist oder Geschwindigkeit Vorrang hat, beginnen Sie mit Q4. Q8 ist sinnvoll, wenn ausreichend Speicher vorhanden ist und die Qualität langer, detaillierter Texte entscheidend ist. Bei strikt formatierten Ausgaben wie JSON ist unabhängig von der Quantisierungsstufe eine Validierungsschicht erforderlich; Details dazu finden Sie im Beitrag Zuverlässige JSON-Ausgaben von lokalen LLMs mit Ollama.
Wie ich diese Auswahl in einer realen Anwendung getroffen habe, sehen Sie im Projekt Lokale KI-Produktbildgenerierung.
Fazit
Die Wahl der Quantisierung in Ollama hat keine pauschale Antwort, sondern ist eine Abwägung: Es gilt, das passende Gleichgewicht zwischen Speicher, Geschwindigkeit und Qualität für Ihre Arbeitslast zu finden. Unterstützung bei Hardwareauswahl, Modelleinrichtung und Testaufbau finden Sie unter meiner Leistung Einrichtung lokaler KI-Systeme.
