Ollama’da Q4, Q5 ve Q8 kuantizasyon karşılaştırması
Ollama kuantizasyon seçimi, yerel modelin hızını, bellek ihtiyacını ve çıktı kalitesini birlikte belirler. Q4, Q5 ve Q8 arasındaki farkları ve kendi donanımınızda doğru seviyeyi nasıl seçeceğinizi anlatıyorum.
Ollama kuantizasyon etiketleri ilk bakışta karışık görünür: aynı model q4_K_M, q5_K_M ve q8_0 gibi farklı sürümlerle gelir. Kuantizasyon, model ağırlıklarının daha az bitle saklanmasıdır. Bit sayısı düştükçe model daha az bellek kullanır ve çoğu donanımda daha hızlı çalışır, ancak bir noktadan sonra çıktı kalitesi de düşer.
Seviyeler neyi değiştiriyor?
- Q4 (ör. q4_K_M): en küçük ve genellikle en hızlı seçenek. 8 milyar parametreli bir model yaklaşık 5 GB yer tutar.
- Q5 (ör. q5_K_M): biraz daha büyük (8B modelde yaklaşık 5,5–6 GB), kalite kaybı Q4'e göre daha az.
- Q8 (q8_0): orijinal modele en yakın sonuç; 8B modelde yaklaşık 8,5 GB ve belirgin biçimde daha fazla bellek bant genişliği ister.
Bu boyutlara bağlam penceresi için ayrılan bellek de eklenir. Uzun bağlam kullanıyorsanız ekran kartınızda (VRAM) en az birkaç GB pay bırakın; model belleğe sığmazsa bir kısmı işlemciye taşınır ve hız sert biçimde düşer.
| Seviye | 8B modelde yaklaşık boyut | Hız | Kalite | Uygun iş |
|---|---|---|---|---|
| Q4 (q4_K_M) | ~5 GB | En yüksek | Kabul edilebilir kayıp | Sınırlı bellek, hızlı yanıt |
| Q5 (q5_K_M) | ~5,5–6 GB | Yüksek | Q4’ten daha iyi | Genel kullanım, sınıflandırma |
| Q8 (q8_0) | ~8,5 GB | Daha düşük | Orijinale en yakın | Uzun ve ayrıntılı metin |
Etiketlerdeki “K” k-quant yöntemini, “M” ise orta (medium) karışımı ifade eder: modelin bazı katmanları daha yüksek, bazıları daha düşük hassasiyetle saklanır. Aynı bit sayısında “K_M” sürümleri genellikle eski yöntemlere göre daha iyi kalite verir.
Kendi donanımınızda nasıl test edilir?
Genel tablolar yol gösterir, ama karar için kendi iş yükünüzle yapılan kısa bir test daha güvenilirdir. Aynı modelin üç sürümünü indirip aynı istem setiyle çalıştırın:
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull llama3.1:8b-instruct-q5_K_M
ollama pull llama3.1:8b-instruct-q8_0
# --verbose, yanıtın sonunda saniyedeki token sayısını (eval rate) yazar
ollama run llama3.1:8b-instruct-q5_K_M --verbose- Gerçek işinizden 15–20 istem seçin ve her birini en az üç kez çalıştırın.
- Saniyedeki token sayısını ve bellek kullanımını (ollama ps) not edin.
- Yapılandırılmış çıktı istiyorsanız geçerli JSON oranını ayrıca sayın.
Sonuçlar ekran kartına, sürücüye ve modele göre değişir. Bir donanımdaki ölçüm başka bir makineye doğrudan taşınmaz.
Modelin belleğe tamamen sığıp sığmadığını ve bağlam penceresini kontrol etmek için şu komutlar kullanılır:
# Yüklü modeller, bellek kullanımı ve GPU / CPU payı
ollama ps
# Bağlam penceresini sabitleyen özel model
cat > Modelfile <<'EOF'
FROM llama3.1:8b-instruct-q5_K_M
PARAMETER num_ctx 8192
PARAMETER temperature 0.2
EOF
ollama create llama31-q5-8k -f ModelfileKaliteyi değerlendirmek için basit bir puanlama yeterlidir. Her yanıtı aynı ölçütlerle 1–3 arasında puanlayın:
- Doğruluk: yanıt istenen bilgiyi doğru veriyor mu?
- Biçim: istenen yapıya (liste, JSON, uzunluk) uyuyor mu?
- Tutarlılık: aynı istem tekrarlandığında sonuç benzer mi?
Hangi seviyeyi seçmeli?
Sınıflandırma, özetleme ve kısa yapılandırılmış çıktı işlerinde Q5 çoğu zaman iyi bir denge noktasıdır. Bellek sınırlıysa ya da hız öncelikliyse Q4 ile başlayın. Q8, belleğiniz rahatsa ve uzun, ayrıntılı metin kalitesi kritikse anlamlıdır. JSON gibi katı biçimli çıktılarda seviyeden bağımsız olarak doğrulama katmanı kurmak gerekir; ayrıntılar yerel LLM'lerden güvenilir JSON çıktısı almak notunda.
Bu seçimi gerçek bir uygulamada nasıl yaptığımı Yerel AI Ürün Görseli Üretimi projesinde görebilirsiniz.
Sonuç
Ollama kuantizasyon kararı tek bir doğru cevaptan çok bir ödünleşimdir: bellek, hız ve kalite arasında iş yükünüze uygun noktayı bulmak gerekir. Donanım seçimi, model kurulumu ve test düzeni için yerel AI kurulumu hizmetine göz atabilirsiniz.
