Yapay zekâ denince akla genellikle yüz milyarlarca parametreli dev modeller geliyor. Oysa işletmelerdeki görevlerin önemli bir kısmı; bir e-postayı sınıflandırmak, bir faturadaki alanları çıkarmak, müşteri yorumunun duygusunu belirlemek gibi dar ve tekrarlı işlerdir. Bu işler için küçük dil modelleri (Small Language Models, SLM) çoğu zaman yeterli, hatta daha uygun. 2026'da birkaç milyar parametreli modeller dizüstü bilgisayarda, telefonda ve küçük bir sunucuda rahatlıkla çalışabiliyor.
Küçük model nedir?
Kesin bir sınır olmasa da genellikle birkaç yüz milyon ile 10-15 milyar parametre arasındaki modellere küçük dil modeli denir. Microsoft'un Phi, Google'ın Gemma, Meta'nın Llama ailesinin küçük sürümleri, Mistral ve Qwen'in küçük modelleri bu gruba örnektir. Bu modellerin çoğu açık ağırlıklıdır; yani indirilip kendi donanımınızda çalıştırılabilir.
Büyük modelle karşılaştırma
- Maliyet: Kendi donanımınızda çalışan küçük model için token başı ücret ödemezsiniz. Bulutta da çok daha ucuzdur.
- Hız: Küçük modeller cevaplara daha hızlı başlar; gerçek zamanlı uygulamalarda fark hissedilir.
- Gizlilik: Veri şirket dışına çıkmadan işlenebilir. KVKK açısından yurt dışı aktarım sorunu ortadan kalkar.
- Bilgi ve muhakeme: Büyük modeller geniş genel bilgi, karmaşık muhakeme ve uzun belgelerde belirgin şekilde daha iyidir.
- Türkçe: Küçük modellerin Türkçe performansı modelden modele çok değişir; mutlaka kendi örneklerinizle test edin.
Küçük modelin yeterli olduğu işler
- Metin sınıflandırma: destek talebinin konusu, e-postanın departmanı, yorumun duygusu.
- Bilgi çıkarma: fatura, sipariş formu veya CV'den belirli alanları JSON olarak çıkarmak.
- Kısa özetleme: bir toplantı notunun veya destek konuşmasının özeti.
- Arama ve RAG sistemlerinde soru yeniden yazma, belge sıralama.
- Uygulama içi asistanlarda sık sorulan sorulara cevap.
Büyük modelin gerektiği işler
- Çok adımlı muhakeme, karmaşık kod yazma ve hata ayıklama.
- Uzun ve teknik belgeleri derinlemesine analiz.
- Geniş genel bilgi gerektiren açık uçlu sorular.
- Yüksek kaliteli yaratıcı metin üretimi.
Pratikte en verimli mimari çoğu zaman karma yaklaşımdır: Gelen isteklerin büyük kısmını küçük model karşılar, zor durumlar büyük modele yönlendirilir.
Çalıştırma seçenekleri
- Geliştirici bilgisayarında: Ollama, LM Studio gibi araçlarla dakikalar içinde denenebilir. Ayrıntılar: yerel LLM çalıştırma.
- Şirket sunucusunda: GPU'lu bir sunucuda vLLM veya benzeri bir sunucu yazılımıyla API olarak sunulur.
- Cihaz üzerinde: Telefon ve bilgisayar üreticilerinin yerleşik yapay zekâ özellikleri küçük modellerle çalışır; mobil uygulamalarda internet bağlantısı olmadan çalışan özellikler mümkün olur.
- Bulut API: Büyük sağlayıcıların "mini", "flash", "haiku" gibi küçük ve ucuz model seçenekleri de bu mantığın bulut versiyonudur.
Model seçerken kontrol listesi
- Kendi işinizden 100 gerçek örnek hazırlayın ve beklenen cevapları yazın.
- 2-3 aday modeli bu örneklerle test edin; doğruluğu ölçün.
- Lisansı kontrol edin: Ticari kullanıma izin veriyor mu, kullanıcı sayısı sınırı var mı? Bkz. açık kaynak lisansları.
- Donanım ihtiyacını hesaplayın: Model boyutu, nicemleme (quantization) seviyesi ve eşzamanlı kullanıcı sayısı.
- Güncelleme planı yapın: Yeni sürümler çıktığında aynı testleri tekrar çalıştırın.
Sık sorulan sorular
Küçük modeli kendi verimle eğitmem gerekir mi?
Çoğu zaman hayır. İyi bir istem, birkaç örnek ve RAG ile yeterli sonuç alınabilir. İnce ayar (fine-tuning), çok tekrarlı ve özel bir görev için son adımdır.
Küçük model halüsinasyon yapar mı?
Evet, hatta genel bilgi sorularında büyük modellere göre daha sık yapabilir. Bu yüzden küçük modelleri bilgi kaynağı olarak değil, verilen metin üzerinde çalışan bir araç olarak kullanın.
Ne kadar donanım gerekir?
Birkaç milyar parametreli nicemlenmiş modeller güncel bir dizüstü bilgisayarda çalışabilir. Çok kullanıcılı üretim ortamı için GPU'lu sunucu planlamak gerekir.
Sonuç
Her iş için en büyük modeli kullanmak, her yolculuk için kamyon kiralamaya benzer. Dar ve tekrarlı görevlerde küçük modeller maliyeti, gecikmeyi ve gizlilik riskini düşürür. İşletmeniz için doğru model mimarisini belirlemek isterseniz bize yazın.
