Bulut tabanlı yapay zekâ hizmetleri güçlü ve kullanımı kolay. Ancak bazı işletmeler verilerinin dışarı çıkmasını istemez veya yüksek hacimli işlerde maliyeti kontrol etmek ister. Bu durumda açık ağırlıklı modelleri kendi sunucunuzda çalıştırmak bir seçenek olabilir.
Avantajları
- Gizlilik: Veriler şirket ağından çıkmaz; yurt dışı aktarım sorunu ortadan kalkabilir. Bkz. yurt dışına veri aktarımı.
- Maliyet öngörülebilirliği: Yüksek hacimli ve sürekli işlerde istek başına ücret yerine donanım maliyeti.
- Çevrimdışı çalışma: İnternet bağlantısına bağımlılık yoktur.
- Kontrol: Model sürümü sizin kontrolünüzdedir; beklenmedik değişiklik olmaz.
Dezavantajları
- Kalite farkı: Yerelde çalıştırılabilen modeller, en güçlü bulut modelleri kadar yetenekli olmayabilir; özellikle karmaşık akıl yürütme işlerinde.
- Donanım: İyi performans için güçlü bir ekran kartı (GPU) ve yeterli bellek gerekir.
- Bakım: Kurulum, güncelleme, güvenlik ve izleme sizin sorumluluğunuzdadır.
Uygun senaryolar
- Belge sınıflandırma ve özetleme.
- Belgelerden bilgi çıkarma. Bkz. yapay zekâ ile belge okuma.
- Şirket içi bilgi asistanı. Bkz. RAG nedir ve vektör veritabanı.
- Hassas veri içeren metinlerin maskelenmesi.
- Embedding üretimi.
Model lisanslarına dikkat
"Açık ağırlıklı" her model aynı şartlarla kullanılamaz:
- Bazıları Apache 2.0 veya MIT gibi serbest lisanslarla dağıtılır.
- Bazıları kendi özel lisanslarına sahiptir; kullanıcı sayısı, kullanım alanı veya ticari kullanım konusunda kısıtlar içerebilir.
- Bazı lisanslar kabul edilebilir kullanım politikası içerir.
Ticari bir üründe kullanmadan önce modelin lisansını mutlaka okuyun ve kayıt altına alın. Modeli indirdiğiniz kaynağın resmî ve güvenilir olmasına dikkat edin.
Teknik başlangıç
Yerel model çalıştırmayı kolaylaştıran açık kaynaklı araçlar, modelleri indirip OpenAI uyumlu gibi yaygın API arayüzleriyle sunabiliyor. Böylece aynı uygulama kodu, gerektiğinde bulut ve yerel model arasında geçiş yapabilir. .NET tarafında yapay zekâ servisleri için ortak soyutlamalar sunan kütüphaneler bu geçişi kolaylaştırır.
Karma yaklaşım
Hassas verileri yerel modelde işleyip, anonimleştirilmiş veya genel görevleri bulut modellerine göndermek, gizlilik ile kaliteyi dengeleyen pratik bir yaklaşımdır.
Sık sorulan sorular
Normal bir bilgisayarda çalışır mı?
Küçük modeller güçlü bir dizüstü bilgisayarda bile çalışabilir; ancak çok kullanıcılı ve hızlı yanıt gereken senaryolarda sunucu sınıfı donanım gerekir.
Yerel model KVKK sorunlarını tamamen çözer mi?
Yurt dışı aktarım riskini azaltır; ancak veri minimizasyonu, yetkilendirme ve aydınlatma yükümlülükleri devam eder.
Sonuç
Yerel LLM'ler, gizlilik ve kontrolün öncelikli olduğu senaryolarda güçlü bir seçenek. İhtiyacınıza uygun mimariyi birlikte belirlemek için iletişime geçebilirsiniz.