Kurumsal yapay zekâ: kurum içi mi bulut mu, nasıl seçilir

Bir şirket deneme aşamasını geride bıraktığında pratik bir soru ortaya çıkar: yapay zekâ nerede çalışmalı? Yanıt güvenliği, maliyeti ve hangi modelleri kullanabileceğinizi etkiler; önceden planlanmazsa sonradan değiştirmek de zordur.

Tek bir doğru seçenek yoktur. Bu yazıda dört temel yaklaşımı karşılaştırıyor ve seçim için ölçütleri sunuyoruz.

Dört seçenek

• Genel bulut. Modeller yönetilen bir servis olarak sunulur; örneğin AWS, Microsoft Azure veya Google Cloud üzerinde. Kullandığınız kadar ödersiniz ve hızlı başlarsınız.
• Özel bulut. Bir sağlayıcı ya da sizin tarafınızdan işletilen, diğer müşterilerden daha güçlü biçimde yalıtılmış, size ayrılmış bir ortam.
• Kurum içi. Modeller kendi sunucularınızda, kendi veri merkezinizde çalışır. Veriler altyapınızın dışına çıkmaz.
• Hibrit. Farklı görevler farklı yerlerde çalışır: hassas veriler içeride kalır, geri kalanı buluta gider.

Karşılaştırma

Ölçüt	Genel bulut	Özel bulut	Kurum içi
Başlama süresi	Günler	Haftalar	Haftalardan aylara
Veri üzerinde kontrol	Sözleşmeye ve ayarlara bağlı	Yüksek	Tam
Model seçeneği	En geniş	Orta	Kendiniz çalıştırabildiğiniz modeller
İlk yatırım maliyeti	Düşük	Orta	Yüksek
Sürekli yüksek yükte maliyet	Çok artabilir	Orta	Çoğu zaman daha düşük
Gereken ekip	Küçük	Orta	Güçlü bir altyapı ekibi
Ölçeklendirme	Kolay	Plana bağlı olarak sınırlı	Donanımınızla sınırlı

Seçim ölçütleri

1. Veriler

Buradan başlayın. Sistemin erişeceği verileri listeleyin ve sınıflandırın: herkese açık, şirket içi, gizli, kişisel. Ardından sözleşmelerin, düzenleyici kurumların ve faaliyet gösterdiğiniz ülkelerdeki veri koruma mevzuatının neye izin verdiğini kontrol edin. Bazı verilerin belirli bir yerde ya da kendi altyapınızda kalması gerekebilir ve bu, soruyu tek başına çözebilir.

2. Model kalitesi

En güçlü modeller çoğu zaman yalnızca servis olarak sunulur. Kendiniz çalıştırabileceğiniz açık ağırlıklı modeller çok gelişti, ancak onları yayımlanan sıralamalara göre değil, kendi görevleriniz üzerinde sınayın. Sınıflandırma veya belgeler arasında arama gibi birçok görev için daha küçük bir model tamamen yeterlidir.

3. Maliyet ve yük

Bulut servisleri kullanıma göre ücretlendirilir; bu nedenle düzensiz veya düşük yüklere uygundur. Kendi donanımınız kullanılsın ya da kullanılmasın maliyet yaratır; dolayısıyla yalnızca sürekli ve yüksek bir yükte kendini amorti eder. Yalnızca sunucu fiyatını değil, toplam maliyeti karşılaştırın: donanım, elektrik, personel ve yükseltmeler. En sık yapılan hata, henüz var olmayan bir yük için GPU satın almaktır.

4. Ekip

Kendi sunucularınızdaki bir modelin kurulması, güncellenmesi, izlenmesi ve güvenliğinin sağlanması gerekir. Bunun için insanlarınız yoksa görünürdeki tasarruf ortadan kalkar. Bulut servisi bu işin büyük kısmını üstlenir, ancak yapılandırma, erişim kontrolü ve izleme işini üstlenmez.

5. Hız ve erişilebilirlik

Verinin bulunduğu yere yakın, minimum gecikmeyle yanıt almanız gerekiyorsa ya da sistemin internet bağlantısı olmadan çalışması gerekiyorsa bu, yerel çalıştırmaya işaret eder. Ani yük artışlarını karşılamanız gerekiyorsa bulut daha kolaydır.

Yaygın yanılgılar

• "Kurum içi otomatik olarak güvenlidir." Veriler içeride kalır, ancak artık güncellemelerden, erişimden ve izlemeden siz sorumlusunuz. Bakımı kötü yapılan bir sunucu, iyi yapılandırılmış bir bulut servisinden daha güvenli değildir.
• "Bulut her zaman verilerimizle model eğitir." Koşullar bireysel ve kurumsal teklifler arasında ve sağlayıcıdan sağlayıcıya farklılık gösterir. Sözleşmeyi okuyun: veriler eğitim için nasıl kullanılıyor, ne kadar süre ve nerede saklanıyor.
• "Seçim kalıcıdır." Önceden planlarsanız değildir. Uygulamalarınız ile model arasındaki ince bir katman, bir modeli veya konumu bir başkasıyla değiştirmenize olanak tanır.

Hibrit neden çoğu zaman yanıttır

Yalnızca tek tür veriye sahip şirket azdır. Yaygın bir model, günlük görevleri bulut modeline göndermek ve gizli verileri şirketin çevresi içindeki bir modele yönlendirmektir. Bir yönlendirme katmanı bu kuralı veri sınıflandırmasına göre otomatik olarak uygular ve her çağrıyı kayda alır.

Bunun bedeli ek karmaşıklıktır: bakımı yapılacak iki ortam ve farklı davranan modeller. Bu yüzden biriyle başlayın, ikincisini belirli bir görev gerektirdiğinde ekleyin.

Nasıl karar verilir

1. İlk kullanım senaryolarınız için verileri sınıflandırın.
2. Yükü tahmin edin: istek sayısı, zirveler, büyüme.
3. Gerçek işe dayanan bir test görevleri seti yazın.
4. Bu set üzerinde, kendiniz çalıştırabileceğiniz biri dahil iki üç aday modeli deneyin.
5. Önümüzdeki iki üç yıl için toplam maliyeti hesaplayın.
6. Veri gereksinimlerini karşılayan en basit seçeneği seçin.
7. Kararın daha sonra gözden geçirilebilmesi için uygulamalarınızı en baştan belirli bir modelden ayırın.

Özet

Sınırları veriler belirler; bu sınırlar içinde kaliteyi, maliyeti ve elinizdeki ekibi tartarsınız. Çoğu şirket için mantıklı başlangıç, verilerinin izin verdiği en basit seçenektir; mimari ise değişikliğe hazır tutulur.

Aynı seçim RAG sistemleri ve yapay zekâ ajanları için de geçerlidir. Ortamınızı planlamak için Kurumsal Yapay Zekâ Ortamı hizmetimize göz atın.

Kaynaklar

• AI Risk Management Framework, NIST