Şirkette yapay zekâ ajanları: pratik devreye alma planı

Bir sohbet botu soruları yanıtlar. Bir yapay zekâ ajanı ise iş yapar: talebi okur, adımlara karar verir, CRM'iniz veya talep yönetim sisteminiz gibi araçları kullanır, sonucu kontrol eder ve görev bitene kadar devam eder.

Bu yetenek aynı zamanda risktir. Eylemde bulunan bir ajan yanlış eylemde de bulunabilir, üstelik bunu hızla yapar. Bu yazıda hangi süreçlerin ajanlara uygun olduğunu, onları nasıl güvenle devreye alacağınızı ve neleri önceden planlamanız gerektiğini anlatıyoruz.

Ajanı farklı kılan nedir

	Ne yapar	Adımlara kim karar verir
Betik veya iş akışı	Sabit kuralları izler	Geliştirici, önceden
Sohbet botu	Metinle yanıt verir	Kimse: hiçbir eylem yapılmaz
Yapay zekâ ajanı	Planlar ve araçlarla eylemde bulunur	Model, belirlenen sınırlar içinde

Adımlar her zaman aynıysa bir betik daha ucuz, daha hızlı ve daha güvenilirdir. Ajan, girdi değişken olduğunda ve sonuca giden yol girdiye bağlı olduğunda anlam kazanır.

Hangi süreçler ajanlara uygundur

İyi bir ilk süreç şu özelliklere sahiptir:

• Sık tekrarlanır. Tasarrufun önem taşıması için yeterli hacim vardır.
• Girdi yapılandırılmamıştır. Kuralların kötü işlediği e-postalar, belgeler ve serbest biçimli talepler.
• Sonuç kontrol edilebilir. İyi bir sonucu kötüsünden ayırt edebilirsiniz, ideal olarak otomatik biçimde.
• Hatalar düzeltilebilir. Yanlış bir taslak ucuzdur; yanlış bir ödeme değildir.

Tipik örnekler: destek taleplerini sınıflandırmak ve yanıtlamak, belgelerden veri çıkarmak, rutin raporları hazırlamak ve şirket içi talepleri işlemek.

Hatanın pahalı ve geri dönüşsüz olduğu ya da doğru sonucun neye benzediğini kimsenin söyleyemediği süreçlerle başlamaktan kaçının.

Ajanları devreye alma planı

1. Süreci mevcut hâliyle ölçün

İşin ne kadar sürdüğünü, ne kadara mal olduğunu ve ne sıklıkla hatalı gittiğini kaydedin. Bu başlangıç noktası olmadan, daha sonra ajanın yardımcı olup olmadığını söyleyemezsiniz.

2. Görevi ve sınırlarını tanımlayın

Ajanın ne yaptığını, neyi yapmaması gerektiğini ve vakayı ne zaman bir insana devrettiğini tanımlayın. Tek bir işi iyi yapan dar kapsamlı bir ajanı test etmek, evrensel bir asistandan çok daha kolaydır.

3. Ona minimum yetki verin

Salt okuma erişimiyle başlayın. Yazma eylemlerini birer birer ve yalnızca görevin gerektirdiklerini ekleyin. Ajanın, eylemlerinin görünür olması ve yetkilerinin geri alınabilmesi için kendi izinlerine sahip kendi hesabı olmalıdır. Araçları MCP sunucusu gibi standart bir katman üzerinden bağlamak, bunu tek bir yerden kontrol etmeye yardımcı olur.

4. Süreçte bir insanı tutun

Bir müşteriye mesaj göndermek, bir kaydı değiştirmek veya para harcamak başlangıçta bir insanın onayını gerektirmelidir. Onay adımını yalnızca verilerin ajanın güvenilir çalıştığını gösterdiği yerlerde kaldırın.

5. Bir test seti oluşturun

Doğru sonuçları bilinen gerçek vakaları, zor ve olağan dışı olanlar dahil toplayın. Modelde, talimatlarda veya araçlarda yapılan her değişiklikten sonra bunları çalıştırın. Davranış bunlardan herhangi biri değiştikten sonra değişebilir.

6. Ortamı modelin etrafında kurun

Model sistemin yalnızca bir parçasıdır. Ajan çalışma ortamı araçları, izinleri, belleği, kontrolleri, kayıtları ve sınırları sağlar. Uygulamada güvenilirliğin büyük kısmı model seçiminden değil, bu katmandan gelir.

7. Pilotu gölge modda yürütün

Ajanın hiçbir şeyi etkilemeden insanlarla yan yana çalışmasına izin verin ve sonuçlarını onlarınkiyle karşılaştırın. Ardından onaylı çalışmaya, ancak ondan sonra sınırlı özerkliğe geçin.

8. Kayıt tutun ve gözden geçirin

Her adımın kaydını tutun: ajan ne gördü, neye karar verdi ve ne yaptı. Bir şeyler ters gittiğinde nedenini anlamanın tek yolu budur. Kaliteyi düzenli olarak gözden geçiren, adı belli bir sorumlu atayın.

Planlanması gereken riskler

• Prompt enjeksiyonu. Ajan dış kaynaklı metin okur ve bu metin, örneğin bir e-postada veya bir web sayfasında, ona yönelik talimatlar içerebilir. Gelen tüm içeriği güvenilmeyen veri olarak ele alın ve ajan kandırılsa bile neler yapabileceğini sınırlayın. Bu, LLM uygulamaları için OWASP Top 10 listesindeki en önemli risktir.
• Fazla yetki. Bir ajan ne kadar çok şey yapabilirse tek bir hatanın verdiği zarar o kadar büyük olur.
• Veri sızıntıları. Kişisel ve gizli veriler modele ve dış servislere ulaşabilir. Neyin nereye gönderilebileceğine karar verin ve kurumsal yapay zekânın nerede çalıştırılacağına göz atın.
• Kontrolden çıkan maliyetler. Bir döngüye takılan ajan harcamaya devam eder. Adım, süre ve bütçe sınırları belirleyin.
• Körü körüne güven. Kendinden emin yanıtlar insanların kontrol etmeyi bırakmasına yol açar. İyi bir başlangıçtan sonra bile rastgele kontrolleri sürdürün.

Ajanlar verilere de bağımlıdır: kayıtlar hatalıysa veya tanımlar sistemler arasında farklıysa ajan yanlış bilgiye göre hızla eylemde bulunur. Temel veri yönetişimi burada da karşılığını verir.

Özet

Sonucu kontrol edilebilen, tekrarlanan tek bir süreçle başlayın. Ajana minimum yetki verin, kontrolü bir insanda tutun, gerçek vakalar üzerinde test edin ve her şeyi kayda alın. Özerkliğini yalnızca rakamlar desteklediğinde genişletin.

Bir ajanın işi yaptığı, diğerinin kontrol ettiği kendi yapay zekâ ajanları ekibimizi işletiyoruz; bu nedenle bu konuları ilk elden biliyoruz. Bunu şirketinizde uygulamak için yapay zekâ ajanları hizmetimize göz atın.

Kaynaklar

• OWASP Top 10 for LLM Applications, OWASP
• AI Risk Management Framework, NIST