RAG nedir: yapay zekâ şirket verilerinden nasıl yanıt verir

Genel amaçlı bir yapay zekâ asistanına iade politikanızı veya geçen yılki sözleşmenizi sorun; ya yanıt vermeyi reddeder ya da kendinden emin bir şekilde bir şey uydurur. Bir büyük dil modeli eğitim sırasında gördüklerini bilir. Sizin belgelerinizi hiç görmemiştir.

RAG, yani erişimle zenginleştirilmiş üretim (retrieval-augmented generation), bu sorunu çözer. Sistem yanıt vermeden önce kendi kaynaklarınızdaki ilgili bölümleri bulur ve modele verir. Böylece yanıt sizin verilerinize dayanır ve her ifadenin nereden geldiğini gösterebilir.

RAG nasıl çalışır

Süreç iki bölümden oluşur: bilgiyi önceden hazırlamak ve bir soruyu yanıtlamak.

Hazırlık:

1. Kaynakları toplayın: belgeler, wiki sayfaları, talep kayıtları, politikalar.
2. Bunları genellikle chunk olarak adlandırılan küçük bölümlere ayırın.
3. Her bölümü anlamının sayısal bir temsiline, yani embedding'e dönüştürün ve bir arama dizininde saklayın.

Yanıtlama:

1. Kullanıcı bir soru sorar.
2. Sistem en ilgili bölümleri bulur. İyi sistemler anlama dayalı aramayı sıradan anahtar kelime aramasıyla birleştirir, çünkü ürün kodları ve tam adlar yalnızca anlama dayalı aramada çoğu zaman kaybolur.
3. Model soruyu ve bölümleri alır, bunlara dayanarak kaynak bağlantılarıyla birlikte bir yanıt yazar.

Modelin kendisi değişmez. Bilgiyi, yeniden eğitime gerek kalmadan, yalnızca dizini güncelleyerek güncelleyebilirsiniz.

Bir şirketin RAG'e ne zaman ihtiyacı olur

RAG, yanıt metinde bulunduğunda ve metin değiştiğinde iyi sonuç verir:

• Şirket içi bilgi. Çalışanların sürekli sorduğu politikalar, prosedürler ve talimatlar.
• Müşteri desteği. Belgelere ve geçmiş talep kayıtlarına dayanan yanıt taslakları.
• Sözleşmeler ve yönetmelikler. Binlerce sayfa arasında doğru maddeyi, bağlantısıyla birlikte bulmak.
• Teknik belgeler. Kılavuzlar, spesifikasyonlar ve mühendislik notları.

RAG ne zaman yanlış araçtır

• Rakamlarla ilgili sorular. "Geçen çeyreğin satışları neydi?" sorusu metin içinde arama değil, bir veritabanına veya BI modeline sorgu gerektirir. Metin bölümleri size eski bir rapordaki eski bir rakamı verir.
• Birkaç sabit belge. Bilgi birkaç sayfaya sığıyorsa onu doğrudan modele verilen talimatlara ekleyebilirsiniz.
• Bütünsel bir tablo gerektiren kararlar. RAG parçaları bulur. "Tüm sözleşmelerimizden hangilerinin süresi bu yıl doluyor?" gibi bir soru, birkaçını bulmayı değil, her belgenin işlenmesini gerektirir.

Genellikle neler ters gider

Kaynaklar kötüdür

En sık görülen neden budur. Bir politikanın üç sürümü varsa ve hangisinin güncel olduğunu kimse bilmiyorsa model herhangi birinden alıntı yapar. RAG veri sorunlarını çözmez, onları daha hızlı görünür kılar. Bir belge sahibi ve basit bir temizlik, daha iyi bir modelden fazlasını sağlar. Burada da her veri kalitesi denetimindeki ilkeler geçerlidir.

Bölümler kötü ayrılmıştır

Bir belgeyi yapısını dikkate almadan bölerseniz bir koşul bir bölüme, istisnası başka bir bölüme düşer. Tablolar ve taranmış belgeler ayrıca ele alınmalıdır, aksi hâlde içerikleri kaybolur.

Erişim yetkileri göz ardı edilir

Asistan her kişiye yalnızca o kişinin görmeye yetkili olduğu şeyleri göstermelidir. Dizin maaşları ve yönetim kurulu tutanaklarını diğer her şeyle birlikte tutuyorsa sıradan bir soru bunları açığa çıkarabilir. Yetkiler, kaynak sistemlerle aynı izinler kullanılarak arama anında uygulanmalıdır.

Kaliteyi kimse ölçmez

Ölçüm olmadan ekip birkaç etkileyici demoya göre karar verir ve her değişiklik bir tahmine dönüşür. Kullanıcılardan gelen ilk şikâyet de sürpriz olur.

Dizin eskir

Kaynakta bir belge değişir, ancak dizin hâlâ eski metni tutar. Güncellemeler, silinen belgelerin kaldırılması dahil, otomatik olmalıdır.

Kalite nasıl kontrol edilir

Doğru yanıtları ve kaynakları bilinen, 50 ila 100 civarında gerçek sorudan oluşan bir test seti hazırlayın. Her değişiklikten sonra bunu çalıştırın ve dört şeye bakın:

• Erişim. Sistem doğru bölümü buldu mu?
• Doğruluk. Yanıt, kaynağın söylediğini ekleme yapmadan söylüyor mu?
• Kaynaklar. Bağlantılar, yanıtı gerçekten destekleyen bölümlere mi gidiyor?
• Reddetme. Yanıt verilerde yoksa sistem bir şey uydurmak yerine bunu söylüyor mu?

Önce erişim gelir: doğru bölüm bulunmadıysa modelin üzerinde çalışabileceği bir şey yoktur.

Nereden başlamalı

1. Sorumlusu belli ve gerçek bir soru akışı olan tek bir kullanım senaryosu seçin.
2. Bunun için kaynakları seçin ve temizleyin.
3. Herhangi bir şey geliştirmeden önce test setini yazın.
4. Erişim yetkilerini ilk günden dahil ederek bir pilot geliştirin.
5. Kötü yanıtları işaretleme imkânıyla birlikte küçük bir gruba verin ve bu yanıtları test setine ekleyin.
6. Ancak kalite göstergeleri sabit kaldıktan sonra kapsamı genişletin.

Sistemin nerede çalışacağına da karar vermeniz gerekir. Belgeler altyapınızın dışına çıkamıyorsa seçenekleri kurumsal yapay zekâ için kurum içi mi bulut mu yazısında karşılaştırın.

Özet

RAG, bir modelin bellekten değil, sizin verilerinizden yanıt vermesini sağlar. Teknoloji iyi anlaşılmıştır. Sonuçlar büyük ölçüde kaynak kalitesine, erişim yetkilerine ve düzenli ölçüme bağlıdır.

Bunu şirketiniz için değerlendiriyorsanız RAG hizmetimize göz atın. Asistanın sistemlerinizde eylemde de bulunması gerekiyorsa yapay zekâ ajanları hakkında okuyun.

Kaynaklar

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis vd., 2020, terimi ortaya koyan makale