Apa itu RAG: cara AI menjawab dari data perusahaan Anda

Tanyakan kepada asisten AI umum tentang kebijakan pengembalian dana Anda atau kontrak tahun lalu, dan ia akan menolak atau dengan yakin mengarang sesuatu. Model bahasa besar mengetahui apa yang dilihatnya selama pelatihan. Ia tidak pernah melihat dokumen Anda.

RAG, atau retrieval-augmented generation, memecahkan masalah ini. Sebelum menjawab, sistem menemukan bagian yang relevan di sumber Anda sendiri dan memberikannya kepada model. Jawabannya kemudian didasarkan pada data Anda, dan sistem dapat menunjukkan dari mana setiap pernyataan berasal.

Cara kerja RAG

Prosesnya terdiri dari dua bagian: menyiapkan pengetahuan terlebih dahulu dan menjawab pertanyaan.

Persiapan:

1. Kumpulkan sumbernya: dokumen, halaman wiki, tiket, kebijakan.
2. Pecah menjadi bagian-bagian kecil, yang sering disebut chunk.
3. Ubah setiap bagian menjadi representasi numerik dari maknanya, yaitu embedding, lalu simpan dalam indeks pencarian.

Menjawab:

1. Pengguna mengajukan pertanyaan.
2. Sistem menemukan bagian yang paling relevan. Sistem yang baik menggabungkan pencarian berbasis makna dengan pencarian kata kunci biasa, karena kode produk dan nama yang persis sering hilang jika hanya memakai pencarian berbasis makna.
3. Model menerima pertanyaan beserta bagian-bagian tersebut, lalu menulis jawaban berdasarkan bagian itu, dengan tautan ke sumbernya.

Modelnya sendiri tidak berubah. Anda dapat memperbarui pengetahuan cukup dengan memperbarui indeks, tanpa pelatihan ulang apa pun.

Kapan perusahaan membutuhkan RAG

RAG sangat cocok ketika jawabannya ada di dalam teks dan teks itu berubah:

• Pengetahuan internal. Kebijakan, prosedur, dan instruksi yang terus ditanyakan karyawan.
• Dukungan pelanggan. Draf jawaban berdasarkan dokumentasi dan tiket sebelumnya.
• Kontrak dan regulasi. Menemukan klausul yang tepat di antara ribuan halaman, lengkap dengan tautannya.
• Dokumentasi teknis. Manual, spesifikasi, dan catatan teknik.

Kapan RAG bukan alat yang tepat

• Pertanyaan tentang angka. "Berapa penjualan kuartal lalu?" membutuhkan kueri ke basis data atau model BI, bukan pencarian di dalam teks. Bagian teks akan memberi Anda angka lama dari laporan lama.
• Sedikit dokumen yang stabil. Jika pengetahuannya muat dalam beberapa halaman, Anda dapat menyertakannya langsung dalam instruksi untuk model.
• Keputusan yang memerlukan gambaran lengkap. RAG menemukan potongan-potongan. Pertanyaan seperti "kontrak mana saja dari seluruh kontrak kami yang berakhir tahun ini?" memerlukan pemrosesan setiap dokumen, bukan pengambilan beberapa bagian saja.

Apa yang biasanya salah

Sumbernya buruk

Ini penyebab yang paling umum. Jika ada tiga versi kebijakan dan tidak ada yang tahu mana yang berlaku, model akan mengutip versi mana pun di antaranya. RAG tidak memperbaiki masalah data, tetapi membuatnya terlihat lebih cepat. Pemilik dokumen dan pembersihan sederhana memberi hasil lebih besar daripada model yang lebih baik. Prinsip yang sama berlaku seperti pada setiap audit kualitas data.

Bagiannya dipotong dengan buruk

Jika dokumen dipecah tanpa memperhatikan strukturnya, suatu ketentuan akan berakhir di satu bagian dan pengecualiannya di bagian lain. Tabel dan dokumen hasil pindaian memerlukan penanganan tersendiri; jika tidak, isinya akan hilang.

Hak akses diabaikan

Asisten harus menunjukkan kepada setiap orang hanya apa yang boleh dilihat orang tersebut. Jika indeks menyimpan data gaji dan notulen rapat direksi bersama semua hal lainnya, pertanyaan biasa pun dapat membukanya. Hak akses harus diterapkan pada saat pencarian, dengan izin yang sama seperti di sistem sumber.

Tidak ada yang mengukur kualitas

Tanpa pengukuran, tim menilai berdasarkan beberapa demo yang mengesankan, dan setiap perubahan hanyalah tebakan. Keluhan pertama dari pengguna kemudian datang sebagai kejutan.

Indeksnya usang

Dokumen berubah di sumbernya, tetapi indeks masih menyimpan teks lama. Pembaruan harus otomatis, termasuk penghapusan dokumen yang sudah dihapus.

Cara memeriksa kualitas

Susun rangkaian uji berisi pertanyaan nyata, sekitar 50 hingga 100, dengan jawaban dan sumber yang benar yang sudah diketahui. Jalankan setiap kali ada perubahan dan perhatikan empat hal:

• Pengambilan. Apakah sistem menemukan bagian yang tepat?
• Akurasi. Apakah jawaban menyatakan apa yang dinyatakan sumber, tanpa tambahan?
• Sumber. Apakah tautannya mengarah ke bagian yang benar-benar mendukung jawaban?
• Penolakan. Ketika jawabannya tidak ada dalam data, apakah sistem mengatakannya alih-alih mengarang sesuatu?

Pengambilan adalah yang utama: jika bagian yang tepat tidak ditemukan, model tidak punya bahan untuk bekerja.

Dari mana memulai

1. Pilih satu kasus penggunaan dengan pemilik yang jelas dan alur pertanyaan yang nyata.
2. Pilih sumbernya dan rapikan.
3. Tulis rangkaian uji sebelum membangun apa pun.
4. Bangun pilot, termasuk hak akses sejak hari pertama.
5. Berikan kepada kelompok kecil dengan cara untuk menandai jawaban yang buruk, dan tambahkan jawaban tersebut ke rangkaian uji.
6. Perluas hanya setelah angka kualitasnya stabil.

Anda juga perlu memutuskan di mana sistem berjalan. Jika dokumen tidak boleh keluar dari infrastruktur Anda, bandingkan opsinya dalam artikel on-premise atau cloud untuk AI perusahaan.

Ringkasan

RAG memungkinkan model menjawab dari data Anda, bukan dari ingatannya. Teknologinya sudah dipahami dengan baik. Hasilnya terutama bergantung pada kualitas sumber, hak akses, dan pengukuran rutin.

Jika Anda mempertimbangkannya untuk perusahaan Anda, lihat layanan RAG kami. Dan jika asisten juga harus bertindak di sistem Anda, bacalah tentang agen AI.

Sumber

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis et al., 2020, makalah yang memperkenalkan istilah ini