Что такое RAG: как AI отвечает по данным компании

Спросите обычного AI-ассистента о вашей политике возврата или прошлогоднем договоре, и он либо откажется отвечать, либо уверенно что-нибудь придумает. Большая языковая модель знает то, что видела при обучении. Ваших документов она не видела.

Эту проблему решает RAG, или retrieval-augmented generation: генерация с опорой на поиск. Прежде чем ответить, система находит подходящие фрагменты в ваших источниках и передаёт их модели. Ответ строится на ваших данных, и можно показать, откуда взято каждое утверждение.

Как работает RAG

Процесс состоит из двух частей: заранее подготовить знания и ответить на вопрос.

Подготовка:

1. Собрать источники: документы, страницы вики, заявки, регламенты.
2. Разбить их на небольшие фрагменты, их часто называют чанками.
3. Превратить каждый фрагмент в числовое представление смысла, эмбеддинг, и сохранить в поисковом индексе.

Ответ:

1. Пользователь задаёт вопрос.
2. Система находит самые подходящие фрагменты. Хорошие системы сочетают поиск по смыслу с обычным поиском по словам, потому что артикулы и точные названия при поиске только по смыслу часто теряются.
3. Модель получает вопрос и фрагменты и пишет ответ на их основе, со ссылками на источники.

Сама модель не меняется. Знания обновляются простым обновлением индекса, без переобучения.

Когда RAG нужен компании

RAG хорошо подходит, когда ответ находится в тексте, а текст меняется:

• Внутренние знания. Регламенты, процедуры и инструкции, о которых сотрудники спрашивают снова и снова.
• Поддержка клиентов. Черновики ответов на основе документации и прошлых обращений.
• Договоры и нормативные документы. Поиск нужного пункта среди тысяч страниц со ссылкой на него.
• Техническая документация. Руководства, спецификации и инженерные записки.

Когда RAG не подходит

• Вопросы о цифрах. Вопрос «каковы продажи за прошлый квартал?» требует запроса к базе данных или модели BI, а не поиска по тексту. Текстовые фрагменты дадут старую цифру из старого отчёта.
• Несколько неизменных документов. Если знания умещаются на паре страниц, их можно включить прямо в инструкции для модели.
• Решения, которым нужна полная картина. RAG находит фрагменты. Вопрос «какие из всех наших договоров истекают в этом году?» требует обработать каждый документ, а не найти несколько.

Что обычно идёт не так

Плохие источники

Это самая частая причина. Если есть три версии регламента и никто не знает, какая действует, модель процитирует любую из них. RAG не исправляет проблемы данных, а быстрее их показывает. Владелец документов и простая уборка дают больше, чем более сильная модель. Здесь работают те же принципы, что и в любом аудите качества данных.

Фрагменты плохо нарезаны

Если разбить документ без учёта его структуры, условие попадёт в один фрагмент, а исключение из него в другой. Таблицы и сканы требуют отдельной обработки, иначе их содержимое потеряется.

Не учитываются права доступа

Ассистент должен показывать каждому человеку только то, что ему можно видеть. Если в индексе вместе со всем остальным лежат зарплаты и протоколы совета директоров, случайный вопрос может их раскрыть. Права нужно применять в момент поиска, с теми же разрешениями, что и в системах-источниках.

Никто не измеряет качество

Без измерений команда судит по нескольким впечатляющим демонстрациям, и каждое изменение делается наугад. Первая жалоба пользователей тогда становится сюрпризом.

Индекс устаревает

Документ в источнике изменился, а в индексе остался старый текст. Обновление должно быть автоматическим, включая удаление удалённых документов.

Как проверить качество

Соберите тестовый набор из реальных вопросов, примерно 50–100, с известными правильными ответами и источниками. Запускайте его после каждого изменения и смотрите на четыре вещи:

• Поиск. Нашла ли система нужный фрагмент?
• Точность. Говорит ли ответ то же, что источник, без добавлений?
• Источники. Ведут ли ссылки на фрагменты, которые действительно подтверждают ответ?
• Отказ. Если ответа в данных нет, говорит ли об этом система или что-то придумывает?

Начинать надо с поиска: если нужный фрагмент не найден, модели не с чем работать.

С чего начать

1. Выберите один сценарий с понятным владельцем и реальным потоком вопросов.
2. Отберите для него источники и приведите их в порядок.
3. Напишите тестовый набор до начала разработки.
4. Сделайте пилот, сразу с правами доступа.
5. Дайте его небольшой группе с возможностью отмечать плохие ответы и добавляйте их в тестовый набор.
6. Расширяйте только после того, как показатели качества стабильно держатся.

Нужно также решить, где будет работать система. Если документы не могут покидать вашу инфраструктуру, сравните варианты в статье on-premise или облако для корпоративного AI.

Итог

RAG позволяет модели отвечать по вашим данным, а не по памяти. Технология хорошо изучена. Результат зависит в основном от качества источников, прав доступа и регулярных измерений.

Если думаете об этом для своей компании, смотрите услугу RAG. А если ассистент должен ещё и действовать в ваших системах, прочитайте про AI-агентов.

Источники

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis и др., 2020, работа, в которой появился этот термин