Что такое агентный поиск по нормативным документам?
Это схема, в которой языковая модель не центр системы, а её последнее звено. Запрос сначала разбирает планировщик, затем поисковый агент сам выбирает инструменты под каждую задачу — точечный поиск по номеру пункта, гибридный поиск, работу с таблицами, навигацию по оглавлению, — найденное дотягивается по связям документа, и только потом генератор пишет ответ строго по собранному контексту.
Чем подтверждён ответ
Чем это отличается от обычного RAG
Классическая схема образца 2023 года — retrieve-then-generate: нарезать документы на куски, сложить в векторную базу, на запрос достать top-k похожих, приклеить к промпту. На нормативных документах она ломается быстро, и по конкретным причинам:
- минимальная единица хранения не совпадает с минимальной единицей смысла — пункт может быть в две строки, а может тянуть за собой полстраницы примечаний;
- обязательные связи между пунктами теряются при нарезке, хотя именно они и есть норма;
- таблицы и термины живут своей жизнью и векторным сходством не достаются.
Четыре звена
Планировщик разбирает запрос на задачи: здесь упомянут конкретный пункт, здесь таблица, здесь термин, здесь свободная формулировка. Решает, куда идти, и при необходимости запускает поиск повторно по результатам прошлого круга.
Поисковый агент под каждую задачу сам выбирает инструмент: точечный поиск по номеру пункта, гибридный поиск, работа с таблицами, чтение раздела по оглавлению. Несколько задач могут идти параллельно, найденное складывается в общий пул.
Курация контекста дотягивает связанные узлы — примечания, отсылки к другим нормам, соседний материал по графу документа. Опоры ответа закрепляются явно и гарантированно попадают в контекст генератора. Если найденного мало, поиск расширяется.
Генератор пишет ответ строго по собранному контексту, с принудительным цитированием вида «СП 1.13130.2020 п. 7.13.2». Закреплённые выдержки — основа ответа: каждую нужно процитировать или явно отвести.
Разные звенья — разные модели: планирование и поиск идут на дешёвой быстрой голове, финальный текст пишет тяжёлая.
Когда не так
Контур изолирует вклад всей схемы целиком, но не разделяет вклад отдельных звеньев: что дало больше — планировщик, поисковый агент или курация, — по имеющимся данным сказать нельзя, для этого нужны отдельные прогоны с отключением звеньев.
И главное ограничение: качество теперь упирается в полноту корпуса, а не в память модели. Если документа в базе нет, ответа не будет — система скажет, что не нашла, вместо того чтобы сочинить.
Ссылки сверены с текстом документов
Смежные вопросы
- Чем сервис по нормам отличается от ChatGPT с поиском? Не языковой моделью, а тем, что стоит между вопросом и ответом. У сервиса под нормы это зафиксированный корпус документов в известных редакциях и поисковый контур, который ищет по номеру пункта, по таблице и по термину, а затем дотягивает связанные узлы — примечания и отсылки к смежным нормам. Универсальный поиск ищет по вебу, где рядом лежат отменённые редакции и пересказы с форумов.
- Почему нейросеть выдумывает пункты СП и ГОСТ? Потому что языковая модель без доступа к тексту документа не хранит нормы как факты — она достраивает правдоподобное продолжение. Номер пункта устроен статистически предсказуемо, поэтому модель уверенно порождает несуществующий «п. 7.13.2» там, где не знает настоящего. Ошибка выглядит как знание, а не как пробел.