ИИ-помощник по документам: как устроен RAG и какой нужен сервер

Если нужен помощник по инструкциям компании, необязательно начинать с обучения собственной модели. Можно построить систему, которая сначала находит подходящие фрагменты документов, а затем передаёт их модели вместе с вопросом. Такой подход называют RAG. Он помогает опираться на материалы, но не гарантирует правильность каждого ответа.

Разделите поиск и генерацию

Пример: сотрудник спрашивает, как оформить возврат. Приложение проверяет его права, ищет нужную инструкцию, выбирает актуальные фрагменты и передаёт их модели. В ответе показываются ссылки на документы, чтобы сотрудник мог проверить основание рекомендации.

Для первого прототипа возьмите небольшую подборку действующих инструкций. Удалите дубли, отметьте даты и владельцев материалов. Если в базе лежат противоречащие друг другу версии, аренда более мощного сервера сама по себе проблему не исправит.

Какие компоненты размещать

Обычно нужны приложение, хранилище исходных документов, поисковый индекс и обработчик обновлений. Модель генерации и модель для представления текстов можно вызывать через доступный API либо размещать самостоятельно. Во втором случае отдельно оцениваются вычислительные ресурсы.

Векторный поиск — один из инструментов, а не обязательная замена всем другим. В документации Qdrant описаны гибридные запросы, позволяющие сочетать разные способы поиска. В собственном проекте сравните результаты по смысловым вопросам и точным артикулам: имена, номера и сокращения могут требовать другого подхода, чем свободное описание задачи.

Как оценить ресурсы

Запишите число документов, частоту обновлений, размер индекса и ожидаемую параллельность. Отдельно измерьте загрузку при первоначальном импорте и при обычных вопросах. Это разные режимы работы. Резервируйте оригиналы, метаданные и настройки обработки, чтобы индекс можно было восстановить.

Для оценки качества подготовьте вопросы с известными ответами и вопросы, которых база не покрывает. Проверяйте отдельно: нашёлся ли правильный фрагмент и верно ли модель его объяснила. Иначе легко начать увеличивать сервер, хотя причина ошибки находится в поиске или исходном тексте.

Права доступа проверяются до ответа

Пользователь не должен получать фрагменты закрытого документа просто потому, что модель нашла их релевантными. Фильтруйте доступные материалы на стороне приложения. Содержимое документа считайте данными, а не командами: фраза внутри PDF не должна давать помощнику право менять настройки или отправлять файлы наружу.

Начните с режима подсказок со ссылками на источники. Автоматические действия добавляйте отдельно, после проверки прав, журналирования и понятного способа отмены.