Что RAG добавляет к обычному чат-боту
RAG объединяет поиск по внешним материалам и генерацию ответа. Система находит фрагменты базы знаний и передаёт их модели вместе с вопросом. Это позволяет использовать обновляемые документы без обучения модели на каждом изменении.
Наличие найденного фрагмента не доказывает правильность ответа. Поиск может пропустить нужную запись, документ может устареть, а модель — неверно интерпретировать источник. Поэтому помощник должен уметь показать основание ответа, уточнить вопрос или передать его сотруднику.
Начните с одного сценария
Для первого пилота подходят ограниченные вопросы о согласованном каталоге, условиях услуги или внутреннем регламенте. Зафиксируйте канал, аудиторию, разрешённые материалы и действие, которым завершается диалог.
Например, консультант помогает выбрать услугу и передаёт контекст менеджеру. Он не меняет цену, не оформляет финансовое обязательство и не придумывает отсутствующие условия. Такой объём проще проверить, чем универсального помощника для всей компании.
Как устроить базу знаний
- Назначьте владельца каждого документа и дату его актуальности.
- Исключите закрытые материалы, недоступные конкретному пользователю.
- Разделите документы на фрагменты, сохранив заголовки, ссылки и контекст.
- Настройте поиск по запросу и фильтры прав доступа.
- Передайте модели только подходящие фрагменты.
- Проверьте соответствие ответа источникам и правило отказа.
Размер фрагмента, тип поиска и необходимость дополнительного ранжирования выбираются по тестовым вопросам. Универсального размера в токенах, подходящего для всех документов, нет. Для таблиц с ценами может потребоваться структурированный запрос вместо поиска по свободному тексту.
Как выбрать модель и проверить качество
Сравните несколько доступных моделей на одном наборе вопросов. Включите вопросы с точным ответом, неполные формулировки, противоречивые документы, отсутствующие сведения и попытки получить закрытые данные.
Оценивайте отдельно нахождение источника, фактическую точность ответа, корректность отказа, задержку и стоимость диалога. Обновление модели или базы знаний должно запускать повторную проверку. Самостоятельно размещённая модель также требует вычислительных ресурсов и сопровождения; её использование не равно нулевой стоимости.
Подключение Telegram или сайта
Канал получает вопрос, сервер проверяет пользователя и доступные материалы, затем запускает поиск и формирование ответа. Секреты модели и CRM остаются на сервере. Документы и пользовательский текст рассматриваются как данные: содержащаяся в них инструкция не должна расширять права ассистента.
Для передачи сотруднику сохраните вопрос, использованные источники и причину передачи с учётом правил хранения данных. Сбой API, отсутствие подтверждённого ответа и запрос за пределами полномочий должны иметь понятный маршрут. Условия канала разобраны в статье о Telegram-ботах.
Стоимость пилота
В каталоге AI-ассистентов пилот одного канала, ограниченной базы знаний и одного целевого сценария начинается от 40 000 ₽. Формат бизнес-ассистента с передачей менеджеру и одной рабочей интеграцией — от 80 000 ₽. Состав и итоговая стоимость согласуются до разработки; это не цена любого RAG-проекта.
Помимо разработки учитываются подготовка документов, хостинг, API моделей, хранение и обновление базы. Ежемесячные расходы оценивают по ожидаемой нагрузке и затем сверяют с фактическим использованием.
Что подготовить до разговора
Подготовьте несколько разрешённых документов, примеры реальных вопросов с ожидаемыми ответами и перечень тем, на которые бот не отвечает. Укажите, кто подтверждает знания и кому передаётся сложный диалог. Опишите сценарий ассистента, чтобы оценить пилот и критерии приёмки.