Чат-бот поддержки покупателей на локальной языковой модели

Большая часть обращений в поддержку однотипна: где заказ, как вернуть, есть ли размер, работает ли магазин в праздники. Операторы тратят на них время, очередь в чате растёт в пиковые дни, а доля обращений, решённых с первого контакта, падает.

Кнопочные боты раздражают покупателей и не понимают вопросов, сформулированных своими словами. Облачные LLM-сервисы решают проблему понимания, но требуют передавать во внешний сервис персональные данные и историю заказов, что расходится с требованиями закона о персональных данных и внутренней политикой безопасности.

Голосовой канал остаётся самым дорогим: колл-центр масштабируется только людьми.

Решение — ассистент на открытой языковой модели, развёрнутой на сервере компании, с доступом к базе знаний и системам заказов через защищённые API.

• RAG по базе знаний: условия доставки, возвратов, программы лояльности, описания товаров.
• Интеграции: статус заказа, наличие в магазине, оформление возврата, запись на примерку.
• Голосовой контур: распознавание речи, LLM, синтез — для телефонной линии и голосовых сообщений.
• Передача оператору с готовым резюме диалога; контроль качества ответов и запрет на тематики вне компетенции.

Пилот запускается на одном канале, например в чате приложения, с ограниченным набором сценариев, затем расширяется.

Какие данные нужны

• База знаний и регламенты поддержки
• История диалогов с операторами
• Доступ к статусам заказов и каталогу через API