ИИ-ассистент для сайта: как подключить модель и не разориться

Показать на сайте окошко чата, которое отвечает языковой моделью, действительно можно за вечер. Проблемы начинаются не там, где чат появляется, а там, где им начинают пользоваться посторонние люди.

Ниже — четыре части, без которых ассистент на публичном сайте существовать не может, и три ситуации, в которых его лучше не делать.

Ключ не может лежать в браузере

Самая частая ошибка первых попыток: обращение к модели пишут прямо в JavaScript страницы. Это значит, что ключ доступа уезжает в браузер каждому посетителю. Найти его там — дело одной минуты, а платить по нему будете вы, пока не заметите.

Правильная схема одна: браузер обращается к вашему серверу, сервер добавляет ключ и ходит к модели. Ключ не покидает сервер никогда. Это же место потом пригодится для всего остального — счётчиков, лимитов, журнала.

Ответ должен печататься, а не появляться

Модель отвечает несколько секунд. Если всё это время в окне ничего не происходит, человек уходит: пустой экран читается как поломка.

Поэтому ответ передают потоком — теми же кусочками, которыми его выдаёт модель, и он печатается на глазах. Технически это отдельная работа: обычный запрос отдаёт результат целиком, потоковый держит соединение открытым и досылает части. Разница в ощущении огромная, и её замечают все, кто сравнивал.

Именно так устроен ассистент, который я делаю для встраивания: ответ печатается сразу, ключи остаются на сервере, расход виден.

Расход надо ограничивать до того, как он случится

Модель считает деньги за объём текста. Публичный чат без ограничений — это открытый кран, и первый же человек, решивший поговорить с ним подольше, обойдётся дороже месяца хостинга.

Минимальный набор: потолок на длину одного ответа, лимит обращений с одного посетителя за период, общий дневной потолок, после которого чат вежливо закрывается. Плюс журнал запросов — иначе вы не узнаете, на что ушли деньги, пока не придёт счёт.

Отдельная статья расхода — история диалога. Каждое следующее сообщение отправляется вместе с предыдущими, поэтому длинный разговор дорожает нелинейно. Лечится обрезанием старых сообщений или их сжатием.

Модель не знает ваш товар и будет его выдумывать

Языковая модель обучена на текстах из интернета. Про ваш ассортимент, сроки и условия она не знает ничего — и, если спросить, уверенно сочинит.

Есть два способа. Простой: положить нужные факты прямо в инструкцию — прайс, условия доставки, ограничения. Работает, пока фактов немного. Второй: поиск по вашим материалам перед ответом — модель получает подходящие куски документов и отвечает по ним. Дороже, но выдерживает объём.

И в обоих случаях остаётся правило, которое нужно записать явно: чего ассистент не обсуждает и что он отвечает, когда не знает. Без этого он будет отвечать всегда — что и есть источник неприятностей.

Дальше начинается интересное: ассистент, который не только отвечает, но и доводит до действия. Такой подбирает продукт по смыслу запроса, уточняет детали формой прямо в чате и выводит на оплату.

Когда ассистент не нужен

Когда вопросов мало и они одинаковые. Пять типовых вопросов закрываются пятью кнопками. Это дешевле, быстрее и не выдумывает.

Когда цена ошибки высокая. Медицина, юридические условия, гарантийные обязательства — там, где неверный ответ стоит денег или репутации, свободный диалог опаснее пользы.

Когда основной поток в мессенджере. Если люди и так пишут в телеграм, ассистента логичнее ставить туда — и он же может отсеивать заявки до менеджера, а не отвечать на общие вопросы.

Что спросить у исполнителя

Три вопроса, которые сразу показывают уровень: где будет храниться ключ; как ограничен расход и что произойдёт при превышении; откуда ассистент берёт факты о вашем товаре и что отвечает, когда их не нашёл.

Если на третий вопрос отвечают «модель сама разберётся» — не разберётся.