ИИ-ассистент для сайта: ответы в потоке, а не через минуту

Задача

Как только на сайте появляется «умный помощник», возникают три скучные проблемы: ключ доступа к модели нельзя держать в браузере, ответы приходят долго и целиком, а расход на обращения никто не считает.

Каждый раз решать это заново внутри очередного проекта — потеря времени.

Что сделано

Общение с моделью вынесено на сервер. Браузер обращается к моему сервису, сервис — к модели. Ключ доступа не покидает сервер, его невозможно достать из кода страницы.

Ответы сделаны потоковыми. Текст приходит по мере генерации: пользователь видит, что система работает, и не смотрит в пустой экран.

Собраны логи и обработка ошибок. Видно, что спрашивали, где модель не ответила и что пошло не так.

Слой сделан общим. Один и тот же сервис обслуживает несколько проектов: тренажёр английского, эксперименты с генеративным сайтом, прототипы ассистентов.

Результат

Скучная, но необходимая деталь, без которой «ИИ на сайте» превращается либо в дыру в безопасности, либо в непредсказуемый счёт. Разворачивается за час на любом сервере.

Что дальше

Ограничение частоты обращений на пользователя и переключение между моделями без изменения кода проектов.