Инференс и AI API

Когда важен весь сервис

Стартап или команда продукта хочет обслуживать модель через API. Интерактивный чат, классификация и пакетная обработка имеют разные требования. В одном случае важен быстрый первый токен, в другом срок обработки всей очереди и стоимость результата.

Нужно определить профиль запросов, всплески, ограничения и ожидаемую доступность. Количество зарегистрированных клиентов не равно числу одновременно активных генераций. Планировать конфигурацию только по этому числу опасно для бюджета и качества сервиса.

Базовая архитектура

API gateway → аутентификация и лимиты → очередь → serving backend → GPU → метрики и события. Приложение управляет повторными попытками, тайм-аутами и idempotency там, где это необходимо. Для нескольких моделей вводятся раздельные бюджеты и политика загрузки.

Для пилота необязательно начинать с Kubernetes или большого кластера. Если один узел укладывается в требования, более простая схема облегчает диагностику. Масштабирование выбирается по измеренному ограничению: память, вычисления, обмен, CPU, сеть или очередь.

Как сравниваем варианты

Метрика	Что фиксируем
TTFT	Время до первого токена с учётом очереди
TPOT	Время между токенами на согласованной длине ответа
p95 и ошибки	Поведение большинства запросов и хвоста распределения
Полезная производительность	Успешные результаты с нужным качеством и задержкой
Стоимость	Эквивалентная нагрузка, резерв и эксплуатация

В документации vLLM описываются serving, метрики и возможности распределённого запуска. Конкретные оптимизации, форматы квантования и ограничения проверяются для выбранной версии и модели.

Что получите до закупки

Профиль нагрузки, план тестирования, перечень конфигураций для сравнения, схему деградации при перегрузке и модель расходов. В пилот включаются короткие и длинные запросы, скачок одновременности, перезапуск и восстановление. Итоговый документ показывает условия, при которых получены измерения.

Покупка, аренда или гибрид

Для неопределённой нагрузки полезна аренда. Для стабильной загрузки сравнивается собственный узел. Гибрид потребует согласованных границ данных и поведения при смене среды; его сложность должна окупаться. Калькулятор TCO помогает сравнить сценарии, но не заменяет измерение равной производительности.

Кернода подготавливает и организует выбор. Гарантии доступности, дежурство и ответственность за эксплуатацию появляются только в конкретном согласованном договоре.