Почему программный стек может быть важнее паспортных TFLOPS

Паспортные TFLOPS описывают потенциальную скорость определённых вычислений при заданных условиях. Приложение дополнительно перемещает данные, выделяет память, ждёт очередь и выполняет операции, которые могут использовать оборудование не полностью. Поэтому более высокий показатель в таблице характеристик не гарантирует более быстрый ответ пользователю. Для закупки нужен результат всей цепочки.

Сначала сравнить одинаковые величины

Проверяйте точность вычислений, тип операции и условия использования разреженности. Числа для разных режимов нельзя просто поставить в один столбец рейтинга. Даже корректное сравнение пиков не говорит, какая часть времени приложения приходится на соответствующие операции. Остальное время может определяться памятью, обменом или работой CPU.

Для LLM полезно различать обработку входного контекста и последовательную генерацию ответа. Их поведение меняется с длиной входа, размером пакета и параллелизмом. Документация NVIDIA NIM отдельно определяет показатели первого токена и дальнейшей генерации 1. Поэтому единственное число «токенов в секунду» без условий не описывает весь пользовательский опыт.

Что способен изменить программный стек

Драйвер и библиотеки определяют доступные операции и их реализацию. Движок управляет памятью, очередью и сочетанием запросов. Настройки пакетирования влияют на использование вычислений и время ожидания. Прикладной код определяет, сколько лишнего контекста попадёт в модель и какие этапы выполняются последовательно.

AMD в публикации о результатах MLPerf Inference 6.1 в 2026 году связывает часть прогресса на том же оборудовании с развитием ROCm и оптимизацией ПО 2. Это утверждение производителя о конкретной серии испытаний, а не гарантия прироста для любого проекта. Его практический смысл — фиксировать версию стека при сравнении и не считать характеристики железа единственной переменной.

Читать результат вместе с методикой

Вопрос к бенчмарку	Почему он важен
Какая модель и точность?	Определяют вычисления и качество
Какой вход и выход?	Меняют память и длительность
Какой сценарий нагрузки?	Определяет очередь и допустимую задержку
Какая система целиком?	CPU, сеть и память влияют на результат
Какие версии ПО?	Обеспечивают воспроизводимость
Какие ограничения качества?	Не позволяют сравнивать ускорение ценой результата

MLPerf описывает наборы задач и процедуры измерений 3. Такие результаты полезны для сравнения внутри установленных правил. Они не заменяют проверку корпоративного RAG, где часть времени занимает поиск документов, фильтрация доступа и подготовка ответа. Переносить лидерство в одном тесте на все приложения нельзя.

Искать ограничение перед заменой GPU

Снимите профиль текущей системы. Проверьте, где расходуется время: очередь, обработка входа, генерация, поиск или передача данных. Посмотрите, хватает ли памяти и соответствует ли используемый путь вычислений ожидаемому. Если GPU ждёт CPU или накопитель, покупка более мощного ускорителя может дать небольшой эффект.

Затем меняйте один объяснимый фактор за раз. Например, конфигурацию движка или размер пакета при неизменной модели и нагрузке. Сохраняйте результат качества, задержки и потребления памяти. Одновременная замена модели, точности и сервера создаёт новый вариант системы, но не показывает вклад каждого изменения.

Обновление тоже требует приёмки

Новая версия может улучшить один режим и изменить другой. Перед обновлением сохраните образ и конфигурацию, выполните контрольный набор, затем проверьте нагрузку и отрицательные сценарии. Для рабочего сервиса предусмотрите откат. Изменение драйвера без проверки совместимости с остальными компонентами создаёт дополнительную неопределённость.

Храните паспорт воспроизводимого результата: аппаратная конфигурация, версии, команда запуска, параметры, данные и методика измерения. Он полезен и при обращении в поддержку, и при сравнении КП. Если исполнитель обещает производительность, попросите приложить именно такой протокол и границы его применимости.

Как использовать это при закупке

Сначала отберите платформы, которые поддерживают нужный стек и помещают рабочую нагрузку. Затем сравните их по качеству, SLO, полной стоимости и обслуживанию. Пиковые показатели остаются справочной характеристикой, помогающей понять архитектуру, но решение принимается по проверяемому сценарию.

Продолжить проверку помогут мониторинг инференса, оценка альтернативных ускорителей и пилот инфраструктуры. Программная совместимость и воспроизводимость результата позволяют получить пользу от оборудования после окончания демонстрации.