Производительность на ватт: как измерить энергию полезной AI-задачи

Сервер с меньшей мощностью не обязательно расходует меньше энергии на задачу. Если он выполняет работу значительно дольше, итог может оказаться обратным. Для AI-инфраструктуры полезно сравнивать энергию корректно завершённой операции при одинаковых требованиях к качеству и задержке. Это требует измерить и результат, и границы системы.

Различать мощность и энергию

Мощность измеряется в ваттах и показывает скорость потребления энергии. Энергия за период выражается, например, в киловатт-часах. Паспортный предел мощности помогает проектировать питание, но не является измерением среднего потребления приложения. Для расчёта расходов нужны фактический режим работы и длительность.

Если нагрузка меняется, используйте временной ряд мощности и суммируйте энергию по интервалам. Простое произведение среднего значения на длительность подходит, когда среднее корректно представляет весь период. Отдельно учитывайте прогрев, загрузку модели, паузы и завершение задания, если они входят в рабочий цикл.

Определить границу измерения

NVIDIA GenAI-Perf описывает сбор телеметрии GPU, включая показатели мощности и энергии при поддержке соответствующих источников 1. Такие данные относятся к устройству и выбранному способу измерения. Они не обязательно включают CPU, диски, сеть, блоки питания и охлаждение помещения.

Для сравнения затрат площадки полезно измерение всего сервера на согласованной точке. Для поиска неэффективности ядра полезна телеметрия GPU. Оба подхода допустимы, если явно указана граница. Нельзя сравнивать мощность одной GPU у кандидата А с потреблением всей стойки у кандидата Б.

Граница	Что показывает	Что может оставаться снаружи
GPU	Поведение ускорителя	Остальные компоненты сервера
Ввод сервера	Потребление оборудования	Охлаждение и общая инфраструктура
Площадка	Расходы инженерного контура	Зависит от метода распределения

Пример с одинаковой задачей

Предположим, система А потребляет в среднем 1,2 кВт и завершает 30 полезных заданий в минуту. Система Б потребляет 1,6 кВт и завершает 48 таких же заданий в минуту. Оба варианта проходят одинаковые критерии качества и задержки. Это условные числа для иллюстрации, а не результаты испытаний оборудования.

За час А выполняет 1 800 заданий и расходует 1,2 кВт·ч. Получается около 0,000667 кВт·ч на задание, или 0,667 кВт·ч на тысячу. Б выполняет 2 880 заданий при 1,6 кВт·ч: около 0,000556 кВт·ч на задание, или 0,556 кВт·ч на тысячу. При этих условиях Б потребляет больше мощности, но меньше энергии на полезный результат.

Если загрузка мала, вывод может измениться: ресурс проводит больше времени в ожидании. Поэтому повторите расчёт для фактического распределения нагрузки. Не следует переносить преимущество полностью занятой системы на сервис, который большую часть суток простаивает.

Сохранить качество сравнения

Для генеративной модели фиксируйте вход, ограничения вывода, модель, точность и критерий полезности. Учитывайте неудачные запросы и повторы в расходах. Изменение длины ответа может искусственно повысить число завершений, если ответы перестали содержать необходимые сведения. Для интерактивного сервиса одновременно контролируйте задержку.

MLPerf включает отдельную документацию измерений мощности 2. Её методические принципы полезны для организации воспроизводимого теста, однако корпоративная задача может отличаться от стандартного набора. Внутренний протокол должен честно описывать оборудование, измеритель, интервал и ограничения метода.

Связать энергию с закупкой

Стоимость электричества составляет только часть TCO. Добавьте оборудование, обслуживание, размещение и программную работу. Более энергоэффективный вариант может требовать дорогого переноса приложения или недоступной инженерной инфраструктуры. С другой стороны, ограниченная мощность площадки иногда делает энергоэффективность необходимым условием, даже если тариф невысок.

Не выбирайте режим ограничения мощности только по снижению ватт. Проверьте влияние на время выполнения, очередь и качество сервиса. Эксперимент должен быть согласован с возможностями оборудования и условиями поддержки. Результат фиксируйте как характеристику конкретной конфигурации и нагрузки.

Для итогового решения соедините измерения с FinOps AI-инфраструктуры и выбором площадки. В аудите полезно начать с фактического рабочего цикла: именно он показывает, сколько энергии компания платит за нужный результат.