ИНСТРУМЕНТ 01 / ОТКРЫТАЯ МЕТОДИКА
Сколько памяти
нужно вашей LLM?
Оцените веса, KV-cache и запас под runtime. Укажите архитектуру модели и рабочую нагрузку: размер модели сам по себе не определяет конфигурацию.
ЧТО ВЫ ПОЛУЧИТЕ
Веса + контекст + резерв.
Калькулятор покажет расчётный диапазон в GiB и класс конфигурации. Он не обещает конкретную скорость генерации.
- Контекст включает входные и генерируемые токены.
- Одновременные запросы влияют на KV-cache.
- В MoE учитываются все хранимые веса.
- MLA, гибридные и state-space модели требуют другой методики.
Как считается память
Веса: параметры × 10⁹ × битность / 8 / 2³⁰. KV-cache для стандартного decoder Transformer: 2 × слои × KV-heads × head_dim × токены × активные запросы × байт / 2³⁰. Двойка учитывает ключи и значения.
Для нижней границы к весам добавляется 5% на служебные данные квантования, для верхней 15%. К сумме весов и KV-cache применяется выбранный процент резерва, затем добавляется условный фиксированный запас 2 GiB. Эти коэффициенты являются допущениями методики, их нужно проверять на вашем backend. Это инженерная оценка, а не доверительный интервал измерений. Групповые коэффициенты квантования, активации и буферы backend могут занимать больше ожидаемого: сверяйте пиковое потребление на пилоте.
GPU не превращаются автоматически в одну общую память. Для нескольких устройств нужны совместимый backend и правильное распределение модели. Суммарный объём не гарантирует, что нагрузка поместится на каждом устройстве.
Подробности: как устроен KV-cache, память для LLM, документация Transformers.