ru

Калькулятор VRAM LLM

Проверьте, поместится ли локальная языковая модель в VRAM и ОЗУ: веса, KV-кэш, буфер и выгрузка отдельно, в ГБ и ГиБ, локально, без загрузки.

Этот калькулятор даёт необязывающую оценку на основе модели и не является финансовой, налоговой или юридической консультацией. Подробнее в отказе от ответственности
  • Бангладеш
  • Болгария
  • Бразилия
  • Великобритания
  • Вьетнам
  • Германия
  • Еврозона
  • Египет
  • Индия
  • Индонезия
  • Испания
  • Италия
  • Кения
  • Китай
  • Малайзия
  • Мексика
  • Нигерия
  • Нидерланды
  • Пакистан
  • Польша
  • Португалия
  • Россия
  • США
  • Таиланд
  • Тайвань
  • Турция
  • Украина
  • Франция
  • Швеция
  • Южная Корея
  • Япония
Тип памяти
  • Видеокарта с собственной VRAM
  • Общая память (unified memory)
  • Только CPU, без GPU
Число GPU
VRAM на один GPU (ГиБ)
Разделение на несколько GPU
  • Нет: модель должна поместиться на один GPU
  • Среда выполнения распределяет слои по GPU
Резерв на GPU для экрана и драйвера (ГиБ)
Оперативная память (ГиБ)
Резерв ОЗУ для системы и программ (ГиБ)
Операционная система (свободный текст)
Среда выполнения и версия (свободный текст)
Модель и ревизия (свободный текст)
Всего параметров (млрд, для MoE все эксперты)
Активные параметры на токен (млрд, только MoE)
Биты на вес (квантование, эффективно)
Слои с KV-кэшем
KV-головы (при GQA меньше, чем голов запросов)
Размерность головы
Используемый контекст (токены)
Точность KV-кэша
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Параллельные запросы
Буфер среды выполнения (ГиБ, допущение)
Неопределённость (±)
Неизменённые примерные значения подходят для моей модели и моего компьютера

Результат

Только примерный расчёт: измените или подтвердите значения
Поместится ли модель?
5,65 GB · 5,26 GiB
Общая потребность в памяти
5,08 GB - 6,21 GB (± 10 %)
Интервал неопределённости
3,50 GB · 3,26 GiB
Веса
1,07 GB · 1,00 GiB
KV-кэш
1,07 GB · 1,00 GiB
Буфер среды выполнения (допущение)
8,05 GB · 7,50 GiB
Доступная память GPU
Один GPU
Разделение по GPU
12,88 GB · 12,00 GiB
Свободная оперативная память
0,00 GB
Выгрузка в оперативную память
Только примерный расчёт: измените или подтвердите значения
Наибольший контекст, который помещается целиком (токены)
Только примерный расчёт: измените или подтвердите значения
Наибольшая разрядность, которая помещается целиком
Не указано (плотная модель)
Активные параметры на токен (MoE)
7 × 10⁹ × 4 bit ÷ 8
Расчёт весов
2 × 32 × 8 × 128 × 8 192 × 1 × 16 bit ÷ 8
Расчёт KV-кэша
Пример для редактирования, а не конкретная модель
Источник значений модели
Пример для редактирования, а не ваш компьютер
Источник значений памяти
Не указано
Профиль модели
Не указано
Операционная система
Не указано
Среда выполнения
Недоступно
Сравнение с публичным профилем модели

Загрузка памяти (верхняя граница, %)

Без оценкиПомещаетсяНа пределеПревышено

Та же модель с другим квантованием

Та же модель с другим квантованием
Биты на весВесаИтого (верхняя граница)Остаток памяти
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Загружается ли мой файл?

Нет. Всё выполняется в вашем браузере - ваш файл никогда не покидает устройство. Как это можно проверить

Без загрузки100% локально
Содержимое остаётся у васнет доступа у третьих лиц
Хостинг в ГерманииГлобальная доставка
Независимый аудитTLS A+ · Заголовки A+

Сможет ли языковая модель работать локально, прежде всего решает память. Калькулятор раскладывает потребность на отдельные части: веса (число параметров, умноженное на биты на вес и делённое на 8), KV-кэш для используемого контекста, буфер среды выполнения и видимую неопределённость. Семь миллиардов параметров при 4 битах дают 3,5 ГБ чистых весов ещё до любых накладных расходов. Каждый размер показан дважды: в ГБ (10⁹ байт) и в ГиБ (2³⁰ байт), потому что видеокарты и оперативная память считаются в двоичной системе, а файлы моделей часто указывают в десятичной.

KV-кэш растёт линейно с контекстом и зависит от архитектуры: два (ключи и значения) умножить на слои, на KV-головы, на размерность головы, на токены и на байты на элемент. У моделей с grouped-query attention KV-голов меньше, чем голов запросов, и кэша им нужно соответственно меньше. Для моделей mixture-of-experts по памяти считается общее число параметров, ведь все эксперты должны быть загружены; активные параметры на токен определяют только объём вычислений. Таблица показывает ту же модель с другими уровнями квантования, а также наибольший контекст и наибольшую разрядность, которые помещаются целиком.

Несколько видеокарт складываются только тогда, когда среда выполнения действительно распределяет между ними слои; без поддерживаемого разделения две карты по 8 ГиБ не равны одной на 16 ГиБ. То, что не помещается в память GPU, можно выгрузить в оперативную память; результат называет эту часть, но ничего не говорит о скорости. Встроенных профилей моделей нет: предзаполненные значения являются примером для редактирования, а не конкретной моделью. Введите данные из карточки модели; всё считается в браузере и нигде не сохраняется.

Бесплатно и без аккаунта: считайте сколько угодно раз, а введённые данные остаются на вашем устройстве.

Технические данные

Технические данные
Входные форматыДанные формы (без файла)
ОбработкаЛокально в браузере (JavaScript)
Загрузка файловОтсутствует

В 3 шага

  1. Введите тип памяти, VRAM на GPU, число и разделение GPU, а также объём ОЗУ и резервы.
  2. Введите данные из карточки модели: параметры, биты на вес, слои, KV-головы, размерность головы и контекст.
  3. Посмотрите результат, разбивку на веса, KV-кэш и буфер, выгрузку и варианты квантования.

Ограничения: Достаточный объём памяти не гарантирует скорость, поддержку средой выполнения или драйверами. Буфер среды выполнения и резервы являются допущениями; в зависимости от версии, размера пакета и бэкенда среды требуют больше или меньше памяти. Формула KV рассчитана на обычное внимание с GQA/MQA; архитектурам sliding-window, MLA или гибридным может требоваться заметно меньше кэша. Встроенных данных о моделях и оборудовании нет.

Частые вопросы

Сколько памяти нужно весам модели?

Параметры, умноженные на биты на вес и делённые на 8. Семь миллиардов параметров при 4 битах занимают 3,5 ГБ, примерно 3,26 ГиБ, ещё без KV-кэша и буфера. Форматы квантования с масштабами занимают немного больше номинальной разрядности; тогда введите эффективные биты (размер файла в байтах, умноженный на 8 и делённый на число параметров).

Почему калькулятор показывает ГБ и ГиБ?

Один ГБ равен 10⁹ байт, один ГиБ равен 2³⁰ байт, то есть примерно на 7 процентов больше. Видеокарты и оперативная память считаются в двоичной системе, даже если на коробке написано ГБ; файлы моделей часто указывают в десятичной. Оба значения показаны отдельно, чтобы ничего незаметно не смешалось.

Две видеокарты по 8 ГБ равны одной на 16 ГБ?

Только если среда выполнения распределяет слои по обеим картам. Без поддерживаемого разделения модель должна поместиться на одну карту, и калькулятор учитывает только её память. Даже при разделении каждой карте нужен собственный резерв.

Как калькулятор считает модели mixture-of-experts?

Для памяти он берёт общее число параметров, потому что все эксперты должны быть загружены. Активные параметры на токен только отображаются; они влияют на объём вычислений, а не на занимаемое место.

«Помещается» значит, что модель будет работать быстро?

Нет. Калькулятор проверяет только память. Скорость ответа модели зависит от пропускной способности памяти, вычислительной мощности, среды выполнения и выгрузки. Часть, размещённая в оперативной памяти, обычно заметно замедляет генерацию.

Калькулятор VRAM LLM: это бесплатно и без аккаунта?

Да. Это бесплатно, аккаунт не нужен: можно считать сколько угодно раз, а введённые данные остаются на вашем устройстве.

Похожие инструменты

Калькулятор токенов ИИ · Конвертер Объёма Данных · Расходы на энергию · Сравнить ИИ-модели · Планировщик апгрейда ПК · Цена RAM и SSD за ГБ