Проверьте, поместится ли локальная языковая модель в VRAM и ОЗУ: веса, KV-кэш, буфер и выгрузка отдельно, в ГБ и ГиБ, локально, без загрузки.
i
Этот калькулятор даёт необязывающую оценку на основе модели и не является финансовой, налоговой или юридической консультацией. Подробнее в отказе от ответственности
Рынок
Бангладеш✓
Болгария✓
Бразилия✓
Великобритания✓
Вьетнам✓
Германия✓
Еврозона✓
Египет✓
Индия✓
Индонезия✓
Испания✓
Италия✓
Кения✓
Китай✓
Малайзия✓
Мексика✓
Нигерия✓
Нидерланды✓
Пакистан✓
Польша✓
Португалия✓
Россия✓
США✓
Таиланд✓
Тайвань✓
Турция✓
Украина✓
Франция✓
Швеция✓
Южная Корея✓
Япония✓
Результат
Только примерный расчёт: измените или подтвердите значения
Поместится ли модель?
5,65 GB · 5,26 GiB
Общая потребность в памяти
5,08 GB - 6,21 GB (± 10 %)
Интервал неопределённости
3,50 GB · 3,26 GiB
Веса
1,07 GB · 1,00 GiB
KV-кэш
1,07 GB · 1,00 GiB
Буфер среды выполнения (допущение)
8,05 GB · 7,50 GiB
Доступная память GPU
Один GPU
Разделение по GPU
12,88 GB · 12,00 GiB
Свободная оперативная память
0,00 GB
Выгрузка в оперативную память
Только примерный расчёт: измените или подтвердите значения
Наибольший контекст, который помещается целиком (токены)
Только примерный расчёт: измените или подтвердите значения
Наибольшая разрядность, которая помещается целиком
Содержимое остаётся у васнет доступа у третьих лиц
Содержимое ваших файлов нигде не обрабатывается на стороне сервера. Вам не нужен договор об обработке данных с gottrix, чтобы работать с конфиденциальными или деловыми документами.
Хостинг в ГерманииГлобальная доставка
Исходный сервер у Hetzner в Германии, доставка по всему миру через сеть доставки контента (CDN). Содержимое ваших файлов при этом никогда не передаётся - оно не покидает ваше устройство.
Сможет ли языковая модель работать локально, прежде всего решает память. Калькулятор раскладывает потребность на отдельные части: веса (число параметров, умноженное на биты на вес и делённое на 8), KV-кэш для используемого контекста, буфер среды выполнения и видимую неопределённость. Семь миллиардов параметров при 4 битах дают 3,5 ГБ чистых весов ещё до любых накладных расходов. Каждый размер показан дважды: в ГБ (10⁹ байт) и в ГиБ (2³⁰ байт), потому что видеокарты и оперативная память считаются в двоичной системе, а файлы моделей часто указывают в десятичной.
KV-кэш растёт линейно с контекстом и зависит от архитектуры: два (ключи и значения) умножить на слои, на KV-головы, на размерность головы, на токены и на байты на элемент. У моделей с grouped-query attention KV-голов меньше, чем голов запросов, и кэша им нужно соответственно меньше. Для моделей mixture-of-experts по памяти считается общее число параметров, ведь все эксперты должны быть загружены; активные параметры на токен определяют только объём вычислений. Таблица показывает ту же модель с другими уровнями квантования, а также наибольший контекст и наибольшую разрядность, которые помещаются целиком.
Несколько видеокарт складываются только тогда, когда среда выполнения действительно распределяет между ними слои; без поддерживаемого разделения две карты по 8 ГиБ не равны одной на 16 ГиБ. То, что не помещается в память GPU, можно выгрузить в оперативную память; результат называет эту часть, но ничего не говорит о скорости. Встроенных профилей моделей нет: предзаполненные значения являются примером для редактирования, а не конкретной моделью. Введите данные из карточки модели; всё считается в браузере и нигде не сохраняется.
Бесплатно и без аккаунта: считайте сколько угодно раз, а введённые данные остаются на вашем устройстве.
Технические данные
Технические данные
Входные форматы
Данные формы (без файла)
Обработка
Локально в браузере (JavaScript)
Загрузка файлов
Отсутствует
В 3 шага
Введите тип памяти, VRAM на GPU, число и разделение GPU, а также объём ОЗУ и резервы.
Введите данные из карточки модели: параметры, биты на вес, слои, KV-головы, размерность головы и контекст.
Посмотрите результат, разбивку на веса, KV-кэш и буфер, выгрузку и варианты квантования.
Ограничения: Достаточный объём памяти не гарантирует скорость, поддержку средой выполнения или драйверами. Буфер среды выполнения и резервы являются допущениями; в зависимости от версии, размера пакета и бэкенда среды требуют больше или меньше памяти. Формула KV рассчитана на обычное внимание с GQA/MQA; архитектурам sliding-window, MLA или гибридным может требоваться заметно меньше кэша. Встроенных данных о моделях и оборудовании нет.
Частые вопросы
Сколько памяти нужно весам модели?
Параметры, умноженные на биты на вес и делённые на 8. Семь миллиардов параметров при 4 битах занимают 3,5 ГБ, примерно 3,26 ГиБ, ещё без KV-кэша и буфера. Форматы квантования с масштабами занимают немного больше номинальной разрядности; тогда введите эффективные биты (размер файла в байтах, умноженный на 8 и делённый на число параметров).
Почему калькулятор показывает ГБ и ГиБ?
Один ГБ равен 10⁹ байт, один ГиБ равен 2³⁰ байт, то есть примерно на 7 процентов больше. Видеокарты и оперативная память считаются в двоичной системе, даже если на коробке написано ГБ; файлы моделей часто указывают в десятичной. Оба значения показаны отдельно, чтобы ничего незаметно не смешалось.
Две видеокарты по 8 ГБ равны одной на 16 ГБ?
Только если среда выполнения распределяет слои по обеим картам. Без поддерживаемого разделения модель должна поместиться на одну карту, и калькулятор учитывает только её память. Даже при разделении каждой карте нужен собственный резерв.
Как калькулятор считает модели mixture-of-experts?
Для памяти он берёт общее число параметров, потому что все эксперты должны быть загружены. Активные параметры на токен только отображаются; они влияют на объём вычислений, а не на занимаемое место.
«Помещается» значит, что модель будет работать быстро?
Нет. Калькулятор проверяет только память. Скорость ответа модели зависит от пропускной способности памяти, вычислительной мощности, среды выполнения и выгрузки. Часть, размещённая в оперативной памяти, обычно заметно замедляет генерацию.
Калькулятор VRAM LLM: это бесплатно и без аккаунта?
Да. Это бесплатно, аккаунт не нужен: можно считать сколько угодно раз, а введённые данные остаются на вашем устройстве.
Только с вашего согласия мы анонимно измеряем использование с помощью файлов cookie, чтобы улучшать gottrix. Ваши файлы всегда остаются локально, на вашем устройстве. Конфиденциальность