bg

Калкулатор VRAM LLM

Проверете дали локален езиков модел се побира във VRAM и RAM: тегла, KV кеш, буфер и разтоварване поотделно, в GB и GiB, локално, без качване.

Този калкулатор дава необвързваща, базирана на модел прогноза и не представлява финансов, данъчен или правен съвет. Повече в отказа от отговорност
  • Бангладеш
  • Бразилия
  • България
  • Виетнам
  • Германия
  • Еврозона
  • Египет
  • Индия
  • Индонезия
  • Испания
  • Италия
  • Кения
  • Китай
  • Малайзия
  • Мексико
  • Нигерия
  • Нидерландия
  • Обединено кралство
  • Пакистан
  • Полша
  • Португалия
  • Русия
  • САЩ
  • Тайван
  • Тайланд
  • Турция
  • Украйна
  • Франция
  • Швеция
  • Южна Корея
  • Япония
Вид памет
  • Видеокарта със собствена VRAM
  • Споделена памет (unified memory)
  • Само CPU, без GPU
Брой GPU
VRAM на GPU (GiB)
Разделяне между няколко GPU
  • Няма: моделът трябва да се побере на един GPU
  • Средата разпределя слоевете между GPU
Резерв на GPU за екран и драйвер (GiB)
Оперативна памет (GiB)
Резерв от RAM за системата и програмите (GiB)
Операционна система (свободен текст)
Среда за изпълнение и версия (свободен текст)
Модел и ревизия (свободен текст)
Общо параметри (млрд, при MoE всички експерти)
Активни параметри на токен (млрд, само MoE)
Битове на тегло (квантуване, ефективно)
Слоеве с KV кеш
KV глави (при GQA по-малко от главите за заявки)
Размерност на главата
Използван контекст (токени)
Точност на KV кеша
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Паралелни заявки
Буфер на средата (GiB, допускане)
Неопределеност (±)
Непроменените примерни стойности отговарят на моя модел и моя компютър

Резултат

Само примерно изчисление: променете или потвърдете стойностите
Побира ли се моделът?
5,65 GB · 5,26 GiB
Обща нужда от памет
5,08 GB - 6,21 GB (± 10 %)
Интервал на неопределеност
3,50 GB · 3,26 GiB
Тегла
1,07 GB · 1,00 GiB
KV кеш
1,07 GB · 1,00 GiB
Буфер на средата (допускане)
8,05 GB · 7,50 GiB
Използваема памет на GPU
Един GPU
Разделяне между GPU
12,88 GB · 12,00 GiB
Свободна RAM памет
0,00 GB
Разтоварване в RAM
Само примерно изчисление: променете или потвърдете стойностите
Най-голям контекст, който се побира изцяло (токени)
Само примерно изчисление: променете или потвърдете стойностите
Най-висока битовост, която се побира изцяло
Не е посочено (плътен модел)
Активни параметри на токен (MoE)
7 × 10⁹ × 4 bit ÷ 8
Изчисление на теглата
2 × 32 × 8 × 128 × 8192 × 1 × 16 bit ÷ 8
Изчисление на KV кеша
Пример за редактиране, а не конкретен модел
Произход на стойностите на модела
Пример за редактиране, а не вашият компютър
Произход на стойностите за паметта
Не е посочено
Профил на модела
Не е посочено
Операционна система
Не е посочено
Среда за изпълнение
Няма данни
Сравнение с публичен профил на модел

Използване на паметта (горна граница, %)

Без оценкаПобира сеНа ръбаПревишено

Същият модел с друго квантуване

Същият модел с друго квантуване
Битове на теглоТеглаОбщо (горна граница)Оставаща памет
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Качва ли се файлът ми?

Не. Всичко работи в браузъра ви - файлът ви никога не напуска устройството. Как се проверява това

Без качване100% локално
Съдържанието остава у теббез достъп на трети страни
Хостинг в ГерманияГлобална доставка
Независимо провереноTLS A+ · Заглавки A+

Дали един езиков модел ще работи локално, решава преди всичко паметта. Калкулаторът разделя нуждата на отделни части: теглата (брой параметри по битове на тегло, делено на 8), KV кеша за използвания контекст, буфер на средата за изпълнение и видима неопределеност. Седем милиарда параметъра при 4 бита дават 3,5 GB чисти тегла, преди да се добави каквото и да е допълнително натоварване. Всеки размер е показан два пъти: в GB (10⁹ байта) и в GiB (2³⁰ байта), защото видеокартите и RAM паметта се броят двоично, а файловете на моделите често се посочват десетично.

KV кешът расте линейно с контекста и следва архитектурата: две (ключове и стойности) по слоеве по KV глави по размерност на главата по токени по байтове на елемент. Моделите с grouped-query attention имат по-малко KV глави от главите за заявки и съответно им трябва по-малко кеш. При моделите mixture-of-experts за паметта се брои общият брой параметри, защото всички експерти трябва да са заредени; активните параметри на токен определят само изчислителната работа. Таблицата показва същия модел при други нива на квантуване, заедно с най-големия контекст и най-високата битовост, които се побират изцяло.

Няколко видеокарти се събират само ако средата за изпълнение наистина разпределя слоевете между тях; без поддържано разделяне две карти по 8 GiB не са една карта от 16 GiB. Това, което не се побира в паметта на GPU, може да бъде разтоварено в RAM; резултатът посочва тази част, но не казва нищо за скоростта. Няма вградени профили на модели: предварително попълнените стойности са пример за редактиране, а не конкретен модел. Въведете данните от картата на модела; всичко се изчислява в браузъра и не се записва никъде.

Безплатно и без акаунт: изчислявайте колкото пъти искате, а въведеното остава на устройството ви.

Технически данни

Технически данни
Входни форматиДанни от формуляра (без файл)
ОбработкаЛокално в браузъра (JavaScript)
Качване на файловеНяма

В 3 стъпки

  1. Въведете вида памет, VRAM на GPU, броя и разделянето на GPU, както и RAM и резервите.
  2. Въведете стойностите от картата на модела: параметри, битове на тегло, слоеве, KV глави, размерност на главата и контекст.
  3. Прочетете резултата, разпределението между тегла, KV кеш и буфер, разтоварването и алтернативите за квантуване.

Ограничения: Достатъчната памет не е гаранция за скорост, поддръжка от средата за изпълнение или от драйверите. Буферът и резервите са допускания; според версията, размера на партидата и бекенда средите изискват повече или по-малко. Формулата за KV важи за обичайното внимание с GQA/MQA; архитектури sliding-window, MLA или хибридни може да изискват значително по-малко кеш. Няма вградени данни за модели или хардуер.

Чести въпроси

Колко памет са нужни на теглата на модела?

Параметрите по битовете на тегло, делено на 8. Седем милиарда параметъра при 4 бита са 3,5 GB, около 3,26 GiB, преди да се добавят KV кешът и буферът. Форматите за квантуване с мащаби са малко над номиналния си брой битове; тогава въведете ефективните битове (размер на файла в байтове по 8, делено на броя параметри).

Защо калкулаторът показва GB и GiB?

Един GB е 10⁹ байта, един GiB е 2³⁰ байта, тоест около 7 процента повече. Видеокартите и RAM паметта се броят двоично, дори когато на кутията пише GB; файловете на моделите често се посочват десетично. Двете стойности са показани поотделно, за да не се смесят незабелязано.

Две видеокарти по 8 GB равни ли са на една от 16 GB?

Само ако средата за изпълнение разпределя слоевете на двете карти. Без поддържано разделяне моделът трябва да се побере на една карта и калкулаторът брои само нейната памет. Дори при разделяне всяка карта се нуждае от собствен резерв.

Как калкулаторът смята моделите mixture-of-experts?

За паметта използва общия брой параметри, защото всички експерти трябва да са заредени. Активните параметри на токен само се показват; те влияят на изчисленията, а не на нужното място.

„Побира се“ означава ли, че моделът ще е бърз?

Не. Калкулаторът проверява само паметта. Колко бързо отговаря моделът зависи от пропускателната способност на паметта, изчислителната мощ, средата за изпълнение и разтоварването. Част, държана в RAM, обикновено забавя значително генерирането.

Калкулатор VRAM LLM: може ли да се ползва безплатно и без акаунт?

Да. Ползването е безплатно и не изисква акаунт: можете да изчислявате колкото пъти искате, а въведеното остава на устройството ви.

Сходни инструменти

Калкулатор на ИИ токени · Конвертор на Данни · Разходи за енергия · Сравни AI модели · Планер за ъпгрейд на PC · Цена на RAM и SSD за GB