uk

VRAM для LLM

Перевірте, чи вміститься локальна мовна модель у VRAM та ОЗП: ваги, KV-кеш, буфер і вивантаження окремо, у ГБ та ГіБ, локально, без завантаження.

Цей калькулятор дає необовʼязкову оцінку на основі моделі та не є фінансовою, податковою чи юридичною консультацією. Докладніше в застереженні
  • Бангладеш
  • Болгарія
  • Бразилія
  • В'єтнам
  • Велика Британія
  • Єврозона
  • Єгипет
  • Індія
  • Індонезія
  • Іспанія
  • Італія
  • Кенія
  • Китай
  • Малайзія
  • Мексика
  • Нігерія
  • Нідерланди
  • Німеччина
  • Пакистан
  • Південна Корея
  • Польща
  • Португалія
  • Росія
  • США
  • Таїланд
  • Тайвань
  • Туреччина
  • Україна
  • Франція
  • Швеція
  • Японія
Тип пам'яті
  • Відеокарта з власною VRAM
  • Спільна пам'ять (unified memory)
  • Лише CPU, без GPU
Кількість GPU
VRAM на один GPU (ГіБ)
Поділ на кілька GPU
  • Немає: модель має вміститися на один GPU
  • Середовище розподіляє шари між GPU
Резерв на GPU для екрана й драйвера (ГіБ)
Оперативна пам'ять (ГіБ)
Резерв ОЗП для системи й програм (ГіБ)
Операційна система (довільний текст)
Середовище виконання й версія (довільний текст)
Модель і ревізія (довільний текст)
Усього параметрів (млрд, для MoE усі експерти)
Активні параметри на токен (млрд, лише MoE)
Біти на вагу (квантування, ефективно)
Шари з KV-кешем
KV-голови (при GQA менше, ніж голів запитів)
Розмірність голови
Використаний контекст (токени)
Точність KV-кешу
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Паралельні запити
Буфер середовища виконання (ГіБ, припущення)
Невизначеність (±)
Незмінені приклади значень підходять для моєї моделі та мого комп'ютера

Результат

Лише приклад розрахунку: змініть або підтвердьте значення
Чи вміститься модель?
5,65 GB · 5,26 GiB
Загальна потреба в пам'яті
5,08 GB - 6,21 GB (± 10 %)
Інтервал невизначеності
3,50 GB · 3,26 GiB
Ваги
1,07 GB · 1,00 GiB
KV-кеш
1,07 GB · 1,00 GiB
Буфер середовища виконання (припущення)
8,05 GB · 7,50 GiB
Доступна пам'ять GPU
Один GPU
Поділ між GPU
12,88 GB · 12,00 GiB
Вільна оперативна пам'ять
0,00 GB
Вивантаження в оперативну пам'ять
Лише приклад розрахунку: змініть або підтвердьте значення
Найбільший контекст, що вміщується повністю (токени)
Лише приклад розрахунку: змініть або підтвердьте значення
Найбільша розрядність, що вміщується повністю
Не вказано (щільна модель)
Активні параметри на токен (MoE)
7 × 10⁹ × 4 bit ÷ 8
Розрахунок ваг
2 × 32 × 8 × 128 × 8 192 × 1 × 16 bit ÷ 8
Розрахунок KV-кешу
Приклад для редагування, а не конкретна модель
Джерело значень моделі
Приклад для редагування, а не ваш комп'ютер
Джерело значень пам'яті
Не вказано
Профіль моделі
Не вказано
Операційна система
Не вказано
Середовище виконання
Недоступно
Порівняння з публічним профілем моделі

Завантаження пам'яті (верхня межа, %)

Без оцінкиВміщуєтьсяНа межіПеревищено

Та сама модель з іншим квантуванням

Та сама модель з іншим квантуванням
Біти на вагуВагиРазом (верхня межа)Залишок пам'яті
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Чи завантажується мій файл?

Ні. Усе працює у вашому браузері - ваш файл ніколи не залишає пристрій. Як це перевірити

Без завантаження100% локально
Вміст лишається у васбез доступу третіх осіб
Хостинг у НімеччиніГлобальна доставка
Незалежний аудитTLS A+ · Заголовки A+

Чи зможе мовна модель працювати локально, насамперед вирішує пам'ять. Калькулятор розкладає потребу на окремі частини: ваги (кількість параметрів, помножена на біти на вагу й поділена на 8), KV-кеш для використаного контексту, буфер середовища виконання та видиму невизначеність. Сім мільярдів параметрів при 4 бітах дають 3,5 ГБ чистих ваг ще до будь-яких накладних витрат. Кожен розмір показано двічі: у ГБ (10⁹ байт) і в ГіБ (2³⁰ байт), бо відеокарти й оперативну пам'ять рахують у двійковій системі, а файли моделей часто вказують у десятковій.

KV-кеш зростає лінійно з контекстом і залежить від архітектури: два (ключі та значення) помножити на шари, на KV-голови, на розмірність голови, на токени та на байти на елемент. Моделі з grouped-query attention мають менше KV-голів, ніж голів запитів, тож їм потрібно менше кешу. Для моделей mixture-of-experts у пам'яті враховується загальна кількість параметрів, адже всі експерти мають бути завантажені; активні параметри на токен визначають лише обсяг обчислень. Таблиця показує ту саму модель з іншими рівнями квантування, а також найбільший контекст і найбільшу розрядність, що вміщуються повністю.

Кілька відеокарт додаються лише тоді, коли середовище виконання справді розподіляє між ними шари; без підтримуваного поділу дві карти по 8 ГіБ не дорівнюють одній на 16 ГіБ. Те, що не вміщується в пам'ять GPU, можна вивантажити в оперативну пам'ять; результат називає цю частину, але нічого не каже про швидкість. Вбудованих профілів моделей немає: попередньо заповнені значення є прикладом для редагування, а не конкретною моделлю. Введіть дані з картки моделі; усе обчислюється в браузері й ніде не зберігається.

Безкоштовно і без акаунта: рахуйте скільки завгодно разів, а введені дані лишаються на вашому пристрої.

Технічні дані

Технічні дані
Вхідні форматиДані форми (без файлу)
ОбробкаЛокально в браузері (JavaScript)
Завантаження файлівНемає

У 3 кроки

  1. Введіть тип пам'яті, VRAM на GPU, кількість і поділ GPU, а також обсяг ОЗП і резерви.
  2. Введіть дані з картки моделі: параметри, біти на вагу, шари, KV-голови, розмірність голови й контекст.
  3. Перегляньте результат, розподіл на ваги, KV-кеш і буфер, вивантаження та варіанти квантування.

Обмеження: Достатній обсяг пам'яті не гарантує швидкості, підтримки середовищем виконання чи драйверами. Буфер середовища виконання й резерви є припущеннями; залежно від версії, розміру пакета й бекенду середовища потребують більше чи менше пам'яті. Формула KV розрахована на звичайну увагу з GQA/MQA; архітектурам sliding-window, MLA або гібридним може знадобитися значно менше кешу. Вбудованих даних про моделі та обладнання немає.

Часті запитання

Скільки пам'яті потрібно вагам моделі?

Параметри, помножені на біти на вагу й поділені на 8. Сім мільярдів параметрів при 4 бітах займають 3,5 ГБ, приблизно 3,26 ГіБ, ще без KV-кешу та буфера. Формати квантування з масштабами займають трохи більше за номінальну розрядність; тоді введіть ефективні біти (розмір файлу в байтах, помножений на 8 і поділений на кількість параметрів).

Чому калькулятор показує ГБ і ГіБ?

Один ГБ дорівнює 10⁹ байт, один ГіБ дорівнює 2³⁰ байт, тобто приблизно на 7 відсотків більше. Відеокарти й оперативну пам'ять рахують у двійковій системі, навіть якщо на коробці написано ГБ; файли моделей часто вказують у десятковій. Обидва значення показано окремо, щоб нічого непомітно не змішалося.

Дві відеокарти по 8 ГБ дорівнюють одній на 16 ГБ?

Лише якщо середовище виконання розподіляє шари на обидві карти. Без підтримуваного поділу модель має вміститися на одну карту, і калькулятор враховує лише її пам'ять. Навіть із поділом кожній карті потрібен власний резерв.

Як калькулятор рахує моделі mixture-of-experts?

Для пам'яті він бере загальну кількість параметрів, бо всі експерти мають бути завантажені. Активні параметри на токен лише показуються; вони впливають на обчислення, а не на потрібне місце.

«Вміщується» означає, що модель працюватиме швидко?

Ні. Калькулятор перевіряє лише пам'ять. Швидкість відповіді моделі залежить від пропускної здатності пам'яті, обчислювальної потужності, середовища виконання та вивантаження. Частина в оперативній пам'яті зазвичай помітно сповільнює генерацію.

VRAM для LLM: це безкоштовно і без акаунта?

Так. Це безкоштовно, акаунт не потрібен: рахувати можна скільки завгодно разів, а введені дані лишаються на вашому пристрої.

Схожі інструменти

Токен-лічильник ШІ · Конвертер Даних · Витрати на енергію · Порівняй ШІ-моделі · План апгрейду ПК · Ціна RAM/SSD за GB