Жодної обробки вмісту ваших файлів на сервері не відбувається. Вам не потрібен договір про обробку даних із gottrix, щоб працювати з конфіденційними чи службовими документами.
Хостинг у НімеччиніГлобальна доставка
Основні сервери розміщено в Hetzner у Німеччині, доставлення по всьому світу відбувається через мережу доставлення контенту (CDN). Вміст ваших файлів при цьому ніколи не передається - він не залишає ваш пристрій.
Чи зможе мовна модель працювати локально, насамперед вирішує пам'ять. Калькулятор розкладає потребу на окремі частини: ваги (кількість параметрів, помножена на біти на вагу й поділена на 8), KV-кеш для використаного контексту, буфер середовища виконання та видиму невизначеність. Сім мільярдів параметрів при 4 бітах дають 3,5 ГБ чистих ваг ще до будь-яких накладних витрат. Кожен розмір показано двічі: у ГБ (10⁹ байт) і в ГіБ (2³⁰ байт), бо відеокарти й оперативну пам'ять рахують у двійковій системі, а файли моделей часто вказують у десятковій.
KV-кеш зростає лінійно з контекстом і залежить від архітектури: два (ключі та значення) помножити на шари, на KV-голови, на розмірність голови, на токени та на байти на елемент. Моделі з grouped-query attention мають менше KV-голів, ніж голів запитів, тож їм потрібно менше кешу. Для моделей mixture-of-experts у пам'яті враховується загальна кількість параметрів, адже всі експерти мають бути завантажені; активні параметри на токен визначають лише обсяг обчислень. Таблиця показує ту саму модель з іншими рівнями квантування, а також найбільший контекст і найбільшу розрядність, що вміщуються повністю.
Кілька відеокарт додаються лише тоді, коли середовище виконання справді розподіляє між ними шари; без підтримуваного поділу дві карти по 8 ГіБ не дорівнюють одній на 16 ГіБ. Те, що не вміщується в пам'ять GPU, можна вивантажити в оперативну пам'ять; результат називає цю частину, але нічого не каже про швидкість. Вбудованих профілів моделей немає: попередньо заповнені значення є прикладом для редагування, а не конкретною моделлю. Введіть дані з картки моделі; усе обчислюється в браузері й ніде не зберігається.
Безкоштовно і без акаунта: рахуйте скільки завгодно разів, а введені дані лишаються на вашому пристрої.
Технічні дані
Технічні дані
Вхідні формати
Дані форми (без файлу)
Обробка
Локально в браузері (JavaScript)
Завантаження файлів
Немає
У 3 кроки
Введіть тип пам'яті, VRAM на GPU, кількість і поділ GPU, а також обсяг ОЗП і резерви.
Введіть дані з картки моделі: параметри, біти на вагу, шари, KV-голови, розмірність голови й контекст.
Перегляньте результат, розподіл на ваги, KV-кеш і буфер, вивантаження та варіанти квантування.
Обмеження: Достатній обсяг пам'яті не гарантує швидкості, підтримки середовищем виконання чи драйверами. Буфер середовища виконання й резерви є припущеннями; залежно від версії, розміру пакета й бекенду середовища потребують більше чи менше пам'яті. Формула KV розрахована на звичайну увагу з GQA/MQA; архітектурам sliding-window, MLA або гібридним може знадобитися значно менше кешу. Вбудованих даних про моделі та обладнання немає.
Часті запитання
Скільки пам'яті потрібно вагам моделі?
Параметри, помножені на біти на вагу й поділені на 8. Сім мільярдів параметрів при 4 бітах займають 3,5 ГБ, приблизно 3,26 ГіБ, ще без KV-кешу та буфера. Формати квантування з масштабами займають трохи більше за номінальну розрядність; тоді введіть ефективні біти (розмір файлу в байтах, помножений на 8 і поділений на кількість параметрів).
Чому калькулятор показує ГБ і ГіБ?
Один ГБ дорівнює 10⁹ байт, один ГіБ дорівнює 2³⁰ байт, тобто приблизно на 7 відсотків більше. Відеокарти й оперативну пам'ять рахують у двійковій системі, навіть якщо на коробці написано ГБ; файли моделей часто вказують у десятковій. Обидва значення показано окремо, щоб нічого непомітно не змішалося.
Дві відеокарти по 8 ГБ дорівнюють одній на 16 ГБ?
Лише якщо середовище виконання розподіляє шари на обидві карти. Без підтримуваного поділу модель має вміститися на одну карту, і калькулятор враховує лише її пам'ять. Навіть із поділом кожній карті потрібен власний резерв.
Як калькулятор рахує моделі mixture-of-experts?
Для пам'яті він бере загальну кількість параметрів, бо всі експерти мають бути завантажені. Активні параметри на токен лише показуються; вони впливають на обчислення, а не на потрібне місце.
«Вміщується» означає, що модель працюватиме швидко?
Ні. Калькулятор перевіряє лише пам'ять. Швидкість відповіді моделі залежить від пропускної здатності пам'яті, обчислювальної потужності, середовища виконання та вивантаження. Частина в оперативній пам'яті зазвичай помітно сповільнює генерацію.
VRAM для LLM: це безкоштовно і без акаунта?
Так. Це безкоштовно, акаунт не потрібен: рахувати можна скільки завгодно разів, а введені дані лишаються на вашому пристрої.
Лише за вашою згодою ми анонімно вимірюємо використання за допомогою файлів cookie, щоб покращувати gottrix. Ваші файли завжди залишаються локально, на вашому пристрої. Конфіденційність