Съдържанието остава у теббез достъп на трети страни
Не възниква обработка на съдържанието на файловете ти. Не ти трябва договор за обработка на данни с gottrix, за да работиш с поверителни или служебни документи.
Хостинг в ГерманияГлобална доставка
Основни сървъри в Hetzner в Германия, глобално доставяне чрез мрежа за доставяне на съдържание (CDN). Съдържанието на файловете ти никога не се предава в този процес - то не напуска устройството ти.
Дали един езиков модел ще работи локално, решава преди всичко паметта. Калкулаторът разделя нуждата на отделни части: теглата (брой параметри по битове на тегло, делено на 8), KV кеша за използвания контекст, буфер на средата за изпълнение и видима неопределеност. Седем милиарда параметъра при 4 бита дават 3,5 GB чисти тегла, преди да се добави каквото и да е допълнително натоварване. Всеки размер е показан два пъти: в GB (10⁹ байта) и в GiB (2³⁰ байта), защото видеокартите и RAM паметта се броят двоично, а файловете на моделите често се посочват десетично.
KV кешът расте линейно с контекста и следва архитектурата: две (ключове и стойности) по слоеве по KV глави по размерност на главата по токени по байтове на елемент. Моделите с grouped-query attention имат по-малко KV глави от главите за заявки и съответно им трябва по-малко кеш. При моделите mixture-of-experts за паметта се брои общият брой параметри, защото всички експерти трябва да са заредени; активните параметри на токен определят само изчислителната работа. Таблицата показва същия модел при други нива на квантуване, заедно с най-големия контекст и най-високата битовост, които се побират изцяло.
Няколко видеокарти се събират само ако средата за изпълнение наистина разпределя слоевете между тях; без поддържано разделяне две карти по 8 GiB не са една карта от 16 GiB. Това, което не се побира в паметта на GPU, може да бъде разтоварено в RAM; резултатът посочва тази част, но не казва нищо за скоростта. Няма вградени профили на модели: предварително попълнените стойности са пример за редактиране, а не конкретен модел. Въведете данните от картата на модела; всичко се изчислява в браузъра и не се записва никъде.
Безплатно и без акаунт: изчислявайте колкото пъти искате, а въведеното остава на устройството ви.
Технически данни
Технически данни
Входни формати
Данни от формуляра (без файл)
Обработка
Локално в браузъра (JavaScript)
Качване на файлове
Няма
В 3 стъпки
Въведете вида памет, VRAM на GPU, броя и разделянето на GPU, както и RAM и резервите.
Въведете стойностите от картата на модела: параметри, битове на тегло, слоеве, KV глави, размерност на главата и контекст.
Прочетете резултата, разпределението между тегла, KV кеш и буфер, разтоварването и алтернативите за квантуване.
Ограничения: Достатъчната памет не е гаранция за скорост, поддръжка от средата за изпълнение или от драйверите. Буферът и резервите са допускания; според версията, размера на партидата и бекенда средите изискват повече или по-малко. Формулата за KV важи за обичайното внимание с GQA/MQA; архитектури sliding-window, MLA или хибридни може да изискват значително по-малко кеш. Няма вградени данни за модели или хардуер.
Чести въпроси
Колко памет са нужни на теглата на модела?
Параметрите по битовете на тегло, делено на 8. Седем милиарда параметъра при 4 бита са 3,5 GB, около 3,26 GiB, преди да се добавят KV кешът и буферът. Форматите за квантуване с мащаби са малко над номиналния си брой битове; тогава въведете ефективните битове (размер на файла в байтове по 8, делено на броя параметри).
Защо калкулаторът показва GB и GiB?
Един GB е 10⁹ байта, един GiB е 2³⁰ байта, тоест около 7 процента повече. Видеокартите и RAM паметта се броят двоично, дори когато на кутията пише GB; файловете на моделите често се посочват десетично. Двете стойности са показани поотделно, за да не се смесят незабелязано.
Две видеокарти по 8 GB равни ли са на една от 16 GB?
Само ако средата за изпълнение разпределя слоевете на двете карти. Без поддържано разделяне моделът трябва да се побере на една карта и калкулаторът брои само нейната памет. Дори при разделяне всяка карта се нуждае от собствен резерв.
Как калкулаторът смята моделите mixture-of-experts?
За паметта използва общия брой параметри, защото всички експерти трябва да са заредени. Активните параметри на токен само се показват; те влияят на изчисленията, а не на нужното място.
„Побира се“ означава ли, че моделът ще е бърз?
Не. Калкулаторът проверява само паметта. Колко бързо отговаря моделът зависи от пропускателната способност на паметта, изчислителната мощ, средата за изпълнение и разтоварването. Част, държана в RAM, обикновено забавя значително генерирането.
Калкулатор VRAM LLM: може ли да се ползва безплатно и без акаунт?
Да. Ползването е безплатно и не изисква акаунт: можете да изчислявате колкото пъти искате, а въведеното остава на устройството ви.
Само с вашето съгласие измерваме употребата анонимно чрез бисквитки, за да подобряваме gottrix. Вашите файлове винаги остават локално, на вашето устройство. Поверителност