pl

Kalkulator VRAM LLM

Sprawdź, czy lokalny model językowy zmieści się w VRAM i RAM: wagi, pamięć KV, bufor i odciążenie osobno, w GB i GiB, lokalnie, bez wysyłania.

Ten kalkulator podaje orientacyjne, oparte na modelu szacunki i nie stanowi porady finansowej, podatkowej ani prawnej. Więcej w zastrzeżeniach prawnych
  • Bangladesz
  • Brazylia
  • Bułgaria
  • Chiny
  • Egipt
  • Francja
  • Hiszpania
  • Holandia
  • Indie
  • Indonezja
  • Japonia
  • Kenia
  • Korea Południowa
  • Malezja
  • Meksyk
  • Niemcy
  • Nigeria
  • Pakistan
  • Polska
  • Portugalia
  • Rosja
  • Stany Zjednoczone
  • Strefa euro
  • Szwecja
  • Tajlandia
  • Tajwan
  • Turcja
  • Ukraina
  • Wielka Brytania
  • Wietnam
  • Włochy
Rodzaj pamięci
  • Karta graficzna z własną VRAM
  • Pamięć współdzielona (unified memory)
  • Tylko CPU, bez GPU
Liczba GPU
VRAM na GPU (GiB)
Podział na kilka GPU
  • Brak: model musi zmieścić się na jednym GPU
  • Środowisko rozdziela warstwy na karty GPU
Rezerwa na GPU dla ekranu i sterownika (GiB)
Pamięć RAM (GiB)
Rezerwa RAM dla systemu i programów (GiB)
System operacyjny (dowolny tekst)
Środowisko uruchomieniowe i wersja (dowolny tekst)
Model i rewizja (dowolny tekst)
Parametry łącznie (mld, przy MoE wszyscy eksperci)
Aktywne parametry na token (mld, tylko MoE)
Bity na wagę (kwantyzacja, efektywnie)
Warstwy z pamięcią KV
Głowice KV (przy GQA mniej niż głowic zapytań)
Wymiar głowicy
Używany kontekst (tokeny)
Precyzja pamięci KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Równoległe zapytania
Bufor uruchomieniowy (GiB, założenie)
Niepewność (±)
Niezmienione wartości przykładowe pasują do mojego modelu i mojego komputera

Wynik

Tylko obliczenie przykładowe: zmień lub potwierdź wartości
Czy model się zmieści?
5,65 GB · 5,26 GiB
Łączne zapotrzebowanie na pamięć
5,08 GB - 6,21 GB (± 10 %)
Przedział niepewności
3,50 GB · 3,26 GiB
Wagi
1,07 GB · 1,00 GiB
Pamięć KV
1,07 GB · 1,00 GiB
Bufor uruchomieniowy (założenie)
8,05 GB · 7,50 GiB
Dostępna pamięć GPU
Jedno GPU
Podział na GPU
12,88 GB · 12,00 GiB
Wolna pamięć RAM
0,00 GB
Przeniesienie do pamięci RAM
Tylko obliczenie przykładowe: zmień lub potwierdź wartości
Największy kontekst mieszczący się w całości (tokeny)
Tylko obliczenie przykładowe: zmień lub potwierdź wartości
Najwyższa liczba bitów mieszcząca się w całości
Nie podano (model gęsty)
Aktywne parametry na token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Obliczenie wag
2 × 32 × 8 × 128 × 8192 × 1 × 16 bit ÷ 8
Obliczenie pamięci KV
Edytowalny przykład, nie konkretny model
Źródło wartości modelu
Edytowalny przykład, nie Twój komputer
Pochodzenie wartości pamięci
Nie podano
Profil modelu
Nie podano
System operacyjny
Nie podano
Środowisko uruchomieniowe
Niedostępne
Porównanie z publicznym profilem modelu

Wykorzystanie pamięci (górna granica, %)

Brak ocenyMieści sięNa stykPrzekroczono

Ten sam model w innych kwantyzacjach

Ten sam model w innych kwantyzacjach
Bity na wagęWagiRazem (górna granica)Pozostała pamięć
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Czy mój plik jest przesyłany?

Nie. Wszystko działa w Twojej przeglądarce - Twój plik nigdy nie opuszcza urządzenia. Jak to sprawdzić

Bez wysyłania100% lokalnie
Treści zostają u Ciebiebrak dostępu osób trzecich
Hosting w NiemczechGlobalna dystrybucja treści
Zbadane niezależnieTLS A+ · Nagłówki A+

O tym, czy model językowy zadziała lokalnie, decyduje przede wszystkim pamięć. Kalkulator dzieli zapotrzebowanie na osobne części: wagi (liczba parametrów razy bity na wagę podzielone przez 8), pamięć podręczną KV dla używanego kontekstu, bufor środowiska uruchomieniowego i widoczną niepewność. Siedem miliardów parametrów w 4 bitach to 3,5 GB samych wag, zanim dojdzie jakikolwiek narzut. Każdy rozmiar pojawia się dwa razy: w GB (10⁹ bajtów) i w GiB (2³⁰ bajtów), bo karty graficzne i RAM liczy się binarnie, a pliki modeli często podaje się dziesiętnie.

Pamięć podręczna KV rośnie liniowo z kontekstem i zależy od architektury: dwa (klucze i wartości) razy warstwy razy głowice KV razy wymiar głowicy razy tokeny razy bajty na element. Modele z grouped-query attention mają mniej głowic KV niż głowic zapytań i potrzebują odpowiednio mniej pamięci podręcznej. W modelach mixture-of-experts dla pamięci liczy się łączna liczba parametrów, bo wszyscy eksperci muszą być załadowani; aktywne parametry na token decydują tylko o nakładzie obliczeń. Tabela pokazuje ten sam model na innych poziomach kwantyzacji, a do tego największy kontekst i najwyższą liczbę bitów, które mieszczą się w całości.

Kilka kart graficznych sumuje się tylko wtedy, gdy środowisko uruchomieniowe naprawdę rozdziela między nie warstwy; bez obsługiwanego podziału dwie karty po 8 GiB nie są jedną kartą 16 GiB. To, co nie mieści się w pamięci GPU, można przenieść do RAM; wynik podaje tę część, ale nic nie mówi o szybkości. Nie ma wbudowanych profili modeli: wstępnie wpisane wartości to edytowalny przykład, a nie konkretny model. Wpisz dane z karty modelu; wszystko jest liczone w przeglądarce i nigdzie nie jest zapisywane.

Za darmo i bez konta: licz, ile razy chcesz, a wpisane dane zostają na twoim urządzeniu.

Dane techniczne

Dane techniczne
Formaty wejścioweDane z formularza (bez pliku)
PrzetwarzanieLokalnie w przeglądarce (JavaScript)
Przesyłanie plikówBrak

W 3 krokach

  1. Wpisz rodzaj pamięci, VRAM na GPU, liczbę i podział kart GPU oraz RAM i rezerwy.
  2. Wpisz dane z karty modelu: parametry, bity na wagę, warstwy, głowice KV, wymiar głowicy i kontekst.
  3. Odczytaj wynik, podział na wagi, pamięć KV i bufor, odciążenie do RAM oraz alternatywy kwantyzacji.

Ograniczenia: To, że pamięci wystarcza, nie gwarantuje szybkości, obsługi przez środowisko uruchomieniowe ani sterowników. Bufor i rezerwy są założeniami; zależnie od wersji, rozmiaru partii i backendu środowiska potrzebują więcej lub mniej. Wzór KV dotyczy typowej uwagi z GQA/MQA; architektury sliding-window, MLA lub hybrydowe mogą potrzebować znacznie mniej pamięci podręcznej. Nie ma wbudowanych danych modeli ani sprzętu.

Częste pytania

Ile pamięci potrzebują wagi modelu?

Parametry razy bity na wagę podzielone przez 8. Siedem miliardów parametrów w 4 bitach to 3,5 GB, czyli około 3,26 GiB, zanim dojdą pamięć KV i bufor. Formaty kwantyzacji ze skalami zajmują nieco więcej niż ich nominalna liczba bitów; wpisz wtedy efektywne bity (rozmiar pliku w bajtach razy 8 podzielony przez liczbę parametrów).

Dlaczego kalkulator pokazuje GB i GiB?

Jeden GB to 10⁹ bajtów, jeden GiB to 2³⁰ bajtów, czyli około 7 procent więcej. Karty graficzne i RAM liczy się binarnie, nawet jeśli na pudełku jest GB; pliki modeli często podaje się dziesiętnie. Obie wartości są pokazane osobno, żeby nic niepostrzeżenie się nie pomieszało.

Czy dwie karty graficzne po 8 GB to jak jedna 16 GB?

Tylko wtedy, gdy środowisko uruchomieniowe rozdziela warstwy na obie karty. Bez obsługiwanego podziału model musi zmieścić się na jednej karcie i kalkulator liczy tylko jej pamięć. Nawet z podziałem każda karta potrzebuje własnej rezerwy.

Jak kalkulator liczy modele mixture-of-experts?

Dla pamięci bierze łączną liczbę parametrów, bo wszyscy eksperci muszą być załadowani. Aktywne parametry na token są tylko wyświetlane; wpływają na obliczenia, a nie na potrzebne miejsce.

Czy „mieści się” oznacza, że model będzie szybki?

Nie. Kalkulator sprawdza tylko pamięć. Szybkość odpowiedzi zależy od przepustowości pamięci, mocy obliczeniowej, środowiska uruchomieniowego i odciążenia. Część trzymana w RAM zwykle wyraźnie spowalnia generowanie.

Czy Kalkulator VRAM LLM jest za darmo i działa bez konta?

Tak. Korzystanie jest bezpłatne i nie wymaga konta: możesz liczyć, ile razy chcesz, a wpisane dane zostają na twoim urządzeniu.

Powiązane narzędzia

Kalkulator tokenów AI · Przelicznik Danych · Koszty energii · Porównaj modele AI · Planer rozbudowy PC · Cena RAM i SSD za GB