nl

LLM-VRAM-rekenhulp

Controleer of een lokaal taalmodel in je VRAM en RAM past: gewichten, KV-cache, buffer en offload apart, in GB en GiB, lokaal en zonder upload.

Deze rekenmachine geeft een vrijblijvende, modelmatige schatting en is geen financieel, fiscaal of juridisch advies. Meer in de disclaimer
  • Bangladesh
  • Brazilië
  • Bulgarije
  • China
  • Duitsland
  • Egypte
  • Eurozone
  • Frankrijk
  • India
  • Indonesië
  • Italië
  • Japan
  • Kenia
  • Maleisië
  • Mexico
  • Nederland
  • Nigeria
  • Oekraïne
  • Pakistan
  • Polen
  • Portugal
  • Rusland
  • Spanje
  • Taiwan
  • Thailand
  • Turkije
  • Verenigd Koninkrijk
  • Verenigde Staten
  • Vietnam
  • Zuid-Korea
  • Zweden
Geheugentype
  • Videokaart met eigen VRAM
  • Gedeeld geheugen (unified memory)
  • Alleen CPU, zonder GPU
Aantal GPU's
VRAM per videokaart (GiB)
Verdeling over meerdere GPU's
  • Geen: het model moet op één GPU passen
  • De runtime verdeelt de lagen over de GPU's
Reserve per GPU voor beeldscherm en driver (GiB)
Werkgeheugen (GiB)
RAM-reserve voor systeem en programma's (GiB)
Besturingssysteem (vrije tekst)
Runtime en versie (vrije tekst)
Model en revisie (vrije tekst)
Totaal aantal parameters (miljard, bij MoE alle experts)
Actieve parameters per token (miljard, alleen MoE)
Bits per gewicht (kwantisatie, effectief)
Lagen met KV-cache
KV-heads (bij GQA minder dan query-heads)
Dimensie per head
Gebruikte context (tokens)
Precisie van de KV-cache
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Parallelle verzoeken
Runtimebuffer (GiB, aanname)
Onzekerheid (±)
De ongewijzigde voorbeeldwaarden gelden voor mijn model en mijn computer

Resultaat

Alleen een voorbeeldberekening: wijzig of bevestig de waarden
Past het model?
5,65 GB · 5,26 GiB
Totale geheugenbehoefte
5,08 GB - 6,21 GB (± 10 %)
Onzekerheidsinterval
3,50 GB · 3,26 GiB
Gewichten
1,07 GB · 1,00 GiB
KV-cache
1,07 GB · 1,00 GiB
Runtimebuffer (aanname)
8,05 GB · 7,50 GiB
Bruikbaar GPU-geheugen
Eén GPU
Verdeling over GPU's
12,88 GB · 12,00 GiB
Vrij werkgeheugen
0,00 GB
Offload naar werkgeheugen
Alleen een voorbeeldberekening: wijzig of bevestig de waarden
Grootste context die volledig past (tokens)
Alleen een voorbeeldberekening: wijzig of bevestig de waarden
Hoogste aantal bits dat volledig past
Niet opgegeven (dicht model)
Actieve parameters per token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Berekening gewichten
2 × 32 × 8 × 128 × 8.192 × 1 × 16 bit ÷ 8
Berekening KV-cache
Bewerkbaar voorbeeld, geen bepaald model
Herkomst van de modelwaarden
Bewerkbaar voorbeeld, niet jouw computer
Herkomst van de geheugenwaarden
Niet opgegeven
Modelprofiel
Niet opgegeven
Besturingssysteem
Niet opgegeven
Runtime
Niet beschikbaar
Vergelijking met een openbaar modelprofiel

Geheugengebruik (bovengrens, %)

Geen oordeelPastKrapOverschreden

Hetzelfde model in andere kwantisaties

Hetzelfde model in andere kwantisaties
Bits per gewichtGewichtenTotaal (bovengrens)Resterend geheugen
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Wordt mijn bestand geüpload?

Nee. Alles draait in je browser - je bestand verlaat je apparaat nooit. Zo is dat verifieerbaar

Geen upload100% lokaal
Inhoud blijft bij jougeen toegang voor derden
Gehost in DuitslandWereldwijde levering
Onafhankelijk getoetstTLS A+ · HTTP-headers A+

Of een taalmodel lokaal draait, bepaalt in de eerste plaats het geheugen. De rekenhulp splitst de behoefte op in aparte delen: de gewichten (aantal parameters maal bits per gewicht gedeeld door 8), de KV-cache voor de gebruikte context, een runtimebuffer en een zichtbare onzekerheid. Zeven miljard parameters met 4 bits geven 3,5 GB aan pure gewichten, nog vóór enige overhead. Elke grootte staat er twee keer: in GB (10⁹ bytes) en in GiB (2³⁰ bytes), want videokaarten en werkgeheugen worden binair geteld, terwijl modelbestanden vaak decimaal worden vermeld.

De KV-cache groeit lineair met de context en volgt de architectuur: twee (sleutels en waarden) maal lagen maal KV-heads maal headdimensie maal tokens maal bytes per element. Modellen met grouped-query attention hebben minder KV-heads dan query-heads en hebben daardoor minder cache nodig. Bij mixture-of-experts telt voor het geheugen het totale aantal parameters, omdat alle experts geladen moeten zijn; de actieve parameters per token bepalen alleen de rekenlast. De tabel toont hetzelfde model in andere kwantisatieniveaus, samen met de grootste context en het hoogste aantal bits dat volledig past.

Meerdere videokaarten tellen alleen op als je runtime de lagen echt over die kaarten verdeelt; zonder ondersteunde verdeling zijn twee kaarten van 8 GiB geen kaart van 16 GiB. Wat niet in het GPU-geheugen past, kan naar het werkgeheugen worden uitbesteed; het resultaat noemt dat deel, maar zegt niets over de snelheid. Er zijn geen modelprofielen ingebouwd: de vooraf ingevulde waarden zijn een bewerkbaar voorbeeld, geen bepaald model. Vul de gegevens van de modelkaart in; alles wordt in de browser berekend en nergens opgeslagen.

Gratis en zonder account: reken zo vaak als je wilt, je invoer blijft op je apparaat.

Technische gegevens

Technische gegevens
InvoerformatenFormulierinvoer (geen bestand)
VerwerkingLokaal in de browser (JavaScript)
BestandsuploadGeen

In 3 stappen

  1. Vul het geheugentype, de VRAM per GPU, het aantal en de verdeling van de GPU's in, plus werkgeheugen en reserves.
  2. Vul de waarden van de modelkaart in: parameters, bits per gewicht, lagen, KV-heads, headdimensie en context.
  3. Lees het resultaat, de opsplitsing in gewichten, KV-cache en buffer, de offload en de kwantisatie-alternatieven af.

Beperkingen: Dat het geheugen volstaat, is geen belofte over snelheid, runtime-ondersteuning of drivers. De runtimebuffer en de reserves zijn aannames; runtimes hebben afhankelijk van versie, batchgrootte en backend meer of minder nodig. De KV-formule geldt voor gangbare attention met GQA/MQA; sliding-window-, MLA- of hybride architecturen kunnen veel minder cache nodig hebben. Er zijn geen model- of hardwaregegevens ingebouwd.

Veelgestelde vragen

Hoeveel geheugen hebben de gewichten van een model nodig?

Parameters maal bits per gewicht gedeeld door 8. Zeven miljard parameters met 4 bits zijn 3,5 GB of ongeveer 3,26 GiB, voordat KV-cache en buffer erbij komen. Kwantisatieformaten met schaalfactoren liggen effectief iets boven hun nominale aantal bits; vul dan de effectieve bits in (bestandsgrootte in bytes maal 8 gedeeld door het aantal parameters).

Waarom toont de rekenhulp GB en GiB?

Eén GB is 10⁹ bytes, één GiB is 2³⁰ bytes, ongeveer 7 procent meer. Videokaarten en werkgeheugen worden binair geteld, ook als er GB op de doos staat; modelbestanden worden vaak decimaal vermeld. Beide waarden staan apart, zodat niets ongemerkt door elkaar raakt.

Tellen twee videokaarten van 8 GB als één van 16 GB?

Alleen als je runtime de lagen over beide kaarten verdeelt. Zonder ondersteunde verdeling moet het model op één kaart passen en telt de rekenhulp alleen het geheugen van die kaart. Ook met verdeling heeft elke kaart een eigen reserve nodig.

Hoe rekent de rekenhulp met mixture-of-experts-modellen?

Voor het geheugen met de totale parameters, omdat alle experts geladen moeten zijn. De actieve parameters per token worden alleen getoond; ze beïnvloeden de rekenlast, niet de benodigde ruimte.

Betekent 'past' dat het model snel draait?

Nee. De rekenhulp controleert alleen het geheugen. Hoe snel een model antwoordt, hangt af van geheugenbandbreedte, rekenkracht, runtime en offload. Een deel in het werkgeheugen maakt de uitvoer meestal flink trager.

Is LLM-VRAM-rekenhulp gratis en zonder account te gebruiken?

Ja. Het gebruik is gratis en je hebt geen account nodig: je kunt zo vaak rekenen als je wilt, en je invoer blijft op je apparaat.

Gerelateerde tools

AI-tokencalculator · Gegevensgrootte-omzetter · Energiekostencalculator · AI-modellen vergelijken · Pc-upgradeplanner · RAM en SSD: prijs per GB