Er vindt geen verwerking van je bestandsinhoud op een server plaats. Je hebt geen verwerkersovereenkomst met gottrix nodig om vertrouwelijke of zakelijke documenten te bewerken.
Gehost in DuitslandWereldwijde levering
Origin-servers bij Hetzner in Duitsland, wereldwijde levering via een content delivery network (CDN). De inhoud van je bestanden wordt daarbij nooit verzonden - die verlaat je apparaat niet.
Of een taalmodel lokaal draait, bepaalt in de eerste plaats het geheugen. De rekenhulp splitst de behoefte op in aparte delen: de gewichten (aantal parameters maal bits per gewicht gedeeld door 8), de KV-cache voor de gebruikte context, een runtimebuffer en een zichtbare onzekerheid. Zeven miljard parameters met 4 bits geven 3,5 GB aan pure gewichten, nog vóór enige overhead. Elke grootte staat er twee keer: in GB (10⁹ bytes) en in GiB (2³⁰ bytes), want videokaarten en werkgeheugen worden binair geteld, terwijl modelbestanden vaak decimaal worden vermeld.
De KV-cache groeit lineair met de context en volgt de architectuur: twee (sleutels en waarden) maal lagen maal KV-heads maal headdimensie maal tokens maal bytes per element. Modellen met grouped-query attention hebben minder KV-heads dan query-heads en hebben daardoor minder cache nodig. Bij mixture-of-experts telt voor het geheugen het totale aantal parameters, omdat alle experts geladen moeten zijn; de actieve parameters per token bepalen alleen de rekenlast. De tabel toont hetzelfde model in andere kwantisatieniveaus, samen met de grootste context en het hoogste aantal bits dat volledig past.
Meerdere videokaarten tellen alleen op als je runtime de lagen echt over die kaarten verdeelt; zonder ondersteunde verdeling zijn twee kaarten van 8 GiB geen kaart van 16 GiB. Wat niet in het GPU-geheugen past, kan naar het werkgeheugen worden uitbesteed; het resultaat noemt dat deel, maar zegt niets over de snelheid. Er zijn geen modelprofielen ingebouwd: de vooraf ingevulde waarden zijn een bewerkbaar voorbeeld, geen bepaald model. Vul de gegevens van de modelkaart in; alles wordt in de browser berekend en nergens opgeslagen.
Gratis en zonder account: reken zo vaak als je wilt, je invoer blijft op je apparaat.
Technische gegevens
Technische gegevens
Invoerformaten
Formulierinvoer (geen bestand)
Verwerking
Lokaal in de browser (JavaScript)
Bestandsupload
Geen
In 3 stappen
Vul het geheugentype, de VRAM per GPU, het aantal en de verdeling van de GPU's in, plus werkgeheugen en reserves.
Vul de waarden van de modelkaart in: parameters, bits per gewicht, lagen, KV-heads, headdimensie en context.
Lees het resultaat, de opsplitsing in gewichten, KV-cache en buffer, de offload en de kwantisatie-alternatieven af.
Beperkingen: Dat het geheugen volstaat, is geen belofte over snelheid, runtime-ondersteuning of drivers. De runtimebuffer en de reserves zijn aannames; runtimes hebben afhankelijk van versie, batchgrootte en backend meer of minder nodig. De KV-formule geldt voor gangbare attention met GQA/MQA; sliding-window-, MLA- of hybride architecturen kunnen veel minder cache nodig hebben. Er zijn geen model- of hardwaregegevens ingebouwd.
Veelgestelde vragen
Hoeveel geheugen hebben de gewichten van een model nodig?
Parameters maal bits per gewicht gedeeld door 8. Zeven miljard parameters met 4 bits zijn 3,5 GB of ongeveer 3,26 GiB, voordat KV-cache en buffer erbij komen. Kwantisatieformaten met schaalfactoren liggen effectief iets boven hun nominale aantal bits; vul dan de effectieve bits in (bestandsgrootte in bytes maal 8 gedeeld door het aantal parameters).
Waarom toont de rekenhulp GB en GiB?
Eén GB is 10⁹ bytes, één GiB is 2³⁰ bytes, ongeveer 7 procent meer. Videokaarten en werkgeheugen worden binair geteld, ook als er GB op de doos staat; modelbestanden worden vaak decimaal vermeld. Beide waarden staan apart, zodat niets ongemerkt door elkaar raakt.
Tellen twee videokaarten van 8 GB als één van 16 GB?
Alleen als je runtime de lagen over beide kaarten verdeelt. Zonder ondersteunde verdeling moet het model op één kaart passen en telt de rekenhulp alleen het geheugen van die kaart. Ook met verdeling heeft elke kaart een eigen reserve nodig.
Hoe rekent de rekenhulp met mixture-of-experts-modellen?
Voor het geheugen met de totale parameters, omdat alle experts geladen moeten zijn. De actieve parameters per token worden alleen getoond; ze beïnvloeden de rekenlast, niet de benodigde ruimte.
Betekent 'past' dat het model snel draait?
Nee. De rekenhulp controleert alleen het geheugen. Hoe snel een model antwoordt, hangt af van geheugenbandbreedte, rekenkracht, runtime en offload. Een deel in het werkgeheugen maakt de uitvoer meestal flink trager.
Is LLM-VRAM-rekenhulp gratis en zonder account te gebruiken?
Ja. Het gebruik is gratis en je hebt geen account nodig: je kunt zo vaak rekenen als je wilt, en je invoer blijft op je apparaat.
Alleen met je toestemming meten we het gebruik geanonimiseerd via cookies om gottrix te verbeteren. Je bestanden blijven altijd lokaal, op jouw apparaat. Privacy