ca

Calcula la VRAM LLM

Comprova si un model de llenguatge local cap a la VRAM i la RAM: pesos, cau KV, memòria intermèdia i descàrrega per separat, en GB i GiB, sense pujar res.

Aquesta calculadora ofereix una estimació orientativa basada en un model i no constitueix assessorament financer, fiscal ni jurídic. Més a l'avís de responsabilitat
  • Alemanya
  • Bangladesh
  • Brasil
  • Bulgària
  • Corea del Sud
  • Egipte
  • Espanya
  • Estats Units
  • França
  • Índia
  • Indonèsia
  • Itàlia
  • Japó
  • Kenya
  • Malàisia
  • Mèxic
  • Nigèria
  • Països Baixos
  • Pakistan
  • Polònia
  • Portugal
  • Regne Unit
  • Rússia
  • Suècia
  • Tailàndia
  • Taiwan
  • Turquia
  • Ucraïna
  • Vietnam
  • Xina
  • Zona euro
Tipus de memòria
  • Targeta gràfica amb VRAM pròpia
  • Memòria compartida (memòria unificada)
  • Només CPU, sense GPU
Nombre de GPU
VRAM de cada GPU (GiB)
Repartiment entre diverses GPU
  • Cap: el model ha de cabre en una GPU
  • El runtime reparteix les capes entre les GPU
Reserva per GPU per a pantalla i controlador (GiB)
RAM del sistema (GiB)
Reserva de RAM per al sistema i els programes (GiB)
Sistema operatiu (text lliure)
Runtime i versió (text lliure)
Model i revisió (text lliure)
Paràmetres totals (milers de milions, en MoE tots els experts)
Paràmetres actius per token (milers de milions, només MoE)
Bits per pes (quantització, efectius)
Capes amb memòria cau KV
Caps KV (amb GQA, menys que els de consulta)
Dimensió per cap
Context utilitzat (tokens)
Precisió de la memòria cau KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Peticions en paral·lel
Memòria intermèdia d'execució (GiB, suposició)
Incertesa (±)
Els valors d'exemple sense canviar corresponen al meu model i al meu ordinador

Resultat

Només càlcul d'exemple: canvia o confirma els valors
Hi cap el model?
5,65 GB · 5,26 GiB
Memòria total necessària
5,08 GB - 6,21 GB (± 10 %)
Interval d'incertesa
3,50 GB · 3,26 GiB
Pesos
1,07 GB · 1,00 GiB
Memòria cau KV
1,07 GB · 1,00 GiB
Memòria intermèdia d'execució (suposició)
8,05 GB · 7,50 GiB
Memòria de GPU utilitzable
Una GPU
Repartiment entre GPU
12,88 GB · 12,00 GiB
RAM del sistema lliure
0,00 GB
Descàrrega a la RAM del sistema
Només càlcul d'exemple: canvia o confirma els valors
Context més gran que hi cap del tot (tokens)
Només càlcul d'exemple: canvia o confirma els valors
Nombre de bits més alt que hi cap del tot
Sense indicar (model dens)
Paràmetres actius per token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Càlcul dels pesos
2 × 32 × 8 × 128 × 8.192 × 1 × 16 bit ÷ 8
Càlcul de la memòria cau KV
Exemple editable, no un model concret
Origen de les dades del model
Exemple editable, no el teu ordinador
Origen dels valors de memòria
No indicat
Perfil del model
No indicat
Sistema operatiu
No indicat
Runtime
No disponible
Comparació amb un perfil de model públic

Ús de memòria (límit superior, %)

Sense valoracióHi capJustSuperat

El mateix model amb altres quantitzacions

El mateix model amb altres quantitzacions
Bits per pesPesosTotal (límit superior)Memòria restant
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Es puja el meu fitxer?

No. Tot s'executa al teu navegador - el teu fitxer no surt mai del dispositiu. Per què és verificable

Sense pujar res100% local
El contingut es queda amb tusense accés de tercers
Allotjat a AlemanyaDistribució global
Auditat de manera independentTLS A+ · Capçaleres A+

Que un model de llenguatge funcioni en local ho decideix primer la memòria. La calculadora divideix la necessitat en parts separades: els pesos (nombre de paràmetres per bits per pes dividit entre 8), la memòria cau KV del context que fas servir, una memòria intermèdia d'execució i una incertesa visible. Set mil milions de paràmetres a 4 bits donen 3,5 GB de pesos purs abans d'afegir cap sobrecàrrega. Cada mida apareix dues vegades: en GB (10⁹ bytes) i en GiB (2³⁰ bytes), perquè les targetes gràfiques i la RAM es compten en binari i els fitxers de model sovint s'indiquen en decimal.

La memòria cau KV creix de manera lineal amb el context i segueix l'arquitectura: dos (claus i valors) per capes per caps KV per dimensió de cap per tokens per bytes per element. Els models amb grouped-query attention tenen menys caps KV que caps de consulta i necessiten menys memòria cau. En els models mixture-of-experts compta per a la memòria el total de paràmetres, perquè tots els experts han d'estar carregats; els paràmetres actius per token només determinen el càlcul. La taula mostra el mateix model amb altres nivells de quantització, juntament amb el context més gran i el nombre de bits més alt que hi caben del tot.

Diverses targetes gràfiques només se sumen si el teu runtime hi reparteix realment les capes; sense un repartiment compatible, dues targetes de 8 GiB no són una de 16 GiB. El que no cap a la memòria de la GPU es pot descarregar a la RAM del sistema; el resultat indica aquesta part, però no diu res de la velocitat. No hi ha perfils de model integrats: els valors predefinits són un exemple editable, no un model concret. Introdueix les dades de la fitxa del model; tot es calcula al navegador i no es desa enlloc.

Gratis i sense compte: calcula tantes vegades com vulguis; el que escrius es queda al teu dispositiu.

Fitxa tècnica

Fitxa tècnica
Formats d'entradaDades del formulari (sense fitxer)
ProcessamentEn local al navegador (JavaScript)
Càrrega de fitxersCap

En 3 passos

  1. Introdueix el tipus de memòria, la VRAM per GPU, el nombre i el repartiment de GPU, i també la RAM i les reserves.
  2. Introdueix les dades de la fitxa del model: paràmetres, bits per pes, capes, caps KV, dimensió de cap i context.
  3. Llegeix el resultat, el desglossament en pesos, memòria cau KV i memòria intermèdia, la descàrrega i les alternatives de quantització.

Límits: Que la memòria arribi no garanteix velocitat ni compatibilitat del runtime o dels controladors. La memòria intermèdia d'execució i les reserves són suposicions; segons la versió, la mida del lot i el backend, els runtimes en necessiten més o menys. La fórmula KV cobreix l'atenció habitual amb GQA/MQA; les arquitectures sliding-window, MLA o híbrides poden necessitar molta menys memòria cau. No hi ha dades de models ni de maquinari integrades.

Preguntes freqüents

Quanta memòria necessiten els pesos d'un model?

Paràmetres per bits per pes dividit entre 8. Set mil milions de paràmetres a 4 bits són 3,5 GB, uns 3,26 GiB, abans de sumar la memòria cau KV i la memòria intermèdia. Els formats de quantització amb escales queden una mica per sobre del seu nombre nominal de bits; en aquest cas introdueix els bits efectius (mida del fitxer en bytes per 8 dividit entre el nombre de paràmetres).

Per què la calculadora mostra GB i GiB?

Un GB són 10⁹ bytes i un GiB són 2³⁰ bytes, gairebé un 7 % més. Les targetes gràfiques i la RAM es compten en binari encara que la capsa digui GB; els fitxers de model sovint s'indiquen en decimal. Tots dos valors apareixen per separat perquè res no es barregi sense adonar-te'n.

Dues targetes gràfiques de 8 GB compten com una de 16 GB?

Només si el teu runtime reparteix les capes entre totes dues targetes. Sense un repartiment compatible, el model ha de cabre en una targeta i la calculadora només en compta la memòria. Fins i tot amb repartiment, cada targeta necessita la seva pròpia reserva.

Com calcula l'eina els models mixture-of-experts?

Per a la memòria fa servir el total de paràmetres, perquè tots els experts han d'estar carregats. Els paràmetres actius per token només es mostren; influeixen en el càlcul, no en l'espai necessari.

«Hi cap» vol dir que el model anirà de pressa?

No. La calculadora només comprova la memòria. La rapidesa amb què respon un model depèn de l'amplada de banda de la memòria, la potència de càlcul, el runtime i la descàrrega. Una part allotjada a la RAM del sistema sol alentir molt la sortida.

Calcula la VRAM LLM és gratis i funciona sense compte?

Sí. Fer-lo servir és gratis i no cal cap compte: pots calcular tantes vegades com vulguis, i el que escrius es queda al teu dispositiu.

Eines relacionades

Calcula tokens d'IA · Conversor de Mida de Dades · Cost energètic · Compara models d'IA · Planificador de millora PC · Preu de RAM i SSD per GB