it

Calcolatore VRAM LLM

Verifica se un modello linguistico locale entra in VRAM e RAM: pesi, cache KV, buffer e offload separati, in GB e GiB, in locale e senza caricare nulla.

Questo strumento fornisce una stima indicativa basata su un modello e non costituisce consulenza finanziaria, fiscale o legale. Maggiori dettagli nelle avvertenze legali
  • Area euro
  • Bangladesh
  • Brasile
  • Bulgaria
  • Cina
  • Corea del Sud
  • Egitto
  • Francia
  • Germania
  • Giappone
  • India
  • Indonesia
  • Italia
  • Kenya
  • Malesia
  • Messico
  • Nigeria
  • Paesi Bassi
  • Pakistan
  • Polonia
  • Portogallo
  • Regno Unito
  • Russia
  • Spagna
  • Stati Uniti
  • Svezia
  • Taiwan
  • Thailandia
  • Turchia
  • Ucraina
  • Vietnam
Tipo di memoria
  • Scheda grafica con VRAM propria
  • Memoria condivisa (memoria unificata)
  • Solo CPU, senza GPU
Numero di GPU
VRAM di ogni GPU (GiB)
Suddivisione su più GPU
  • Nessuna: il modello deve entrare in una GPU
  • Il runtime distribuisce gli strati sulle GPU
Riserva per GPU per schermo e driver (GiB)
RAM di sistema (GiB)
Riserva di RAM per sistema e programmi (GiB)
Sistema operativo (testo libero)
Runtime e versione (testo libero)
Modello e revisione (testo libero)
Parametri totali (miliardi, nei MoE tutti gli esperti)
Parametri attivi per token (miliardi, solo MoE)
Bit per peso (quantizzazione, effettivi)
Strati con cache KV
Teste KV (con GQA meno delle teste di query)
Dimensione per testa
Contesto usato (token)
Precisione della cache KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Richieste in parallelo
Buffer di esecuzione (GiB, ipotesi)
Incertezza (±)
I valori di esempio non modificati corrispondono al mio modello e al mio computer

Risultato

Solo calcolo di esempio: modifica o conferma i valori
Il modello entra?
5,65 GB · 5,26 GiB
Memoria totale necessaria
5,08 GB - 6,21 GB (± 10 %)
Intervallo di incertezza
3,50 GB · 3,26 GiB
Pesi
1,07 GB · 1,00 GiB
Cache KV
1,07 GB · 1,00 GiB
Buffer di esecuzione (ipotesi)
8,05 GB · 7,50 GiB
Memoria GPU utilizzabile
Una GPU
Suddivisione sulle GPU
12,88 GB · 12,00 GiB
RAM di sistema libera
0,00 GB
Offload nella RAM di sistema
Solo calcolo di esempio: modifica o conferma i valori
Contesto più grande che entra per intero (token)
Solo calcolo di esempio: modifica o conferma i valori
Numero di bit più alto che entra per intero
Non indicato (modello denso)
Parametri attivi per token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Calcolo dei pesi
2 × 32 × 8 × 128 × 8192 × 1 × 16 bit ÷ 8
Calcolo della cache KV
Esempio modificabile, non un modello preciso
Origine dei valori del modello
Esempio modificabile, non il tuo computer
Origine dei valori di memoria
Non indicato
Profilo del modello
Non indicato
Sistema operativo
Non indicato
Runtime
Non disponibile
Confronto con un profilo di modello pubblico

Uso della memoria (limite superiore, %)

Nessuna valutazioneCi staAl limiteSuperato

Lo stesso modello con altre quantizzazioni

Lo stesso modello con altre quantizzazioni
Bit per pesoPesiTotale (limite superiore)Memoria residua
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Il mio file viene caricato?

No. Tutto avviene nel tuo browser - il tuo file non lascia mai il dispositivo. Perché è verificabile

Nessun caricamento100% in locale
I contenuti restano tuoinessun accesso di terzi
Hosting in GermaniaDistribuzione globale
Verificato esternamenteTLS A+ · Intestazioni A+

Se un modello linguistico gira in locale lo decide prima di tutto la memoria. Il calcolatore scompone il fabbisogno in parti separate: i pesi (numero di parametri per bit per peso diviso 8), la cache KV per il contesto usato, un buffer di esecuzione e un'incertezza visibile. Sette miliardi di parametri a 4 bit danno 3,5 GB di pesi puri prima di qualsiasi overhead. Ogni dimensione compare due volte: in GB (10⁹ byte) e in GiB (2³⁰ byte), perché schede grafiche e RAM si contano in binario, mentre i file dei modelli sono spesso indicati in decimale.

La cache KV cresce in modo lineare con il contesto e segue l'architettura: due (chiavi e valori) per strati per teste KV per dimensione della testa per token per byte per elemento. I modelli con grouped-query attention hanno meno teste KV che teste di query e richiedono quindi meno cache. Nei modelli mixture-of-experts per la memoria conta il numero totale di parametri, perché tutti gli esperti devono essere caricati; i parametri attivi per token determinano solo il calcolo. La tabella mostra lo stesso modello con altri livelli di quantizzazione, insieme al contesto più grande e al numero di bit più alto che entrano per intero.

Più schede grafiche si sommano solo se il tuo runtime distribuisce davvero gli strati tra di esse; senza una suddivisione supportata, due schede da 8 GiB non sono una scheda da 16 GiB. Ciò che non entra nella memoria della GPU può essere spostato nella RAM di sistema; il risultato indica questa parte, ma non dice nulla sulla velocità. Non ci sono profili di modello integrati: i valori precompilati sono un esempio modificabile, non un modello preciso. Inserisci i dati della scheda del modello; tutto viene calcolato nel browser e non viene salvato da nessuna parte.

Gratis e senza account: calcola tutte le volte che vuoi, i tuoi dati restano sul tuo dispositivo.

Scheda tecnica

Scheda tecnica
Formati di inputDati del modulo (nessun file)
ElaborazioneIn locale nel browser (JavaScript)
Caricamento fileNessuno

In 3 passaggi

  1. Inserisci tipo di memoria, VRAM per GPU, numero e suddivisione delle GPU, oltre a RAM e riserve.
  2. Inserisci i valori della scheda del modello: parametri, bit per peso, strati, teste KV, dimensione della testa e contesto.
  3. Leggi il risultato, la suddivisione in pesi, cache KV e buffer, l'offload e le alternative di quantizzazione.

Limiti: Una memoria sufficiente non garantisce velocità, supporto del runtime o dei driver. Buffer di esecuzione e riserve sono ipotesi; a seconda di versione, dimensione del batch e backend i runtime richiedono più o meno memoria. La formula KV vale per l'attention classica con GQA/MQA; architetture sliding-window, MLA o ibride possono richiedere molta meno cache. Non sono integrati dati di modelli o hardware.

Domande frequenti

Quanta memoria richiedono i pesi di un modello?

Parametri per bit per peso diviso 8. Sette miliardi di parametri a 4 bit sono 3,5 GB, circa 3,26 GiB, prima di aggiungere cache KV e buffer. I formati di quantizzazione con fattori di scala stanno un po' sopra il numero nominale di bit; in quel caso inserisci i bit effettivi (dimensione del file in byte per 8 diviso il numero di parametri).

Perché il calcolatore mostra GB e GiB?

Un GB sono 10⁹ byte, un GiB sono 2³⁰ byte, cioè circa il 7 % in più. Schede grafiche e RAM si contano in binario anche se sulla confezione c'è scritto GB; i file dei modelli sono spesso indicati in decimale. I due valori sono mostrati separatamente perché nulla si mescoli senza accorgersene.

Due schede grafiche da 8 GB valgono come una da 16 GB?

Solo se il tuo runtime distribuisce gli strati su entrambe le schede. Senza una suddivisione supportata il modello deve entrare in una sola scheda e il calcolatore conta solo la sua memoria. Anche con la suddivisione ogni scheda ha bisogno della propria riserva.

Come tratta il calcolatore i modelli mixture-of-experts?

Per la memoria usa il totale dei parametri, perché tutti gli esperti devono essere caricati. I parametri attivi per token vengono solo mostrati; influenzano il calcolo, non lo spazio necessario.

«Entra» significa che il modello sarà veloce?

No. Il calcolatore controlla solo la memoria. La velocità di risposta dipende da banda di memoria, potenza di calcolo, runtime e offload. Una parte tenuta nella RAM di sistema di solito rallenta molto la generazione.

Calcolatore VRAM LLM è gratis e si usa senza account?

Sì. L'uso è gratuito e non serve un account: puoi calcolare tutte le volte che vuoi e i tuoi dati restano sul tuo dispositivo.

Strumenti correlati

Calcolo token IA · Convertitore Dimensioni · Calcolatore costo energia · Confronta modelli IA · Pianificatore upgrade PC · Prezzo di RAM e SSD per GB