Verifica se un modello linguistico locale entra in VRAM e RAM: pesi, cache KV, buffer e offload separati, in GB e GiB, in locale e senza caricare nulla.
i
Questo strumento fornisce una stima indicativa basata su un modello e non costituisce consulenza finanziaria, fiscale o legale. Maggiori dettagli nelle avvertenze legali
Mercato
Area euro✓
Bangladesh✓
Brasile✓
Bulgaria✓
Cina✓
Corea del Sud✓
Egitto✓
Francia✓
Germania✓
Giappone✓
India✓
Indonesia✓
Italia✓
Kenya✓
Malesia✓
Messico✓
Nigeria✓
Paesi Bassi✓
Pakistan✓
Polonia✓
Portogallo✓
Regno Unito✓
Russia✓
Spagna✓
Stati Uniti✓
Svezia✓
Taiwan✓
Thailandia✓
Turchia✓
Ucraina✓
Vietnam✓
Risultato
Solo calcolo di esempio: modifica o conferma i valori
Il modello entra?
5,65 GB · 5,26 GiB
Memoria totale necessaria
5,08 GB - 6,21 GB (± 10 %)
Intervallo di incertezza
3,50 GB · 3,26 GiB
Pesi
1,07 GB · 1,00 GiB
Cache KV
1,07 GB · 1,00 GiB
Buffer di esecuzione (ipotesi)
8,05 GB · 7,50 GiB
Memoria GPU utilizzabile
Una GPU
Suddivisione sulle GPU
12,88 GB · 12,00 GiB
RAM di sistema libera
0,00 GB
Offload nella RAM di sistema
Solo calcolo di esempio: modifica o conferma i valori
Contesto più grande che entra per intero (token)
Solo calcolo di esempio: modifica o conferma i valori
Non avviene alcun trattamento dei contenuti dei tuoi file. Non ti serve un accordo sul trattamento dei dati con gottrix per gestire documenti riservati o aziendali.
Hosting in GermaniaDistribuzione globale
Server di origine presso Hetzner in Germania, distribuzione mondiale tramite una rete di distribuzione dei contenuti (CDN). Il contenuto dei tuoi file non viene mai trasmesso in questo processo - non lascia il tuo dispositivo.
Se un modello linguistico gira in locale lo decide prima di tutto la memoria. Il calcolatore scompone il fabbisogno in parti separate: i pesi (numero di parametri per bit per peso diviso 8), la cache KV per il contesto usato, un buffer di esecuzione e un'incertezza visibile. Sette miliardi di parametri a 4 bit danno 3,5 GB di pesi puri prima di qualsiasi overhead. Ogni dimensione compare due volte: in GB (10⁹ byte) e in GiB (2³⁰ byte), perché schede grafiche e RAM si contano in binario, mentre i file dei modelli sono spesso indicati in decimale.
La cache KV cresce in modo lineare con il contesto e segue l'architettura: due (chiavi e valori) per strati per teste KV per dimensione della testa per token per byte per elemento. I modelli con grouped-query attention hanno meno teste KV che teste di query e richiedono quindi meno cache. Nei modelli mixture-of-experts per la memoria conta il numero totale di parametri, perché tutti gli esperti devono essere caricati; i parametri attivi per token determinano solo il calcolo. La tabella mostra lo stesso modello con altri livelli di quantizzazione, insieme al contesto più grande e al numero di bit più alto che entrano per intero.
Più schede grafiche si sommano solo se il tuo runtime distribuisce davvero gli strati tra di esse; senza una suddivisione supportata, due schede da 8 GiB non sono una scheda da 16 GiB. Ciò che non entra nella memoria della GPU può essere spostato nella RAM di sistema; il risultato indica questa parte, ma non dice nulla sulla velocità. Non ci sono profili di modello integrati: i valori precompilati sono un esempio modificabile, non un modello preciso. Inserisci i dati della scheda del modello; tutto viene calcolato nel browser e non viene salvato da nessuna parte.
Gratis e senza account: calcola tutte le volte che vuoi, i tuoi dati restano sul tuo dispositivo.
Scheda tecnica
Scheda tecnica
Formati di input
Dati del modulo (nessun file)
Elaborazione
In locale nel browser (JavaScript)
Caricamento file
Nessuno
In 3 passaggi
Inserisci tipo di memoria, VRAM per GPU, numero e suddivisione delle GPU, oltre a RAM e riserve.
Inserisci i valori della scheda del modello: parametri, bit per peso, strati, teste KV, dimensione della testa e contesto.
Leggi il risultato, la suddivisione in pesi, cache KV e buffer, l'offload e le alternative di quantizzazione.
Limiti: Una memoria sufficiente non garantisce velocità, supporto del runtime o dei driver. Buffer di esecuzione e riserve sono ipotesi; a seconda di versione, dimensione del batch e backend i runtime richiedono più o meno memoria. La formula KV vale per l'attention classica con GQA/MQA; architetture sliding-window, MLA o ibride possono richiedere molta meno cache. Non sono integrati dati di modelli o hardware.
Domande frequenti
Quanta memoria richiedono i pesi di un modello?
Parametri per bit per peso diviso 8. Sette miliardi di parametri a 4 bit sono 3,5 GB, circa 3,26 GiB, prima di aggiungere cache KV e buffer. I formati di quantizzazione con fattori di scala stanno un po' sopra il numero nominale di bit; in quel caso inserisci i bit effettivi (dimensione del file in byte per 8 diviso il numero di parametri).
Perché il calcolatore mostra GB e GiB?
Un GB sono 10⁹ byte, un GiB sono 2³⁰ byte, cioè circa il 7 % in più. Schede grafiche e RAM si contano in binario anche se sulla confezione c'è scritto GB; i file dei modelli sono spesso indicati in decimale. I due valori sono mostrati separatamente perché nulla si mescoli senza accorgersene.
Due schede grafiche da 8 GB valgono come una da 16 GB?
Solo se il tuo runtime distribuisce gli strati su entrambe le schede. Senza una suddivisione supportata il modello deve entrare in una sola scheda e il calcolatore conta solo la sua memoria. Anche con la suddivisione ogni scheda ha bisogno della propria riserva.
Come tratta il calcolatore i modelli mixture-of-experts?
Per la memoria usa il totale dei parametri, perché tutti gli esperti devono essere caricati. I parametri attivi per token vengono solo mostrati; influenzano il calcolo, non lo spazio necessario.
«Entra» significa che il modello sarà veloce?
No. Il calcolatore controlla solo la memoria. La velocità di risposta dipende da banda di memoria, potenza di calcolo, runtime e offload. Una parte tenuta nella RAM di sistema di solito rallenta molto la generazione.
Calcolatore VRAM LLM è gratis e si usa senza account?
Sì. L'uso è gratuito e non serve un account: puoi calcolare tutte le volte che vuoi e i tuoi dati restano sul tuo dispositivo.
Solo con il tuo consenso misuriamo l'utilizzo in forma anonimizzata tramite cookie per migliorare gottrix. I tuoi file restano sempre in locale, sul tuo dispositivo. Privacy