fr

Calculateur VRAM LLM

Vérifiez si un modèle de langage local tient dans votre VRAM et RAM : poids, cache KV, tampon et déchargement séparés, en Go et Gio, en local, sans envoi.

Ce calculateur fournit une estimation indicative fondée sur un modèle et ne constitue pas un conseil financier, fiscal ou juridique. Plus dans la clause de non-responsabilité
  • Allemagne
  • Bangladesh
  • Brésil
  • Bulgarie
  • Chine
  • Corée du Sud
  • Égypte
  • Espagne
  • États-Unis
  • France
  • Inde
  • Indonésie
  • Italie
  • Japon
  • Kenya
  • Malaisie
  • Mexique
  • Nigéria
  • Pakistan
  • Pays-Bas
  • Pologne
  • Portugal
  • Royaume-Uni
  • Russie
  • Suède
  • Taïwan
  • Thaïlande
  • Turquie
  • Ukraine
  • Vietnam
  • Zone euro
Type de mémoire
  • Carte graphique avec sa propre VRAM
  • Mémoire partagée (mémoire unifiée)
  • CPU seul, sans GPU
Nombre de GPU
VRAM par GPU (Gio)
Répartition sur plusieurs GPU
  • Aucune : le modèle doit tenir sur un GPU
  • Le runtime répartit les couches sur les GPU
Réserve par GPU pour l'affichage et le pilote (Gio)
Mémoire vive (Gio)
Réserve de RAM pour le système et les logiciels (Gio)
Système d'exploitation (texte libre)
Runtime et version (texte libre)
Modèle et révision (texte libre)
Paramètres au total (milliards, tous les experts pour un MoE)
Paramètres actifs par token (milliards, MoE seulement)
Bits par poids (quantification, effectifs)
Couches avec cache KV
Têtes KV (moins que de têtes de requête avec GQA)
Dimension par tête
Contexte utilisé (tokens)
Précision du cache KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Requêtes en parallèle
Tampon d'exécution (Gio, hypothèse)
Incertitude (±)
Les valeurs d'exemple inchangées correspondent à mon modèle et à mon ordinateur

Résultat

Calcul d'exemple uniquement : modifiez ou confirmez les valeurs
Le modèle tient-il ?
5,65 GB · 5,26 GiB
Mémoire totale nécessaire
5,08 GB - 6,21 GB (± 10 %)
Intervalle d'incertitude
3,50 GB · 3,26 GiB
Poids
1,07 GB · 1,00 GiB
Cache KV
1,07 GB · 1,00 GiB
Tampon d'exécution (hypothèse)
8,05 GB · 7,50 GiB
Mémoire GPU utilisable
Un GPU
Répartition sur les GPU
12,88 GB · 12,00 GiB
RAM système libre
0,00 GB
Déchargement vers la RAM
Calcul d'exemple uniquement : modifiez ou confirmez les valeurs
Plus grand contexte qui tient entièrement (tokens)
Calcul d'exemple uniquement : modifiez ou confirmez les valeurs
Plus grand nombre de bits qui tient entièrement
Non renseigné (modèle dense)
Paramètres actifs par token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Calcul des poids
2 × 32 × 8 × 128 × 8 192 × 1 × 16 bit ÷ 8
Calcul du cache KV
Exemple modifiable, pas un modèle précis
Origine des valeurs du modèle
Exemple modifiable, pas votre ordinateur
Origine des valeurs de mémoire
Non indiqué
Profil du modèle
Non indiqué
Système d'exploitation
Non indiqué
Runtime
Non disponible
Comparaison avec un profil de modèle public

Occupation mémoire (borne haute, %)

Pas d'évaluationÇa tientJusteDépassé

Le même modèle avec d'autres quantifications

Le même modèle avec d'autres quantifications
Bits par poidsPoidsTotal (borne haute)Mémoire restante
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Mon fichier est-il envoyé ?

Non. Tout s’exécute dans votre navigateur - votre fichier ne quitte jamais votre appareil. Comment le vérifier

Aucun envoi100 % en local
Vos contenus restent chez vousaucun accès par des tiers
Hébergé en AllemagneDiffusion mondiale
Audité en externeTLS A+ · En-têtes A+

C'est d'abord la mémoire qui décide si un modèle de langage tourne en local. Le calculateur décompose le besoin en parties distinctes : les poids (nombre de paramètres multiplié par les bits par poids, divisé par 8), le cache KV pour le contexte utilisé, un tampon d'exécution et une incertitude visible. Sept milliards de paramètres en 4 bits donnent 3,5 Go de poids bruts avant tout surcoût. Chaque taille apparaît deux fois : en Go (10⁹ octets) et en Gio (2³⁰ octets), car les cartes graphiques et la RAM se comptent en binaire, alors que les fichiers de modèle sont souvent indiqués en décimal.

Le cache KV croît linéairement avec le contexte et suit l'architecture : deux (clés et valeurs) fois les couches, fois les têtes KV, fois la dimension de tête, fois les tokens, fois les octets par élément. Les modèles avec grouped-query attention ont moins de têtes KV que de têtes de requête et demandent d'autant moins de cache. Pour un modèle mixture-of-experts, c'est le nombre total de paramètres qui compte pour la mémoire, car tous les experts doivent être chargés ; les paramètres actifs par token ne déterminent que le calcul. Le tableau montre le même modèle à d'autres niveaux de quantification, avec le plus grand contexte et le plus grand nombre de bits qui tiennent entièrement.

Plusieurs cartes graphiques ne s'additionnent que si votre runtime répartit réellement les couches entre elles ; sans répartition prise en charge, deux cartes de 8 Gio ne font pas une carte de 16 Gio. Ce qui ne tient pas dans la mémoire du GPU peut être déchargé vers la RAM ; le résultat indique cette part, mais ne dit rien de la vitesse. Aucun profil de modèle n'est intégré : les valeurs préremplies sont un exemple modifiable, pas un modèle précis. Saisissez les valeurs de la fiche du modèle ; tout est calculé dans le navigateur et rien n'est enregistré.

Gratuit et sans compte : calculez aussi souvent que vous le souhaitez, vos saisies restent sur votre appareil.

Fiche technique

Fiche technique
Formats d'entréeDonnées du formulaire (aucun fichier)
TraitementEn local dans le navigateur (JavaScript)
Téléversement de fichiersAucun

En 3 étapes

  1. Saisissez le type de mémoire, la VRAM par GPU, le nombre et la répartition des GPU, ainsi que la RAM et les réserves.
  2. Saisissez les valeurs de la fiche du modèle : paramètres, bits par poids, couches, têtes KV, dimension de tête et contexte.
  3. Lisez le résultat, la répartition entre poids, cache KV et tampon, le déchargement et les alternatives de quantification.

Limites: Une mémoire suffisante ne garantit ni la vitesse, ni la prise en charge par le runtime, ni les pilotes. Le tampon d'exécution et les réserves sont des hypothèses ; selon la version, la taille de lot et le backend, les runtimes demandent plus ou moins. La formule KV couvre l'attention classique avec GQA/MQA ; les architectures sliding-window, MLA ou hybrides peuvent demander beaucoup moins de cache. Aucune donnée de modèle ou de matériel n'est intégrée.

Questions fréquentes

Combien de mémoire les poids d'un modèle demandent-ils ?

Paramètres multipliés par les bits par poids, divisés par 8. Sept milliards de paramètres en 4 bits font 3,5 Go, soit environ 3,26 Gio, avant d'ajouter le cache KV et le tampon. Les formats de quantification avec facteurs d'échelle dépassent un peu leur nombre nominal de bits ; saisissez alors les bits effectifs (taille du fichier en octets fois 8, divisée par le nombre de paramètres).

Pourquoi le calculateur affiche-t-il des Go et des Gio ?

Un Go vaut 10⁹ octets, un Gio 2³⁰ octets, soit environ 7 % de plus. Les cartes graphiques et la RAM se comptent en binaire même si la boîte indique Go ; les fichiers de modèle sont souvent indiqués en décimal. Les deux valeurs sont affichées séparément pour que rien ne se mélange sans qu'on le remarque.

Deux cartes graphiques de 8 Go valent-elles une carte de 16 Go ?

Seulement si votre runtime répartit les couches sur les deux cartes. Sans répartition prise en charge, le modèle doit tenir sur une seule carte et le calculateur ne compte que sa mémoire. Même avec répartition, chaque carte a besoin de sa propre réserve.

Comment le calculateur traite-t-il les modèles mixture-of-experts ?

Pour la mémoire, il prend le total des paramètres, car tous les experts doivent être chargés. Les paramètres actifs par token sont seulement affichés ; ils influent sur le calcul, pas sur la place nécessaire.

« Tient » veut-il dire que le modèle sera rapide ?

Non. Le calculateur ne vérifie que la mémoire. La vitesse de réponse dépend de la bande passante mémoire, de la puissance de calcul, du runtime et du déchargement. Une partie placée en RAM ralentit généralement nettement la génération.

L'outil « Calculateur VRAM LLM » est-il gratuit et sans compte ?

Oui. L'utilisation est gratuite et ne demande aucun compte : vous pouvez calculer aussi souvent que vous le souhaitez, et vos saisies restent sur votre appareil.

Outils associés

Calcul de tokens IA · Convertisseur de Données · Coût énergétique · Comparer des modèles IA · Planificateur d’upgrade PC · Prix RAM et SSD par Go