pt

Calcular VRAM de LLM

Verifique se um modelo de linguagem local cabe na sua VRAM e RAM: pesos, cache KV, buffer e descarga separados, em GB e GiB, localmente e sem envio.

Esta calculadora fornece uma estimativa orientativa baseada num modelo e não constitui aconselhamento financeiro, fiscal ou jurídico. Mais na isenção de responsabilidade
  • Alemanha
  • Bangladesh
  • Brasil
  • Bulgária
  • China
  • Coreia do Sul
  • Egito
  • Espanha
  • Estados Unidos
  • França
  • Índia
  • Indonésia
  • Itália
  • Japão
  • Malásia
  • México
  • Nigéria
  • Países Baixos
  • Paquistão
  • Polônia
  • Portugal
  • Quênia
  • Reino Unido
  • Rússia
  • Suécia
  • Tailândia
  • Taiwan
  • Turquia
  • Ucrânia
  • Vietnã
  • Zona do euro
Tipo de memória
  • Placa de vídeo com VRAM própria
  • Memória compartilhada (memória unificada)
  • Só CPU, sem GPU
Número de GPUs
VRAM por GPU (GiB)
Divisão entre várias GPUs
  • Nenhuma: o modelo precisa caber em uma GPU
  • O runtime distribui as camadas entre as GPUs
Reserva por GPU para tela e driver (GiB)
RAM do sistema (GiB)
Reserva de RAM para sistema e programas (GiB)
Sistema operacional (texto livre)
Runtime e versão (texto livre)
Modelo e revisão (texto livre)
Parâmetros totais (bilhões, em MoE todos os especialistas)
Parâmetros ativos por token (bilhões, só MoE)
Bits por peso (quantização, efetivos)
Camadas com cache KV
Cabeças KV (com GQA, menos que as de consulta)
Dimensão por cabeça
Contexto usado (tokens)
Precisão do cache KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Solicitações em paralelo
Buffer de execução (GiB, suposição)
Incerteza (±)
Os valores de exemplo não alterados correspondem ao meu modelo e ao meu computador

Resultado

Apenas cálculo de exemplo: altere ou confirme os valores
O modelo cabe?
5,65 GB · 5,26 GiB
Memória total necessária
5,08 GB - 6,21 GB (± 10 %)
Intervalo de incerteza
3,50 GB · 3,26 GiB
Pesos
1,07 GB · 1,00 GiB
Cache KV
1,07 GB · 1,00 GiB
Buffer de execução (suposição)
8,05 GB · 7,50 GiB
Memória de GPU utilizável
Uma GPU
Divisão entre GPUs
12,88 GB · 12,00 GiB
RAM do sistema livre
0,00 GB
Descarga para a RAM do sistema
Apenas cálculo de exemplo: altere ou confirme os valores
Maior contexto que cabe por inteiro (tokens)
Apenas cálculo de exemplo: altere ou confirme os valores
Maior quantidade de bits que cabe por inteiro
Não informado (modelo denso)
Parâmetros ativos por token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Cálculo dos pesos
2 × 32 × 8 × 128 × 8.192 × 1 × 16 bit ÷ 8
Cálculo do cache KV
Exemplo editável, não um modelo específico
Origem dos valores do modelo
Exemplo editável, não o seu computador
Origem dos valores de memória
Não informado
Perfil do modelo
Não informado
Sistema operacional
Não informado
Runtime
Indisponível
Comparação com um perfil de modelo público

Uso de memória (limite superior, %)

Sem avaliaçãoCabeNo limiteExcedido

O mesmo modelo com outras quantizações

O mesmo modelo com outras quantizações
Bits por pesoPesosTotal (limite superior)Memória restante
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Meu arquivo é enviado?

Não. Tudo roda no seu navegador - o seu arquivo nunca sai do seu dispositivo. Como isso é verificável

Sem envio100% local
O conteúdo fica consigosem acesso de terceiros
Hospedado na AlemanhaDistribuição global
Auditado externamenteTLS A+ · Cabeçalhos A+

Se um modelo de linguagem roda localmente é decidido primeiro pela memória. A calculadora divide a necessidade em partes separadas: os pesos (número de parâmetros vezes bits por peso dividido por 8), o cache KV do contexto usado, um buffer de execução e uma incerteza visível. Sete bilhões de parâmetros em 4 bits dão 3,5 GB de pesos puros antes de qualquer sobrecarga. Cada tamanho aparece duas vezes: em GB (10⁹ bytes) e em GiB (2³⁰ bytes), porque placas de vídeo e RAM são contadas em binário, enquanto arquivos de modelo costumam ser informados em decimal.

O cache KV cresce de forma linear com o contexto e segue a arquitetura: dois (chaves e valores) vezes camadas vezes cabeças KV vezes dimensão da cabeça vezes tokens vezes bytes por elemento. Modelos com grouped-query attention têm menos cabeças KV que cabeças de consulta e precisam de menos cache. Em modelos mixture-of-experts, o que conta para a memória é o total de parâmetros, porque todos os especialistas precisam estar carregados; os parâmetros ativos por token só determinam o processamento. A tabela mostra o mesmo modelo em outros níveis de quantização, além do maior contexto e da maior quantidade de bits que cabem por inteiro.

Várias placas de vídeo só se somam se o seu runtime realmente distribuir as camadas entre elas; sem uma divisão compatível, duas placas de 8 GiB não são uma de 16 GiB. O que não cabe na memória da GPU pode ser descarregado para a RAM do sistema; o resultado mostra essa parte, mas não diz nada sobre velocidade. Não há perfis de modelo embutidos: os valores pré-preenchidos são um exemplo editável, não um modelo específico. Informe os dados da ficha do modelo; tudo é calculado no navegador e nada é salvo.

Grátis e sem conta: calcule quantas vezes quiser; seus dados ficam no seu dispositivo.

Ficha técnica

Ficha técnica
Formatos de entradaDados do formulário (sem arquivo)
ProcessamentoLocalmente no navegador (JavaScript)
Upload de arquivosNenhum

Em 3 passos

  1. Informe o tipo de memória, a VRAM por GPU, o número e a divisão das GPUs, além da RAM e das reservas.
  2. Informe os valores da ficha do modelo: parâmetros, bits por peso, camadas, cabeças KV, dimensão da cabeça e contexto.
  3. Leia o resultado, a divisão em pesos, cache KV e buffer, a descarga e as alternativas de quantização.

Limites: Caber na memória não garante velocidade, suporte do runtime nem dos drivers. O buffer de execução e as reservas são suposições; conforme a versão, o tamanho do lote e o backend, os runtimes precisam de mais ou menos memória. A fórmula KV vale para a atenção comum com GQA/MQA; arquiteturas sliding-window, MLA ou híbridas podem precisar de bem menos cache. Não há dados de modelos nem de hardware embutidos.

Perguntas frequentes

Quanta memória os pesos de um modelo precisam?

Parâmetros vezes bits por peso dividido por 8. Sete bilhões de parâmetros em 4 bits são 3,5 GB, cerca de 3,26 GiB, antes de somar o cache KV e o buffer. Formatos de quantização com escalas ficam um pouco acima do número nominal de bits; nesse caso, informe os bits efetivos (tamanho do arquivo em bytes vezes 8 dividido pelo número de parâmetros).

Por que a calculadora mostra GB e GiB?

Um GB são 10⁹ bytes e um GiB são 2³⁰ bytes, cerca de 7 % a mais. Placas de vídeo e RAM são contadas em binário mesmo quando a caixa diz GB; arquivos de modelo costumam ser informados em decimal. Os dois valores aparecem separados para que nada se misture sem você perceber.

Duas placas de vídeo de 8 GB contam como uma de 16 GB?

Só se o seu runtime distribuir as camadas pelas duas placas. Sem uma divisão compatível, o modelo precisa caber em uma placa e a calculadora conta apenas a memória dela. Mesmo com divisão, cada placa precisa da própria reserva.

Como a calculadora trata modelos mixture-of-experts?

Para a memória ela usa o total de parâmetros, porque todos os especialistas precisam estar carregados. Os parâmetros ativos por token são apenas exibidos; eles afetam o processamento, não o espaço necessário.

"Cabe" quer dizer que o modelo vai ser rápido?

Não. A calculadora verifica apenas a memória. A rapidez com que um modelo responde depende da largura de banda da memória, do poder de processamento, do runtime e da descarga. Uma parte mantida na RAM do sistema costuma deixar a geração bem mais lenta.

Calcular VRAM de LLM é grátis e funciona sem conta?

Sim. O uso é grátis e não exige conta: você pode calcular quantas vezes quiser, e seus dados ficam no seu dispositivo.

Ferramentas relacionadas

Calculadora tokens IA · Conversor de Tamanho de Dados · Custo de energia · Compare modelos de IA · Planejador de upgrade de PC · Preço de RAM e SSD por GB