es

Calculadora VRAM LLM

Comprueba si un modelo de lenguaje local cabe en tu VRAM y RAM: pesos, caché KV, búfer y descarga por separado, en GB y GiB, en local y sin subir nada.

Esta calculadora ofrece una estimación orientativa basada en un modelo y no constituye asesoramiento financiero, fiscal ni jurídico. Más en el aviso legal
  • Alemania
  • Bangladés
  • Brasil
  • Bulgaria
  • China
  • Corea del Sur
  • Egipto
  • España
  • Estados Unidos
  • Francia
  • India
  • Indonesia
  • Italia
  • Japón
  • Kenia
  • Malasia
  • México
  • Nigeria
  • Países Bajos
  • Pakistán
  • Polonia
  • Portugal
  • Reino Unido
  • Rusia
  • Suecia
  • Tailandia
  • Taiwán
  • Turquía
  • Ucrania
  • Vietnam
  • Zona euro
Tipo de memoria
  • Tarjeta gráfica con VRAM propia
  • Memoria compartida (memoria unificada)
  • Solo CPU, sin GPU
Número de GPU
VRAM por GPU (GiB)
Reparto entre varias GPU
  • Ninguno: el modelo debe caber en una GPU
  • El runtime reparte las capas entre las GPU
Reserva por GPU para pantalla y controlador (GiB)
RAM del sistema (GiB)
Reserva de RAM para sistema y programas (GiB)
Sistema operativo (texto libre)
Runtime y versión (texto libre)
Modelo y revisión (texto libre)
Parámetros totales (miles de millones, en MoE todos los expertos)
Parámetros activos por token (miles de millones, solo MoE)
Bits por peso (cuantización, efectivos)
Capas con caché KV
Cabezas KV (con GQA, menos que las de consulta)
Dimensión por cabeza
Contexto usado (tokens)
Precisión de la caché KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Solicitudes en paralelo
Búfer de ejecución (GiB, supuesto)
Incertidumbre (±)
Los valores de ejemplo sin cambiar corresponden a mi modelo y a mi ordenador

Resultado

Solo cálculo de ejemplo: cambia o confirma los valores
¿Cabe el modelo?
5.65 GB · 5.26 GiB
Memoria total necesaria
5.08 GB - 6.21 GB (± 10 %)
Intervalo de incertidumbre
3.50 GB · 3.26 GiB
Pesos
1.07 GB · 1.00 GiB
Caché KV
1.07 GB · 1.00 GiB
Búfer de ejecución (supuesto)
8.05 GB · 7.50 GiB
Memoria de GPU utilizable
Una GPU
Reparto entre GPU
12.88 GB · 12.00 GiB
RAM del sistema libre
0.00 GB
Descarga a la RAM del sistema
Solo cálculo de ejemplo: cambia o confirma los valores
Mayor contexto que cabe por completo (tokens)
Solo cálculo de ejemplo: cambia o confirma los valores
Mayor cantidad de bits que cabe por completo
Sin indicar (modelo denso)
Parámetros activos por token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Cálculo de los pesos
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
Cálculo de la caché KV
Ejemplo editable, no un modelo concreto
Origen de los datos del modelo
Ejemplo editable, no tu ordenador
Origen de los valores de memoria
No indicado
Perfil del modelo
No indicado
Sistema operativo
No indicado
Runtime
No disponible
Comparación con un perfil de modelo público

Uso de memoria (límite superior, %)

Sin valoraciónCabeJustoExcedido

El mismo modelo con otras cuantizaciones

El mismo modelo con otras cuantizaciones
Bits por pesoPesosTotal (límite superior)Memoria restante
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
¿Se sube mi archivo?

No. Todo se ejecuta en tu navegador: tu archivo nunca sale de tu dispositivo. Cómo se puede comprobar

Sin subidas100% local
Tus datos son tuyossin acceso de terceros
Alojado en AlemaniaDistribución global
Auditoría externaTLS A+ · Cabeceras A+

Que un modelo de lenguaje funcione en local depende ante todo de la memoria. La calculadora divide la necesidad en partes separadas: los pesos (número de parámetros por bits por peso dividido entre 8), la caché KV del contexto que usas, un búfer de ejecución y una incertidumbre visible. Siete mil millones de parámetros a 4 bits dan 3,5 GB de pesos puros antes de añadir cualquier sobrecarga. Cada tamaño aparece dos veces: en GB (10⁹ bytes) y en GiB (2³⁰ bytes), porque las tarjetas gráficas y la RAM se cuentan en binario y los archivos de modelo suelen indicarse en decimal.

La caché KV crece de forma lineal con el contexto y sigue la arquitectura: dos (claves y valores) por capas por cabezas KV por dimensión de cabeza por tokens por bytes por elemento. Los modelos con grouped-query attention tienen menos cabezas KV que cabezas de consulta y necesitan menos caché. En los modelos mixture-of-experts cuenta para la memoria el total de parámetros, porque todos los expertos deben estar cargados; los parámetros activos por token solo determinan el cálculo. La tabla muestra el mismo modelo con otros niveles de cuantización, junto con el mayor contexto y la mayor cantidad de bits que caben por completo.

Varias tarjetas gráficas solo se suman si tu runtime reparte realmente las capas entre ellas; sin un reparto compatible, dos tarjetas de 8 GiB no son una de 16 GiB. Lo que no cabe en la memoria de la GPU puede descargarse a la RAM del sistema; el resultado indica esa parte, pero no dice nada sobre la velocidad. No hay perfiles de modelo integrados: los valores predefinidos son un ejemplo editable, no un modelo concreto. Introduce los datos de la ficha del modelo; todo se calcula en el navegador y no se guarda en ninguna parte.

Gratis y sin cuenta: calcula tantas veces como quieras; tus datos se quedan en tu dispositivo.

Ficha técnica

Ficha técnica
Formatos de entradaDatos del formulario (sin archivo)
ProcesamientoLocal en el navegador (JavaScript)
Subida de archivosNinguna

En 3 pasos

  1. Introduce el tipo de memoria, la VRAM por GPU, el número y el reparto de GPU, además de la RAM y las reservas.
  2. Introduce los datos de la ficha del modelo: parámetros, bits por peso, capas, cabezas KV, dimensión de cabeza y contexto.
  3. Lee el resultado, el desglose en pesos, caché KV y búfer, la descarga y las alternativas de cuantización.

Límites: Que la memoria alcance no garantiza velocidad, compatibilidad del runtime ni de los controladores. El búfer de ejecución y las reservas son supuestos; los runtimes necesitan más o menos según la versión, el tamaño de lote y el backend. La fórmula KV cubre la atención habitual con GQA/MQA; las arquitecturas sliding-window, MLA o híbridas pueden necesitar mucha menos caché. No hay datos de modelos ni de hardware integrados.

Preguntas frecuentes

¿Cuánta memoria necesitan los pesos de un modelo?

Parámetros por bits por peso dividido entre 8. Siete mil millones de parámetros a 4 bits son 3,5 GB, unos 3,26 GiB, antes de sumar la caché KV y el búfer. Los formatos de cuantización con escalas quedan algo por encima de su número nominal de bits; en ese caso introduce los bits efectivos (tamaño del archivo en bytes por 8 dividido entre el número de parámetros).

¿Por qué la calculadora muestra GB y GiB?

Un GB son 10⁹ bytes y un GiB son 2³⁰ bytes, cerca de un 7 % más. Las tarjetas gráficas y la RAM se cuentan en binario aunque la caja diga GB; los archivos de modelo suelen indicarse en decimal. Ambos valores aparecen por separado para que nada se mezcle sin darte cuenta.

¿Dos tarjetas gráficas de 8 GB cuentan como una de 16 GB?

Solo si tu runtime reparte las capas entre ambas tarjetas. Sin un reparto compatible, el modelo tiene que caber en una tarjeta y la calculadora solo cuenta su memoria. Incluso con reparto, cada tarjeta necesita su propia reserva.

¿Cómo calcula la herramienta los modelos mixture-of-experts?

Para la memoria usa el total de parámetros, porque todos los expertos deben estar cargados. Los parámetros activos por token solo se muestran; influyen en el cálculo, no en el espacio necesario.

¿«Cabe» significa que el modelo irá rápido?

No. La calculadora solo comprueba la memoria. La rapidez con la que responde un modelo depende del ancho de banda de memoria, la potencia de cálculo, el runtime y la descarga. Una parte alojada en la RAM del sistema suele ralentizar mucho la salida.

¿Calculadora VRAM LLM es gratis y funciona sin cuenta?

Sí. Usarlo es gratis y no necesitas cuenta: puedes calcular tantas veces como quieras y tus datos se quedan en tu dispositivo.

Herramientas relacionadas

Calcular tokens IA · Conversor de Tamaño de Datos · Coste energético · Comparar modelos de IA · Planificador de mejora de PC · Precio de RAM y SSD por GB