tr

LLM VRAM Hesaplayıcı

Yerel bir dil modeli VRAM ve RAM'e sığar mı kontrol edin: ağırlıklar, KV önbelleği, tampon ve aktarım ayrı, GB ve GiB olarak, yerelde, yüklemesiz.

Bu hesaplayıcı, modele dayalı bağlayıcı olmayan bir tahmin sunar ve finansal, vergisel veya hukuki danışmanlık niteliği taşımaz. Sorumluluk reddinde ayrıntılar
  • Almanya
  • Amerika Birleşik Devletleri
  • Bangladeş
  • Birleşik Krallık
  • Brezilya
  • Bulgaristan
  • Çin
  • Endonezya
  • Euro Bölgesi
  • Fransa
  • Güney Kore
  • Hindistan
  • Hollanda
  • İspanya
  • İsveç
  • İtalya
  • Japonya
  • Kenya
  • Malezya
  • Meksika
  • Mısır
  • Nijerya
  • Pakistan
  • Polonya
  • Portekiz
  • Rusya
  • Tayland
  • Tayvan
  • Türkiye
  • Ukrayna
  • Vietnam
Bellek türü
  • Kendi VRAM'i olan ekran kartı
  • Paylaşılan bellek (birleşik bellek)
  • Yalnızca CPU, GPU yok
GPU sayısı
GPU başına VRAM (GiB)
Birden fazla GPU'ya bölme
  • Yok: model tek bir GPU'ya sığmalı
  • Çalışma zamanı katmanları GPU'lara dağıtır
Ekran ve sürücü için GPU başına yedek (GiB)
Sistem RAM'i (GiB)
Sistem ve programlar için RAM yedeği (GiB)
İşletim sistemi (serbest metin)
Çalışma zamanı ve sürüm (serbest metin)
Model ve revizyon (serbest metin)
Toplam parametre (milyar, MoE'de tüm uzmanlar)
Token başına etkin parametre (milyar, yalnızca MoE)
Ağırlık başına bit (nicemleme, etkin)
KV önbellekli katmanlar
KV başlıkları (GQA'da sorgu başlığından az)
Başlık başına boyut
Kullanılan bağlam (token)
KV önbelleği hassasiyeti
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Paralel istekler
Çalışma zamanı tamponu (GiB, varsayım)
Belirsizlik (±)
Değiştirilmemiş örnek değerler modelime ve bilgisayarıma uyuyor

Sonuç

Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Model sığar mı?
5,65 GB · 5,26 GiB
Toplam bellek ihtiyacı
5,08 GB - 6,21 GB (± 10 %)
Belirsizlik aralığı
3,50 GB · 3,26 GiB
Ağırlıklar
1,07 GB · 1,00 GiB
KV önbelleği
1,07 GB · 1,00 GiB
Çalışma zamanı tamponu (varsayım)
8,05 GB · 7,50 GiB
Kullanılabilir GPU belleği
Tek GPU
GPU'lara bölme
12,88 GB · 12,00 GiB
Boş sistem RAM'i
0,00 GB
Sistem RAM'ine aktarım
Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Tamamen sığan en büyük bağlam (token)
Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Tamamen sığan en yüksek bit sayısı
Belirtilmedi (yoğun model)
Token başına etkin parametre (MoE)
7 × 10⁹ × 4 bit ÷ 8
Ağırlık hesabı
2 × 32 × 8 × 128 × 8.192 × 1 × 16 bit ÷ 8
KV önbelleği hesabı
Düzenlenebilir örnek, belirli bir model değil
Model değerlerinin kaynağı
Düzenlenebilir örnek, sizin bilgisayarınız değil
Bellek değerlerinin kaynağı
Belirtilmedi
Model profili
Belirtilmedi
İşletim sistemi
Belirtilmedi
Çalışma zamanı
Kullanılamıyor
Herkese açık bir model profiliyle karşılaştırma

Bellek kullanımı (üst sınır, %)

Değerlendirme yokSığıyorSınırdaAşıldı

Aynı model, başka nicemlemelerle

Aynı model, başka nicemlemelerle
Ağırlık başına bitAğırlıklarToplam (üst sınır)Kalan bellek
16 bit14,00 GB17,76 GB-9,71 GB
8 bit7,00 GB10,06 GB-2,01 GB
6 bit5,25 GB8,14 GB-0,08 GB
5 bit4,38 GB7,17 GB0,88 GB
4 bit3,50 GB6,21 GB1,84 GB
3 bit2,63 GB5,25 GB2,80 GB
2 bit1,75 GB4,29 GB3,77 GB
Dosyam yükleniyor mu?

Hayır. Her şey tarayıcınızda çalışır - dosyanız cihazınızdan asla çıkmaz. Bunu nasıl doğrularsınız

Yükleme yok%100 yerel
İçerik sizde kalırüçüncü taraf erişimi yok
Almanya’da barındırılırKüresel içerik dağıtımı
Bağımsız denetlendiTLS A+ · Başlıklar A+

Bir dil modelinin yerelde çalışıp çalışmayacağını önce bellek belirler. Hesaplayıcı ihtiyacı ayrı parçalara böler: ağırlıklar (parametre sayısı çarpı ağırlık başına bit, bölü 8), kullandığınız bağlam için KV önbelleği, bir çalışma zamanı tamponu ve görünür bir belirsizlik. Yedi milyar parametre 4 bitle, herhangi bir ek yük eklenmeden önce 3,5 GB saf ağırlık eder. Her boyut iki kez gösterilir: GB (10⁹ bayt) ve GiB (2³⁰ bayt) olarak; çünkü ekran kartları ve RAM ikili sayılır, model dosyaları ise çoğu zaman ondalık olarak belirtilir.

KV önbelleği bağlamla doğrusal olarak büyür ve mimariyi izler: iki (anahtarlar ve değerler) çarpı katman çarpı KV başlığı çarpı başlık boyutu çarpı token çarpı öğe başına bayt. Grouped-query attention kullanan modellerde KV başlığı sorgu başlığından azdır ve buna bağlı olarak daha az önbellek gerekir. Mixture-of-experts modellerinde bellek için toplam parametre sayısı önemlidir, çünkü tüm uzmanların yüklü olması gerekir; token başına etkin parametreler yalnızca hesaplama yükünü belirler. Tablo aynı modeli başka nicemleme düzeylerinde gösterir; ayrıca tamamen sığan en büyük bağlamı ve en yüksek bit değerini verir.

Birden fazla ekran kartı ancak çalışma zamanınız katmanları gerçekten bu kartlara dağıtıyorsa toplanır; desteklenen bir bölme olmadan 8 GiB'lık iki kart, 16 GiB'lık tek kart değildir. GPU belleğine sığmayan kısım sistem RAM'ine aktarılabilir; sonuç bu kısmı belirtir ama hız hakkında bir şey söylemez. Yerleşik model profili yoktur: önceden doldurulmuş değerler belirli bir model değil, düzenlenebilir bir örnektir. Model kartındaki bilgileri girin; her şey tarayıcıda hesaplanır ve hiçbir yere kaydedilmez.

Ücretsiz ve hesap gerektirmez: istediğiniz kadar hesaplayın, girdiğiniz veriler cihazınızda kalır.

Teknik özellikler

Teknik özellikler
Giriş formatlarıForm girişleri (dosya yok)
İşlemeTarayıcıda yerel (JavaScript)
Dosya yüklemeYok

3 adımda

  1. Bellek türünü, GPU başına VRAM'i, GPU sayısını ve bölmeyi, ayrıca RAM'i ve yedekleri girin.
  2. Model kartındaki değerleri girin: parametreler, ağırlık başına bit, katmanlar, KV başlıkları, başlık boyutu ve bağlam.
  3. Sonucu, ağırlık, KV önbelleği ve tampon dağılımını, aktarımı ve nicemleme alternatiflerini okuyun.

Sınırlar: Belleğin yetmesi hız, çalışma zamanı desteği ya da sürücüler için bir garanti değildir. Çalışma zamanı tamponu ve yedekler varsayımdır; çalışma zamanları sürüme, toplu iş boyutuna ve arka uca göre daha fazla ya da daha az bellek ister. KV formülü GQA/MQA'lı olağan attention için geçerlidir; sliding-window, MLA veya hibrit mimariler çok daha az önbellek gerektirebilir. Yerleşik model ya da donanım verisi yoktur.

Sık sorulan sorular

Bir modelin ağırlıkları ne kadar bellek ister?

Parametreler çarpı ağırlık başına bit, bölü 8. Yedi milyar parametre 4 bitle 3,5 GB, yani yaklaşık 3,26 GiB eder; KV önbelleği ve tampon bunun üstüne eklenir. Ölçek katsayılı nicemleme biçimleri nominal bit sayısının biraz üstünde kalır; bu durumda etkin bit değerini girin (bayt cinsinden dosya boyutu çarpı 8, bölü parametre sayısı).

Hesaplayıcı neden hem GB hem GiB gösteriyor?

Bir GB 10⁹ bayt, bir GiB 2³⁰ bayttır; yani yaklaşık yüzde 7 daha fazladır. Ekran kartları ve RAM, kutuda GB yazsa bile ikili sayılır; model dosyaları çoğu zaman ondalık olarak belirtilir. İki değer ayrı gösterilir, böylece hiçbir şey fark edilmeden karışmaz.

8 GB'lık iki ekran kartı, 16 GB'lık tek kart sayılır mı?

Yalnızca çalışma zamanınız katmanları iki karta dağıtıyorsa. Desteklenen bir bölme yoksa model tek karta sığmak zorundadır ve hesaplayıcı yalnızca o kartın belleğini sayar. Bölme olsa bile her kartın kendi yedeğine ihtiyacı vardır.

Hesaplayıcı mixture-of-experts modellerini nasıl hesaplar?

Bellek için toplam parametreleri kullanır, çünkü tüm uzmanların yüklü olması gerekir. Token başına etkin parametreler yalnızca gösterilir; hesaplama yükünü etkiler, gereken alanı değil.

"Sığar" demek modelin hızlı çalışacağı anlamına mı gelir?

Hayır. Hesaplayıcı yalnızca belleği kontrol eder. Bir modelin ne kadar hızlı yanıt verdiği bellek bant genişliğine, işlem gücüne, çalışma zamanına ve aktarıma bağlıdır. Sistem RAM'inde tutulan bir kısım çıktıyı genellikle belirgin biçimde yavaşlatır.

LLM VRAM Hesaplayıcı ücretsiz ve hesapsız kullanılabilir mi?

Evet. Kullanımı ücretsizdir ve hesap gerektirmez: istediğiniz kadar hesaplama yapabilirsiniz, girdiğiniz veriler cihazınızda kalır.

İlgili araçlar

YZ token hesaplama · Veri Boyutu Dönüştürücü · Enerji maliyeti · YZ modellerini karşılaştır · PC yükseltme planlayıcı · RAM ve SSD GB başına fiyat