Yerel bir dil modeli VRAM ve RAM'e sığar mı kontrol edin: ağırlıklar, KV önbelleği, tampon ve aktarım ayrı, GB ve GiB olarak, yerelde, yüklemesiz.
i
Bu hesaplayıcı, modele dayalı bağlayıcı olmayan bir tahmin sunar ve finansal, vergisel veya hukuki danışmanlık niteliği taşımaz. Sorumluluk reddinde ayrıntılar
Pazar
Almanya✓
Amerika Birleşik Devletleri✓
Bangladeş✓
Birleşik Krallık✓
Brezilya✓
Bulgaristan✓
Çin✓
Endonezya✓
Euro Bölgesi✓
Fransa✓
Güney Kore✓
Hindistan✓
Hollanda✓
İspanya✓
İsveç✓
İtalya✓
Japonya✓
Kenya✓
Malezya✓
Meksika✓
Mısır✓
Nijerya✓
Pakistan✓
Polonya✓
Portekiz✓
Rusya✓
Tayland✓
Tayvan✓
Türkiye✓
Ukrayna✓
Vietnam✓
Sonuç
Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Model sığar mı?
5,65 GB · 5,26 GiB
Toplam bellek ihtiyacı
5,08 GB - 6,21 GB (± 10 %)
Belirsizlik aralığı
3,50 GB · 3,26 GiB
Ağırlıklar
1,07 GB · 1,00 GiB
KV önbelleği
1,07 GB · 1,00 GiB
Çalışma zamanı tamponu (varsayım)
8,05 GB · 7,50 GiB
Kullanılabilir GPU belleği
Tek GPU
GPU'lara bölme
12,88 GB · 12,00 GiB
Boş sistem RAM'i
0,00 GB
Sistem RAM'ine aktarım
Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Tamamen sığan en büyük bağlam (token)
Yalnızca örnek hesaplama: değerleri değiştirin veya onaylayın
Dosya içeriklerinizin sunucuda işlenmesi söz konusu değildir. Gizli veya ticari belgeleri işlemek için gottrix ile bir veri işleme sözleşmesine ihtiyacınız yoktur.
Almanya’da barındırılırKüresel içerik dağıtımı
Almanya'da Hetzner'deki kaynak sunucular, bir içerik dağıtım ağı (CDN) üzerinden dünya çapında dağıtılır. Bu sırada dosya içerikleriniz asla aktarılmaz - cihazınızdan hiç ayrılmaz.
Bir dil modelinin yerelde çalışıp çalışmayacağını önce bellek belirler. Hesaplayıcı ihtiyacı ayrı parçalara böler: ağırlıklar (parametre sayısı çarpı ağırlık başına bit, bölü 8), kullandığınız bağlam için KV önbelleği, bir çalışma zamanı tamponu ve görünür bir belirsizlik. Yedi milyar parametre 4 bitle, herhangi bir ek yük eklenmeden önce 3,5 GB saf ağırlık eder. Her boyut iki kez gösterilir: GB (10⁹ bayt) ve GiB (2³⁰ bayt) olarak; çünkü ekran kartları ve RAM ikili sayılır, model dosyaları ise çoğu zaman ondalık olarak belirtilir.
KV önbelleği bağlamla doğrusal olarak büyür ve mimariyi izler: iki (anahtarlar ve değerler) çarpı katman çarpı KV başlığı çarpı başlık boyutu çarpı token çarpı öğe başına bayt. Grouped-query attention kullanan modellerde KV başlığı sorgu başlığından azdır ve buna bağlı olarak daha az önbellek gerekir. Mixture-of-experts modellerinde bellek için toplam parametre sayısı önemlidir, çünkü tüm uzmanların yüklü olması gerekir; token başına etkin parametreler yalnızca hesaplama yükünü belirler. Tablo aynı modeli başka nicemleme düzeylerinde gösterir; ayrıca tamamen sığan en büyük bağlamı ve en yüksek bit değerini verir.
Birden fazla ekran kartı ancak çalışma zamanınız katmanları gerçekten bu kartlara dağıtıyorsa toplanır; desteklenen bir bölme olmadan 8 GiB'lık iki kart, 16 GiB'lık tek kart değildir. GPU belleğine sığmayan kısım sistem RAM'ine aktarılabilir; sonuç bu kısmı belirtir ama hız hakkında bir şey söylemez. Yerleşik model profili yoktur: önceden doldurulmuş değerler belirli bir model değil, düzenlenebilir bir örnektir. Model kartındaki bilgileri girin; her şey tarayıcıda hesaplanır ve hiçbir yere kaydedilmez.
Ücretsiz ve hesap gerektirmez: istediğiniz kadar hesaplayın, girdiğiniz veriler cihazınızda kalır.
Teknik özellikler
Teknik özellikler
Giriş formatları
Form girişleri (dosya yok)
İşleme
Tarayıcıda yerel (JavaScript)
Dosya yükleme
Yok
3 adımda
Bellek türünü, GPU başına VRAM'i, GPU sayısını ve bölmeyi, ayrıca RAM'i ve yedekleri girin.
Model kartındaki değerleri girin: parametreler, ağırlık başına bit, katmanlar, KV başlıkları, başlık boyutu ve bağlam.
Sonucu, ağırlık, KV önbelleği ve tampon dağılımını, aktarımı ve nicemleme alternatiflerini okuyun.
Sınırlar: Belleğin yetmesi hız, çalışma zamanı desteği ya da sürücüler için bir garanti değildir. Çalışma zamanı tamponu ve yedekler varsayımdır; çalışma zamanları sürüme, toplu iş boyutuna ve arka uca göre daha fazla ya da daha az bellek ister. KV formülü GQA/MQA'lı olağan attention için geçerlidir; sliding-window, MLA veya hibrit mimariler çok daha az önbellek gerektirebilir. Yerleşik model ya da donanım verisi yoktur.
Sık sorulan sorular
Bir modelin ağırlıkları ne kadar bellek ister?
Parametreler çarpı ağırlık başına bit, bölü 8. Yedi milyar parametre 4 bitle 3,5 GB, yani yaklaşık 3,26 GiB eder; KV önbelleği ve tampon bunun üstüne eklenir. Ölçek katsayılı nicemleme biçimleri nominal bit sayısının biraz üstünde kalır; bu durumda etkin bit değerini girin (bayt cinsinden dosya boyutu çarpı 8, bölü parametre sayısı).
Hesaplayıcı neden hem GB hem GiB gösteriyor?
Bir GB 10⁹ bayt, bir GiB 2³⁰ bayttır; yani yaklaşık yüzde 7 daha fazladır. Ekran kartları ve RAM, kutuda GB yazsa bile ikili sayılır; model dosyaları çoğu zaman ondalık olarak belirtilir. İki değer ayrı gösterilir, böylece hiçbir şey fark edilmeden karışmaz.
8 GB'lık iki ekran kartı, 16 GB'lık tek kart sayılır mı?
Yalnızca çalışma zamanınız katmanları iki karta dağıtıyorsa. Desteklenen bir bölme yoksa model tek karta sığmak zorundadır ve hesaplayıcı yalnızca o kartın belleğini sayar. Bölme olsa bile her kartın kendi yedeğine ihtiyacı vardır.
Hesaplayıcı mixture-of-experts modellerini nasıl hesaplar?
Bellek için toplam parametreleri kullanır, çünkü tüm uzmanların yüklü olması gerekir. Token başına etkin parametreler yalnızca gösterilir; hesaplama yükünü etkiler, gereken alanı değil.
"Sığar" demek modelin hızlı çalışacağı anlamına mı gelir?
Hayır. Hesaplayıcı yalnızca belleği kontrol eder. Bir modelin ne kadar hızlı yanıt verdiği bellek bant genişliğine, işlem gücüne, çalışma zamanına ve aktarıma bağlıdır. Sistem RAM'inde tutulan bir kısım çıktıyı genellikle belirgin biçimde yavaşlatır.
LLM VRAM Hesaplayıcı ücretsiz ve hesapsız kullanılabilir mi?
Evet. Kullanımı ücretsizdir ve hesap gerektirmez: istediğiniz kadar hesaplama yapabilirsiniz, girdiğiniz veriler cihazınızda kalır.
Yalnızca onayınızla, gottrix'i iyileştirmek için kullanımı çerezlerle anonimleştirilmiş biçimde ölçeriz. Dosyalarınız her zaman yerelde, cihazınızda kalır. Gizlilik