ms

Pengira VRAM LLM

Semak sama ada model bahasa setempat muat dalam VRAM dan RAM: pemberat, cache KV, penimbal dan pemunggahan berasingan, dalam GB dan GiB, tanpa muat naik.

Kalkulator ini memberikan anggaran berasaskan model yang tidak mengikat dan bukan nasihat kewangan, cukai atau perundangan. Selanjutnya dalam penafian
  • Amerika Syarikat
  • Bangladesh
  • Belanda
  • Brazil
  • Bulgaria
  • China
  • India
  • Indonesia
  • Itali
  • Jepun
  • Jerman
  • Kenya
  • Korea Selatan
  • Malaysia
  • Mesir
  • Mexico
  • Nigeria
  • Pakistan
  • Perancis
  • Poland
  • Portugal
  • Rusia
  • Sepanyol
  • Sweden
  • Taiwan
  • Thailand
  • Turki
  • Ukraine
  • United Kingdom
  • Vietnam
  • Zon Euro
Jenis memori
  • Kad grafik dengan VRAM sendiri
  • Memori kongsi (unified memory)
  • CPU sahaja, tanpa GPU
Bilangan GPU
VRAM setiap GPU (GiB)
Pembahagian ke beberapa GPU
  • Tiada: model mesti muat dalam satu GPU
  • Runtime membahagikan lapisan antara GPU
Simpanan setiap GPU untuk paparan dan pemacu (GiB)
RAM sistem (GiB)
Simpanan RAM untuk sistem dan aplikasi (GiB)
Sistem pengendalian (teks bebas)
Runtime dan versi (teks bebas)
Model dan semakan (teks bebas)
Jumlah parameter (bilion, bagi MoE semua pakar)
Parameter aktif setiap token (bilion, MoE sahaja)
Bit setiap pemberat (pengkuantuman, berkesan)
Lapisan dengan cache KV
Kepala KV (dengan GQA kurang daripada kepala pertanyaan)
Dimensi setiap kepala
Konteks yang digunakan (token)
Ketepatan cache KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Permintaan selari
Penimbal runtime (GiB, andaian)
Ketidakpastian (±)
Nilai contoh yang tidak diubah sepadan dengan model dan komputer saya

Keputusan

Pengiraan contoh sahaja: ubah atau sahkan nilai
Adakah model muat?
5.65 GB · 5.26 GiB
Jumlah keperluan memori
5.08 GB - 6.21 GB (± 10 %)
Julat ketidakpastian
3.50 GB · 3.26 GiB
Pemberat
1.07 GB · 1.00 GiB
Cache KV
1.07 GB · 1.00 GiB
Penimbal runtime (andaian)
8.05 GB · 7.50 GiB
Memori GPU yang boleh digunakan
Satu GPU
Pembahagian GPU
12.88 GB · 12.00 GiB
RAM sistem yang kosong
0.00 GB
Pemunggahan ke RAM sistem
Pengiraan contoh sahaja: ubah atau sahkan nilai
Konteks terbesar yang muat sepenuhnya (token)
Pengiraan contoh sahaja: ubah atau sahkan nilai
Bilangan bit tertinggi yang muat sepenuhnya
Tidak dinyatakan (model padat)
Parameter aktif setiap token (MoE)
7 × 10⁹ × 4 bit ÷ 8
Pengiraan pemberat
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
Pengiraan cache KV
Contoh yang boleh disunting, bukan model tertentu
Sumber nilai model
Contoh yang boleh disunting, bukan komputer anda
Asal nilai memori
Tidak dinyatakan
Profil model
Tidak dinyatakan
Sistem pengendalian
Tidak dinyatakan
Runtime
Tidak tersedia
Perbandingan dengan profil model awam

Penggunaan memori (had atas, %)

Tiada penilaianMuatHampir penuhMelebihi had

Model yang sama dengan pengkuantuman lain

Model yang sama dengan pengkuantuman lain
Bit setiap pemberatPemberatJumlah (had atas)Baki memori
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
Adakah fail saya dimuat naik?

Tidak. Semuanya berjalan dalam pelayar anda - fail anda tidak pernah meninggalkan peranti. Bagaimana ini boleh disahkan

Tiada muat naik100% setempat
Kandungan kekal milik andatiada capaian pihak ketiga
Dihoskan di JermanPenghantaran global
Diaudit bebasTLS A+ · HTTP header A+

Sama ada model bahasa boleh berjalan secara setempat ditentukan dahulu oleh memori. Pengira ini memecahkan keperluan kepada bahagian berasingan: pemberat (bilangan parameter didarab bit setiap pemberat dibahagi 8), cache KV untuk konteks yang digunakan, penimbal runtime dan ketidakpastian yang kelihatan. Tujuh bilion parameter pada 4 bit menghasilkan 3.5 GB pemberat tulen sebelum sebarang overhead. Setiap saiz dipaparkan dua kali: dalam GB (10⁹ bait) dan GiB (2³⁰ bait), kerana kad grafik dan RAM dikira secara binari manakala fail model selalunya dinyatakan secara perpuluhan.

Cache KV bertambah secara linear dengan konteks dan mengikut seni bina: dua (kunci dan nilai) darab lapisan darab kepala KV darab dimensi kepala darab token darab bait setiap elemen. Model dengan grouped-query attention mempunyai kepala KV yang lebih sedikit daripada kepala pertanyaan, jadi cache yang diperlukan juga lebih kecil. Bagi model mixture-of-experts, jumlah keseluruhan parameter yang dikira untuk memori kerana semua pakar mesti dimuatkan; parameter aktif setiap token hanya menentukan beban pengiraan. Jadual menunjukkan model yang sama pada tahap pengkuantuman lain, bersama konteks terbesar dan bilangan bit tertinggi yang muat sepenuhnya.

Beberapa kad grafik hanya dijumlahkan jika runtime anda benar-benar membahagikan lapisan antara kad itu; tanpa pembahagian yang disokong, dua kad 8 GiB bukan satu kad 16 GiB. Bahagian yang tidak muat dalam memori GPU boleh dipunggah ke RAM sistem; keputusan menyatakan bahagian itu tetapi tidak berkata apa-apa tentang kelajuan. Tiada profil model terbina dalam: nilai yang telah diisi ialah contoh yang boleh disunting, bukan model tertentu. Masukkan data daripada kad model; semuanya dikira dalam pelayar dan tidak disimpan di mana-mana.

Percuma dan tanpa akaun: kira sekerap yang anda mahu, input anda kekal pada peranti anda.

Data teknikal

Data teknikal
Format inputInput borang (tiada fail)
PemprosesanSetempat dalam pelayar (JavaScript)
Muat naik failTiada

Dalam 3 langkah

  1. Masukkan jenis memori, VRAM setiap GPU, bilangan dan pembahagian GPU, serta RAM dan simpanan.
  2. Masukkan nilai daripada kad model: parameter, bit setiap pemberat, lapisan, kepala KV, dimensi kepala dan konteks.
  3. Baca keputusan, pecahan pemberat, cache KV dan penimbal, pemunggahan serta pilihan pengkuantuman lain.

Batasan: Memori yang mencukupi bukan jaminan kelajuan, sokongan runtime atau pemacu. Penimbal runtime dan simpanan ialah andaian; runtime memerlukan lebih atau kurang bergantung pada versi, saiz kelompok dan backend. Formula KV terpakai untuk attention biasa dengan GQA/MQA; seni bina sliding-window, MLA atau hibrid mungkin memerlukan cache yang jauh lebih kecil. Tiada data model atau perkakasan terbina dalam.

Soalan lazim

Berapa banyak memori yang diperlukan oleh pemberat model?

Parameter didarab bit setiap pemberat dibahagi 8. Tujuh bilion parameter pada 4 bit ialah 3.5 GB atau kira-kira 3.26 GiB, sebelum cache KV dan penimbal ditambah. Format pengkuantuman dengan faktor skala sedikit melebihi bilangan bit nominalnya; dalam kes itu masukkan bit berkesan (saiz fail dalam bait darab 8 dibahagi bilangan parameter).

Mengapakah pengira memaparkan GB dan GiB?

Satu GB ialah 10⁹ bait, satu GiB ialah 2³⁰ bait, kira-kira 7 peratus lebih besar. Kad grafik dan RAM dikira secara binari walaupun kotaknya menyebut GB; fail model selalunya dinyatakan secara perpuluhan. Kedua-dua nilai dipaparkan berasingan supaya tiada yang bercampur tanpa disedari.

Adakah dua kad grafik 8 GB sama dengan satu kad 16 GB?

Hanya jika runtime anda membahagikan lapisan kepada kedua-dua kad. Tanpa pembahagian yang disokong, model mesti muat dalam satu kad dan pengira hanya mengira memori kad itu. Walaupun dengan pembahagian, setiap kad memerlukan simpanannya sendiri.

Bagaimanakah pengira mengendalikan model mixture-of-experts?

Untuk memori ia menggunakan jumlah keseluruhan parameter, kerana semua pakar mesti dimuatkan. Parameter aktif setiap token hanya dipaparkan; ia mempengaruhi pengiraan, bukan ruang yang diperlukan.

Adakah "muat" bermaksud model akan berjalan pantas?

Tidak. Pengira hanya menyemak memori. Kepantasan model menjawab bergantung pada lebar jalur memori, kuasa pengiraan, runtime dan pemunggahan. Bahagian yang disimpan dalam RAM sistem biasanya menjadikan output jauh lebih perlahan.

Adakah Pengira VRAM LLM percuma dan boleh digunakan tanpa akaun?

Ya. Penggunaannya percuma dan tidak memerlukan akaun: anda boleh mengira sekerap yang anda mahu, dan input anda kekal pada peranti anda.

Alat berkaitan

Kira token AI · Penukar Saiz Data · Kos tenaga · Banding model AI · Perancang naik taraf PC · Harga RAM, SSD per GB