Periksa apakah model bahasa lokal muat di VRAM dan RAM Anda: bobot, cache KV, buffer, dan offload terpisah, dalam GB dan GiB, secara lokal tanpa unggahan.
i
Kalkulator ini memberikan perkiraan berbasis model yang tidak mengikat dan bukan merupakan nasihat keuangan, pajak, atau hukum. Selengkapnya di penafian
Pasar
Amerika Serikat✓
Bangladesh✓
Belanda✓
Brasil✓
Bulgaria✓
India✓
Indonesia✓
Inggris Raya✓
Italia✓
Jepang✓
Jerman✓
Kenya✓
Korea Selatan✓
Malaysia✓
Meksiko✓
Mesir✓
Nigeria✓
Pakistan✓
Polandia✓
Portugal✓
Prancis✓
Rusia✓
Spanyol✓
Swedia✓
Taiwan✓
Thailand✓
Tiongkok✓
Turki✓
Ukraina✓
Vietnam✓
Zona Euro✓
Hasil
Hanya perhitungan contoh: ubah atau konfirmasi nilainya
Apakah model muat?
5,65 GB · 5,26 GiB
Total kebutuhan memori
5,08 GB - 6,21 GB (± 10 %)
Rentang ketidakpastian
3,50 GB · 3,26 GiB
Bobot
1,07 GB · 1,00 GiB
Cache KV
1,07 GB · 1,00 GiB
Buffer runtime (asumsi)
8,05 GB · 7,50 GiB
Memori GPU yang dapat dipakai
Satu GPU
Pembagian GPU
12,88 GB · 12,00 GiB
RAM sistem yang kosong
0,00 GB
Offload ke RAM sistem
Hanya perhitungan contoh: ubah atau konfirmasi nilainya
Konteks terbesar yang muat sepenuhnya (token)
Hanya perhitungan contoh: ubah atau konfirmasi nilainya
Tidak ada pemrosesan atas isi berkasmu di server mana pun. Kamu tidak perlu perjanjian pemrosesan data dengan gottrix untuk menangani dokumen rahasia maupun bisnis.
Dihosting di JermanPengiriman konten global
Server origin berada di Hetzner di Jerman, dengan pengiriman ke seluruh dunia melalui jaringan pengiriman konten (CDN). Isi berkasmu tidak pernah dikirimkan dalam proses ini - berkas tidak pernah meninggalkan perangkatmu.
Apakah sebuah model bahasa bisa berjalan secara lokal pertama-tama ditentukan oleh memori. Kalkulator ini membagi kebutuhan menjadi bagian-bagian terpisah: bobot (jumlah parameter dikali bit per bobot dibagi 8), cache KV untuk konteks yang Anda pakai, buffer runtime, dan ketidakpastian yang terlihat. Tujuh miliar parameter dengan 4 bit menghasilkan 3,5 GB bobot murni sebelum tambahan apa pun. Setiap ukuran ditampilkan dua kali: dalam GB (10⁹ byte) dan GiB (2³⁰ byte), karena kartu grafis dan RAM dihitung secara biner, sedangkan berkas model sering dicantumkan dalam desimal.
Cache KV tumbuh linear seiring konteks dan mengikuti arsitektur: dua (kunci dan nilai) dikali lapisan dikali kepala KV dikali dimensi kepala dikali token dikali byte per elemen. Model dengan grouped-query attention memiliki lebih sedikit kepala KV daripada kepala kueri sehingga butuh cache lebih kecil. Pada model mixture-of-experts, yang dihitung untuk memori adalah total parameter, karena semua pakar harus dimuat; parameter aktif per token hanya menentukan beban komputasi. Tabel menampilkan model yang sama pada tingkat kuantisasi lain, beserta konteks terbesar dan jumlah bit tertinggi yang muat sepenuhnya.
Beberapa kartu grafis hanya dijumlahkan jika runtime Anda benar-benar membagi lapisan ke kartu-kartu itu; tanpa pembagian yang didukung, dua kartu 8 GiB bukanlah satu kartu 16 GiB. Bagian yang tidak muat di memori GPU dapat dialihkan ke RAM sistem; hasilnya menyebut bagian itu, tetapi tidak mengatakan apa pun tentang kecepatan. Tidak ada profil model bawaan: nilai yang sudah terisi adalah contoh yang dapat diubah, bukan model tertentu. Masukkan data dari kartu model; semuanya dihitung di browser dan tidak disimpan di mana pun.
Gratis dan tanpa akun: hitung sesering yang Anda mau, isian Anda tetap di perangkat Anda.
Data teknis
Data teknis
Format masukan
Isian formulir (tanpa berkas)
Pemrosesan
Lokal di peramban (JavaScript)
Unggah berkas
Tidak ada
Dalam 3 langkah
Masukkan jenis memori, VRAM per GPU, jumlah dan pembagian GPU, serta RAM dan cadangannya.
Masukkan nilai dari kartu model: parameter, bit per bobot, lapisan, kepala KV, dimensi kepala, dan konteks.
Baca hasilnya, rincian bobot, cache KV, dan buffer, jumlah offload, serta alternatif kuantisasi.
Batasan: Memori yang cukup bukan jaminan kecepatan, dukungan runtime, atau driver. Buffer runtime dan cadangan adalah asumsi; runtime membutuhkan lebih atau kurang tergantung versi, ukuran batch, dan backend. Rumus KV berlaku untuk attention umum dengan GQA/MQA; arsitektur sliding-window, MLA, atau hibrida bisa membutuhkan cache jauh lebih kecil. Tidak ada data model atau perangkat keras bawaan.
Pertanyaan umum
Berapa memori yang dibutuhkan bobot sebuah model?
Parameter dikali bit per bobot dibagi 8. Tujuh miliar parameter dengan 4 bit adalah 3,5 GB atau sekitar 3,26 GiB, sebelum cache KV dan buffer ditambahkan. Format kuantisasi dengan faktor skala sedikit di atas jumlah bit nominalnya; dalam hal itu masukkan bit efektif (ukuran berkas dalam byte dikali 8 dibagi jumlah parameter).
Mengapa kalkulator menampilkan GB dan GiB?
Satu GB adalah 10⁹ byte, satu GiB adalah 2³⁰ byte, sekitar 7 persen lebih besar. Kartu grafis dan RAM dihitung secara biner meskipun kemasannya menulis GB; berkas model sering dicantumkan dalam desimal. Kedua nilai ditampilkan terpisah agar tidak tercampur tanpa disadari.
Apakah dua kartu grafis 8 GB sama dengan satu kartu 16 GB?
Hanya jika runtime Anda membagi lapisan ke kedua kartu. Tanpa pembagian yang didukung, model harus muat di satu kartu dan kalkulator hanya menghitung memori kartu itu. Bahkan dengan pembagian, setiap kartu tetap memerlukan cadangannya sendiri.
Bagaimana kalkulator menghitung model mixture-of-experts?
Untuk memori digunakan total parameter, karena semua pakar harus dimuat. Parameter aktif per token hanya ditampilkan; nilainya memengaruhi komputasi, bukan ruang yang dibutuhkan.
Apakah "muat" berarti model akan berjalan cepat?
Tidak. Kalkulator hanya memeriksa memori. Seberapa cepat model menjawab bergantung pada bandwidth memori, daya komputasi, runtime, dan offload. Bagian yang berada di RAM sistem biasanya membuat keluaran jauh lebih lambat.
Apakah Hitung VRAM LLM gratis dan bisa dipakai tanpa akun?
Ya. Pemakaiannya gratis dan tidak perlu akun: Anda bisa menghitung sesering yang Anda mau, dan isian Anda tetap di perangkat Anda.
Hanya dengan persetujuan Anda, kami mengukur penggunaan secara anonim melalui cookie untuk menyempurnakan gottrix. Berkas Anda selalu tetap lokal, di perangkat Anda. Privasi