Semak sama ada model bahasa setempat muat dalam VRAM dan RAM: pemberat, cache KV, penimbal dan pemunggahan berasingan, dalam GB dan GiB, tanpa muat naik.
i
Kalkulator ini memberikan anggaran berasaskan model yang tidak mengikat dan bukan nasihat kewangan, cukai atau perundangan. Selanjutnya dalam penafian
Kandungan kekal milik andatiada capaian pihak ketiga
Tiada pemprosesan kandungan fail anda berlaku di mana-mana pelayan. Anda tidak perlukan perjanjian pemprosesan data dengan gottrix untuk mengendalikan dokumen sulit atau perniagaan.
Dihoskan di JermanPenghantaran global
Pelayan asal berada di Hetzner di Jerman, dengan penghantaran ke seluruh dunia melalui rangkaian penghantaran kandungan (CDN). Kandungan fail anda tidak pernah dihantar dalam proses ini - fail tidak pernah meninggalkan peranti anda.
Sama ada model bahasa boleh berjalan secara setempat ditentukan dahulu oleh memori. Pengira ini memecahkan keperluan kepada bahagian berasingan: pemberat (bilangan parameter didarab bit setiap pemberat dibahagi 8), cache KV untuk konteks yang digunakan, penimbal runtime dan ketidakpastian yang kelihatan. Tujuh bilion parameter pada 4 bit menghasilkan 3.5 GB pemberat tulen sebelum sebarang overhead. Setiap saiz dipaparkan dua kali: dalam GB (10⁹ bait) dan GiB (2³⁰ bait), kerana kad grafik dan RAM dikira secara binari manakala fail model selalunya dinyatakan secara perpuluhan.
Cache KV bertambah secara linear dengan konteks dan mengikut seni bina: dua (kunci dan nilai) darab lapisan darab kepala KV darab dimensi kepala darab token darab bait setiap elemen. Model dengan grouped-query attention mempunyai kepala KV yang lebih sedikit daripada kepala pertanyaan, jadi cache yang diperlukan juga lebih kecil. Bagi model mixture-of-experts, jumlah keseluruhan parameter yang dikira untuk memori kerana semua pakar mesti dimuatkan; parameter aktif setiap token hanya menentukan beban pengiraan. Jadual menunjukkan model yang sama pada tahap pengkuantuman lain, bersama konteks terbesar dan bilangan bit tertinggi yang muat sepenuhnya.
Beberapa kad grafik hanya dijumlahkan jika runtime anda benar-benar membahagikan lapisan antara kad itu; tanpa pembahagian yang disokong, dua kad 8 GiB bukan satu kad 16 GiB. Bahagian yang tidak muat dalam memori GPU boleh dipunggah ke RAM sistem; keputusan menyatakan bahagian itu tetapi tidak berkata apa-apa tentang kelajuan. Tiada profil model terbina dalam: nilai yang telah diisi ialah contoh yang boleh disunting, bukan model tertentu. Masukkan data daripada kad model; semuanya dikira dalam pelayar dan tidak disimpan di mana-mana.
Percuma dan tanpa akaun: kira sekerap yang anda mahu, input anda kekal pada peranti anda.
Data teknikal
Data teknikal
Format input
Input borang (tiada fail)
Pemprosesan
Setempat dalam pelayar (JavaScript)
Muat naik fail
Tiada
Dalam 3 langkah
Masukkan jenis memori, VRAM setiap GPU, bilangan dan pembahagian GPU, serta RAM dan simpanan.
Masukkan nilai daripada kad model: parameter, bit setiap pemberat, lapisan, kepala KV, dimensi kepala dan konteks.
Baca keputusan, pecahan pemberat, cache KV dan penimbal, pemunggahan serta pilihan pengkuantuman lain.
Batasan: Memori yang mencukupi bukan jaminan kelajuan, sokongan runtime atau pemacu. Penimbal runtime dan simpanan ialah andaian; runtime memerlukan lebih atau kurang bergantung pada versi, saiz kelompok dan backend. Formula KV terpakai untuk attention biasa dengan GQA/MQA; seni bina sliding-window, MLA atau hibrid mungkin memerlukan cache yang jauh lebih kecil. Tiada data model atau perkakasan terbina dalam.
Soalan lazim
Berapa banyak memori yang diperlukan oleh pemberat model?
Parameter didarab bit setiap pemberat dibahagi 8. Tujuh bilion parameter pada 4 bit ialah 3.5 GB atau kira-kira 3.26 GiB, sebelum cache KV dan penimbal ditambah. Format pengkuantuman dengan faktor skala sedikit melebihi bilangan bit nominalnya; dalam kes itu masukkan bit berkesan (saiz fail dalam bait darab 8 dibahagi bilangan parameter).
Mengapakah pengira memaparkan GB dan GiB?
Satu GB ialah 10⁹ bait, satu GiB ialah 2³⁰ bait, kira-kira 7 peratus lebih besar. Kad grafik dan RAM dikira secara binari walaupun kotaknya menyebut GB; fail model selalunya dinyatakan secara perpuluhan. Kedua-dua nilai dipaparkan berasingan supaya tiada yang bercampur tanpa disedari.
Adakah dua kad grafik 8 GB sama dengan satu kad 16 GB?
Hanya jika runtime anda membahagikan lapisan kepada kedua-dua kad. Tanpa pembahagian yang disokong, model mesti muat dalam satu kad dan pengira hanya mengira memori kad itu. Walaupun dengan pembahagian, setiap kad memerlukan simpanannya sendiri.
Bagaimanakah pengira mengendalikan model mixture-of-experts?
Untuk memori ia menggunakan jumlah keseluruhan parameter, kerana semua pakar mesti dimuatkan. Parameter aktif setiap token hanya dipaparkan; ia mempengaruhi pengiraan, bukan ruang yang diperlukan.
Adakah "muat" bermaksud model akan berjalan pantas?
Tidak. Pengira hanya menyemak memori. Kepantasan model menjawab bergantung pada lebar jalur memori, kuasa pengiraan, runtime dan pemunggahan. Bahagian yang disimpan dalam RAM sistem biasanya menjadikan output jauh lebih perlahan.
Adakah Pengira VRAM LLM percuma dan boleh digunakan tanpa akaun?
Ya. Penggunaannya percuma dan tidak memerlukan akaun: anda boleh mengira sekerap yang anda mahu, dan input anda kekal pada peranti anda.
Hanya dengan kebenaran anda, kami mengukur penggunaan secara tanpa nama melalui kuki untuk menambah baik gottrix. Fail anda sentiasa kekal setempat, pada peranti anda. Privasi