ms

GPU untuk AI tempatan

Bandingkan kad grafik untuk AI tempatan mengikut VRAM, lebar jalur, backend, kuasa dan harga setiap GiB. Ukuran hanya dikira pada syarat yang sama.

Kalkulator ini memberikan anggaran berasaskan model yang tidak mengikat dan bukan nasihat kewangan, cukai atau perundangan. Selanjutnya dalam penafian
  • Amerika Syarikat
  • Bangladesh
  • Belanda
  • Brazil
  • Bulgaria
  • China
  • India
  • Indonesia
  • Itali
  • Jepun
  • Jerman
  • Kenya
  • Korea Selatan
  • Malaysia
  • Mesir
  • Mexico
  • Nigeria
  • Pakistan
  • Perancis
  • Poland
  • Portugal
  • Rusia
  • Sepanyol
  • Sweden
  • Taiwan
  • Thailand
  • Turki
  • Ukraine
  • United Kingdom
  • Vietnam
  • Zon Euro
Calon GPU sebagai CSV: nama; VRAM; lebar jalur GB/s; backend; kuasa W; harga; mata wang; penghantaran; sumber
Ukuran sebagai CSV: nama GPU; token/s; jenis tg/pp; model; pengkuantuman; konteks; backend; sumber
Backend yang diperlukan perisian anda
  • Tiada yang khusus
  • CUDA
  • ROCm
  • Vulkan
  • Metal
  • SYCL
Beban kerja: jumlah parameter model (bilion)
Beban kerja: bit setiap pemberat (pengkuantuman, cth. 4.5)
Beban kerja: konteks dalam token
Beban kerja: lapisan dengan cache KV (kad model)
Beban kerja: kepala KV (kad model)
Beban kerja: dimensi setiap kepala (kad model)
Beban kerja: bit setiap elemen KV
  • 16 (FP16/BF16)
  • 8
  • 4
Penimbal masa jalan dan rizab setiap GPU (GiB, andaian)
Baca VRAM dalam GB sebagai GiB (label biasa)
Mata wang (baris tanpa mata wang dan harga elektrik)
  • ¤
  • USD
  • EUR
  • GBP
  • JPY
  • CHF
  • CAD
  • AUD
  • CNY
  • INR
  • KRW
  • BRL
  • MXN
  • SEK
  • PLN
  • TRY
  • SGD
Tanda perpuluhan dalam CSV
  • Kesan secara automatik
  • Koma (12,50)
  • Titik (12.50)
Harga elektrik setiap kWh (kosong = tiada kos elektrik)
Jam di bawah beban sehari
Pasaran atau negara penjual (teks bebas)
Tarikh harga, cth. hari (teks bebas)

Keputusan

Belum ada calon yang sah
Muat dalam VRAM (✓ muat · ✗ tidak muat · ? belum disahkan)
Beban kerja tidak lengkap: masukkan parameter dan bit setiap pemberat
Jumlah keperluan memori
Beban kerja tidak lengkap: masukkan parameter dan bit setiap pemberat
Pengiraan: pemberat + cache KV + penimbal
Tiada backend tertentu diperlukan
Backend yang diperlukan bagi setiap calon
0
Calon yang sah
Tiada calon dengan harga
Harga terendah setiap GiB VRAM (mengikut mata wang)
Tiada calon dengan harga
Perbandingan mata wang
0
Calon tanpa harga
Tiada ukuran yang setanding
Kumpulan ukuran (kedudukan hanya dalam kumpulan)
0
Ukuran tanpa kedudukan (syarat tidak lengkap)
0
Calon tanpa ukuran (kekal tidak diketahui)
Tidak dinyatakan
Pengiraan kos elektrik setahun
Tiada
Baris calon tidak sah
Tiada
Baris ukuran tidak sah
Tiada CSV ditampal
Pemisah CSV yang dikesan
Hanya nilai dan sumber anda, tiada jadual GPU terbina
Asal data teknikal
Tidak dinyatakan
Pasaran
Tidak dinyatakan
Harga setakat
✓ muat atau menurut sumber · ~ menurut data tanpa sumber · ✗ tidak muat atau tidak disokong · ? tidak diketahui · ≠ syarat tidak lengkap, tiada kedudukan · ≥ penghantaran tidak diketahui, nilai minimum
Simbol dalam jadual
line;name;vram_gib;fit;bandwidth_gb_s;backends;power_w;price_total;currency;shipping_unknown;price_per_gib;rank_in_currency;source line;gpu;tokens_per_s;metric;model;quant;context;backend;group;rank_in_group;source
Laporan CSV untuk disalin (koma bertitik, titik perpuluhan)

Perbandingan calon GPU

Perbandingan calon GPU
BarisGPUVRAMMuatLebar jalur (lembaran data)BackendBackend diperlukanKuasa (lembaran data)Elektrik setahunHarga keseluruhanHarga setiap GiB VRAM (kedudukan mengikut mata wang)Harga setiap GB/sUkuran (diukur, kumpulan kedudukan/bilangan)Sumber
Adakah fail saya dimuat naik?

Tidak. Semuanya berjalan dalam pelayar anda - fail anda tidak pernah meninggalkan peranti. Bagaimana ini boleh disahkan

Tiada muat naik100% setempat
Kandungan kekal milik andatiada capaian pihak ketiga
Dihoskan di JermanPenghantaran global
Diaudit bebasTLS A+ · HTTP header A+

Untuk AI tempatan, perkara pertama ialah memori grafik (VRAM, memori video) GPU (pemproses grafik): model mesti muat bersama pemberatnya, cache KV (menyimpan kunci dan nilai attention) dan penimbal masa jalan. Semakan ini menggunakan pengiraan yang sama dengan alat untuk model bahasa tempatan: 8 bilion parameter pada 4.5 bit bersamaan 4.19 GiB pemberat; 32 lapisan dengan 8 kepala KV, dimensi kepala 128 dan konteks 8192 token dalam FP16 memberi 1.00 GiB cache KV, dan bersama penimbal 1 GiB jumlahnya 6.19 GiB. Jika ada bahagian yang tiada, keperluan dipaparkan dengan «≥» dan kad hanya dianggap terlalu kecil apabila bahagian yang diketahui pun sudah tidak muat.

Nilai lembaran data dan ukuran diasingkan. VRAM, lebar jalur memori dalam GB/s dan kuasa dalam watt ialah nilai teori; token sesaat (tok/s) hanya datang daripada ukuran yang anda masukkan, bersama jenis (tg = penjanaan teks, pp = pemprosesan prompt), model, pengkuantuman, konteks dan backend. Kedudukan hanya dibuat dalam kumpulan dengan syarat yang betul-betul sama: 40 dan 55 tok/s dengan model yang sama, Q4_K_M, 8192 token dan Vulkan membentuk G1, manakala ukuran dengan CUDA berada dalam kumpulan sendiri. Kelajuan tidak pernah dianggarkan daripada lebar jalur.

Harga hanya mempengaruhi angka yang boleh dikira: harga setiap GiB VRAM dengan kedudukan mengikut mata wang, harga setiap GB/s dan, bagi ukuran berkedudukan, harga setiap tok/s. Contoh: 16 GB berharga 450 EUR bersamaan 28.13 EUR setiap GiB, 24 GB berharga 900 EUR bersamaan 37.50 EUR setiap GiB. Mata wang tidak pernah dicampur dan kos penghantaran yang tidak diketahui menjadikan nilai itu nilai minimum. Backend seperti CUDA, ROCm, Vulkan, Metal atau SYCL ialah antara muka pengaturcaraan yang digunakan perisian AI untuk memanfaatkan GPU; maklumat bersumber dianggap berdokumen, tanpa sumber dianggap belum disahkan, dan backend yang tidak disebut kekal tidak diketahui.

Percuma dan tanpa akaun: kira sekerap yang anda mahu, input anda kekal pada peranti anda.

Data teknikal

Data teknikal
Format inputInput borang (tiada fail)
PemprosesanSetempat dalam pelayar (JavaScript)
Muat naik failTiada

Dalam 3 langkah

  1. Tampal calon GPU dengan VRAM, lebar jalur, backend, kuasa, harga dan sumber sebagai CSV.
  2. Masukkan beban kerja: parameter, bit setiap pemberat, konteks, nilai kad model dan penimbal, serta backend yang diperlukan.
  3. Tambah ukuran sendiri atau berdokumen dengan jenis, model, pengkuantuman, konteks dan backend.
  4. Bandingkan kemuatan, profil backend, harga setiap GiB dan kumpulan ukuran dalam jadual, kemudian salin laporan sebagai CSV.

Batasan: Panduan ini tidak mengenali produk dan tidak memberi cadangan pembelian atau jaminan: ia hanya mengira dengan nilai anda. Tiada ramalan tok/s, peratusan kesesakan atau skor keseluruhan. Semakan muat sah untuk satu GPU tanpa pemindahan ke memori sistem; pemacu, penyejukan, bunyi, saiz dan bekalan kuasa tidak disemak. Harga mengikut masa input anda, tanpa kadar pertukaran.

Soalan lazim

Mengapa alat ini tidak menganggar token sesaat daripada lebar jalur?

Kerana kelajuan sebenar bergantung pada model, pengkuantuman, konteks, backend, pemacu dan perisian. Ramalan daripada lembaran data akan nampak tepat tetapi sebenarnya rekaan. Oleh itu jadual hanya memaparkan nilai yang diukur bersama syaratnya; jika tiada ukuran, ia menunjukkan «?».

Mengapa sesetengah ukuran tidak mendapat kedudukan?

Kedudukan hanya wujud antara ukuran dengan jenis, model, pengkuantuman, konteks dan backend yang sama. Jika salah satu maklumat ini tiada, jadual memaparkan «≠» sebagai ganti kedudukan dan ukuran itu dikira tanpa kedudukan. Syarat yang berbeza diletakkan dalam kumpulan berasingan.

Apakah maksud ✓, ~, ✗ dan ? dalam jadual?

Bagi kemuatan, ✓ bermaksud muat mengikut pengiraan, ✗ tidak muat dan ? belum disahkan. Bagi backend, ✓ bermaksud disokong menurut sumber, ~ dinyatakan tanpa sumber, ✗ dinyatakan tidak disokong (entri bertanda tolak, contohnya -CUDA) dan ? tidak diketahui. Backend yang tidak disebut tidak pernah dikira sebagai «tidak».

Mengapa VRAM «16 GB» dikira sebagai 16 GiB?

Memori grafik disusun dalam saiz binari tetapi biasanya dilabel «GB», sama seperti RAM. Oleh itu suis membaca nilai sedemikian sebagai GiB (2³⁰ bait). Matikan jika sumber anda benar-benar bermaksud gigabait perpuluhan; jadual kemudian memaparkan nilai yang ditukar kepada GiB.

Adakah GPU untuk AI tempatan percuma dan boleh digunakan tanpa akaun?

Ya. Penggunaannya percuma dan tidak memerlukan akaun: anda boleh mengira sekerap yang anda mahu, dan input anda kekal pada peranti anda.

Alat berkaitan

Pengira VRAM LLM · Harga RAM, SSD per GB · AI tempatan atau awan · Perancang naik taraf PC · Kos tenaga