sw

GPU kwa AI ya ndani

Linganisha kadi za michoro kwa AI ya ndani kwa VRAM, kipimo data, backend, nguvu na bei kwa GiB. Vipimo vinahesabiwa tu kwa masharti sawa.

Kikokotoo hiki hutoa makadirio yasiyofunga yanayotegemea muundo na si ushauri wa kifedha, kodi wala kisheria. Zaidi katika kanusho
  • Bangladeshi
  • Brazili
  • Bulgaria
  • Eneo la Euro
  • India
  • Indonesia
  • Italia
  • Japani
  • Kenya
  • Korea Kusini
  • Malesia
  • Marekani
  • Meksiko
  • Misri
  • Nigeria
  • Pakistani
  • Polandi
  • Tailandi
  • Taiwani
  • Uchina
  • Ufaransa
  • Uhispania
  • Uholanzi
  • Uingereza
  • Ujerumani
  • Ukraini
  • Ureno
  • Urusi
  • Uswidi
  • Uturuki
  • Vietinamu
Wagombea wa GPU kama CSV: jina; VRAM; kipimo data GB/s; backend; nguvu W; bei; sarafu; usafirishaji; chanzo
Vipimo kama CSV: jina la GPU; tokeni/s; aina tg/pp; modeli; ukadiriaji; muktadha; backend; chanzo
Backend inayohitajika na programu yako
  • Hakuna maalum
  • CUDA
  • ROCm
  • Vulkan
  • Metal
  • SYCL
Mzigo wa kazi: jumla ya vigezo vya modeli (bilioni)
Mzigo wa kazi: biti kwa uzito (ukadiriaji, mf. 4.5)
Mzigo wa kazi: muktadha kwa tokeni
Mzigo wa kazi: tabaka zenye akiba ya KV (kadi ya modeli)
Mzigo wa kazi: vichwa vya KV (kadi ya modeli)
Mzigo wa kazi: kipimo kwa kila kichwa (kadi ya modeli)
Mzigo wa kazi: biti kwa kila kipengele cha KV
  • 16 (FP16/BF16)
  • 8
  • 4
Nafasi ya kuendesha na akiba kwa kila GPU (GiB, dhana)
Soma VRAM ya GB kama GiB (uandishi wa kawaida)
Sarafu (mistari bila sarafu na bei ya umeme)
  • ¤
  • USD
  • EUR
  • GBP
  • JPY
  • CHF
  • CAD
  • AUD
  • CNY
  • INR
  • KRW
  • BRL
  • MXN
  • SEK
  • PLN
  • TRY
  • SGD
Alama ya desimali kwenye CSV
  • Tambua kiotomatiki
  • Koma (12,50)
  • Nukta (12.50)
Bei ya umeme kwa kWh (tupu = hakuna gharama ya umeme)
Saa za kazi nzito kwa siku
Soko au nchi ya muuzaji (maandishi huru)
Tarehe ya bei, mf. siku (maandishi huru)

Matokeo

Bado hakuna wagombea halali
Inatosha kwenye VRAM (✓ inatosha · ✗ haitoshi · ? haijathibitishwa)
Mzigo wa kazi haujakamilika: weka vigezo na biti kwa kila uzito
Jumla ya kumbukumbu inayohitajika
Mzigo wa kazi haujakamilika: weka vigezo na biti kwa kila uzito
Hesabu: uzito + akiba ya KV + nafasi ya ziada
Hakuna backend maalum inayohitajika
Backend inayohitajika kwa kila mgombea
0
Wagombea halali
Hakuna mgombea mwenye bei
Bei ya chini kwa kila GiB ya VRAM (kwa sarafu)
Hakuna mgombea mwenye bei
Ulinganisho wa sarafu
0
Wagombea bila bei
Hakuna vipimo vinavyolinganishwa
Makundi ya vipimo (nafasi ndani ya kundi tu)
0
Vipimo bila nafasi (masharti hayajakamilika)
0
Wagombea bila kipimo (kinabaki hakijulikani)
Haijatajwa
Hesabu ya gharama ya umeme kwa mwaka
Hakuna
Mistari ya wagombea isiyo halali
Hakuna
Mistari ya vipimo isiyo halali
Hakuna CSV iliyobandikwa
Kitenganishi cha CSV kilichotambuliwa
Thamani na vyanzo vyako tu, bila jedwali la GPU lililojengwa ndani
Asili ya data za kiufundi
Haijatajwa
Soko
Haijatajwa
Bei kufikia
✓ inatosha au kwa mujibu wa chanzo · ~ kwa mujibu wa taarifa bila chanzo · ✗ haitoshi au haitumiki · ? haijulikani · ≠ masharti hayajakamilika, bila nafasi · ≥ usafirishaji haujulikani, kiwango cha chini
Alama kwenye jedwali
line;name;vram_gib;fit;bandwidth_gb_s;backends;power_w;price_total;currency;shipping_unknown;price_per_gib;rank_in_currency;source line;gpu;tokens_per_s;metric;model;quant;context;backend;group;rank_in_group;source
Ripoti ya CSV ya kunakili (nukta-mkato, nukta ya desimali)

Ulinganisho wa wagombea wa GPU

Ulinganisho wa wagombea wa GPU
MstariGPUVRAMInatoshaKipimo data (karatasi ya data)BackendBackend inayohitajikaNguvu (karatasi ya data)Umeme kwa mwakaBei jumlaBei kwa kila GiB ya VRAM (nafasi kwa sarafu)Bei kwa kila GB/sKipimo (kilichopimwa, kundi nafasi/idadi)Chanzo
Je, faili yangu hupakiwa?

Hapana. Kila kitu hufanyika kwenye kivinjari chako - faili yako haitoki kamwe kwenye kifaa chako. Jinsi hili linavyoweza kuthibitishwa

Hakuna kupakia100% kwa kifaa chako
Maudhui hubaki kwakohakuna ufikiaji wa wengine
Imepangishwa UjerumaniUsambazaji duniani kote
Imekaguliwa kwa njeTLS A+ · Vichwa vya HTTP A+

Kwa AI ya ndani, kinachoamua kwanza ni kumbukumbu ya michoro (VRAM, kumbukumbu ya video) ya GPU (kichakataji cha michoro): modeli lazima itoshe pamoja na uzito wake, akiba ya KV (huhifadhi funguo na thamani za attention) na nafasi ya ziada ya kuendesha. Ukaguzi unatumia hesabu ileile ya zana ya modeli za lugha za ndani: vigezo bilioni 8 kwa biti 4.5 ni uzito wa 4.19 GiB; tabaka 32 zenye vichwa 8 vya KV, kipimo cha kichwa 128 na muktadha wa tokeni 8192 katika FP16 hutoa akiba ya KV ya 1.00 GiB, na pamoja na nafasi ya 1 GiB jumla ni 6.19 GiB. Sehemu ikikosekana, mahitaji huonyeshwa na «≥» na kadi huonekana ndogo tu pale sehemu zinazojulikana zenyewe hazitoshi.

Thamani za karatasi ya data na vipimo vinatenganishwa. VRAM, kipimo data cha kumbukumbu kwa GB/s na nguvu kwa wati ni thamani za kinadharia; tokeni kwa sekunde (tok/s) zinatoka tu kwenye vipimo unavyoweka, pamoja na aina ya kipimo (tg = kuzalisha maandishi, pp = kuchakata prompt), modeli, ukadiriaji, muktadha na backend. Nafasi hupangwa ndani ya kundi lenye masharti yanayofanana kabisa tu: 40 na 55 tok/s kwa modeli ileile, Q4_K_M, tokeni 8192 na Vulkan huunda G1, na kipimo kwa CUDA kiko kwenye kundi lake. Kasi haikadiriwi kamwe kutokana na kipimo data.

Bei huathiri tu takwimu zinazoweza kuhesabiwa: bei kwa GiB ya VRAM pamoja na nafasi kwa kila sarafu, bei kwa GB/s na, kwa vipimo vyenye nafasi, bei kwa tok/s. Mfano: GB 16 kwa EUR 450 ni EUR 28.13 kwa GiB, GB 24 kwa EUR 900 ni EUR 37.50 kwa GiB. Sarafu hazichanganywi kamwe, na gharama ya usafirishaji isiyojulikana hufanya thamani kuwa kiwango cha chini. Backend kama CUDA, ROCm, Vulkan, Metal au SYCL ni violesura vya programu ambavyo programu za AI hutumia GPU kupitia; taarifa yenye chanzo inahesabiwa kuwa na ushahidi, bila chanzo haijathibitishwa, na backend isiyotajwa inabaki haijulikani.

Bure na bila akaunti: kokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.

Maelezo ya kiufundi

Maelezo ya kiufundi
Miundo ya ingizoMaingizo ya fomu (bila faili)
UchakatajiNdani ya kivinjari (JavaScript)
Upakiaji wa failiHakuna

Katika hatua 3

  1. Bandika wagombea wa GPU pamoja na VRAM, kipimo data, backend, nguvu, bei na chanzo kama CSV.
  2. Weka mzigo wa kazi: vigezo, biti kwa uzito, muktadha, thamani za kadi ya modeli na nafasi ya ziada, pamoja na backend unayohitaji.
  3. Ongeza vipimo vyako au vyenye ushahidi pamoja na aina, modeli, ukadiriaji, muktadha na backend.
  4. Linganisha kutosha, wasifu wa backend, bei kwa GiB na makundi ya vipimo kwenye jedwali, kisha nakili ripoti kama CSV.

Mipaka: Mwongozo hautambui bidhaa yoyote na hautoi pendekezo la kununua wala dhamana: unahesabu kwa thamani zako tu. Hakuna utabiri wa tok/s, asilimia za kikwazo wala alama ya jumla. Ukaguzi wa kutosha ni kwa GPU moja bila kuhamishia kwenye kumbukumbu ya mfumo; madereva, upoaji, kelele, ukubwa na chanzo cha umeme havikaguliwi. Bei ni kama ulivyoziweka, bila viwango vya ubadilishaji.

Maswali yanayoulizwa mara kwa mara

Kwa nini zana haikadirii tokeni kwa sekunde kutokana na kipimo data?

Kwa sababu kasi halisi inategemea modeli, ukadiriaji, muktadha, backend, dereva na programu. Utabiri kutoka karatasi ya data ungeonekana sahihi lakini ungekuwa wa kubuni. Ndiyo maana jedwali linaonyesha thamani zilizopimwa pamoja na masharti yake tu; kipimo kikikosekana, panaonyeshwa «?».

Kwa nini baadhi ya vipimo havipati nafasi?

Nafasi ipo tu kati ya vipimo vyenye aina, modeli, ukadiriaji, muktadha na backend sawa. Taarifa mojawapo ikikosekana, jedwali linaonyesha «≠» badala ya nafasi na kipimo kinahesabiwa bila nafasi. Masharti tofauti huwekwa kwenye makundi tofauti.

✓, ~, ✗ na ? zina maana gani kwenye jedwali?

Kwa kutosha, ✓ ina maana inatosha kwa hesabu, ✗ haitoshi na ? haijathibitishwa. Kwa backend, ✓ ina maana inatumika kwa mujibu wa chanzo, ~ imetajwa bila chanzo, ✗ imetajwa kuwa haitumiki (ingizo lenye alama ya kutoa, kama -CUDA) na ? haijulikani. Backend isiyotajwa haihesabiwi kamwe kuwa «hapana».

Kwa nini VRAM ya «16 GB» inahesabiwa kama 16 GiB?

Kumbukumbu ya michoro imepangwa kwa ukubwa wa mfumo wa jozi lakini kwa kawaida huandikwa «GB», sawa na RAM. Kwa hiyo swichi husoma thamani hizo kama GiB (baiti 2³⁰). Izime ikiwa chanzo chako kinamaanisha kweli gigabaiti za desimali; jedwali kisha huonyesha thamani iliyobadilishwa kuwa GiB.

Je, GPU kwa AI ya ndani ni bure na inatumika bila akaunti?

Ndiyo. Matumizi ni bure na hayahitaji akaunti: unaweza kukokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.

Zana zinazohusiana

Kikokotoo VRAM ya AI · Bei ya RAM, SSD kwa GB · AI ya ndani au wingu · Mpango wa kuboresha PC · Gharama ya nishati