Mzigo wa kazi haujakamilika: weka vigezo na biti kwa kila uzito
Jumla ya kumbukumbu inayohitajika
Mzigo wa kazi haujakamilika: weka vigezo na biti kwa kila uzito
Hesabu: uzito + akiba ya KV + nafasi ya ziada
Hakuna backend maalum inayohitajika
Backend inayohitajika kwa kila mgombea
0
Wagombea halali
Hakuna mgombea mwenye bei
Bei ya chini kwa kila GiB ya VRAM (kwa sarafu)
Hakuna mgombea mwenye bei
Ulinganisho wa sarafu
0
Wagombea bila bei
Hakuna vipimo vinavyolinganishwa
Makundi ya vipimo (nafasi ndani ya kundi tu)
0
Vipimo bila nafasi (masharti hayajakamilika)
0
Wagombea bila kipimo (kinabaki hakijulikani)
Haijatajwa
Hesabu ya gharama ya umeme kwa mwaka
Hakuna
Mistari ya wagombea isiyo halali
Hakuna
Mistari ya vipimo isiyo halali
Hakuna CSV iliyobandikwa
Kitenganishi cha CSV kilichotambuliwa
Thamani na vyanzo vyako tu, bila jedwali la GPU lililojengwa ndani
Asili ya data za kiufundi
Haijatajwa
Soko
Haijatajwa
Bei kufikia
✓ inatosha au kwa mujibu wa chanzo · ~ kwa mujibu wa taarifa bila chanzo · ✗ haitoshi au haitumiki · ? haijulikani · ≠ masharti hayajakamilika, bila nafasi · ≥ usafirishaji haujulikani, kiwango cha chini
Hakuna uchakataji wa maudhui ya faili yako unaofanyika kwenye seva yoyote. Huhitaji mkataba wa uchakataji wa data na gottrix ili kushughulikia nyaraka za siri au za kibiashara.
Imepangishwa UjerumaniUsambazaji duniani kote
Seva za asili ziko Hetzner nchini Ujerumani, zikiwasilishwa duniani kote kupitia mtandao wa usambazaji maudhui (CDN). Maudhui ya faili yako hayatumwi kamwe katika mchakato huu - hayaachi kifaa chako.
Kwa AI ya ndani, kinachoamua kwanza ni kumbukumbu ya michoro (VRAM, kumbukumbu ya video) ya GPU (kichakataji cha michoro): modeli lazima itoshe pamoja na uzito wake, akiba ya KV (huhifadhi funguo na thamani za attention) na nafasi ya ziada ya kuendesha. Ukaguzi unatumia hesabu ileile ya zana ya modeli za lugha za ndani: vigezo bilioni 8 kwa biti 4.5 ni uzito wa 4.19 GiB; tabaka 32 zenye vichwa 8 vya KV, kipimo cha kichwa 128 na muktadha wa tokeni 8192 katika FP16 hutoa akiba ya KV ya 1.00 GiB, na pamoja na nafasi ya 1 GiB jumla ni 6.19 GiB. Sehemu ikikosekana, mahitaji huonyeshwa na «≥» na kadi huonekana ndogo tu pale sehemu zinazojulikana zenyewe hazitoshi.
Thamani za karatasi ya data na vipimo vinatenganishwa. VRAM, kipimo data cha kumbukumbu kwa GB/s na nguvu kwa wati ni thamani za kinadharia; tokeni kwa sekunde (tok/s) zinatoka tu kwenye vipimo unavyoweka, pamoja na aina ya kipimo (tg = kuzalisha maandishi, pp = kuchakata prompt), modeli, ukadiriaji, muktadha na backend. Nafasi hupangwa ndani ya kundi lenye masharti yanayofanana kabisa tu: 40 na 55 tok/s kwa modeli ileile, Q4_K_M, tokeni 8192 na Vulkan huunda G1, na kipimo kwa CUDA kiko kwenye kundi lake. Kasi haikadiriwi kamwe kutokana na kipimo data.
Bei huathiri tu takwimu zinazoweza kuhesabiwa: bei kwa GiB ya VRAM pamoja na nafasi kwa kila sarafu, bei kwa GB/s na, kwa vipimo vyenye nafasi, bei kwa tok/s. Mfano: GB 16 kwa EUR 450 ni EUR 28.13 kwa GiB, GB 24 kwa EUR 900 ni EUR 37.50 kwa GiB. Sarafu hazichanganywi kamwe, na gharama ya usafirishaji isiyojulikana hufanya thamani kuwa kiwango cha chini. Backend kama CUDA, ROCm, Vulkan, Metal au SYCL ni violesura vya programu ambavyo programu za AI hutumia GPU kupitia; taarifa yenye chanzo inahesabiwa kuwa na ushahidi, bila chanzo haijathibitishwa, na backend isiyotajwa inabaki haijulikani.
Bure na bila akaunti: kokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.
Maelezo ya kiufundi
Maelezo ya kiufundi
Miundo ya ingizo
Maingizo ya fomu (bila faili)
Uchakataji
Ndani ya kivinjari (JavaScript)
Upakiaji wa faili
Hakuna
Katika hatua 3
Bandika wagombea wa GPU pamoja na VRAM, kipimo data, backend, nguvu, bei na chanzo kama CSV.
Weka mzigo wa kazi: vigezo, biti kwa uzito, muktadha, thamani za kadi ya modeli na nafasi ya ziada, pamoja na backend unayohitaji.
Ongeza vipimo vyako au vyenye ushahidi pamoja na aina, modeli, ukadiriaji, muktadha na backend.
Linganisha kutosha, wasifu wa backend, bei kwa GiB na makundi ya vipimo kwenye jedwali, kisha nakili ripoti kama CSV.
Mipaka: Mwongozo hautambui bidhaa yoyote na hautoi pendekezo la kununua wala dhamana: unahesabu kwa thamani zako tu. Hakuna utabiri wa tok/s, asilimia za kikwazo wala alama ya jumla. Ukaguzi wa kutosha ni kwa GPU moja bila kuhamishia kwenye kumbukumbu ya mfumo; madereva, upoaji, kelele, ukubwa na chanzo cha umeme havikaguliwi. Bei ni kama ulivyoziweka, bila viwango vya ubadilishaji.
Maswali yanayoulizwa mara kwa mara
Kwa nini zana haikadirii tokeni kwa sekunde kutokana na kipimo data?
Kwa sababu kasi halisi inategemea modeli, ukadiriaji, muktadha, backend, dereva na programu. Utabiri kutoka karatasi ya data ungeonekana sahihi lakini ungekuwa wa kubuni. Ndiyo maana jedwali linaonyesha thamani zilizopimwa pamoja na masharti yake tu; kipimo kikikosekana, panaonyeshwa «?».
Kwa nini baadhi ya vipimo havipati nafasi?
Nafasi ipo tu kati ya vipimo vyenye aina, modeli, ukadiriaji, muktadha na backend sawa. Taarifa mojawapo ikikosekana, jedwali linaonyesha «≠» badala ya nafasi na kipimo kinahesabiwa bila nafasi. Masharti tofauti huwekwa kwenye makundi tofauti.
✓, ~, ✗ na ? zina maana gani kwenye jedwali?
Kwa kutosha, ✓ ina maana inatosha kwa hesabu, ✗ haitoshi na ? haijathibitishwa. Kwa backend, ✓ ina maana inatumika kwa mujibu wa chanzo, ~ imetajwa bila chanzo, ✗ imetajwa kuwa haitumiki (ingizo lenye alama ya kutoa, kama -CUDA) na ? haijulikani. Backend isiyotajwa haihesabiwi kamwe kuwa «hapana».
Kwa nini VRAM ya «16 GB» inahesabiwa kama 16 GiB?
Kumbukumbu ya michoro imepangwa kwa ukubwa wa mfumo wa jozi lakini kwa kawaida huandikwa «GB», sawa na RAM. Kwa hiyo swichi husoma thamani hizo kama GiB (baiti 2³⁰). Izime ikiwa chanzo chako kinamaanisha kweli gigabaiti za desimali; jedwali kisha huonyesha thamani iliyobadilishwa kuwa GiB.
Je, GPU kwa AI ya ndani ni bure na inatumika bila akaunti?
Ndiyo. Matumizi ni bure na hayahitaji akaunti: unaweza kukokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.
Tunapima matumizi bila kukutambua kupitia vidakuzi ili kuboresha gottrix kwa idhini yako pekee. Faili zako hubaki kila wakati ndani ya kifaa chako. Faragha