sw

Kikokotoo VRAM ya AI

Kagua kama modeli ya lugha ya ndani inatosha kwenye VRAM na RAM yako: uzito, kache ya KV, bafa na uhamishaji kando, kwa GB na GiB, ndani bila kupakia.

Kikokotoo hiki hutoa makadirio yasiyofunga yanayotegemea muundo na si ushauri wa kifedha, kodi wala kisheria. Zaidi katika kanusho
  • Bangladeshi
  • Brazili
  • Bulgaria
  • Eneo la Euro
  • India
  • Indonesia
  • Italia
  • Japani
  • Kenya
  • Korea Kusini
  • Malesia
  • Marekani
  • Meksiko
  • Misri
  • Nigeria
  • Pakistani
  • Polandi
  • Tailandi
  • Taiwani
  • Uchina
  • Ufaransa
  • Uhispania
  • Uholanzi
  • Uingereza
  • Ujerumani
  • Ukraini
  • Ureno
  • Urusi
  • Uswidi
  • Uturuki
  • Vietinamu
Aina ya kumbukumbu
  • Kadi ya michoro yenye VRAM yake
  • Kumbukumbu ya pamoja (unified memory)
  • CPU tu, bila GPU
Idadi ya GPU
VRAM kwa kila GPU (GiB)
Mgawanyo kwenye GPU kadhaa
  • Hakuna: modeli lazima itoshe kwenye GPU moja
  • Runtime hugawa tabaka kwenye GPU
Akiba kwa kila GPU kwa skrini na kiendeshi (GiB)
RAM ya mfumo (GiB)
Akiba ya RAM kwa mfumo na programu (GiB)
Mfumo wa uendeshaji (maandishi huru)
Runtime na toleo (maandishi huru)
Modeli na toleo lake (maandishi huru)
Jumla ya vigezo (bilioni, kwa MoE wataalamu wote)
Vigezo vinavyotumika kwa kila tokeni (bilioni, MoE tu)
Biti kwa kila uzito (ukadiriaji, halisi)
Tabaka zenye kache ya KV
Vichwa vya KV (kwa GQA ni vichache kuliko vichwa vya hoja)
Kipimo cha kila kichwa
Muktadha unaotumika (tokeni)
Usahihi wa kache ya KV
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
Maombi sambamba
Bafa ya utekelezaji (GiB, makisio)
Kutokuwa na uhakika (±)
Thamani za mfano ambazo hazijabadilishwa zinalingana na modeli yangu na kompyuta yangu

Matokeo

Hesabu ya mfano tu: badilisha au thibitisha thamani
Je, modeli inatosha?
5.65 GB · 5.26 GiB
Jumla ya kumbukumbu inayohitajika
5.08 GB - 6.21 GB (± 10 %)
Kipindi cha kutokuwa na uhakika
3.50 GB · 3.26 GiB
Uzito
1.07 GB · 1.00 GiB
Kache ya KV
1.07 GB · 1.00 GiB
Bafa ya utekelezaji (makisio)
8.05 GB · 7.50 GiB
Kumbukumbu ya GPU inayotumika
GPU moja
Mgawanyo kwenye GPU
12.88 GB · 12.00 GiB
RAM ya mfumo iliyo wazi
0.00 GB
Uhamishaji kwenda RAM ya mfumo
Hesabu ya mfano tu: badilisha au thibitisha thamani
Muktadha mkubwa zaidi unaotosha kikamilifu (tokeni)
Hesabu ya mfano tu: badilisha au thibitisha thamani
Idadi kubwa zaidi ya biti inayotosha kikamilifu
Haijatajwa (modeli mnene)
Vigezo vinavyotumika kwa kila tokeni (MoE)
7 × 10⁹ × 4 bit ÷ 8
Ukokotoaji wa uzito
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
Ukokotoaji wa kache ya KV
Mfano unaoweza kuhaririwa, si modeli mahususi
Chanzo cha thamani za modeli
Mfano unaoweza kuhaririwa, si kompyuta yako
Chanzo cha thamani za kumbukumbu
Haijatajwa
Wasifu wa modeli
Haijatajwa
Mfumo wa uendeshaji
Haijatajwa
Runtime
Haipatikani
Ulinganisho na wasifu wa modeli wa umma

Matumizi ya kumbukumbu (kikomo cha juu, %)

Hakuna tathminiInatoshaKaribu kujaaImezidi

Modeli ileile katika viwango vingine vya ukadiriaji

Modeli ileile katika viwango vingine vya ukadiriaji
Biti kwa kila uzitoUzitoJumla (kikomo cha juu)Kumbukumbu iliyobaki
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
Je, faili yangu hupakiwa?

Hapana. Kila kitu hufanyika kwenye kivinjari chako - faili yako haitoki kamwe kwenye kifaa chako. Jinsi hili linavyoweza kuthibitishwa

Hakuna kupakia100% kwa kifaa chako
Maudhui hubaki kwakohakuna ufikiaji wa wengine
Imepangishwa UjerumaniUsambazaji duniani kote
Imekaguliwa kwa njeTLS A+ · Vichwa vya HTTP A+

Kama modeli ya lugha inaweza kuendeshwa ndani ya kompyuta yako huamuliwa kwanza na kumbukumbu. Kikokotoo hiki hugawa mahitaji katika sehemu tofauti: uzito wa modeli (idadi ya vigezo mara biti kwa kila uzito, gawanya kwa 8), kache ya KV kwa muktadha unaotumia, bafa ya utekelezaji na kutokuwa na uhakika kunakoonekana. Vigezo bilioni saba kwa biti 4 hutoa GB 3,5 za uzito mtupu kabla ya ziada yoyote. Kila ukubwa huonyeshwa mara mbili: kwa GB (baiti 10⁹) na kwa GiB (baiti 2³⁰), kwa sababu kadi za michoro na RAM huhesabiwa kwa mfumo wa binari, ilhali faili za modeli mara nyingi huandikwa kwa desimali.

Kache ya KV hukua kwa mstari pamoja na muktadha na hufuata usanifu wa modeli: mbili (funguo na thamani) mara tabaka mara vichwa vya KV mara kipimo cha kichwa mara tokeni mara baiti kwa kila kipengele. Modeli zenye grouped-query attention zina vichwa vichache vya KV kuliko vichwa vya hoja, hivyo zinahitaji kache ndogo zaidi. Kwa modeli za mixture-of-experts, kinachohesabiwa kwa kumbukumbu ni jumla ya vigezo, kwa sababu wataalamu wote lazima wapakiwe; vigezo vinavyotumika kwa kila tokeni huamua tu kazi ya ukokotoaji. Jedwali linaonyesha modeli ileile katika viwango vingine vya ukadiriaji, pamoja na muktadha mkubwa zaidi na idadi kubwa zaidi ya biti zinazotosha kikamilifu.

Kadi kadhaa za michoro hujumlishwa tu ikiwa runtime yako kweli inagawa tabaka kati yake; bila mgawanyo unaoungwa mkono, kadi mbili za GiB 8 kila moja si kadi moja ya GiB 16. Kisichotosha kwenye kumbukumbu ya GPU kinaweza kuhamishiwa kwenye RAM ya mfumo; matokeo yanataja sehemu hiyo, lakini hayasemi lolote kuhusu kasi. Hakuna wasifu wa modeli uliojengwa ndani: thamani zilizowekwa awali ni mfano unaoweza kuhaririwa, si modeli mahususi. Weka taarifa kutoka kadi ya modeli; kila kitu hukokotolewa kwenye kivinjari na hakihifadhiwi popote.

Bure na bila akaunti: kokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.

Maelezo ya kiufundi

Maelezo ya kiufundi
Miundo ya ingizoMaingizo ya fomu (bila faili)
UchakatajiNdani ya kivinjari (JavaScript)
Upakiaji wa failiHakuna

Katika hatua 3

  1. Weka aina ya kumbukumbu, VRAM kwa kila GPU, idadi na mgawanyo wa GPU, pamoja na RAM na akiba.
  2. Weka thamani kutoka kadi ya modeli: vigezo, biti kwa kila uzito, tabaka, vichwa vya KV, kipimo cha kichwa na muktadha.
  3. Soma matokeo, mgawanyo wa uzito, kache ya KV na bafa, uhamishaji na njia mbadala za ukadiriaji.

Mipaka: Kumbukumbu kutosha si ahadi ya kasi, ya kuungwa mkono na runtime wala ya viendeshi. Bafa ya utekelezaji na akiba ni makisio; runtime huhitaji zaidi au kidogo kulingana na toleo, ukubwa wa kundi na backend. Fomula ya KV inahusu attention ya kawaida yenye GQA/MQA; usanifu wa sliding-window, MLA au mseto unaweza kuhitaji kache ndogo zaidi sana. Hakuna data ya modeli wala ya vifaa iliyojengwa ndani.

Maswali yanayoulizwa mara kwa mara

Uzito wa modeli unahitaji kumbukumbu kiasi gani?

Vigezo mara biti kwa kila uzito, gawanya kwa 8. Vigezo bilioni saba kwa biti 4 ni GB 3,5, takriban GiB 3,26, kabla ya kuongeza kache ya KV na bafa. Miundo ya ukadiriaji yenye vipimo huwa juu kidogo ya idadi yake rasmi ya biti; hapo weka biti halisi (ukubwa wa faili kwa baiti mara 8, gawanya kwa idadi ya vigezo).

Kwa nini kikokotoo kinaonyesha GB na GiB?

GB moja ni baiti 10⁹, GiB moja ni baiti 2³⁰, yaani takriban asilimia 7 zaidi. Kadi za michoro na RAM huhesabiwa kwa binari hata kama kisanduku kinasema GB; faili za modeli mara nyingi huandikwa kwa desimali. Thamani zote mbili huonyeshwa kando ili zisichanganyike bila kugundua.

Je, kadi mbili za michoro za GB 8 ni sawa na moja ya GB 16?

Tu ikiwa runtime yako inagawa tabaka kwenye kadi zote mbili. Bila mgawanyo unaoungwa mkono, modeli lazima itoshe kwenye kadi moja, na kikokotoo huhesabu kumbukumbu ya kadi hiyo tu. Hata kukiwa na mgawanyo, kila kadi inahitaji akiba yake.

Kikokotoo hushughulikiaje modeli za mixture-of-experts?

Kwa kumbukumbu hutumia jumla ya vigezo, kwa sababu wataalamu wote lazima wapakiwe. Vigezo vinavyotumika kwa kila tokeni huonyeshwa tu; vinaathiri ukokotoaji, si nafasi inayohitajika.

Je, "inatosha" inamaanisha modeli itakuwa na kasi?

Hapana. Kikokotoo hukagua kumbukumbu tu. Kasi ya majibu ya modeli hutegemea upana wa kumbukumbu, nguvu ya ukokotoaji, runtime na uhamishaji. Sehemu iliyo kwenye RAM ya mfumo kwa kawaida hupunguza kasi ya matokeo kwa kiasi kikubwa.

Je, Kikokotoo VRAM ya AI ni bure na inatumika bila akaunti?

Ndiyo. Matumizi ni bure na hayahitaji akaunti: unaweza kukokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.

Zana zinazohusiana

Hesabu ya tokeni za AI · Kibadilishaji cha Data · Gharama ya nishati · Pambanua modeli za AI · Mpango wa kuboresha PC · Bei ya RAM, SSD kwa GB