Hakuna uchakataji wa maudhui ya faili yako unaofanyika kwenye seva yoyote. Huhitaji mkataba wa uchakataji wa data na gottrix ili kushughulikia nyaraka za siri au za kibiashara.
Imepangishwa UjerumaniUsambazaji duniani kote
Seva za asili ziko Hetzner nchini Ujerumani, zikiwasilishwa duniani kote kupitia mtandao wa usambazaji maudhui (CDN). Maudhui ya faili yako hayatumwi kamwe katika mchakato huu - hayaachi kifaa chako.
Kama modeli ya lugha inaweza kuendeshwa ndani ya kompyuta yako huamuliwa kwanza na kumbukumbu. Kikokotoo hiki hugawa mahitaji katika sehemu tofauti: uzito wa modeli (idadi ya vigezo mara biti kwa kila uzito, gawanya kwa 8), kache ya KV kwa muktadha unaotumia, bafa ya utekelezaji na kutokuwa na uhakika kunakoonekana. Vigezo bilioni saba kwa biti 4 hutoa GB 3,5 za uzito mtupu kabla ya ziada yoyote. Kila ukubwa huonyeshwa mara mbili: kwa GB (baiti 10⁹) na kwa GiB (baiti 2³⁰), kwa sababu kadi za michoro na RAM huhesabiwa kwa mfumo wa binari, ilhali faili za modeli mara nyingi huandikwa kwa desimali.
Kache ya KV hukua kwa mstari pamoja na muktadha na hufuata usanifu wa modeli: mbili (funguo na thamani) mara tabaka mara vichwa vya KV mara kipimo cha kichwa mara tokeni mara baiti kwa kila kipengele. Modeli zenye grouped-query attention zina vichwa vichache vya KV kuliko vichwa vya hoja, hivyo zinahitaji kache ndogo zaidi. Kwa modeli za mixture-of-experts, kinachohesabiwa kwa kumbukumbu ni jumla ya vigezo, kwa sababu wataalamu wote lazima wapakiwe; vigezo vinavyotumika kwa kila tokeni huamua tu kazi ya ukokotoaji. Jedwali linaonyesha modeli ileile katika viwango vingine vya ukadiriaji, pamoja na muktadha mkubwa zaidi na idadi kubwa zaidi ya biti zinazotosha kikamilifu.
Kadi kadhaa za michoro hujumlishwa tu ikiwa runtime yako kweli inagawa tabaka kati yake; bila mgawanyo unaoungwa mkono, kadi mbili za GiB 8 kila moja si kadi moja ya GiB 16. Kisichotosha kwenye kumbukumbu ya GPU kinaweza kuhamishiwa kwenye RAM ya mfumo; matokeo yanataja sehemu hiyo, lakini hayasemi lolote kuhusu kasi. Hakuna wasifu wa modeli uliojengwa ndani: thamani zilizowekwa awali ni mfano unaoweza kuhaririwa, si modeli mahususi. Weka taarifa kutoka kadi ya modeli; kila kitu hukokotolewa kwenye kivinjari na hakihifadhiwi popote.
Bure na bila akaunti: kokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.
Maelezo ya kiufundi
Maelezo ya kiufundi
Miundo ya ingizo
Maingizo ya fomu (bila faili)
Uchakataji
Ndani ya kivinjari (JavaScript)
Upakiaji wa faili
Hakuna
Katika hatua 3
Weka aina ya kumbukumbu, VRAM kwa kila GPU, idadi na mgawanyo wa GPU, pamoja na RAM na akiba.
Weka thamani kutoka kadi ya modeli: vigezo, biti kwa kila uzito, tabaka, vichwa vya KV, kipimo cha kichwa na muktadha.
Soma matokeo, mgawanyo wa uzito, kache ya KV na bafa, uhamishaji na njia mbadala za ukadiriaji.
Mipaka: Kumbukumbu kutosha si ahadi ya kasi, ya kuungwa mkono na runtime wala ya viendeshi. Bafa ya utekelezaji na akiba ni makisio; runtime huhitaji zaidi au kidogo kulingana na toleo, ukubwa wa kundi na backend. Fomula ya KV inahusu attention ya kawaida yenye GQA/MQA; usanifu wa sliding-window, MLA au mseto unaweza kuhitaji kache ndogo zaidi sana. Hakuna data ya modeli wala ya vifaa iliyojengwa ndani.
Maswali yanayoulizwa mara kwa mara
Uzito wa modeli unahitaji kumbukumbu kiasi gani?
Vigezo mara biti kwa kila uzito, gawanya kwa 8. Vigezo bilioni saba kwa biti 4 ni GB 3,5, takriban GiB 3,26, kabla ya kuongeza kache ya KV na bafa. Miundo ya ukadiriaji yenye vipimo huwa juu kidogo ya idadi yake rasmi ya biti; hapo weka biti halisi (ukubwa wa faili kwa baiti mara 8, gawanya kwa idadi ya vigezo).
Kwa nini kikokotoo kinaonyesha GB na GiB?
GB moja ni baiti 10⁹, GiB moja ni baiti 2³⁰, yaani takriban asilimia 7 zaidi. Kadi za michoro na RAM huhesabiwa kwa binari hata kama kisanduku kinasema GB; faili za modeli mara nyingi huandikwa kwa desimali. Thamani zote mbili huonyeshwa kando ili zisichanganyike bila kugundua.
Je, kadi mbili za michoro za GB 8 ni sawa na moja ya GB 16?
Tu ikiwa runtime yako inagawa tabaka kwenye kadi zote mbili. Bila mgawanyo unaoungwa mkono, modeli lazima itoshe kwenye kadi moja, na kikokotoo huhesabu kumbukumbu ya kadi hiyo tu. Hata kukiwa na mgawanyo, kila kadi inahitaji akiba yake.
Kikokotoo hushughulikiaje modeli za mixture-of-experts?
Kwa kumbukumbu hutumia jumla ya vigezo, kwa sababu wataalamu wote lazima wapakiwe. Vigezo vinavyotumika kwa kila tokeni huonyeshwa tu; vinaathiri ukokotoaji, si nafasi inayohitajika.
Je, "inatosha" inamaanisha modeli itakuwa na kasi?
Hapana. Kikokotoo hukagua kumbukumbu tu. Kasi ya majibu ya modeli hutegemea upana wa kumbukumbu, nguvu ya ukokotoaji, runtime na uhamishaji. Sehemu iliyo kwenye RAM ya mfumo kwa kawaida hupunguza kasi ya matokeo kwa kiasi kikubwa.
Je, Kikokotoo VRAM ya AI ni bure na inatumika bila akaunti?
Ndiyo. Matumizi ni bure na hayahitaji akaunti: unaweza kukokotoa mara nyingi kadiri unavyotaka, na unachoingiza kinabaki kwenye kifaa chako.
Tunapima matumizi bila kukutambua kupitia vidakuzi ili kuboresha gottrix kwa idhini yako pekee. Faili zako hubaki kila wakati ndani ya kifaa chako. Faragha