hi

LLM VRAM कैलकुलेटर

जांचें कि लोकल भाषा मॉडल आपकी VRAM और RAM में आता है या नहीं: वेट, KV कैश, बफ़र और ऑफ़लोड अलग-अलग, GB और GiB में, लोकल रूप से, बिना अपलोड।

यह कैलकुलेटर मॉडल पर आधारित एक गैर-बाध्यकारी अनुमान देता है और यह वित्तीय, कर या कानूनी सलाह नहीं है। अस्वीकरण में और पढ़ें
  • इंडोनेशिया
  • इटली
  • केन्या
  • चीन
  • जर्मनी
  • जापान
  • ताइवान
  • तुर्की
  • थाईलैंड
  • दक्षिण कोरिया
  • नाइजीरिया
  • नीदरलैंड
  • पाकिस्तान
  • पुर्तगाल
  • पोलैंड
  • फ़्रांस
  • बांग्लादेश
  • बुल्गारिया
  • ब्राज़ील
  • भारत
  • मलेशिया
  • मिस्र
  • मेक्सिको
  • यूक्रेन
  • यूनाइटेड किंगडम
  • यूरो क्षेत्र
  • रूस
  • वियतनाम
  • संयुक्त राज्य अमेरिका
  • स्पेन
  • स्वीडन
मेमोरी का प्रकार
  • अपनी VRAM वाला ग्राफ़िक्स कार्ड
  • साझा मेमोरी (यूनिफ़ाइड मेमोरी)
  • केवल CPU, बिना GPU
GPU की संख्या
प्रति GPU VRAM (GiB)
कई GPU में बंटवारा
  • कोई नहीं: मॉडल को एक GPU में आना होगा
  • रनटाइम लेयर को GPU में बांटता है
डिस्प्ले और ड्राइवर के लिए प्रति GPU रिज़र्व (GiB)
सिस्टम RAM (GiB)
सिस्टम और प्रोग्राम के लिए RAM रिज़र्व (GiB)
ऑपरेटिंग सिस्टम (मुक्त पाठ)
रनटाइम और संस्करण (मुक्त पाठ)
मॉडल और रिविज़न (मुक्त पाठ)
कुल पैरामीटर (अरब, MoE में सभी एक्सपर्ट)
प्रति टोकन सक्रिय पैरामीटर (अरब, केवल MoE)
प्रति वेट बिट (क्वांटाइज़ेशन, प्रभावी)
KV कैश वाली लेयर
KV हेड (GQA में क्वेरी हेड से कम)
प्रति हेड डाइमेंशन
इस्तेमाल किया गया कॉन्टेक्स्ट (टोकन)
KV कैश की परिशुद्धता
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
समानांतर अनुरोध
रनटाइम बफ़र (GiB, अनुमान)
अनिश्चितता (±)
बिना बदले उदाहरण मान मेरे मॉडल और मेरे कंप्यूटर पर लागू होते हैं

परिणाम

केवल उदाहरण गणना: मान बदलें या पुष्टि करें
क्या मॉडल फिट होगा?
5.65 GB · 5.26 GiB
कुल ज़रूरी मेमोरी
5.08 GB - 6.21 GB (± 10 %)
अनिश्चितता अंतराल
3.50 GB · 3.26 GiB
वेट
1.07 GB · 1.00 GiB
KV कैश
1.07 GB · 1.00 GiB
रनटाइम बफ़र (अनुमान)
8.05 GB · 7.50 GiB
उपलब्ध GPU मेमोरी
एक GPU
GPU बंटवारा
12.88 GB · 12.00 GiB
खाली सिस्टम RAM
0.00 GB
सिस्टम RAM में ऑफ़लोड
केवल उदाहरण गणना: मान बदलें या पुष्टि करें
पूरी तरह फिट होने वाला सबसे बड़ा कॉन्टेक्स्ट (टोकन)
केवल उदाहरण गणना: मान बदलें या पुष्टि करें
पूरी तरह फिट होने वाली सबसे ऊंची बिट संख्या
नहीं दिया (डेंस मॉडल)
प्रति टोकन सक्रिय पैरामीटर (MoE)
7 × 10⁹ × 4 bit ÷ 8
वेट की गणना
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
KV कैश की गणना
संपादन योग्य उदाहरण, कोई खास मॉडल नहीं
मॉडल के मानों का स्रोत
संपादन योग्य उदाहरण, आपका कंप्यूटर नहीं
मेमोरी मानों का स्रोत
नहीं बताया
मॉडल प्रोफ़ाइल
नहीं बताया
ऑपरेटिंग सिस्टम
नहीं बताया
रनटाइम
उपलब्ध नहीं
सार्वजनिक मॉडल प्रोफ़ाइल से तुलना

मेमोरी उपयोग (ऊपरी सीमा, %)

कोई आकलन नहींसमाता हैलगभग भरासीमा पार

वही मॉडल दूसरे क्वांटाइज़ेशन में

वही मॉडल दूसरे क्वांटाइज़ेशन में
प्रति वेट बिटवेटकुल (ऊपरी सीमा)बची हुई मेमोरी
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
क्या मेरी फ़ाइल अपलोड होती है?

नहीं। सब कुछ आपके ब्राउज़र में चलता है - आपकी फ़ाइल कभी आपके डिवाइस से बाहर नहीं जाती। यह कैसे सत्यापित किया जा सकता है

कोई अपलोड नहीं100% स्थानीय
सामग्री आपके पास रहती हैकिसी तीसरे की पहुँच नहीं
जर्मनी में होस्ट किया गयावैश्विक कंटेंट डिलीवरी
स्वतंत्र रूप से जाँचा गयाTLS A+ · हेडर A+

कोई भाषा मॉडल लोकल रूप से चलेगा या नहीं, यह सबसे पहले मेमोरी तय करती है। यह कैलकुलेटर ज़रूरत को अलग-अलग हिस्सों में बांटता है: वेट (पैरामीटर की संख्या गुणा प्रति वेट बिट, भाग 8), इस्तेमाल किए गए कॉन्टेक्स्ट के लिए KV कैश, रनटाइम बफ़र और दिखाई देने वाली अनिश्चितता। सात अरब पैरामीटर 4 बिट पर किसी भी ओवरहेड से पहले 3.5 GB शुद्ध वेट बनाते हैं। हर आकार दो बार दिखता है: GB (10⁹ बाइट) में और GiB (2³⁰ बाइट) में, क्योंकि ग्राफ़िक्स कार्ड और RAM बाइनरी में गिने जाते हैं, जबकि मॉडल फ़ाइलें अक्सर दशमलव में बताई जाती हैं।

KV कैश कॉन्टेक्स्ट के साथ रैखिक रूप से बढ़ता है और आर्किटेक्चर पर निर्भर करता है: दो (कुंजियां और मान) गुणा लेयर गुणा KV हेड गुणा हेड डाइमेंशन गुणा टोकन गुणा प्रति एलिमेंट बाइट। grouped-query attention वाले मॉडल में क्वेरी हेड से कम KV हेड होते हैं, इसलिए उन्हें कम कैश चाहिए। mixture-of-experts मॉडल में मेमोरी के लिए कुल पैरामीटर गिने जाते हैं, क्योंकि सभी एक्सपर्ट लोड होने चाहिए; प्रति टोकन सक्रिय पैरामीटर केवल गणना का बोझ तय करते हैं। तालिका उसी मॉडल को दूसरे क्वांटाइज़ेशन स्तरों पर दिखाती है, साथ में सबसे बड़ा कॉन्टेक्स्ट और सबसे ऊंची बिट संख्या जो पूरी तरह फिट होती है।

कई ग्राफ़िक्स कार्ड तभी जुड़ते हैं जब आपका रनटाइम सच में लेयर उन कार्डों में बांटता है; समर्थित बंटवारे के बिना 8 GiB के दो कार्ड 16 GiB का एक कार्ड नहीं हैं। जो हिस्सा GPU मेमोरी में नहीं आता, उसे सिस्टम RAM में ऑफ़लोड किया जा सकता है; परिणाम उस हिस्से को बताता है, लेकिन गति के बारे में कुछ नहीं कहता। कोई मॉडल प्रोफ़ाइल अंतर्निहित नहीं है: पहले से भरे मान एक संपादन योग्य उदाहरण हैं, कोई खास मॉडल नहीं। मॉडल कार्ड से जानकारी दर्ज करें; सब कुछ ब्राउज़र में गिना जाता है और कहीं सहेजा नहीं जाता।

मुफ़्त और बिना खाते के: जितनी बार चाहें गणना करें, और आपकी दर्ज की गई जानकारी आपके डिवाइस पर ही रहती है।

तकनीकी विवरण

तकनीकी विवरण
इनपुट फ़ॉर्मैटफ़ॉर्म इनपुट (कोई फ़ाइल नहीं)
प्रोसेसिंगब्राउज़र में स्थानीय रूप से (JavaScript)
फ़ाइल अपलोडकोई नहीं

3 चरणों में

  1. मेमोरी का प्रकार, प्रति GPU VRAM, GPU की संख्या और बंटवारा, साथ में RAM और रिज़र्व दर्ज करें।
  2. मॉडल कार्ड से मान दर्ज करें: पैरामीटर, प्रति वेट बिट, लेयर, KV हेड, हेड डाइमेंशन और कॉन्टेक्स्ट।
  3. परिणाम, वेट, KV कैश और बफ़र का बंटवारा, ऑफ़लोड और क्वांटाइज़ेशन के विकल्प पढ़ें।

सीमाएँ: मेमोरी काफ़ी होना गति, रनटाइम समर्थन या ड्राइवर की गारंटी नहीं है। रनटाइम बफ़र और रिज़र्व अनुमान हैं; संस्करण, बैच आकार और बैकएंड के हिसाब से रनटाइम को कम या ज़्यादा चाहिए। KV सूत्र GQA/MQA वाले सामान्य attention पर लागू होता है; sliding-window, MLA या हाइब्रिड आर्किटेक्चर को काफ़ी कम कैश चाहिए हो सकता है। कोई मॉडल या हार्डवेयर डेटा अंतर्निहित नहीं है।

अक्सर पूछे जाने वाले प्रश्न

किसी मॉडल के वेट को कितनी मेमोरी चाहिए?

पैरामीटर गुणा प्रति वेट बिट, भाग 8। सात अरब पैरामीटर 4 बिट पर 3.5 GB यानी लगभग 3.26 GiB होते हैं, इसके बाद KV कैश और बफ़र जुड़ते हैं। स्केल वाले क्वांटाइज़ेशन फ़ॉर्मैट अपनी नाममात्र बिट संख्या से थोड़ा ऊपर रहते हैं; तब प्रभावी बिट दर्ज करें (बाइट में फ़ाइल आकार गुणा 8, भाग पैरामीटर की संख्या)।

कैलकुलेटर GB और GiB दोनों क्यों दिखाता है?

एक GB 10⁹ बाइट है और एक GiB 2³⁰ बाइट, यानी लगभग 7 प्रतिशत ज़्यादा। ग्राफ़िक्स कार्ड और RAM बाइनरी में गिने जाते हैं, भले डिब्बे पर GB लिखा हो; मॉडल फ़ाइलें अक्सर दशमलव में बताई जाती हैं। दोनों मान अलग दिखाए जाते हैं ताकि अनजाने में कुछ गड़बड़ न हो।

क्या 8 GB के दो ग्राफ़िक्स कार्ड 16 GB के एक कार्ड जैसे हैं?

सिर्फ़ तब, जब आपका रनटाइम लेयर दोनों कार्डों में बांटे। समर्थित बंटवारे के बिना मॉडल को एक कार्ड में आना होगा और कैलकुलेटर केवल उसी कार्ड की मेमोरी गिनता है। बंटवारे के साथ भी हर कार्ड को अपना रिज़र्व चाहिए।

कैलकुलेटर mixture-of-experts मॉडल को कैसे गिनता है?

मेमोरी के लिए कुल पैरामीटर लेता है, क्योंकि सभी एक्सपर्ट लोड होने चाहिए। प्रति टोकन सक्रिय पैरामीटर सिर्फ़ दिखाए जाते हैं; वे गणना पर असर डालते हैं, ज़रूरी जगह पर नहीं।

क्या "फिट" का मतलब है कि मॉडल तेज़ चलेगा?

नहीं। कैलकुलेटर केवल मेमोरी जांचता है। मॉडल कितनी तेज़ी से जवाब देता है, यह मेमोरी बैंडविड्थ, कंप्यूट क्षमता, रनटाइम और ऑफ़लोड पर निर्भर करता है। सिस्टम RAM में रखा हिस्सा आमतौर पर आउटपुट को काफ़ी धीमा कर देता है।

क्या LLM VRAM कैलकुलेटर मुफ़्त है और बिना खाते के चलता है?

हाँ। इसका इस्तेमाल मुफ़्त है और कोई खाता नहीं चाहिए: आप जितनी बार चाहें गणना कर सकते हैं, और आपकी दर्ज की गई जानकारी आपके डिवाइस पर ही रहती है।

संबंधित टूल

AI टोकन कैलकुलेटर · डेटा आकार कनवर्टर · ऊर्जा लागत कैलकुलेटर · AI मॉडल की तुलना · PC अपग्रेड और PSU प्लानर · RAM और SSD की प्रति GB कीमत