किसी सर्वर पर आपकी फ़ाइल की सामग्री की कोई प्रोसेसिंग नहीं होती। गोपनीय या व्यावसायिक दस्तावेज़ संभालने के लिए आपको gottrix के साथ किसी डेटा-प्रोसेसिंग समझौते की ज़रूरत नहीं।
जर्मनी में होस्ट किया गयावैश्विक कंटेंट डिलीवरी
ओरिजिन सर्वर जर्मनी में Hetzner पर हैं, और कंटेंट डिलीवरी नेटवर्क (CDN) के ज़रिए दुनिया भर में डिलीवरी होती है। इस दौरान आपकी फ़ाइल की सामग्री कभी ट्रांसमिट नहीं होती - वह आपके डिवाइस से बाहर नहीं जाती।
कोई भाषा मॉडल लोकल रूप से चलेगा या नहीं, यह सबसे पहले मेमोरी तय करती है। यह कैलकुलेटर ज़रूरत को अलग-अलग हिस्सों में बांटता है: वेट (पैरामीटर की संख्या गुणा प्रति वेट बिट, भाग 8), इस्तेमाल किए गए कॉन्टेक्स्ट के लिए KV कैश, रनटाइम बफ़र और दिखाई देने वाली अनिश्चितता। सात अरब पैरामीटर 4 बिट पर किसी भी ओवरहेड से पहले 3.5 GB शुद्ध वेट बनाते हैं। हर आकार दो बार दिखता है: GB (10⁹ बाइट) में और GiB (2³⁰ बाइट) में, क्योंकि ग्राफ़िक्स कार्ड और RAM बाइनरी में गिने जाते हैं, जबकि मॉडल फ़ाइलें अक्सर दशमलव में बताई जाती हैं।
KV कैश कॉन्टेक्स्ट के साथ रैखिक रूप से बढ़ता है और आर्किटेक्चर पर निर्भर करता है: दो (कुंजियां और मान) गुणा लेयर गुणा KV हेड गुणा हेड डाइमेंशन गुणा टोकन गुणा प्रति एलिमेंट बाइट। grouped-query attention वाले मॉडल में क्वेरी हेड से कम KV हेड होते हैं, इसलिए उन्हें कम कैश चाहिए। mixture-of-experts मॉडल में मेमोरी के लिए कुल पैरामीटर गिने जाते हैं, क्योंकि सभी एक्सपर्ट लोड होने चाहिए; प्रति टोकन सक्रिय पैरामीटर केवल गणना का बोझ तय करते हैं। तालिका उसी मॉडल को दूसरे क्वांटाइज़ेशन स्तरों पर दिखाती है, साथ में सबसे बड़ा कॉन्टेक्स्ट और सबसे ऊंची बिट संख्या जो पूरी तरह फिट होती है।
कई ग्राफ़िक्स कार्ड तभी जुड़ते हैं जब आपका रनटाइम सच में लेयर उन कार्डों में बांटता है; समर्थित बंटवारे के बिना 8 GiB के दो कार्ड 16 GiB का एक कार्ड नहीं हैं। जो हिस्सा GPU मेमोरी में नहीं आता, उसे सिस्टम RAM में ऑफ़लोड किया जा सकता है; परिणाम उस हिस्से को बताता है, लेकिन गति के बारे में कुछ नहीं कहता। कोई मॉडल प्रोफ़ाइल अंतर्निहित नहीं है: पहले से भरे मान एक संपादन योग्य उदाहरण हैं, कोई खास मॉडल नहीं। मॉडल कार्ड से जानकारी दर्ज करें; सब कुछ ब्राउज़र में गिना जाता है और कहीं सहेजा नहीं जाता।
मुफ़्त और बिना खाते के: जितनी बार चाहें गणना करें, और आपकी दर्ज की गई जानकारी आपके डिवाइस पर ही रहती है।
तकनीकी विवरण
तकनीकी विवरण
इनपुट फ़ॉर्मैट
फ़ॉर्म इनपुट (कोई फ़ाइल नहीं)
प्रोसेसिंग
ब्राउज़र में स्थानीय रूप से (JavaScript)
फ़ाइल अपलोड
कोई नहीं
3 चरणों में
मेमोरी का प्रकार, प्रति GPU VRAM, GPU की संख्या और बंटवारा, साथ में RAM और रिज़र्व दर्ज करें।
मॉडल कार्ड से मान दर्ज करें: पैरामीटर, प्रति वेट बिट, लेयर, KV हेड, हेड डाइमेंशन और कॉन्टेक्स्ट।
परिणाम, वेट, KV कैश और बफ़र का बंटवारा, ऑफ़लोड और क्वांटाइज़ेशन के विकल्प पढ़ें।
सीमाएँ: मेमोरी काफ़ी होना गति, रनटाइम समर्थन या ड्राइवर की गारंटी नहीं है। रनटाइम बफ़र और रिज़र्व अनुमान हैं; संस्करण, बैच आकार और बैकएंड के हिसाब से रनटाइम को कम या ज़्यादा चाहिए। KV सूत्र GQA/MQA वाले सामान्य attention पर लागू होता है; sliding-window, MLA या हाइब्रिड आर्किटेक्चर को काफ़ी कम कैश चाहिए हो सकता है। कोई मॉडल या हार्डवेयर डेटा अंतर्निहित नहीं है।
अक्सर पूछे जाने वाले प्रश्न
किसी मॉडल के वेट को कितनी मेमोरी चाहिए?
पैरामीटर गुणा प्रति वेट बिट, भाग 8। सात अरब पैरामीटर 4 बिट पर 3.5 GB यानी लगभग 3.26 GiB होते हैं, इसके बाद KV कैश और बफ़र जुड़ते हैं। स्केल वाले क्वांटाइज़ेशन फ़ॉर्मैट अपनी नाममात्र बिट संख्या से थोड़ा ऊपर रहते हैं; तब प्रभावी बिट दर्ज करें (बाइट में फ़ाइल आकार गुणा 8, भाग पैरामीटर की संख्या)।
कैलकुलेटर GB और GiB दोनों क्यों दिखाता है?
एक GB 10⁹ बाइट है और एक GiB 2³⁰ बाइट, यानी लगभग 7 प्रतिशत ज़्यादा। ग्राफ़िक्स कार्ड और RAM बाइनरी में गिने जाते हैं, भले डिब्बे पर GB लिखा हो; मॉडल फ़ाइलें अक्सर दशमलव में बताई जाती हैं। दोनों मान अलग दिखाए जाते हैं ताकि अनजाने में कुछ गड़बड़ न हो।
क्या 8 GB के दो ग्राफ़िक्स कार्ड 16 GB के एक कार्ड जैसे हैं?
सिर्फ़ तब, जब आपका रनटाइम लेयर दोनों कार्डों में बांटे। समर्थित बंटवारे के बिना मॉडल को एक कार्ड में आना होगा और कैलकुलेटर केवल उसी कार्ड की मेमोरी गिनता है। बंटवारे के साथ भी हर कार्ड को अपना रिज़र्व चाहिए।
कैलकुलेटर mixture-of-experts मॉडल को कैसे गिनता है?
मेमोरी के लिए कुल पैरामीटर लेता है, क्योंकि सभी एक्सपर्ट लोड होने चाहिए। प्रति टोकन सक्रिय पैरामीटर सिर्फ़ दिखाए जाते हैं; वे गणना पर असर डालते हैं, ज़रूरी जगह पर नहीं।
क्या "फिट" का मतलब है कि मॉडल तेज़ चलेगा?
नहीं। कैलकुलेटर केवल मेमोरी जांचता है। मॉडल कितनी तेज़ी से जवाब देता है, यह मेमोरी बैंडविड्थ, कंप्यूट क्षमता, रनटाइम और ऑफ़लोड पर निर्भर करता है। सिस्टम RAM में रखा हिस्सा आमतौर पर आउटपुट को काफ़ी धीमा कर देता है।
क्या LLM VRAM कैलकुलेटर मुफ़्त है और बिना खाते के चलता है?
हाँ। इसका इस्तेमाल मुफ़्त है और कोई खाता नहीं चाहिए: आप जितनी बार चाहें गणना कर सकते हैं, और आपकी दर्ज की गई जानकारी आपके डिवाइस पर ही रहती है।
केवल आपकी सहमति से ही हम gottrix को बेहतर बनाने के लिए कुकीज़ के ज़रिए उपयोग को गुमनाम रूप से मापते हैं। आपकी फ़ाइलें हमेशा आपके डिवाइस पर ही स्थानीय रहती हैं। गोपनीयता