تحقّق مما إذا كان نموذج لغوي محلي يتسع في VRAM وRAM: الأوزان وذاكرة KV المؤقتة والمخزن الوسيط والنقل مفصولة، بوحدتي GB وGiB، محليًا ودون رفع.
i
تقدّم هذه الآلة الحاسبة تقديراً استرشادياً مبنياً على نموذج وغير ملزم، وهي ليست استشارة مالية أو ضريبية أو قانونية. مزيد من التفاصيل في إخلاء المسؤولية
لا تحدث أي معالجة بالنيابة لمحتويات ملفاتك. لست بحاجة إلى اتفاقية معالجة بيانات مع gottrix لمعالجة المستندات السرية أو التجارية.
مستضاف في ألمانياتوصيل عالمي للمحتوى
خوادم المصدر لدى Hetzner في ألمانيا، مع توصيل عالمي عبر شبكة توصيل المحتوى (CDN). لا تُنقَل محتويات ملفك أبدًا خلال هذه العملية. فهي لا تغادر جهازك أبدًا.
إمكانية تشغيل نموذج لغوي محليًا تحددها الذاكرة أولًا. تقسّم هذه الحاسبة الحاجة إلى أجزاء منفصلة: الأوزان (عدد المعاملات مضروبًا في البتات لكل وزن ومقسومًا على 8)، وذاكرة KV المؤقتة للسياق المستخدم، ومخزنًا وسيطًا لبيئة التشغيل، وهامش عدم يقين ظاهرًا. سبعة مليارات معامل بدقة 4 بت تعطي 3,5 GB من الأوزان الصافية قبل إضافة أي حمل إضافي. يظهر كل حجم مرتين: بوحدة GB (10⁹ بايت) وبوحدة GiB (2³⁰ بايت)، لأن بطاقات الرسوميات والذاكرة العشوائية تُحسب بالنظام الثنائي، بينما تُذكر ملفات النماذج غالبًا بالنظام العشري.
تنمو ذاكرة KV المؤقتة خطيًا مع السياق وتتبع بنية النموذج: اثنان (المفاتيح والقيم) مضروبًا في الطبقات وفي رؤوس KV وفي بُعد الرأس وفي الرموز وفي البايتات لكل عنصر. النماذج التي تستخدم grouped-query attention فيها رؤوس KV أقل من رؤوس الاستعلام، فتحتاج ذاكرة مؤقتة أقل. في نماذج mixture-of-experts يُحتسب للذاكرة العدد الكلي للمعاملات، لأن جميع الخبراء يجب أن يكونوا محمّلين؛ أما المعاملات النشطة لكل رمز فتحدد حجم الحساب فقط. يعرض الجدول النموذج نفسه بمستويات تكميم أخرى، مع أكبر سياق وأعلى عدد بتات يتسعان بالكامل.
لا تُجمع عدة بطاقات رسوميات إلا إذا وزّعت بيئة التشغيل الطبقات عليها فعلًا؛ فمن دون تقسيم مدعوم لا تساوي بطاقتان بسعة 8 GiB بطاقة واحدة بسعة 16 GiB. ما لا يتسع في ذاكرة GPU يمكن نقله إلى ذاكرة النظام؛ تذكر النتيجة هذا الجزء لكنها لا تقول شيئًا عن السرعة. لا توجد ملفات تعريف نماذج مدمجة: القيم المعبأة مسبقًا مثال قابل للتعديل وليست نموذجًا بعينه. أدخل البيانات من بطاقة النموذج؛ تُحسب كلها في المتصفح ولا تُحفظ في أي مكان.
مجاني ومن دون حساب: احسب كلما أردت، وما تُدخله يبقى على جهازك.
البيانات التقنية
البيانات التقنية
صيغ الإدخال
مدخلات النموذج (بدون ملف)
المعالجة
محليًا في المتصفح (JavaScript)
رفع الملفات
لا يوجد
في 3 خطوات
أدخل نوع الذاكرة وVRAM لكل GPU وعدد وحدات GPU وطريقة التقسيم، إضافة إلى ذاكرة النظام والاحتياطيات.
أدخل قيم بطاقة النموذج: المعاملات والبتات لكل وزن والطبقات ورؤوس KV وبُعد الرأس والسياق.
القيود: كفاية الذاكرة لا تضمن السرعة ولا دعم بيئة التشغيل أو التعريفات. المخزن الوسيط والاحتياطيات افتراضات؛ وتحتاج بيئات التشغيل إلى أكثر أو أقل بحسب الإصدار وحجم الدفعة والواجهة الخلفية. تنطبق معادلة KV على آلية الانتباه المعتادة مع GQA/MQA؛ وقد تحتاج بنى sliding-window أو MLA أو البنى الهجينة إلى ذاكرة مؤقتة أقل بكثير. لا توجد بيانات نماذج أو عتاد مدمجة.
الأسئلة الشائعة
كم ذاكرة تحتاج أوزان النموذج؟
المعاملات مضروبة في البتات لكل وزن ومقسومة على 8. سبعة مليارات معامل بدقة 4 بت تساوي 3,5 GB أي نحو 3,26 GiB، قبل إضافة ذاكرة KV والمخزن الوسيط. صيغ التكميم ذات معاملات القياس تزيد قليلًا عن عدد بتاتها الاسمي؛ عندها أدخل البتات الفعلية (حجم الملف بالبايت مضروبًا في 8 ومقسومًا على عدد المعاملات).
لماذا تعرض الحاسبة GB وGiB معًا؟
الـGB يساوي 10⁹ بايت، والـGiB يساوي 2³⁰ بايت، أي أكثر بنحو 7 بالمئة. تُحسب بطاقات الرسوميات والذاكرة العشوائية بالنظام الثنائي حتى لو كُتب على العلبة GB؛ وتُذكر ملفات النماذج غالبًا بالنظام العشري. تظهر القيمتان منفصلتين حتى لا تختلطا دون أن تنتبه.
فقط إذا وزّعت بيئة التشغيل الطبقات على البطاقتين. من دون تقسيم مدعوم يجب أن يتسع النموذج في بطاقة واحدة، ولا تحسب الحاسبة إلا ذاكرتها. وحتى مع التقسيم تحتاج كل بطاقة إلى احتياطيها الخاص.
كيف تحسب الحاسبة نماذج mixture-of-experts؟
تستخدم للذاكرة العدد الكلي للمعاملات، لأن جميع الخبراء يجب أن يكونوا محمّلين. أما المعاملات النشطة لكل رمز فتُعرض فقط؛ فهي تؤثر في الحساب لا في المساحة المطلوبة.
هل يعني «يتسع» أن النموذج سيعمل بسرعة؟
لا. تتحقق الحاسبة من الذاكرة فقط. سرعة استجابة النموذج تعتمد على عرض نطاق الذاكرة وقدرة الحوسبة وبيئة التشغيل والنقل إلى ذاكرة النظام. الجزء الموجود في ذاكرة النظام يبطئ الإخراج عادة بشكل واضح.
هل حاسبة VRAM لنماذج LLM مجاني ويعمل من دون حساب؟
نعم. الاستخدام مجاني ولا يحتاج إلى حساب: يمكنك الحساب كلما أردت، وما تُدخله يبقى على جهازك.