ar

حاسبة VRAM لنماذج LLM

تحقّق مما إذا كان نموذج لغوي محلي يتسع في VRAM وRAM: الأوزان وذاكرة KV المؤقتة والمخزن الوسيط والنقل مفصولة، بوحدتي GB وGiB، محليًا ودون رفع.

تقدّم هذه الآلة الحاسبة تقديراً استرشادياً مبنياً على نموذج وغير ملزم، وهي ليست استشارة مالية أو ضريبية أو قانونية. مزيد من التفاصيل في إخلاء المسؤولية
  • إسبانيا
  • البرازيل
  • البرتغال
  • السويد
  • الصين
  • ألمانيا
  • المكسيك
  • المملكة المتحدة
  • الهند
  • الولايات المتحدة
  • اليابان
  • إندونيسيا
  • أوكرانيا
  • إيطاليا
  • باكستان
  • بلغاريا
  • بنغلاديش
  • بولندا
  • تايلاند
  • تايوان
  • تركيا
  • روسيا
  • فرنسا
  • فيتنام
  • كوريا الجنوبية
  • كينيا
  • ماليزيا
  • مصر
  • منطقة اليورو
  • نيجيريا
  • هولندا
نوع الذاكرة
  • بطاقة رسوميات بذاكرة VRAM خاصة
  • ذاكرة مشتركة (ذاكرة موحّدة)
  • CPU فقط، دون GPU
عدد وحدات GPU
VRAM لكل GPU (GiB)
التقسيم على عدة وحدات GPU
  • لا تقسيم: يجب أن يتسع النموذج في GPU واحدة
  • بيئة التشغيل توزّع الطبقات على وحدات GPU
احتياطي لكل GPU للعرض والتعريف (GiB)
ذاكرة النظام (GiB)
احتياطي الذاكرة للنظام والبرامج (GiB)
نظام التشغيل (نص حر)
بيئة التشغيل والإصدار (نص حر)
النموذج والمراجعة (نص حر)
إجمالي المعاملات (مليار، في MoE جميع الخبراء)
المعاملات النشطة لكل رمز (مليار، لـMoE فقط)
البتات لكل وزن (التكميم، القيمة الفعلية)
الطبقات ذات ذاكرة KV
رؤوس KV (في GQA أقل من رؤوس الاستعلام)
بُعد كل رأس
السياق المستخدم (رموز)
دقة ذاكرة KV المؤقتة
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
الطلبات المتوازية
المخزن الوسيط لبيئة التشغيل (GiB، افتراض)
عدم اليقين (±)
قيم المثال غير المعدّلة تنطبق على نموذجي وحاسوبي

النتيجة

حساب توضيحي فقط: عدّل القيم أو أكّدها
هل يتسع النموذج؟
٥٫٦٥ GB · ٥٫٢٦ GiB
إجمالي الذاكرة المطلوبة
٥٫٠٨ GB - ٦٫٢١ GB (± ١٠ %)
نطاق عدم اليقين
٣٫٥٠ GB · ٣٫٢٦ GiB
الأوزان
١٫٠٧ GB · ١٫٠٠ GiB
ذاكرة KV المؤقتة
١٫٠٧ GB · ١٫٠٠ GiB
المخزن الوسيط لبيئة التشغيل (افتراض)
٨٫٠٥ GB · ٧٫٥٠ GiB
ذاكرة GPU القابلة للاستخدام
وحدة GPU واحدة
تقسيم وحدات GPU
١٢٫٨٨ GB · ١٢٫٠٠ GiB
ذاكرة النظام المتاحة
٠٫٠٠ GB
النقل إلى ذاكرة النظام
حساب توضيحي فقط: عدّل القيم أو أكّدها
أكبر سياق يتسع بالكامل (توكنات)
حساب توضيحي فقط: عدّل القيم أو أكّدها
أعلى عدد بتات يتسع بالكامل
غير محدد (نموذج كثيف)
المعاملات النشطة لكل توكن (MoE)
٧ × 10⁹ × ٤ bit ÷ 8
حساب الأوزان
2 × ٣٢ × ٨ × ١٢٨ × ٨٬١٩٢ × ١ × ١٦ bit ÷ 8
حساب ذاكرة KV المؤقتة
مثال قابل للتعديل وليس نموذجًا بعينه
مصدر قيم النموذج
مثال قابل للتعديل وليس حاسوبك
مصدر قيم الذاكرة
غير محدد
ملف النموذج
غير محدد
نظام التشغيل
غير محدد
بيئة التشغيل
غير متاح
مقارنة بملف تعريف نموذج عام

استخدام الذاكرة (الحد الأعلى، %)

بلا تقييميتسعشبه ممتلئتم التجاوز

النموذج نفسه بتكميم آخر

النموذج نفسه بتكميم آخر
البتات لكل وزنالأوزانالإجمالي (الحد الأعلى)الذاكرة المتبقية
16 bit١٤٫٠٠ GB١٧٫٧٦ GB-٩٫٧١ GB
8 bit٧٫٠٠ GB١٠٫٠٦ GB-٢٫٠١ GB
6 bit٥٫٢٥ GB٨٫١٤ GB-٠٫٠٨ GB
5 bit٤٫٣٨ GB٧٫١٧ GB٠٫٨٨ GB
4 bit٣٫٥٠ GB٦٫٢١ GB١٫٨٤ GB
3 bit٢٫٦٣ GB٥٫٢٥ GB٢٫٨٠ GB
2 bit١٫٧٥ GB٤٫٢٩ GB٣٫٧٧ GB
هل يُرفَع ملفي؟

لا. كل شيء يجري في متصفحك - ملفك لا يغادر جهازك أبداً. كيف يكون ذلك قابلاً للتحقق

دون رفعمحلي 100%
محتواك يبقى لديكلا وصول لأطراف خارجية
مستضاف في ألمانياتوصيل عالمي للمحتوى
مدقَّقة خارجيًاTLS A+ · ترويسات A+

إمكانية تشغيل نموذج لغوي محليًا تحددها الذاكرة أولًا. تقسّم هذه الحاسبة الحاجة إلى أجزاء منفصلة: الأوزان (عدد المعاملات مضروبًا في البتات لكل وزن ومقسومًا على 8)، وذاكرة KV المؤقتة للسياق المستخدم، ومخزنًا وسيطًا لبيئة التشغيل، وهامش عدم يقين ظاهرًا. سبعة مليارات معامل بدقة 4 بت تعطي 3,5 GB من الأوزان الصافية قبل إضافة أي حمل إضافي. يظهر كل حجم مرتين: بوحدة GB (10⁹ بايت) وبوحدة GiB (2³⁰ بايت)، لأن بطاقات الرسوميات والذاكرة العشوائية تُحسب بالنظام الثنائي، بينما تُذكر ملفات النماذج غالبًا بالنظام العشري.

تنمو ذاكرة KV المؤقتة خطيًا مع السياق وتتبع بنية النموذج: اثنان (المفاتيح والقيم) مضروبًا في الطبقات وفي رؤوس KV وفي بُعد الرأس وفي الرموز وفي البايتات لكل عنصر. النماذج التي تستخدم grouped-query attention فيها رؤوس KV أقل من رؤوس الاستعلام، فتحتاج ذاكرة مؤقتة أقل. في نماذج mixture-of-experts يُحتسب للذاكرة العدد الكلي للمعاملات، لأن جميع الخبراء يجب أن يكونوا محمّلين؛ أما المعاملات النشطة لكل رمز فتحدد حجم الحساب فقط. يعرض الجدول النموذج نفسه بمستويات تكميم أخرى، مع أكبر سياق وأعلى عدد بتات يتسعان بالكامل.

لا تُجمع عدة بطاقات رسوميات إلا إذا وزّعت بيئة التشغيل الطبقات عليها فعلًا؛ فمن دون تقسيم مدعوم لا تساوي بطاقتان بسعة 8 GiB بطاقة واحدة بسعة 16 GiB. ما لا يتسع في ذاكرة GPU يمكن نقله إلى ذاكرة النظام؛ تذكر النتيجة هذا الجزء لكنها لا تقول شيئًا عن السرعة. لا توجد ملفات تعريف نماذج مدمجة: القيم المعبأة مسبقًا مثال قابل للتعديل وليست نموذجًا بعينه. أدخل البيانات من بطاقة النموذج؛ تُحسب كلها في المتصفح ولا تُحفظ في أي مكان.

مجاني ومن دون حساب: احسب كلما أردت، وما تُدخله يبقى على جهازك.

البيانات التقنية

البيانات التقنية
صيغ الإدخالمدخلات النموذج (بدون ملف)
المعالجةمحليًا في المتصفح (JavaScript)
رفع الملفاتلا يوجد

في 3 خطوات

  1. أدخل نوع الذاكرة وVRAM لكل GPU وعدد وحدات GPU وطريقة التقسيم، إضافة إلى ذاكرة النظام والاحتياطيات.
  2. أدخل قيم بطاقة النموذج: المعاملات والبتات لكل وزن والطبقات ورؤوس KV وبُعد الرأس والسياق.
  3. اقرأ النتيجة وتوزيعها بين الأوزان وذاكرة KV والمخزن الوسيط، وحجم النقل، وبدائل التكميم.

القيود: كفاية الذاكرة لا تضمن السرعة ولا دعم بيئة التشغيل أو التعريفات. المخزن الوسيط والاحتياطيات افتراضات؛ وتحتاج بيئات التشغيل إلى أكثر أو أقل بحسب الإصدار وحجم الدفعة والواجهة الخلفية. تنطبق معادلة KV على آلية الانتباه المعتادة مع GQA/MQA؛ وقد تحتاج بنى sliding-window أو MLA أو البنى الهجينة إلى ذاكرة مؤقتة أقل بكثير. لا توجد بيانات نماذج أو عتاد مدمجة.

الأسئلة الشائعة

كم ذاكرة تحتاج أوزان النموذج؟

المعاملات مضروبة في البتات لكل وزن ومقسومة على 8. سبعة مليارات معامل بدقة 4 بت تساوي 3,5 GB أي نحو 3,26 GiB، قبل إضافة ذاكرة KV والمخزن الوسيط. صيغ التكميم ذات معاملات القياس تزيد قليلًا عن عدد بتاتها الاسمي؛ عندها أدخل البتات الفعلية (حجم الملف بالبايت مضروبًا في 8 ومقسومًا على عدد المعاملات).

لماذا تعرض الحاسبة GB وGiB معًا؟

الـGB يساوي 10⁹ بايت، والـGiB يساوي 2³⁰ بايت، أي أكثر بنحو 7 بالمئة. تُحسب بطاقات الرسوميات والذاكرة العشوائية بالنظام الثنائي حتى لو كُتب على العلبة GB؛ وتُذكر ملفات النماذج غالبًا بالنظام العشري. تظهر القيمتان منفصلتين حتى لا تختلطا دون أن تنتبه.

هل بطاقتا رسوميات بسعة 8 GB تساويان بطاقة بسعة 16 GB؟

فقط إذا وزّعت بيئة التشغيل الطبقات على البطاقتين. من دون تقسيم مدعوم يجب أن يتسع النموذج في بطاقة واحدة، ولا تحسب الحاسبة إلا ذاكرتها. وحتى مع التقسيم تحتاج كل بطاقة إلى احتياطيها الخاص.

كيف تحسب الحاسبة نماذج mixture-of-experts؟

تستخدم للذاكرة العدد الكلي للمعاملات، لأن جميع الخبراء يجب أن يكونوا محمّلين. أما المعاملات النشطة لكل رمز فتُعرض فقط؛ فهي تؤثر في الحساب لا في المساحة المطلوبة.

هل يعني «يتسع» أن النموذج سيعمل بسرعة؟

لا. تتحقق الحاسبة من الذاكرة فقط. سرعة استجابة النموذج تعتمد على عرض نطاق الذاكرة وقدرة الحوسبة وبيئة التشغيل والنقل إلى ذاكرة النظام. الجزء الموجود في ذاكرة النظام يبطئ الإخراج عادة بشكل واضح.

هل حاسبة VRAM لنماذج LLM مجاني ويعمل من دون حساب؟

نعم. الاستخدام مجاني ولا يحتاج إلى حساب: يمكنك الحساب كلما أردت، وما تُدخله يبقى على جهازك.

أدوات ذات صلة

حاسبة توكنات الذكاء الاصطناعي · محول حجم البيانات · حاسبة تكلفة الطاقة · مقارنة نماذج الذكاء الاصطناعي · مخطط ترقية الحاسوب · سعر RAM وSSD لكل GB