bg

Избор GPU за локален ИИ

Сравни видеокарти за локален ИИ по VRAM, пропускателна способност, бекенд, мощност и цена за GiB. Измерванията важат само при еднакви условия.

Този калкулатор дава необвързваща, базирана на модел прогноза и не представлява финансов, данъчен или правен съвет. Повече в отказа от отговорност
  • Бангладеш
  • Бразилия
  • България
  • Виетнам
  • Германия
  • Еврозона
  • Египет
  • Индия
  • Индонезия
  • Испания
  • Италия
  • Кения
  • Китай
  • Малайзия
  • Мексико
  • Нигерия
  • Нидерландия
  • Обединено кралство
  • Пакистан
  • Полша
  • Португалия
  • Русия
  • САЩ
  • Тайван
  • Тайланд
  • Турция
  • Украйна
  • Франция
  • Швеция
  • Южна Корея
  • Япония
GPU кандидати като CSV: име; VRAM; пропускателна способност GB/s; бекендове; мощност W; цена; валута; доставка; източник
Измервания като CSV: име на GPU; токени/s; вид tg/pp; модел; квантизация; контекст; бекенд; източник
Бекенд, който софтуерът ти изисква
  • Без конкретен
  • CUDA
  • ROCm
  • Vulkan
  • Metal
  • SYCL
Натоварване: общо параметри на модела (млрд.)
Натоварване: битове на тегло (квантизация, напр. 4,5)
Натоварване: контекст в токени
Натоварване: слоеве с KV кеш (карта на модела)
Натоварване: KV глави (карта на модела)
Натоварване: размер на глава (карта на модела)
Натоварване: битове на KV елемент
  • 16 (FP16/BF16)
  • 8
  • 4
Работен буфер и резерв на GPU (GiB, допускане)
Чети VRAM в GB като GiB (обичайно обозначение)
Валута (редове без валута и цена на тока)
  • ¤
  • USD
  • EUR
  • GBP
  • JPY
  • CHF
  • CAD
  • AUD
  • CNY
  • INR
  • KRW
  • BRL
  • MXN
  • SEK
  • PLN
  • TRY
  • SGD
Десетичен знак в CSV
  • Разпознай автоматично
  • Запетая (12,50)
  • Точка (12.50)
Цена на тока за kWh (празно = без разход за ток)
Часове под натоварване на ден
Пазар или държава на продавача (свободен текст)
Дата на цените, напр. ден (свободен текст)

Резултат

Още няма валидни кандидати
Побиране във VRAM (✓ побира се · ✗ не се побира · ? непотвърдено)
Непълно натоварване: въведете параметри и битове на тегло
Обща нужда от памет
Непълно натоварване: въведете параметри и битове на тегло
Изчисление: тегла + KV кеш + буфер
Не се изисква конкретен бекенд
Изискван бекенд за всеки кандидат
0
Валидни кандидати
Няма кандидат с цена
Най-ниска цена за GiB VRAM (по валута)
Няма кандидат с цена
Сравнение на валути
0
Кандидати без цена
Няма сравними измервания
Групи измервания (класиране само в групата)
0
Измервания без място (непълни условия)
0
Кандидати без измерване (остава неизвестно)
Не е посочено
Изчисление на разхода за ток годишно
Няма
Грешни редове с кандидати
Няма
Грешни редове с измервания
Не е поставен CSV
Разпознат разделител в CSV
Само вашите стойности и източници, без вградена GPU таблица
Произход на техническите данни
Не е посочено
Пазар
Не е посочено
Цени към
✓ побира се или по източник · ~ по данни без източник · ✗ не се побира или не се поддържа · ? неизвестно · ≠ непълни условия, без място · ≥ доставка неизвестна, минимум
Знаци в таблицата
line;name;vram_gib;fit;bandwidth_gb_s;backends;power_w;price_total;currency;shipping_unknown;price_per_gib;rank_in_currency;source line;gpu;tokens_per_s;metric;model;quant;context;backend;group;rank_in_group;source
Отчет като CSV за копиране (точка и запетая, десетична точка)

Сравнение на GPU кандидатите

Сравнение на GPU кандидатите
РедGPUVRAMПобиранеПропускателна способност (спецификация)БекендовеИзискван бекендМощност (спецификация)Ток годишноОбща ценаЦена за GiB VRAM (място по валута)Цена за GB/sИзмерване (измерено, група място/брой)Източник
Качва ли се файлът ми?

Не. Всичко работи в браузъра ви - файлът ви никога не напуска устройството. Как се проверява това

Без качване100% локално
Съдържанието остава у теббез достъп на трети страни
Хостинг в ГерманияГлобална доставка
Независимо провереноTLS A+ · Заглавки A+

За локален ИИ първо решава видеопаметта (VRAM) на графичния процесор (GPU): моделът трябва да се побере с теглата си, KV кеша (пази ключовете и стойностите на механизма за внимание) и работен буфер. Проверката ползва същото изчисление като инструмента за локални езикови модели: 8 млрд параметъра при 4,5 бита са 4,19 GiB тегла; 32 слоя с 8 KV глави, размер 128 и контекст от 8192 токена във FP16 дават 1,00 GiB KV кеш, а с 1 GiB буфер общо 6,19 GiB. Ако липсва част, нуждата се показва с „≥“, а картата е твърде малка само когато вече известните части не се побират.

Данните от спецификацията и измерванията са разделени. VRAM, пропускателната способност в GB/s и мощността във ватове са теоретични стойности; токените в секунда (tok/s) идват само от измервания, които въвеждаш, с вид (tg = генериране на текст, pp = обработка на промпта), модел, квантизация, контекст и бекенд. Класиране има само в група с напълно еднакви условия: 40 и 55 tok/s със същия модел, Q4_K_M, 8192 токена и Vulkan образуват G1, а измерване с CUDA е в отделна група. Скорост никога не се оценява по пропускателната способност.

Цената влияе само на изчислими показатели: цена за GiB VRAM с място по валута, цена за GB/s и, при класирани измервания, цена за tok/s. Пример: 16 GB за 450 EUR са 28,13 EUR за GiB, 24 GB за 900 EUR са 37,50 EUR за GiB. Валутите никога не се смесват, а неизвестната доставка превръща стойността в минимум. Бекендове като CUDA, ROCm, Vulkan, Metal или SYCL са програмни интерфейси, чрез които ИИ софтуерът ползва GPU; данни с източник се смятат за документирани, без източник за непотвърдени, а непосочен бекенд остава неизвестен.

Безплатно и без акаунт: изчислявайте колкото пъти искате, а въведеното остава на устройството ви.

Технически данни

Технически данни
Входни форматиДанни от формуляра (без файл)
ОбработкаЛокално в браузъра (JavaScript)
Качване на файловеНяма

В 3 стъпки

  1. Постави GPU кандидатите с VRAM, пропускателна способност, бекендове, мощност, цена и източник като CSV.
  2. Въведи натоварването: параметри, битове на тегло, контекст, стойности от картата на модела и буфер, плюс нужния бекенд.
  3. Добави свои или документирани измервания с вид, модел, квантизация, контекст и бекенд.
  4. Сравни в таблицата побирането, профила на бекендовете, цената за GiB и групите измервания и копирай отчета като CSV.

Ограничения: Помощникът не познава продукти и не дава препоръки за покупка или гаранции: смята само с твоите стойности. Няма прогноза за tok/s, проценти тясно място или обща оценка. Проверката важи за един GPU без прехвърляне в RAM; драйвери, охлаждане, шум, размер и захранване не се проверяват. Цените са към момента на въвеждане, без валутни курсове.

Чести въпроси

Защо инструментът не оценява токени в секунда по пропускателната способност?

Защото реалната скорост зависи от модела, квантизацията, контекста, бекенда, драйвера и софтуера. Прогноза от спецификацията би изглеждала точна, но би била измислена. Затова таблицата показва само измерени стойности с условията им; ако липсва измерване, стои „?“.

Защо някои измервания нямат място?

Място има само между измервания с еднакъв вид, модел, квантизация, контекст и бекенд. Ако липсва някое от тези данни, таблицата показва „≠“ вместо място и измерването се брои за некласирано. Различните условия отиват в отделни групи.

Какво означават ✓, ~, ✗ и ? в таблицата?

При побирането ✓ значи побира се по изчисление, ✗ не се побира, а ? непотвърдено. При бекендовете ✓ значи поддържа се по източник, ~ посочено без източник, ✗ посочено като неподдържано (запис с минус, например -CUDA), а ? неизвестно. Непосочен бекенд никога не се брои за „не“.

Защо „16 GB“ VRAM се броят за 16 GiB?

Видеопаметта е организирана в двоични размери, но обикновено се обозначава в „GB“, както RAM. Затова превключвателят чете такива стойности като GiB (2³⁰ байта). Изключи го, ако източникът ти наистина има предвид десетични гигабайти; тогава таблицата показва преизчислената стойност в GiB.

Избор GPU за локален ИИ: може ли да се ползва безплатно и без акаунт?

Да. Ползването е безплатно и не изисква акаунт: можете да изчислявате колкото пъти искате, а въведеното остава на устройството ви.

Сходни инструменти

Калкулатор VRAM LLM · Цена на RAM и SSD за GB · ИИ локално или в облака · Планер за ъпгрейд на PC · Разходи за енергия