ru

GPU для локального ИИ

Сравните видеокарты для локального ИИ по VRAM, пропускной способности, бэкенду, мощности и цене за ГиБ. Замеры учитываются только при равных условиях.

Этот калькулятор даёт необязывающую оценку на основе модели и не является финансовой, налоговой или юридической консультацией. Подробнее в отказе от ответственности
  • Бангладеш
  • Болгария
  • Бразилия
  • Великобритания
  • Вьетнам
  • Германия
  • Еврозона
  • Египет
  • Индия
  • Индонезия
  • Испания
  • Италия
  • Кения
  • Китай
  • Малайзия
  • Мексика
  • Нигерия
  • Нидерланды
  • Пакистан
  • Польша
  • Португалия
  • Россия
  • США
  • Таиланд
  • Тайвань
  • Турция
  • Украина
  • Франция
  • Швеция
  • Южная Корея
  • Япония
Кандидаты GPU в CSV: название; VRAM; пропускная способность ГБ/с; бэкенды; мощность Вт; цена; валюта; доставка; источник
Замеры в CSV: название GPU; токены/с; вид tg/pp; модель; квантование; контекст; бэкенд; источник
Бэкенд, нужный вашей программе
  • Не важно какой
  • CUDA
  • ROCm
  • Vulkan
  • Metal
  • SYCL
Нагрузка: всего параметров модели (млрд)
Нагрузка: бит на вес (квантование, напр. 4,5)
Нагрузка: контекст в токенах
Нагрузка: слои с KV-кешем (карточка модели)
Нагрузка: KV-головы (карточка модели)
Нагрузка: размерность головы (карточка модели)
Нагрузка: бит на элемент KV
  • 16 (FP16/BF16)
  • 8
  • 4
Рабочий буфер и резерв на GPU (ГиБ, допущение)
Читать VRAM в ГБ как ГиБ (обычная маркировка)
Валюта (строки без валюты и цена электричества)
  • ¤
  • USD
  • EUR
  • GBP
  • JPY
  • CHF
  • CAD
  • AUD
  • CNY
  • INR
  • KRW
  • BRL
  • MXN
  • SEK
  • PLN
  • TRY
  • SGD
Десятичный разделитель в CSV
  • Определить автоматически
  • Запятая (12,50)
  • Точка (12.50)
Цена электричества за кВт·ч (пусто = без затрат на электричество)
Часов под нагрузкой в день
Рынок или страна продавца (свободный текст)
Дата цен, напр. день (свободный текст)

Результат

Корректных кандидатов пока нет
Помещается в VRAM (✓ помещается · ✗ не помещается · ? не подтверждено)
Нагрузка неполная: укажите параметры и биты на вес
Общая потребность в памяти
Нагрузка неполная: укажите параметры и биты на вес
Расчёт: веса + KV-кеш + буфер
Конкретный бэкенд не требуется
Нужный бэкенд по кандидатам
0
Корректные кандидаты
Нет кандидата с ценой
Наименьшая цена за ГиБ VRAM (по валютам)
Нет кандидата с ценой
Сравнение валют
0
Кандидаты без цены
Нет сопоставимых замеров
Группы замеров (место только внутри группы)
0
Замеры без места (неполные условия)
0
Кандидаты без замера (остаётся неизвестным)
Не указано
Расчёт затрат на электричество в год
Нет
Ошибочные строки кандидатов
Нет
Ошибочные строки замеров
CSV не вставлен
Найденный разделитель CSV
Только ваши значения и источники, без встроенной таблицы GPU
Происхождение технических данных
Не указано
Рынок
Не указано
Цены на дату
✓ помещается или по источнику · ~ по данным без источника · ✗ не помещается или не поддерживается · ? неизвестно · ≠ условия неполные, без места · ≥ доставка неизвестна, минимум
Знаки в таблице
line;name;vram_gib;fit;bandwidth_gb_s;backends;power_w;price_total;currency;shipping_unknown;price_per_gib;rank_in_currency;source line;gpu;tokens_per_s;metric;model;quant;context;backend;group;rank_in_group;source
Отчёт CSV для копирования (точка с запятой, десятичная точка)

Сравнение кандидатов GPU

Сравнение кандидатов GPU
СтрокаGPUVRAMПомещаетсяПропускная способность (спецификация)БэкендыНужный бэкендМощность (спецификация)Электричество в годИтоговая ценаЦена за ГиБ VRAM (место по валюте)Цена за ГБ/сЗамер (измерено, группа место/всего)Источник
Загружается ли мой файл?

Нет. Всё выполняется в вашем браузере - ваш файл никогда не покидает устройство. Как это можно проверить

Без загрузки100% локально
Содержимое остаётся у васнет доступа у третьих лиц
Хостинг в ГерманииГлобальная доставка
Независимый аудитTLS A+ · Заголовки A+

Для локального ИИ прежде всего важна видеопамять (VRAM) графического процессора (GPU): модель должна поместиться вместе с весами, KV-кешем (хранит ключи и значения механизма внимания) и рабочим буфером. Проверка использует тот же расчёт, что и инструмент для локальных языковых моделей: 8 млрд параметров при 4,5 бита дают 4,19 ГиБ весов; 32 слоя с 8 KV-головами, размерностью 128 и контекстом 8192 токена в FP16 дают 1,00 ГиБ KV-кеша, а с буфером 1 ГиБ всего 6,19 ГиБ. Если какой-то части нет, потребность показывается со знаком «≥», а карта считается слишком маленькой, только если не помещаются уже известные части.

Паспортные данные и замеры разделены. VRAM, пропускная способность памяти в ГБ/с и мощность в ваттах - теоретические значения; токены в секунду (tok/s) берутся только из замеров, которые вы вводите, вместе с видом (tg = генерация текста, pp = обработка промпта), моделью, квантованием, контекстом и бэкендом. Ранжирование идёт только внутри группы с полностью одинаковыми условиями: 40 и 55 tok/s с одной моделью, Q4_K_M, 8192 токенами и Vulkan образуют G1, а замер с CUDA попадает в отдельную группу. Скорость никогда не оценивается по пропускной способности.

Цена влияет только на вычислимые показатели: цену за ГиБ VRAM с местом в своей валюте, цену за ГБ/с и, для ранжированных замеров, цену за tok/s. Пример: 16 ГБ за 450 EUR дают 28,13 EUR за ГиБ, 24 ГБ за 900 EUR дают 37,50 EUR за ГиБ. Валюты никогда не смешиваются, а неизвестная доставка делает значение минимальным. Бэкенды вроде CUDA, ROCm, Vulkan, Metal или SYCL - это программные интерфейсы, через которые ИИ-программы работают с GPU; данные с источником считаются подтверждёнными, без источника - неподтверждёнными, а неуказанный бэкенд остаётся неизвестным.

Бесплатно и без аккаунта: считайте сколько угодно раз, а введённые данные остаются на вашем устройстве.

Технические данные

Технические данные
Входные форматыДанные формы (без файла)
ОбработкаЛокально в браузере (JavaScript)
Загрузка файловОтсутствует

В 3 шага

  1. Вставьте кандидатов GPU с VRAM, пропускной способностью, бэкендами, мощностью, ценой и источником в формате CSV.
  2. Укажите нагрузку: параметры, биты на вес, контекст, значения из карточки модели и буфер, а также нужный бэкенд.
  3. Добавьте собственные или подтверждённые замеры с видом, моделью, квантованием, контекстом и бэкендом.
  4. Сравните в таблице помещаемость, профиль бэкендов, цену за ГиБ и группы замеров и скопируйте отчёт CSV.

Ограничения: Помощник не знает товаров и не даёт рекомендаций по покупке или гарантий: он считает только по вашим значениям. Нет прогноза tok/s, процентов узкого места и общей оценки. Проверка относится к одной GPU без выгрузки в оперативную память; драйверы, охлаждение, шум, размеры и блок питания не проверяются. Цены действуют на момент ввода, без курсов валют.

Частые вопросы

Почему инструмент не оценивает токены в секунду по пропускной способности?

Потому что реальная скорость зависит от модели, квантования, контекста, бэкенда, драйвера и программы. Прогноз по паспортным данным выглядел бы точным, но был бы выдуманным. Поэтому таблица показывает только измеренные значения с их условиями; если замера нет, там стоит «?».

Почему у некоторых замеров нет места?

Место есть только у замеров с одинаковым видом, моделью, квантованием, контекстом и бэкендом. Если что-то из этого не указано, в таблице вместо места стоит «≠», и замер считается неранжированным. Разные условия попадают в разные группы.

Что означают ✓, ~, ✗ и ? в таблице?

Для помещаемости ✓ значит помещается по расчёту, ✗ не помещается, ? не подтверждено. Для бэкендов ✓ значит поддерживается по источнику, ~ указано без источника, ✗ указано как неподдерживаемое (запись с минусом, например -CUDA), ? неизвестно. Неуказанный бэкенд никогда не считается «нет».

Почему «16 ГБ» видеопамяти считаются как 16 ГиБ?

Видеопамять организована в двоичных размерах, но обычно подписывается в «ГБ», как и оперативная память. Поэтому переключатель читает такие значения как ГиБ (2³⁰ байт). Выключите его, если ваш источник действительно имеет в виду десятичные гигабайты; тогда таблица покажет пересчитанное значение в ГиБ.

GPU для локального ИИ: это бесплатно и без аккаунта?

Да. Это бесплатно, аккаунт не нужен: можно считать сколько угодно раз, а введённые данные остаются на вашем устройстве.

Похожие инструменты

Калькулятор VRAM LLM · Цена RAM и SSD за ГБ · ИИ локально или в облаке · Планировщик апгрейда ПК · Расходы на энергию