Сравни видеокарти за локален ИИ по VRAM, пропускателна способност, бекенд, мощност и цена за GiB. Измерванията важат само при еднакви условия.
i
Този калкулатор дава необвързваща, базирана на модел прогноза и не представлява финансов, данъчен или правен съвет. Повече в отказа от отговорност
Пазар
Бангладеш✓
Бразилия✓
България✓
Виетнам✓
Германия✓
Еврозона✓
Египет✓
Индия✓
Индонезия✓
Испания✓
Италия✓
Кения✓
Китай✓
Малайзия✓
Мексико✓
Нигерия✓
Нидерландия✓
Обединено кралство✓
Пакистан✓
Полша✓
Португалия✓
Русия✓
САЩ✓
Тайван✓
Тайланд✓
Турция✓
Украйна✓
Франция✓
Швеция✓
Южна Корея✓
Япония✓
Резултат
Още няма валидни кандидати
Побиране във VRAM (✓ побира се · ✗ не се побира · ? непотвърдено)
Непълно натоварване: въведете параметри и битове на тегло
Обща нужда от памет
Непълно натоварване: въведете параметри и битове на тегло
Изчисление: тегла + KV кеш + буфер
Не се изисква конкретен бекенд
Изискван бекенд за всеки кандидат
0
Валидни кандидати
Няма кандидат с цена
Най-ниска цена за GiB VRAM (по валута)
Няма кандидат с цена
Сравнение на валути
0
Кандидати без цена
Няма сравними измервания
Групи измервания (класиране само в групата)
0
Измервания без място (непълни условия)
0
Кандидати без измерване (остава неизвестно)
Не е посочено
Изчисление на разхода за ток годишно
Няма
Грешни редове с кандидати
Няма
Грешни редове с измервания
Не е поставен CSV
Разпознат разделител в CSV
Само вашите стойности и източници, без вградена GPU таблица
Произход на техническите данни
Не е посочено
Пазар
Не е посочено
Цени към
✓ побира се или по източник · ~ по данни без източник · ✗ не се побира или не се поддържа · ? неизвестно · ≠ непълни условия, без място · ≥ доставка неизвестна, минимум
Съдържанието остава у теббез достъп на трети страни
Не възниква обработка на съдържанието на файловете ти. Не ти трябва договор за обработка на данни с gottrix, за да работиш с поверителни или служебни документи.
Хостинг в ГерманияГлобална доставка
Основни сървъри в Hetzner в Германия, глобално доставяне чрез мрежа за доставяне на съдържание (CDN). Съдържанието на файловете ти никога не се предава в този процес - то не напуска устройството ти.
За локален ИИ първо решава видеопаметта (VRAM) на графичния процесор (GPU): моделът трябва да се побере с теглата си, KV кеша (пази ключовете и стойностите на механизма за внимание) и работен буфер. Проверката ползва същото изчисление като инструмента за локални езикови модели: 8 млрд параметъра при 4,5 бита са 4,19 GiB тегла; 32 слоя с 8 KV глави, размер 128 и контекст от 8192 токена във FP16 дават 1,00 GiB KV кеш, а с 1 GiB буфер общо 6,19 GiB. Ако липсва част, нуждата се показва с „≥“, а картата е твърде малка само когато вече известните части не се побират.
Данните от спецификацията и измерванията са разделени. VRAM, пропускателната способност в GB/s и мощността във ватове са теоретични стойности; токените в секунда (tok/s) идват само от измервания, които въвеждаш, с вид (tg = генериране на текст, pp = обработка на промпта), модел, квантизация, контекст и бекенд. Класиране има само в група с напълно еднакви условия: 40 и 55 tok/s със същия модел, Q4_K_M, 8192 токена и Vulkan образуват G1, а измерване с CUDA е в отделна група. Скорост никога не се оценява по пропускателната способност.
Цената влияе само на изчислими показатели: цена за GiB VRAM с място по валута, цена за GB/s и, при класирани измервания, цена за tok/s. Пример: 16 GB за 450 EUR са 28,13 EUR за GiB, 24 GB за 900 EUR са 37,50 EUR за GiB. Валутите никога не се смесват, а неизвестната доставка превръща стойността в минимум. Бекендове като CUDA, ROCm, Vulkan, Metal или SYCL са програмни интерфейси, чрез които ИИ софтуерът ползва GPU; данни с източник се смятат за документирани, без източник за непотвърдени, а непосочен бекенд остава неизвестен.
Безплатно и без акаунт: изчислявайте колкото пъти искате, а въведеното остава на устройството ви.
Технически данни
Технически данни
Входни формати
Данни от формуляра (без файл)
Обработка
Локално в браузъра (JavaScript)
Качване на файлове
Няма
В 3 стъпки
Постави GPU кандидатите с VRAM, пропускателна способност, бекендове, мощност, цена и източник като CSV.
Въведи натоварването: параметри, битове на тегло, контекст, стойности от картата на модела и буфер, плюс нужния бекенд.
Добави свои или документирани измервания с вид, модел, квантизация, контекст и бекенд.
Сравни в таблицата побирането, профила на бекендовете, цената за GiB и групите измервания и копирай отчета като CSV.
Ограничения: Помощникът не познава продукти и не дава препоръки за покупка или гаранции: смята само с твоите стойности. Няма прогноза за tok/s, проценти тясно място или обща оценка. Проверката важи за един GPU без прехвърляне в RAM; драйвери, охлаждане, шум, размер и захранване не се проверяват. Цените са към момента на въвеждане, без валутни курсове.
Чести въпроси
Защо инструментът не оценява токени в секунда по пропускателната способност?
Защото реалната скорост зависи от модела, квантизацията, контекста, бекенда, драйвера и софтуера. Прогноза от спецификацията би изглеждала точна, но би била измислена. Затова таблицата показва само измерени стойности с условията им; ако липсва измерване, стои „?“.
Защо някои измервания нямат място?
Място има само между измервания с еднакъв вид, модел, квантизация, контекст и бекенд. Ако липсва някое от тези данни, таблицата показва „≠“ вместо място и измерването се брои за некласирано. Различните условия отиват в отделни групи.
Какво означават ✓, ~, ✗ и ? в таблицата?
При побирането ✓ значи побира се по изчисление, ✗ не се побира, а ? непотвърдено. При бекендовете ✓ значи поддържа се по източник, ~ посочено без източник, ✗ посочено като неподдържано (запис с минус, например -CUDA), а ? неизвестно. Непосочен бекенд никога не се брои за „не“.
Защо „16 GB“ VRAM се броят за 16 GiB?
Видеопаметта е организирана в двоични размери, но обикновено се обозначава в „GB“, както RAM. Затова превключвателят чете такива стойности като GiB (2³⁰ байта). Изключи го, ако източникът ти наистина има предвид десетични гигабайти; тогава таблицата показва преизчислената стойност в GiB.
Избор GPU за локален ИИ: може ли да се ползва безплатно и без акаунт?
Да. Ползването е безплатно и не изисква акаунт: можете да изчислявате колкото пъти искате, а въведеното остава на устройството ви.
Само с вашето съгласие измерваме употребата анонимно чрез бисквитки, за да подобряваме gottrix. Вашите файлове винаги остават локално, на вашето устройство. Поверителност