로컬 AI에서는 먼저 GPU(그래픽 처리 장치)의 그래픽 메모리(VRAM, 비디오 메모리)가 중요합니다. 모델은 가중치, KV 캐시(어텐션의 키와 값을 담는 공간), 실행 버퍼와 함께 들어가야 합니다. 점검은 로컬 언어 모델 도구와 같은 계산을 씁니다. 80억 파라미터를 4.5비트로 두면 가중치는 4.19 GiB이고, KV 헤드 8개·헤드 차원 128의 32개 층에 FP16 컨텍스트 8192토큰이면 KV 캐시는 1.00 GiB, 버퍼 1 GiB를 더하면 모두 6.19 GiB입니다. 빠진 부분이 있으면 필요량은 「≥」와 함께 표시되고, 알려진 부분만으로도 들어가지 않을 때에만 카드가 작다고 판정합니다.
데이터시트 값과 실측값은 따로 다룹니다. VRAM, GB/s 단위 메모리 대역폭, W 단위 전력은 이론값입니다. 초당 토큰 수(tok/s)는 직접 입력한 실측값에서만 가져오며, 측정 종류(tg = 텍스트 생성, pp = 프롬프트 처리), 모델, 양자화, 컨텍스트, 백엔드를 함께 적습니다. 순위는 조건이 완전히 같은 그룹 안에서만 매깁니다. 같은 모델, Q4_K_M, 8192토큰, Vulkan으로 잰 40 tok/s와 55 tok/s는 G1이 되고, CUDA로 잰 값은 별도 그룹에 들어갑니다. 대역폭으로 속도를 추정하는 일은 없습니다.
가격은 계산 가능한 지표에만 영향을 줍니다. 통화별 순위가 붙은 VRAM GiB당 가격, GB/s당 가격, 그리고 순위가 있는 실측값의 tok/s당 가격입니다. 예: 16 GB가 450 EUR이면 GiB당 28.13 EUR, 24 GB가 900 EUR이면 GiB당 37.50 EUR입니다. 통화는 섞지 않으며, 배송비를 모르면 값은 최솟값이 됩니다. CUDA, ROCm, Vulkan, Metal, SYCL 같은 백엔드는 AI 소프트웨어가 GPU를 쓰는 프로그래밍 인터페이스입니다. 출처가 있는 정보는 근거 있음, 출처가 없으면 미확인이며, 적지 않은 백엔드는 알 수 없음으로 남습니다.
무료이며 계정이 필요 없습니다. 원하는 만큼 계산할 수 있고, 입력한 내용은 기기에 남습니다.
기술 사양
기술 사양
입력 형식
폼 입력 (파일 없음)
처리 방식
브라우저에서 로컬 처리 (JavaScript)
파일 업로드
없음
3단계로
GPU 후보를 VRAM, 대역폭, 백엔드, 전력, 가격, 출처와 함께 CSV로 붙여넣습니다.
워크로드를 입력합니다. 파라미터 수, 가중치당 비트, 컨텍스트, 모델 카드 값, 버퍼, 필요한 백엔드입니다.
직접 잰 값이나 근거 있는 실측값을 종류, 모델, 양자화, 컨텍스트, 백엔드와 함께 추가합니다.
표에서 적재 여부, 백엔드 현황, GiB당 가격, 측정 그룹을 비교하고 보고서를 CSV로 복사합니다.
제한: 이 가이드는 제품을 알지 못하며 구매 추천이나 보증을 하지 않습니다. 입력한 값으로만 계산합니다. tok/s 예측, 병목 비율, 종합 점수는 없습니다. 적재 점검은 시스템 메모리로 오프로드하지 않는 GPU 한 장 기준이며, 드라이버, 냉각, 소음, 크기, 파워서플라이는 확인하지 않습니다. 가격은 입력 시점 기준이며 환율은 쓰지 않습니다.
자주 묻는 질문
왜 대역폭으로 초당 토큰 수를 추정하지 않나요?
실제 속도는 모델, 양자화, 컨텍스트, 백엔드, 드라이버, 소프트웨어에 따라 달라지기 때문입니다. 데이터시트로 만든 예측은 정확해 보여도 지어낸 값입니다. 그래서 표에는 조건과 함께 잰 값만 보여 주고, 실측이 없으면 「?」를 표시합니다.
왜 일부 실측값에는 순위가 없나요?
순위는 종류, 모델, 양자화, 컨텍스트, 백엔드가 모두 같은 실측값끼리만 매깁니다. 이 중 하나라도 비어 있으면 표에 순위 대신 「≠」가 나오고 그 값은 순위 없음으로 셉니다. 조건이 다르면 다른 그룹에 들어갑니다.
표의 ✓, ~, ✗, ?는 무슨 뜻인가요?
적재에서 ✓는 계산상 들어감, ✗는 안 들어감, ?는 미확인입니다. 백엔드에서 ✓는 출처상 지원, ~는 출처 없는 입력, ✗는 미지원으로 입력(-CUDA처럼 빼기 기호를 붙인 항목), ?는 알 수 없음입니다. 적지 않은 백엔드를 「미지원」으로 보지는 않습니다.
왜 VRAM 「16 GB」를 16 GiB로 계산하나요?
그래픽 메모리는 2진 단위로 구성되지만 시스템 메모리처럼 보통 「GB」로 표기합니다. 그래서 스위치는 이런 값을 GiB(2³⁰바이트)로 읽습니다. 출처가 정말 10진 기가바이트를 뜻한다면 끄세요. 그러면 표에 GiB로 환산한 값이 나옵니다.
‘로컬 AI용 GPU 구매 가이드’ 도구는 무료로, 계정 없이 쓸 수 있나요?
네. 무료이고 계정도 필요 없습니다. 원하는 만큼 계산할 수 있으며, 입력한 내용은 기기에 남습니다.