언어 모델을 로컬에서 돌릴 수 있는지는 먼저 메모리가 결정합니다. 이 계산기는 필요량을 여러 부분으로 나눕니다. 가중치(파라미터 수 × 가중치당 비트 수 ÷ 8), 사용하는 컨텍스트의 KV 캐시, 런타임 버퍼, 그리고 눈에 보이는 불확실성입니다. 70억 개 파라미터를 4비트로 양자화하면 오버헤드를 더하기 전 순수 가중치만 3.5 GB입니다. 모든 크기는 GB(10⁹바이트)와 GiB(2³⁰바이트)로 두 번 표시됩니다. 그래픽카드와 메모리는 2진수로 세지만 모델 파일은 10진수로 표기되는 경우가 많기 때문입니다.
KV 캐시는 컨텍스트에 비례해 늘어나며 아키텍처를 따릅니다. 2(키와 값) × 레이어 수 × KV 헤드 수 × 헤드 차원 × 토큰 수 × 요소당 바이트 수입니다. Grouped-query attention을 쓰는 모델은 쿼리 헤드보다 KV 헤드가 적어 그만큼 캐시가 적게 듭니다. Mixture-of-experts 모델은 모든 전문가가 로드되어야 하므로 메모리에는 전체 파라미터 수가 반영되며, 토큰당 활성 파라미터는 연산량만 좌우합니다. 표는 같은 모델을 다른 양자화 단계로 보여 주고, 완전히 들어가는 가장 큰 컨텍스트와 가장 높은 비트 수도 알려 줍니다.
여러 그래픽카드는 런타임이 실제로 레이어를 카드에 나눠 배치할 때만 합산됩니다. 지원되는 분할이 없으면 8 GiB 카드 두 장은 16 GiB 카드 한 장이 아닙니다. GPU 메모리에 들어가지 않는 부분은 시스템 RAM으로 오프로드할 수 있으며, 결과는 그 양을 알려 주지만 속도에 대해서는 아무것도 말하지 않습니다. 내장된 모델 프로필은 없습니다. 미리 채워진 값은 수정 가능한 예시일 뿐 특정 모델이 아닙니다. 모델 카드의 값을 입력하세요. 모든 계산은 브라우저에서 이루어지며 어디에도 저장되지 않습니다.
무료이며 계정이 필요 없습니다. 원하는 만큼 계산할 수 있고, 입력한 내용은 기기에 남습니다.
기술 사양
기술 사양
입력 형식
폼 입력 (파일 없음)
처리 방식
브라우저에서 로컬 처리 (JavaScript)
파일 업로드
없음
3단계로
메모리 종류, GPU당 VRAM, GPU 수와 분할 방식, 시스템 RAM과 예비 용량을 입력합니다.
모델 카드의 값을 입력합니다. 파라미터 수, 가중치당 비트 수, 레이어 수, KV 헤드 수, 헤드 차원, 컨텍스트입니다.
결과와 가중치, KV 캐시, 버퍼의 구성, 오프로드 양, 양자화 대안을 확인합니다.
제한: 메모리에 들어간다고 해서 속도나 런타임, 드라이버 지원이 보장되지는 않습니다. 런타임 버퍼와 예비 용량은 가정이며, 버전과 배치 크기, 백엔드에 따라 필요량이 달라집니다. KV 공식은 GQA/MQA를 포함한 일반적인 어텐션을 전제로 합니다. Sliding-window, MLA, 하이브리드 구조는 캐시가 훨씬 적게 들 수 있습니다. 모델이나 하드웨어 데이터는 내장되어 있지 않습니다.
자주 묻는 질문
모델 가중치에는 메모리가 얼마나 필요한가요?
파라미터 수 × 가중치당 비트 수 ÷ 8입니다. 70억 개 파라미터를 4비트로 하면 3.5 GB, 약 3.26 GiB이며 여기에 KV 캐시와 버퍼가 더해집니다. 스케일 계수가 있는 양자화 형식은 명목 비트 수보다 조금 크므로, 이때는 실효 비트 수(바이트 단위 파일 크기 × 8 ÷ 파라미터 수)를 입력하세요.
왜 GB와 GiB를 함께 표시하나요?
1 GB는 10⁹바이트, 1 GiB는 2³⁰바이트로 약 7% 더 큽니다. 그래픽카드와 메모리는 상자에 GB라고 적혀 있어도 2진수로 셉니다. 반면 모델 파일은 10진수로 표기되는 경우가 많습니다. 모르는 사이에 섞이지 않도록 두 값을 따로 보여 줍니다.
8 GB 그래픽카드 두 장은 16 GB 한 장과 같나요?
런타임이 레이어를 두 카드에 나눠 배치할 때만 그렇습니다. 지원되는 분할이 없으면 모델이 한 장에 들어가야 하고, 계산기도 그 카드의 메모리만 셉니다. 분할하더라도 카드마다 자체 예비 용량이 필요합니다.
Mixture-of-experts 모델은 어떻게 계산하나요?
모든 전문가가 로드되어야 하므로 메모리는 전체 파라미터 수로 계산합니다. 토큰당 활성 파라미터는 표시만 하며, 영향을 주는 것은 연산량이지 필요한 공간이 아닙니다.
'들어간다'는 건 모델이 빠르게 돈다는 뜻인가요?
아닙니다. 계산기는 메모리만 확인합니다. 모델의 응답 속도는 메모리 대역폭, 연산 성능, 런타임, 오프로드 여부에 달려 있습니다. 일부가 시스템 RAM에 있으면 보통 출력이 크게 느려집니다.
‘LLM VRAM 계산기’ 도구는 무료로, 계정 없이 쓸 수 있나요?
네. 무료이고 계정도 필요 없습니다. 원하는 만큼 계산할 수 있으며, 입력한 내용은 기기에 남습니다.