ko

LLM VRAM 계산기

로컬 언어 모델이 VRAM과 RAM에 들어가는지 확인하세요. 가중치, KV 캐시, 버퍼, 오프로드를 따로 GB와 GiB로 보여 주며, 업로드 없이 로컬에서 계산합니다.

이 계산기는 모델 기반의 참고용 추정치를 제공하며 금융, 세무 또는 법률 자문이 아닙니다. 면책 조항에서 자세히 보기
  • 나이지리아
  • 네덜란드
  • 대만
  • 대한민국
  • 독일
  • 러시아
  • 말레이시아
  • 멕시코
  • 미국
  • 방글라데시
  • 베트남
  • 불가리아
  • 브라질
  • 스웨덴
  • 스페인
  • 영국
  • 우크라이나
  • 유로존
  • 이집트
  • 이탈리아
  • 인도
  • 인도네시아
  • 일본
  • 중국
  • 케냐
  • 태국
  • 튀르키예
  • 파키스탄
  • 포르투갈
  • 폴란드
  • 프랑스
메모리 종류
  • 전용 VRAM이 있는 그래픽카드
  • 공유 메모리(통합 메모리)
  • CPU만, GPU 없음
GPU 수
GPU당 VRAM(GiB)
여러 GPU로 분할
  • 없음: 모델이 GPU 한 장에 들어가야 함
  • 런타임이 레이어를 여러 GPU에 나눔
화면 표시와 드라이버용 GPU당 예비 용량(GiB)
시스템 RAM(GiB)
시스템과 프로그램용 RAM 예비 용량(GiB)
운영체제(자유 입력)
런타임과 버전(자유 입력)
모델과 리비전(자유 입력)
전체 파라미터(10억 단위, MoE는 모든 전문가)
토큰당 활성 파라미터(10억 단위, MoE만)
가중치당 비트 수(양자화, 실효값)
KV 캐시가 있는 레이어 수
KV 헤드 수(GQA에서는 쿼리 헤드보다 적음)
헤드당 차원
사용하는 컨텍스트(토큰)
KV 캐시 정밀도
  • 16 bit (FP16/BF16)
  • 8 bit
  • 4 bit
동시 요청 수
런타임 버퍼(GiB, 가정)
불확실성(±)
변경하지 않은 예시 값이 내 모델과 내 컴퓨터에 맞음

결과

예시 계산만 표시: 값을 변경하거나 확인하세요
모델이 들어가나요?
5.65 GB · 5.26 GiB
필요한 메모리 합계
5.08 GB - 6.21 GB (± 10 %)
불확실성 구간
3.50 GB · 3.26 GiB
가중치
1.07 GB · 1.00 GiB
KV 캐시
1.07 GB · 1.00 GiB
런타임 버퍼(가정)
8.05 GB · 7.50 GiB
사용 가능한 GPU 메모리
GPU 하나
GPU 분할
12.88 GB · 12.00 GiB
남은 시스템 RAM
0.00 GB
시스템 RAM으로 오프로드
예시 계산만 표시: 값을 변경하거나 확인하세요
완전히 들어가는 최대 컨텍스트(토큰)
예시 계산만 표시: 값을 변경하거나 확인하세요
완전히 들어가는 최대 비트 수
입력 안 함(밀집 모델)
토큰당 활성 파라미터(MoE)
7 × 10⁹ × 4 bit ÷ 8
가중치 계산식
2 × 32 × 8 × 128 × 8,192 × 1 × 16 bit ÷ 8
KV 캐시 계산식
수정 가능한 예시, 특정 모델 아님
모델 값의 출처
수정 가능한 예시, 사용자의 컴퓨터 아님
메모리 값의 출처
미지정
모델 프로필
미지정
운영체제
미지정
런타임
사용할 수 없음
공개 모델 프로필과 비교

메모리 사용률(상한, %)

평가 없음들어감빠듯함초과

다른 양자화의 같은 모델

다른 양자화의 같은 모델
가중치당 비트 수가중치합계(상한)남은 메모리
16 bit14.00 GB17.76 GB-9.71 GB
8 bit7.00 GB10.06 GB-2.01 GB
6 bit5.25 GB8.14 GB-0.08 GB
5 bit4.38 GB7.17 GB0.88 GB
4 bit3.50 GB6.21 GB1.84 GB
3 bit2.63 GB5.25 GB2.80 GB
2 bit1.75 GB4.29 GB3.77 GB
제 파일이 업로드되나요?

아니요. 모든 처리가 브라우저에서 이루어지며, 파일이 기기를 떠나지 않습니다. 이것을 검증하는 방법

업로드 없음100% 로컬 처리
내용은 내 손안에제3자 접근 불가
독일에서 호스팅글로벌 콘텐츠 전송
외부 검증 완료TLS A+ · 헤더 A+

언어 모델을 로컬에서 돌릴 수 있는지는 먼저 메모리가 결정합니다. 이 계산기는 필요량을 여러 부분으로 나눕니다. 가중치(파라미터 수 × 가중치당 비트 수 ÷ 8), 사용하는 컨텍스트의 KV 캐시, 런타임 버퍼, 그리고 눈에 보이는 불확실성입니다. 70억 개 파라미터를 4비트로 양자화하면 오버헤드를 더하기 전 순수 가중치만 3.5 GB입니다. 모든 크기는 GB(10⁹바이트)와 GiB(2³⁰바이트)로 두 번 표시됩니다. 그래픽카드와 메모리는 2진수로 세지만 모델 파일은 10진수로 표기되는 경우가 많기 때문입니다.

KV 캐시는 컨텍스트에 비례해 늘어나며 아키텍처를 따릅니다. 2(키와 값) × 레이어 수 × KV 헤드 수 × 헤드 차원 × 토큰 수 × 요소당 바이트 수입니다. Grouped-query attention을 쓰는 모델은 쿼리 헤드보다 KV 헤드가 적어 그만큼 캐시가 적게 듭니다. Mixture-of-experts 모델은 모든 전문가가 로드되어야 하므로 메모리에는 전체 파라미터 수가 반영되며, 토큰당 활성 파라미터는 연산량만 좌우합니다. 표는 같은 모델을 다른 양자화 단계로 보여 주고, 완전히 들어가는 가장 큰 컨텍스트와 가장 높은 비트 수도 알려 줍니다.

여러 그래픽카드는 런타임이 실제로 레이어를 카드에 나눠 배치할 때만 합산됩니다. 지원되는 분할이 없으면 8 GiB 카드 두 장은 16 GiB 카드 한 장이 아닙니다. GPU 메모리에 들어가지 않는 부분은 시스템 RAM으로 오프로드할 수 있으며, 결과는 그 양을 알려 주지만 속도에 대해서는 아무것도 말하지 않습니다. 내장된 모델 프로필은 없습니다. 미리 채워진 값은 수정 가능한 예시일 뿐 특정 모델이 아닙니다. 모델 카드의 값을 입력하세요. 모든 계산은 브라우저에서 이루어지며 어디에도 저장되지 않습니다.

무료이며 계정이 필요 없습니다. 원하는 만큼 계산할 수 있고, 입력한 내용은 기기에 남습니다.

기술 사양

기술 사양
입력 형식폼 입력 (파일 없음)
처리 방식브라우저에서 로컬 처리 (JavaScript)
파일 업로드없음

3단계로

  1. 메모리 종류, GPU당 VRAM, GPU 수와 분할 방식, 시스템 RAM과 예비 용량을 입력합니다.
  2. 모델 카드의 값을 입력합니다. 파라미터 수, 가중치당 비트 수, 레이어 수, KV 헤드 수, 헤드 차원, 컨텍스트입니다.
  3. 결과와 가중치, KV 캐시, 버퍼의 구성, 오프로드 양, 양자화 대안을 확인합니다.

제한: 메모리에 들어간다고 해서 속도나 런타임, 드라이버 지원이 보장되지는 않습니다. 런타임 버퍼와 예비 용량은 가정이며, 버전과 배치 크기, 백엔드에 따라 필요량이 달라집니다. KV 공식은 GQA/MQA를 포함한 일반적인 어텐션을 전제로 합니다. Sliding-window, MLA, 하이브리드 구조는 캐시가 훨씬 적게 들 수 있습니다. 모델이나 하드웨어 데이터는 내장되어 있지 않습니다.

자주 묻는 질문

모델 가중치에는 메모리가 얼마나 필요한가요?

파라미터 수 × 가중치당 비트 수 ÷ 8입니다. 70억 개 파라미터를 4비트로 하면 3.5 GB, 약 3.26 GiB이며 여기에 KV 캐시와 버퍼가 더해집니다. 스케일 계수가 있는 양자화 형식은 명목 비트 수보다 조금 크므로, 이때는 실효 비트 수(바이트 단위 파일 크기 × 8 ÷ 파라미터 수)를 입력하세요.

왜 GB와 GiB를 함께 표시하나요?

1 GB는 10⁹바이트, 1 GiB는 2³⁰바이트로 약 7% 더 큽니다. 그래픽카드와 메모리는 상자에 GB라고 적혀 있어도 2진수로 셉니다. 반면 모델 파일은 10진수로 표기되는 경우가 많습니다. 모르는 사이에 섞이지 않도록 두 값을 따로 보여 줍니다.

8 GB 그래픽카드 두 장은 16 GB 한 장과 같나요?

런타임이 레이어를 두 카드에 나눠 배치할 때만 그렇습니다. 지원되는 분할이 없으면 모델이 한 장에 들어가야 하고, 계산기도 그 카드의 메모리만 셉니다. 분할하더라도 카드마다 자체 예비 용량이 필요합니다.

Mixture-of-experts 모델은 어떻게 계산하나요?

모든 전문가가 로드되어야 하므로 메모리는 전체 파라미터 수로 계산합니다. 토큰당 활성 파라미터는 표시만 하며, 영향을 주는 것은 연산량이지 필요한 공간이 아닙니다.

'들어간다'는 건 모델이 빠르게 돈다는 뜻인가요?

아닙니다. 계산기는 메모리만 확인합니다. 모델의 응답 속도는 메모리 대역폭, 연산 성능, 런타임, 오프로드 여부에 달려 있습니다. 일부가 시스템 RAM에 있으면 보통 출력이 크게 느려집니다.

‘LLM VRAM 계산기’ 도구는 무료로, 계정 없이 쓸 수 있나요?

네. 무료이고 계정도 필요 없습니다. 원하는 만큼 계산할 수 있으며, 입력한 내용은 기기에 남습니다.

관련 도구

AI 토큰 계산기 · 데이터 크기 변환기 · 전기 요금 계산기 · AI 모델 비교 · PC 업그레이드·파워 서플라이 플래너 · RAM과 SSD의 GB당 가격