모델이 실제로 필요로 하는 VRAM의 양입니다.

계산식

두 번째 모델을 만나면 살아남는 경험칙이 여기에는 없습니다. 전체 계산은 3줄이며, 배수를 믿기보다 직접 계산해 보는 편이 낫습니다.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

2가 있는 이유는 토큰마다 K와 V, 텐서 2개가 있기 때문입니다. bytes_per_parameter는 BF16에서 2, FP8에서 1, 4비트에서 0.5입니다. cache_bytes는 별개의 숫자이며, 이 구분이 오답의 가장 흔한 원인입니다 — 아래를 참조하십시오.

가중치

쉬운 쪽 절반입니다. 파라미터 수에 정확히 비례하며, 결정할 것은 정밀도뿐입니다.

4비트 양자화는 품질을 희생하며, 그 정도는 방법보다 모델에 훨씬 더 크게 좌우됩니다. 카드 1장과 4장을 가르는 상황이라면 옳은 절충이고, 이미 여유가 있다면 나쁜 절충입니다.

KV 캐시

어려운 쪽 절반이며, 어떤 머신이 4k에서는 충분하고 128k에서는 가망 없는지를 결정하는 쪽입니다. 레이어 수와 KV 헤드 수에 좌우됩니다 — 모델의 크기에는 좌우되지 않습니다.

첫 열보다 마지막 열을 먼저 보십시오. 4k 컨텍스트에서 캐시는 여기 있는 모든 모델에서 반올림 오차 수준이지만, 128k에서는 4비트 70B 모델의 가중치보다 큽니다. DeepSeek V3 모델은 예외인데, 잠재 어텐션이 설계상 캐시를 압축하기 때문입니다 — 목록에서 가장 큰 모델인데도 긴 컨텍스트에서 쓸 만한 이유가 여기에 있습니다.

추정이 어긋나는 지점

계산 예시

8k 컨텍스트, 요청 1건 기준으로 가중치와 캐시, 오버헤드를 합한 총 필요 메모리입니다. 구성 도구가 카탈로그의 모든 구성에 대해 수행하는 계산과 동일합니다.

마지막 열은 4비트, 8k 컨텍스트에서 모델을 담는, 당사 카탈로그에서 가장 저렴한 노드이며, 메모리 대역폭이 허용하는 단일 스트림 생성 속도를 함께 표시합니다. 처리량 수치는 의도적으로 보수적으로 잡았고 공개된 측정값에 맞추어 보정했습니다 — 약속이 아니라 하한으로 보십시오.

요청을 여러 건 서빙하기

데모에 맞춰 사이징한 머신이 제품을 서빙하지 못하는 머신이 되는 지점이 바로 여기입니다. 가중치는 1회 지불하고, 캐시는 동시 시퀀스마다 지불합니다.

Llama 3.3 70B 모델은 4비트에서 무엇을 하든 가중치가 35 GB입니다. 그 표에서 35 GB를 넘는 것은 모두 캐시입니다. “내 노트북에서는 잘 돌았다”와 “운영 환경에서 무너졌다”가 같은 카드 위의 같은 모델인 이유가 바로 이것입니다.

그에 해당하는 머신

위의 모든 내용에서 따라 나오는 실용적인 규칙 3가지를, 중요한 순서대로 정리했습니다.

1. 가능하다면 언제나 카드 1장이 여러 장보다 낫습니다. 샤딩도, 레이어 간 동기화도, 고민해야 할 인터커넥트도 없습니다. 사용하시는 컨텍스트에서 모델이 단일 카드에 들어간다면, 그 카드를 사십시오.
2. 모델이 광고하는 최댓값이 아니라, 실제 컨텍스트와 실제 동시성에 맞추어 사이징하십시오. 광고된 최댓값은 능력치일 뿐 요구 사항이 아닙니다.
3. 샤딩해야 한다면 NVLink를 택하십시오. PCIe 카드 4장에 나누는 것도 동작하지만, NVLink 카드 4장에 나누면 동작하면서 의미 있게 더 빠릅니다. 다음 가이드는 그 차이에 값을 치를 만한 때가 정확히 언제인지를 다룹니다.

구성 도구는 구성 41개 전체에 대해 이 계산을 실시간으로 수행합니다: 모델과 정밀도, 컨텍스트 길이를 고르면 어느 노드가 이 모델을 담는지, 어느 노드가 단일 카드에 담는지, 각각의 월 비용이 얼마인지 알려 줍니다. 이 페이지의 계산식을 그대로 쓰므로, 당사의 계산에 동의하지 않으신다면 이제 어느 부분인지 정확히 지적하실 수 있습니다.