추론형 모델은 일반 대화 모델이 토큰만 더 내는 경우가 아닙니다. 논문의 10만 개 표본에서 출력의 45%가 5,000토큰을 넘었고 입력은 훨씬 짧았습니다. 생성 토큰마다 KV 상태가 계속 남으므로 GPU 연산기를 채우기 전에 메모리 용량이 소진될 수 있습니다[1].
이 역전은 용량 계획의 기준을 바꿉니다. 사업자는 피크 초당 토큰 수나 모델 가중치뿐 아니라 동시에 유지할 시퀀스 상태와 완료 시간 목표를 기준으로 시스템을 구성해야 합니다. 이 글은 작업 분포가 메모리 점유량으로 바뀌는 과정을 연결하고, 계산된 GPU 수가 모든 추론 서비스에 적용할 보편 비율이 아니라 특정 시나리오의 결과임을 구분합니다.
데이터 병렬화는 메모리를 합치지 않는 이유
연구는 H200 8개 노드에서 80억~6,710억 파라미터 모델을 평가합니다. 데이터 병렬화는 모델을 복제하고 요청을 나눕니다. 소형 모델에서는 GPU를 2개에서 8개로 늘릴 때 전체 처리량이 약 4× 증가하지만 각 복제본의 HBM은 독립적입니다. 길이가 다른 요청이 메모리를 조각내면 다른 GPU에 여유가 있어도 선점과 재계산이 발생합니다.
텐서 병렬화는 모델과 KV 상태를 여러 GPU 메모리에 나누지만 계층마다 집합 통신을 부담합니다. 논문은 약 320억 파라미터에서 용량 이점이 통신 비용을 넘어서는 전환을 관찰합니다. 밀집 Llama 405B는 대역폭과 인터커넥트에 민감해 높은 TP가 유리하고, 희소 DeepSeek-R1 671B는 라우팅·동기화 비용 때문에 TP와 파이프라인을 섞는 구성이 더 적합할 수 있습니다.
출력 길이가 자원 예약을 바꾸는 방식
일반 서비스는 입력 프롬프트 길이와 짧은 최대 응답으로 작업을 예측합니다. 추론형 요청은 반대입니다. 평가한 10만 표본에서 출력의 45%가 5,000토큰을 넘습니다. 요청을 받을 때 실제 길이를 알 수 없지만 각 시퀀스는 끝날 때까지 처리한 모든 토큰의 상태를 유지합니다[1].
모든 요청에 최댓값을 예약하면 HBM을 낭비하고 평균값으로 입장시키면 긴 출력이 동시에 나타날 때 초과 할당됩니다. 메모리가 차면 상태를 옮기거나 버리고 나중에 다시 계산합니다. 지연이 이미 늘어난 시점에 대역폭과 연산을 추가로 쓰게 됩니다.
입장 제어는 길이 분위수, 사용자·작업 종류, 동적 여유를 써야 합니다. 긴 요청을 별도 풀로 보내거나 토큰 예산을 둘 수도 있습니다. 잘라내기, 대기, 가격은 품질에 영향을 주므로 순수한 인프라 문제가 아닙니다.
KV 캐시는 오래 남는 작업 상태
자기회귀 어텐션은 이전 토큰의 키와 값(KV)을 저장해 매 단계 전체 접두 구간을 다시 계산하지 않습니다. 활성 시퀀스 수, 길이, 층, 어텐션 헤드 구조, 데이터 형식, 병렬 배치에 따라 크기가 늘고 수천 번의 디코드 단계 동안 남아 있습니다.
가중치가 고정된 메모리 공간을 차지하고 남은 HBM에 KV 캐시, 조각화 여유, 통신 버퍼, 실행 환경의 여유 공간이 들어갑니다. 시작할 때 모델이 들어가더라도 실제 동시 요청 수와 길이 분포에서는 실패할 수 있습니다. 매개변수 수가 아니라 서비스 동작점에서 용량을 계산해야 합니다.
페이지형 할당은 조각화를 줄이고 시퀀스를 조금씩 키우지만 독립된 데이터 병렬 복제본의 메모리를 합치지 못합니다. 새 요청은 빈 복제본으로 보낼 수 있어도 진행 중인 시퀀스를 옮기려면 KV 캐시를 전송하거나 재계산해야 합니다.
데이터 병렬화는 메모리가 조각날 때까지 잘 확장되는 범위
작은 모델은 복제본마다 독립된 대기열을 두면 복제본 사이 통신 없이 처리량을 높일 수 있습니다. 논문은 작은 모델에서 GPU를 2개에서 8개로 늘릴 때 약 4배의 처리량을 보고합니다.
각 복제본은 가중치와 KV 할당을 따로 가집니다. 길이가 다른 요청은 서로 다른 시점에 끝나고 한 복제본의 빈 공간을 다른 곳의 진행 중 시퀀스가 쓸 수 없습니다. 입장 시 부하 분산은 도움이 되지만 예측보다 긴 요청이 배치 뒤 용량을 묶을 수 있습니다.
짧은 작업을 우선하면 완료 건수는 늘지만 긴 추론은 굶을 수 있습니다. 공정성을 높이면 전체 처리량이 낮아질 수 있습니다. 도착·길이 분포, 입장 한계, 선점 정책, 지연 백분위를 함께 공개해야 합니다.
텐서 병렬화는 통신 비용으로 HBM을 공유하는 구조
텐서 병렬화는 층과 상태를 여러 GPU에 나눠 한 요청이 그룹의 메모리를 합쳐 씁니다. 독립 복제본에서 생기는 메모리 조각화를 줄이고 큰 모델과 긴 문맥을 수용하지만 거의 모든 트랜스포머 층에서 집합 통신과 동기화를 수행합니다.
작은 모델에서는 통신이 용량 이득보다 커서 데이터 병렬화가 낫습니다. 논문에서 약 32B 부근에 전환이 나타나지만 보편적인 매개변수 수는 아닙니다. HBM, 링크, 양자화, 배치, 문맥, 구현이 경계를 옮깁니다.
빠른 노드 내부에서는 높은 텐서 병렬도가 유효할 수 있지만, 모든 층이 느린 네트워크를 건너면 토큰 지연이 커집니다. 큰 배치가 처리량 지표에서 통신 비용을 가릴 수 있어도 대화형 서비스의 토큰 지연에는 그대로 드러납니다. 논리적 GPU 그룹을 물리 계층에 맞춰야 합니다.
밀집 모델과 희소 모델은 다른 경로를 압박하는 경로
Llama 405B는 토큰마다 큰 가중치 행렬을 모두 사용하므로 메모리 대역폭과 텐서 집합 통신이 지배합니다. 높은 텐서 병렬도(TP)로 모델을 나누고 가중치를 공급하는 방식이 유리합니다. DeepSeek-R1 671B는 일부 전문가만 활성화해 전체 매개변수 수에 비해 토큰당 연산은 작지만 라우팅과 부하 균형 비용이 추가됩니다.
토큰이 선택한 전문가로 이동하면서 장치 사이를 건널 수 있어 TP만 높인다고 해결되지 않습니다. 파이프라인 병렬화나 혼합 배치로 전문가를 가까운 장치에 두고 밀집 부분에는 TP를 쓸 수 있습니다. 전문가 배치, 전문가별 수용 한계, 토큰 분포, 링크 성능이 최적점을 정합니다.
두 모델을 크다는 말로 묶으면 차이를 놓칩니다. 전체 매개변수 수, 토큰당 활성 매개변수 수, 가중치 위치, KV 캐시 크기, 통신 형태를 구분해야 합니다.
TTFT와 토큰 지연은 스케줄러를 다르게 끌어당기는 방향
첫 토큰까지 걸리는 시간(TTFT)은 대기열과 입력 프롬프트 처리를 포함하고, 토큰당 시간은 디코드 흐름을 봅니다. 동시에 받는 요청과 배치를 늘리면 장치 활용률과 프롬프트 처리량은 좋아져도 개별 디코드와 대기열 지연이 늘 수 있습니다.
긴 추론에서는 작은 토큰당 지연도 수천 번 누적됩니다. 시퀀스를 선점하면 짧은 요청은 빨리 시작하지만 긴 요청은 상태를 다시 읽거나 계산합니다. 출력 길이 구간별 꼬리 지연을 따로 보고해야 합니다.
서비스 목표는 선언한 도착 분포에서 TTFT, 토큰 지연, 완료 시간, 처리량을 함께 만족하는 곡선이어야 합니다. GPU가 더 이상 할당하지 못하는 지점이 용량은 아닙니다.
메모리 계층은 이동 정책이 있을 때만 유용한 조건
호스트 DRAM, CXL 메모리, SSD, 원격 저장장치는 HBM 밖으로 KV 용량을 늘릴 수 있지만 대역폭과 지연이 낮습니다. 활성 시퀀스를 매 토큰 옮기면 처리량이 무너집니다. 곧 다시 쓸 상태를 예측해야 합니다.
당장 쓰지 않거나 선점된 상태를 바깥으로 보내고 현재 디코드 중인 KV 캐시는 HBM에 둡니다. 공통 프롬프트의 접두 구간을 공유할 수도 있지만 격리와 수명 관리가 정확해야 합니다. 압축과 낮은 정밀도는 용량을 줄이는 대신 품질 검증이 필요합니다.
명목 용량보다 이동한 바이트당 줄인 재계산량과 추가로 수용한 유효 작업을 측정해야 합니다. 요청이 몰릴 때 PCIe나 CXL가 포화되면 모든 요청이 느려질 수 있으므로, 퇴거 대역폭을 제한하고 상류 요청을 늦추는 역압(backpressure)이 필요합니다.
용량 계획에 필요한 분포
도착률, 프롬프트·출력 길이 분포, 모델 상태, 토큰당 KV 캐시, 서비스 목표를 시뮬레이션에 넣을 수 있습니다. 선점, 조각화, 배치 형성, 메모리 이동을 재현하고 실제 요청 기록으로 검증해야 합니다.
긴 요청이 함께 들어오는 경우가 최악이므로 평균만으로는 부족합니다. 추론형 요청을 짧은 대화형 요청과 별도 자원 풀로 나누면 격리할 수 있지만 풀 사이에 자원 조각화가 생깁니다. 요청이 몰릴 때도 안전하게 경계를 옮길 수 있어야 동적 분할이 활용률을 높입니다.
병목에 따라 구매가 달라집니다. 연산 성능은 프리필과 연산 집약 모델을, HBM은 긴 동시 시퀀스를, 빠른 서버 내부 확장 링크는 여러 GPU의 텐서 분할을, 서버 간 확장망은 라우팅과 상태 이동을 돕습니다. 이 작업 모형 없이 최고 FLOPS만 높여도 실제 서비스 용량은 늘지 않을 수 있습니다.
평가가 확정하지 않는 범위
연구는 H200 8장 노드에서 8B부터 671B 모델과 10만 요청을 다룹니다. 다른 추론 실행 엔진, 양자화, 추측 디코딩, KV 캐시 압축, 더 큰 HBM은 곡선을 옮길 수 있습니다.
45%의 긴 출력은 선택한 자료의 특성이며 모든 서비스의 분포가 아닙니다. 32B 전환도 해당 조건의 관측 영역입니다. 남는 결론은 길이 분포에서 지속 상태와 지연을 측정하고 밀집·희소 모델에 병렬화를 따로 고르는 방법입니다.
운영자는 복제본·그룹별 KV 캐시 점유와 조각화, 길이 예측, 선점과 재계산, 계층 간 이동량, 집합 통신, TTFT, 토큰 지연, 완료 시간의 꼬리 분포를 봐야 합니다. 스케줄러는 긴 요청을 대기·제한·절단하는 정책을 명시해야 하며, 메모리 부족에 따른 재시도 안에 제품 결정을 숨기면 안 됩니다.
길이 예측은 틀리므로 입장 제어에는 과소·과대 추정의 예산이 필요합니다. 과소 추정은 선점·재계산·거절을 만들고 과대 추정은 HBM을 놀립니다. 모든 요청을 부풀리는 대신 공유 비상 공간을 두고 여러 긴 출력이 함께 나타날 때 흡수할 수 있습니다.
이 여유가 소진되면 어떤 상태를 옮기고 어떤 요청을 기다리게 할지 정책으로 정해야 합니다. 완료 건수만 최적화하면 가장 긴 추론을 반복해서 선점할 수 있으므로 길이 구간별 완료율, 성능 저하, 포기율도 봐야 합니다. 모델 구조, KV 캐시 정밀도, 추측 디코딩, GPU 세대가 바뀔 때 고정된 요청 기록으로 병렬화 전환점을 다시 측정해야 합니다. 이 측정은 매개변수 수 하나가 아니라 실제 서비스 분포를 기준으로 용량 계획을 계속 갱신하게 하며, 구매 이후의 운영 정책도 검증할 수 있게 합니다.
추론 용량을 좌우하는 연산량보다 메모리 배치
추론 서비스는 첫 토큰 시간, 출력 토큰당 시간, 종단 간 지연, KV 점유율, 처리량을 함께 조정해야 합니다. 요청을 많이 받으면 첫 토큰 대기는 줄어도 긴 디코드가 느려지고 꼬리 지연이 불안정해집니다. HBM·DRAM·CXL·스토리지 사이의 KV 배치와 이동을 명시적으로 제어해야 하며 연산량만 늘려서는 메모리 용량 문제를 해결할 수 없습니다.
구매 기준은 평균 요청이 아닌 세션 분포
추론형 모델의 용량 계획은 모델 크기 하나와 문맥 길이 하나로 시작할 수 없습니다. 실제 메모리 수요는 프롬프트 길이, 생성 토큰 수, 동시 세션 수, KV 캐시 정밀도, 배치 정책, 접두부 재사용 비율의 분포로 결정됩니다. 같은 가중치를 쓰는 두 서비스도 한쪽은 긴 대화를 유지하고 다른 쪽은 짧은 독립 답변을 만들면 서로 다른 용량 한계에 먼저 도달합니다.
구매용 트레이스에는 이 세션 속성을 보존하고 후보 메모리 계층에서 그대로 재생해야 합니다. 꼬리 TTFT, 토큰 사이 지연, 가속기 시간당 완료 요청, 수락을 거부한 요청 수, 메모리 계층 사이의 이동 바이트를 함께 측정합니다. 양자화와 퇴거 정책은 용량을 늘릴 수 있지만 정확도 변화와 재계산 비용을 절감한 바이트에 연결해야 합니다. 올바른 비교 기준은 메모리에 맞도록 선별한 프롬프트의 최대 토큰 처리량이 아니라 전체 세션 분포에서 지연시간과 품질 목표를 만족하는 비용입니다.
출처와 저작권 안내
이 글은 독립적인 문장과 두 새 도판으로 작성했습니다. 원문의 문장·차트·표를 재사용하지 않았습니다. 저자가 공개한 arXiv 원고가 있으며 공식 판본은 (c) IEEE 2026입니다.