추론형 모델은 일반 대화 모델이 토큰만 더 내는 경우가 아닙니다. 논문의 10만 개 표본에서 출력의 45%가 5,000토큰을 넘었고 입력은 훨씬 짧았습니다. 생성 토큰마다 KV 상태가 계속 남으므로 GPU 연산기를 채우기 전에 메모리 용량이 소진될 수 있습니다[1].
데이터 병렬화는 메모리를 합치지 않습니다
연구는 H200 8개 노드에서 80억~6,710억 파라미터 모델을 평가합니다. 데이터 병렬화는 모델을 복제하고 요청을 나눕니다. 소형 모델에서는 GPU를 2개에서 8개로 늘릴 때 전체 처리량이 약 4× 증가하지만 각 복제본의 HBM은 독립적입니다. 길이가 다른 요청이 메모리를 조각내면 다른 GPU에 여유가 있어도 선점과 재계산이 발생합니다.
텐서 병렬화는 모델과 KV 상태를 여러 GPU 메모리에 나누지만 계층마다 집합 통신을 부담합니다. 논문은 약 320억 파라미터에서 용량 이점이 통신 비용을 넘어서는 전환을 관찰합니다. 밀집 Llama 405B는 대역폭과 인터커넥트에 민감해 높은 TP가 유리하고, 희소 DeepSeek-R1 671B는 라우팅·동기화 비용 때문에 TP와 파이프라인을 섞는 구성이 더 적합할 수 있습니다.
우리가 읽은 결론
추론 서비스는 첫 토큰 시간, 출력 토큰당 시간, 종단 간 지연, KV 점유율, 처리량을 함께 조정해야 합니다. 요청을 많이 받으면 첫 토큰 대기는 줄어도 긴 디코드가 느려지고 꼬리 지연이 불안정해집니다. HBM·DRAM·CXL·스토리지 사이의 KV 배치와 이동을 명시적으로 제어해야 하며 연산량만 늘려서는 이 벽을 넘을 수 없습니다.
출처와 저작권 안내
이 글은 독립적인 문장과 새 도판으로 작성했습니다. 원문의 문장·차트·표를 재사용하지 않았습니다. 저자가 공개한 arXiv 원고가 있으며 공식 판본은 (c) IEEE 2026입니다.