챗봇과의 다회차 대화는 매번 자기 이력을 다시 읽고, 그 다시 읽기 하나하나가 제공자가 GPU 초 단위로 값을 치르는 프리필이다. 중국에서 128K 토큰 컨텍스트를 소비자 기능으로 만든 Kimi의 Moonshot AI는 이 산수를 거꾸로 돌리기로 했다. 한 번 한 연산은 반복할 것이 아니라 저장해 두었다가 찾아서 실어 나르자는 것이다. 칭화대와 함께 쓴 FAST 2025 논문(해당 학회 최우수 논문)이 기술하는 서빙 플랫폼 Mooncake가 그 결정의 시스템적 표현이다[1]. GPU 서버마다 놀고 있는 CPU 메모리와 DRAM, SSD, RDMA NIC을 클러스터 전체의 KV 상태 캐시로 묶고, 모든 요청을 그 캐시가 어디 있는지에 맞춰 스케줄링한다. 회사 집계로는 같은 A800과 H800 함대가 이전 시스템 대비 각각 115%와 107% 많은 요청을 흡수하며, 수천 노드에서 하루 1,000억 토큰 이상을 처리한다.
아래는 그 논지를 우리 표현으로 정리한 것이다. 논문의 표어인 “저장을 더 쓰고 연산을 덜 쓴다”는 곧 논문의 입증 의무이기도 하다. 캐시된 프리픽스를 가져오는 대역폭이 다시 계산하는 FLOPS를 이길 때에만 거래가 성립하는데, 논문은 그 산수를 공개적으로 한다.
풀을 정당화하는 부등식
각 토큰의 KV 항목은 앞선 토큰들에만 의존하므로, 이전 트래픽과 프리픽스를 공유하는 요청은 캐시된 상태가 HBM에 제때 도착하기만 하면 그 프리픽스의 연산을 통째로 건너뛸 수 있다. 논문은 이 질문을 대역폭 문턱값 하나로 줄인다. 8×A800 머신의 LLaMA3-70B 기준, 캐시가 6 GB/s 이상으로 움직이면 첫 토큰 시간(TTFT) 관점에서 가져오기가 이득이고, H800에서는 문턱이 19 GB/s로 올라간다. 이 숫자들이 아키텍처를 결정한다. 노드 하나의 여유 DRAM(약 1 TB, 토큰당 KV 상태 320 KB 기준 약 300만 토큰)은 Kimi 트레이스에서 이론적으로 달성 가능한 적중률의 절반도 담지 못하고, 사실상 전부를 담으려면 약 5,000만 토큰, 즉 20개 이상 노드의 메모리를 모아야 한다. 필요한 대역폭이 100 Gbps NIC 하나로 충분한 이상 결론은 저절로 쓰인다. 캐시는 전역이어야 하고, 클러스터에 분산되어야 하며, 서빙 시스템이 스케줄링하는 일차 대상이 되어야 한다.
그래서 Mooncake는 함대를 세 갈래로 나눈다. 프리필 인스턴스와 디코딩 인스턴스는 이제 익숙해진 분리형 스타일로 별도 풀이고[3][5], 그 아래에 KV 블록(평가 기준 블록당 256 토큰)을 프리픽스 인지 해시로 키잉해 담는 분산 캐시 Mooncake Store가 깔린다. 뜨거운 블록은 여러 노드에 복제되고 차가운 블록은 LRU로 밀려난다. 요청은 네 단계로 흐른다. 전역 스케줄러 Conductor가 프리필과 디코딩 인스턴스 쌍을 고르고, 재사용 가능한 캐시 블록이 프리필 노드로 흘러들어오고, 증분 프리필이 레이어 단위로 돌며 새로 생긴 KV 상태를 만들어지는 족족 디코딩 노드로 흘려보내고, 요청은 디코딩 쪽의 연속 배칭에 합류한다. 긴 컨텍스트의 프리필은 청크 단위 파이프라인 병렬화로 여러 노드에 걸쳐 병렬화되는데, 활성값을 청크 경계에서만 넘기므로 노드 간 텐서 병렬화의 레이어당 all-reduce 비용도, 시퀀스 병렬화의 끊임없는 재분할도 피한다.
스토리지 시스템처럼 지은 전송 엔진
논문의 화려하지 않은 심장은 캐시를 메모리급 속도로 나르는 기계 장치다. 각 서버는 어느 NIC이 어느 메모리(소켓별 DRAM, GPU별 VRAM)와 가까운지를 담은 토폴로지 행렬을 공개하고, 모든 전송은 그에 맞춰 경로를 고르며, 요청 하나를 16 KB 조각으로 쪼개 가용한 NIC 전부에 뿌린다. 엔드포인트 풀링과 죽은 링크의 자동 우회도 갖췄다. 200 Gbps NIC 4장 하드웨어에서 이 엔진은 87 GB/s를 유지하고, 400 Gbps NIC 8장을 주면 190 GB/s에 이르러, 40 GB 캐시 페이로드(128K 토큰 컨텍스트) 기준 TCP 전송을 각각 2.4×와 4.6× 앞선다. 네트워크가 약 100 Gbps 아래로 내려가면 시스템이 눈에 띄게 정체되고 TTFT가 재계산 수준으로 악화되는데, 저자들은 이를 배치의 하한선으로 명시한다. 이 전송 엔진은 오픈소스로 공개되었고, 이후 Kimi 바깥에서도 널리 재사용되는 커뮤니티 프로젝트의 씨앗이 되었다.
캐시가 수동적인 풀이기를 멈추는 지점이 스케줄링이다. Conductor는 도착한 요청마다 후보 프리필 노드별 TTFT를 대기 시간, 프리필 시간(입력 길이와 프리픽스 적중 길이에 대한 회귀 모델), 캐시 전송 시간의 합으로 추정해 총합이 가장 작은 곳에 배치하고, 어느 노드도 SLO를 못 맞추면 천천히 실패하도록 들이는 대신 앞단에서 거절한다. 뜨거운 프리픽스는 저절로 이주한다. 가장 잘 맞는 캐시가 과부하 노드에 있으면 선택된 노드가 사본을 끌어오므로, 시스템 프롬프트 같은 공유 프리픽스는 사용량 예측 없이도 거의 모든 프리필 인스턴스에 복제되어 있게 된다. 논문의 재생 실험에서 이 캐시·부하 동시 인지 정책은 평균 TTFT를 3.07초로 깎는다. 부하 분산만 하면 5.27초, 무작위 배치면 19.65초다.
숫자가 말하는 것
8-GPU 노드 16대에서 LLaMA3-70B급 대역 모델로 프로덕션 트레이스를 재생한 실험에서, Mooncake의 우위는 워크로드가 얼마나 많은 이력을 지니는지에 비례해 커진다. vLLM 계열(기본, 프리픽스 캐싱, 청크 프리필)[2][4]을 상대로 대화 트레이스에서는 토큰 간 마감시한의 엄격함에 따라 SLO 안에서 처리한 요청이 59~498% 많고, 반복적인 시스템 프롬프트로 캐시 비율이 59%까지 오르는 도구·에이전트 트레이스에서는 로컬 프리픽스 캐싱 대비로도 42%, 장문 합성 믹스에서는 40%를 더 낸다. 그 기제는 프리필 결산에서 그대로 보인다. 전역 캐싱이 세 워크로드의 프리필 GPU 시간을 36~64% 줄이고, 128K 토큰 입력에서 95% 프리픽스 적중은 프리필 시간의 92%를 지운다. 스토어 설계만 떼어 보면, 같은 용량의 로컬 캐시 대비 전역 풀이 적중률을 최대 2.36× 올리고 프리필 연산을 최대 48% 줄인다. 이런 시스템을 꾸릴 사람을 위한 실무적 각주 하나. 프리필과 디코딩 노드의 비율을 훑으면 최적은 대략 1:1이고, Moonshot은 노드 역할을 동적으로 뒤집는 대신 비율을 고정해 둔다. 프로덕션 트래픽의 통계는 느리게 움직이기 때문이다.
경계도 표시해 둘 만하다. 재현 가능한 수치는 재생 트레이스 위의 대역 모델에서 나오고(프로덕션 주장은 이전 vLLM 기반 시스템 대비 과거 통계다), 이득은 Kimi의 채팅 중심 워크로드가 높게 유지하는 프리픽스 적중률(공개 트레이스 기준 40~66%)에 비례하며, 유효 용량 지표는 시스템이 받기로 한 요청을 세는 것이라 조기 거절이 뒤에서 조용히 일하고 있다. 토큰당 320 KB라는 캐시 크기도 LLaMA3-70B 어텐션 구조의 속성이다. 딥시크의 공동 설계 이야기[8]에서 본 잠재 어텐션처럼 KV 상태를 줄이도록 설계된 아키텍처는 거래의 환율을 바꾸는데, 방향은 같은 풀에 더 많은 토큰을 캐싱하는 쪽이다.
우리가 읽어낸 것
오늘의 눈으로 Mooncake는 KV 캐시 중심 서빙 설계라는 학파의 창립 논문으로 읽힌다. 그 후계들은 본지의 다른 기사들에서 보인다. Beluga는 풀링된 캐시를 CXL 접속 메모리 위에 다시 지어 가져오기 경로를 네트워크 문제가 아니게 만들고, Aegaeon[7]은 토큰 단위 스케줄링을 캐시 배치에서 모델 상주 자체로 확장한다. 우리가 가장 오래 남을 것으로 보는 대목은 경제학을 공개적으로 하겠다는 논문의 고집이다. 거래가 언제 성립하는지 말해 주는 대역폭 부등식, 로컬 캐싱이 왜 성립시키지 못하는지 말해 주는 용량 곡선, 그리고 바깥에서 둘 다 검증할 수 있게 한 공개 트레이스(실제 프리픽스 재사용 구조를 담은 첫 공개 데이터셋)가 그것이다. 어텐션 아키텍처가 KV 상태를 압축하고 메모리 패브릭이 가져오기 비용을 바꾸는 동안 저장 대 연산의 거래 조건은 계속 다시 협상되겠지만, 그 협상이 기록될 장부를 이 논문이 만들었다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약으로, 아래에 인용한 논문의 논지를 우리 표현으로 재서술한 것이다. 원문의 문장, 도판, 표는 이 글에 재사용하지 않았으며, 이 페이지의 도판은 모두 이 요약을 위해 새로 제작했다. 논문은 제23회 USENIX Conference on File and Storage Technologies(FAST 2025)에서 발표되었고 USENIX에서 오픈 액세스로 열람할 수 있다. (c) 2025 the authors.