H800은 수출 규제에 맞춰 성능을 깎아낸 Hopper GPU다. FP64 연산이 깎였고, NVLink 대역폭은 H100의 900 GB/s에서 400 GB/s로 내려갔다. 딥시크는 이 GPU 2,048장으로 6,710억 파라미터 V3를 학습했고, 부족한 노드 내 대역폭은 노드당 8장의 400 Gbps InfiniBand NIC로 메꿨다. ISCA 2025 산업 트랙에서 이 회사의 인프라 팀은 그 제약과 씨름한 전말을 낱낱이 적은 기록이라 할 만한 문서를 발표했다[1]. 어떤 모델 설계가 인터커넥트 때문에 강제되었는지, 그 결과 속도 상한이 어디에 걸리는지, 그리고 아키텍처 학회에서는 드물게, 다음 세대 하드웨어를 설계하는 사람들에게 보내는 번호 매긴 요구 목록까지 담았다. 프런티어 랩이 이런 문서를 공개하는 일은 드물다. 하이퍼스케일러는 클러스터를 사후에 기술하고[6][7] 벤더는 로드맵을 사전에 홍보하지만, 실리콘이 자신을 어디서 실망시켰는지 고객이 직접 적어낸 기록은 훨씬 귀한 자료이고, 지금 표준화가 진행 중인 스케일업 패브릭에 대한 수요 측 명세서로 읽힌다.
아래는 그 논지를 우리 표현으로 정리한 것이다. 논문은 모델 아키텍처와 수치 형식, 네트워킹을 두루 다루지만 무게중심은 하나의 주장에 있다. Mixture of Experts(MoE) 추론에서 추론 모델의 디코드 속도는 FLOPS가 아니라 인터커넥트의 속성이라는 것이다.
대역폭 천장 아래의 공동 설계
모델 쪽 이야기는 하드웨어가 가장 약한 지점마다 압축을 배치한 기록이다. Multi-head Latent Attention(MLA)은 모든 어텐션 헤드의 키-값 상태를 함께 학습되는 잠재 벡터 하나로 사영해서, 디코딩 시 토큰당 70 KB만 캐시한다. 그룹 쿼리 방식은 훨씬 많이 캐시하는데, Qwen-2.5 72B가 327 KB, LLaMA-3.1 405B가 516 KB로 각각 4.66×와 7.28× 차이다[1]. DeepSeekMoE는 V3의 6,710억 파라미터 중 토큰당 370억만 활성화하며, 논문은 이를 학습 연산 기준 토큰당 약 250 GFLOPS로 계산한다(405B 밀집 모델은 2,448 GFLOPS). FP8은 추론용 사후 처리가 아니라 학습 형식으로 들어왔다. 저자들에 따르면 V3는 처음부터 끝까지 FP8로 학습된 최초의 오픈소스 대형 모델로, 활성값에는 1×128 타일 단위, 가중치에는 128×128 블록 단위의 세밀한 양자화를 쓰고, 16B와 230B 모델 절제 실험에서 BF16 대비 정확도 손실을 0.25% 아래로 눌렀다[2]. 마지막 조각인 Multi-Token Prediction 모듈은 스텝마다 두 번째 토큰을 초안으로 만들어 80~90% 수락률을 얻고, 생성 속도를 1.8× 끌어올린다.
인터커넥트가 모델을 빚어낸 흔적이 가장 뚜렷한 곳은 전문가 배치다. H800 노드에서 NVLink의 실효 대역폭(약 160 GB/s)과 InfiniBand NIC 한 장의 실효 대역폭(약 40 GB/s)의 비율은 대략 4:1이다. 그래서 V3는 256개 라우팅 전문가를 노드당 8개 그룹으로 묶고, 각 토큰의 전문가 집합이 걸치는 노드를 4개로 제한한다. 토큰은 목적지 노드마다 InfiniBand를 한 번만 건너고, 그 다음은 NVLink가 노드 안의 형제 GPU들로 뿌려서 비싼 트래픽을 중복 제거한다. 모델의 라우팅 함수를 대역폭 비율이 공동 집필한 셈이다.
마이크로초로 쓴 디코드 상한
논문에서 가장 인용할 만한 대목은 산수다. 전문가 병렬 디코딩에서 각 레이어는 all-to-all 교환을 두 번 수행하고(디스패치는 FP8, 컴바인은 BF16), 각 토큰은 은닉 크기 약 7K로 9개 전문가(라우팅 8 + 공유 1)를 상대한다. 장치당 32토큰 배치를 50 GB/s(400 Gbps) NIC로 보내면 교환 한 번에 약 121 µs가 들고, V3의 61개 레이어에 걸쳐 두 번씩 반복하면 연산을 통신 뒤에 완벽히 숨겨도 출력 토큰당 14.76 ms가 바닥이 된다. 현실의 손실을 계산에 넣기 전부터 사용자당 초당 67토큰 근처에 단단한 천장이 있는 것이다. 같은 공식을 GB200 NVL72 도메인(72개 GPU에 걸친 900 GB/s 단방향 스케일업 대역폭)에 대입하면 교환당 비용은 6.7 µs로, 바닥은 0.82 ms로 떨어지고 상한은 초당 약 1,200토큰이 된다. 18×의 여유이지만, 배치가 작아지면 네트워크보다 GPU 효율이 먼저 무너지므로 저자들은 이 수치를 이론값이라고 조심스럽게 못 박는다[1].
이 계산이 무엇을 명시적으로 만드는지 눈여겨볼 필요가 있다. 테스트타임 스케일링은 모델 품질을 시스템이 초당 내뱉는 토큰 수에 묶었고, 강화학습은 학습 진도까지 같은 숫자에 묶었다. MoE 모델의 토큰 속도가 all-to-all 지연에 갇혀 있는 이상, 스케일업 도메인(NVL72이든, 언젠가 오픈 콘소시엄이 내놓을 무엇이든)의 시장 가치는 이 어림 계산에서 바로 읽힌다. 논문은 사실상 패브릭의 가격을 GB/s보다 훨씬 읽기 쉬운 단위인 초당 토큰으로 매겼다.
통신 비용을 연산 자원으로 치르는 구조
지금 구조가 비싼 이유는 지연만이 아니라 땜질이 돌아가는 장소에 있다. NVLink와 InfiniBand가 서로 다른 세계이다 보니 둘 사이의 전달은 소프트웨어 몫이다. GPU의 스트리밍 멀티프로세서(SM)가 작업 큐를 채우고, RDMA 버퍼와 텐서 버퍼 사이에서 데이터를 나르고, 컴바인 단계의 리덕션을 수행하고, 잘게 쪼갠 메모리 레이아웃을 관리하고, 오가는 길에 데이터 타입까지 바꾼다. 학습 중에는 H800의 SM 중 최대 20개가 이 잡무에 소모된다. 연산용 실리콘이 NIC의 일을 하는 것이다. 추론에서는 all-to-all 트래픽을 전부 NIC RDMA로 돌려 그 SM들을 되찾았고, IBGDA(InfiniBand GPUDirect Async)로 GPU 스레드가 도어벨을 직접 써서 제어 경로에서 CPU 프록시를 잘라냈다. 그러나 이것들은 애초에 존재하지 말았어야 할 경계에 대한 우회로라는 것이 저자들의 주장이다.
주문서는 이 진단에서 따라 나온다. 첫째, 스케일업과 스케일아웃을 하나의 틀로 수렴시킬 것. 단일 주소 아래에서 두 도메인을 모두 상대하는 통합 네트워크 어댑터 또는 I/O 다이를 만들고, 스케일아웃에서 도착한 패킷을 스케일업 패브릭으로 올바른 GPU까지 전달할 정도의 스위칭 기능을 넣으라는 것이다. 둘째, 잡무를 하드웨어로 옮길 것. 텐서 메모리 가속기처럼 load/store를 가속하는 전용 통신 코프로세서, 디스패치를 위한 망 내 브로드캐스트, 컴바인을 위한 망 내 리덕션이 여기에 해당한다. 셋째, 소프트웨어 동기화를 하드웨어 순서 보장으로 대체할 것. 이상적으로는 메모리 영역 단위의 acquire/release 시맨틱을 제공해서, 메모리 시맨틱 통신이 메시지마다 펜스와 플래그의 왕복을 물지 않게 하라는 요구다. 저자들은 이를 실현할 후보로 UALink[3], Ultra Ethernet[4], 그리고 두 도메인 통합의 새로운 접근이라고 평가한 UB-Mesh의 Unified Bus[5]를 이름까지 짚어 거론한다.
수치 형식과 네트워크, 같은 불만
정밀도 절들은 다른 실리콘을 상대로 같은 항의를 제기한다. Hopper 텐서 코어는 FP8 곱을 사실상 FP22(가수 13비트)로 누적하는데, 딥시크의 프레임워크가 부분합을 CUDA 코어로 끌어내 고정밀 누적을 하는 이유가 이것이고, 논문이 FP32 또는 최소한 설정 가능한 누적 정밀도, 그리고 역양자화가 텐서 코어를 떠나지 않도록 세밀한 스케일링 인자의 네이티브 지원을 요구하는 이유도 이것이다(Blackwell의 마이크로스케일링 형식이 첫 산업적 응답으로 언급된다). 자체 개발한 로그 기반 수 형식 LogFMT는 하드웨어 부재의 비용을 반대 방향에서 보여준다. 팀의 실험에서 8비트 LogFMT는 학습 정확도에서 E4M3와 E5M2를 앞섰고 10비트면 BF16에 근접했지만, 범용 GPU 파이프라인 위의 인코딩·디코딩이 통신 커널에 50~100%의 오버헤드를 얹는 바람에 결국 접었다. NIC 안의 압축 코덱이 있었다면 실전에 나갔을 형식이다.
스케일아웃 장은 공동 설계가 남는 장사임을 보여주는 배치 증거다. V3는 GPU-NIC 쌍마다 전용 평면을 배정한 8평면 2계층 팻트리에서 학습되었는데, 논문은 이 토폴로지의 비용을 엔드포인트당 $4.39k로, 대체된 3계층 트리를 $7.5k로 계산하며, 원리상 16,384 GPU까지 확장된다(실제 배치는 정책 제약으로 2,000장을 조금 넘는 수준에 머물렀다). 측정된 NCCL과 전문가 병렬 트래픽은 단일 평면 멀티레일 네트워크와 대등하고, DeepEP 라이브러리는 16~128 GPU 구간에서 GPU당 40 GB/s 이상을 유지한다. RoCE에 대한 권고도 구체적이다. RDMA 지연에 맞춰 군더더기를 걷어낸 이더넷 스위치(Broadcom의 스케일업 이더넷 작업이 호의적으로 인용된다[8]), 충돌이 잦은 ECMP 해싱을 대신할 적응형 라우팅, all-to-all 인캐스트가 옆의 all-reduce를 굶기지 못하게 하는 흐름별 가상 출력 큐가 그것이다. 저자들의 측정에서 InfiniBand는 2.8 µs로 RoCE의 3.6 µs보다 여전히 빠르지만, 64포트에 그치는 스위치 래딕스와 가격 때문에 장기적인 답은 되지 못한다고 본다.
우리가 읽어낸 것
이 논문에는 두 가지 독법이 공존한다. 시스템 보고서로 읽으면, 반토막 난 스케일업 링크를 라우팅 공동 설계와 끝에서 끝까지의 FP8, 다중 평면 네트워킹으로 보상해 V3의 학습 비용을 업계의 화젯거리로 만든 랩의 기록이다. 시장 신호로 읽으면, UALink와 Ultra Ethernet, Unified Bus가 공급 경쟁을 벌이는 패브릭에 대해 지금까지 공개된 것 중 가장 정밀한 수요 곡선이다. 고객이 이미 대역폭을 초당 토큰으로 환산해 두었고, 망 내 리덕션부터 영역 단위 순서 보장까지 돈을 낼 기능의 목록을 이름까지 적어 두었다. 우리는 2025년 시점에서 두 번째 독법이 더 중요하다고 본다. 이 이야기의 공급 측(한쪽에는 레인당 200 Gbps로 가속기 1,024개를 묶는 스케일업 표준, 다른 쪽에는 같은 랙을 노리는 메모리 시맨틱 CXL 패브릭)은 본지의 원칩형 데이터센터 설계와 파네시아의 스위치드 CXL 실리콘 기사에서 다룬 바 있고, 이 논문은 빠져 있던 나머지 절반, 즉 구매자가 실제로 필요로 하는 것을 마이크로초 단위로 채워 넣는다. 헤드라인 수치가 측정값이 아니라 어림한 이론 상한이라는 점(저자들 스스로 그렇게 말한다), 그리고 H800의 400 GB/s 제약이 물리 법칙이 아니라 정책의 산물이라는 점은 유의해야 한다. 다만 주문서 자체는 그 핸디캡에 의존하지 않는다. 목록의 모든 항목은 제약 없는 하드웨어에서도 똑같이 값어치를 한다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약으로, 아래에 인용한 논문의 논지를 우리 표현으로 재서술한 것이다. 원문의 문장, 도판, 표는 이 글에 재사용하지 않았으며, 이 페이지의 도판은 모두 이 요약을 위해 새로 제작했다. 논문은 ISCA 2025 산업 트랙에서 발표되었고, 확정본은 Proceedings of the 52nd International Symposium on Computer Architecture에 실려 있다. (c) 2025 the authors, publication rights licensed to ACM. 저자 준비판은 arXiv:2505.09343에서 열람할 수 있다.