오늘 출하되는 스케일업 도메인은 하나같이 스위치를 전제한다. NVIDIA NVL-72는 GPU 72장을 NVLink 스위치 실리콘 트레이로 엮고, 구글 TPUv4는 64칩 큐브 사이를 중앙 집중식 광 회선 스위치로 잇고, 추격 중인 개방 표준들(UALink, 스케일업 이더넷)도 결국 그런 스위치가 말해야 할 언어의 명세다. SIGCOMM 2025에서 LLM 랩 StepFun이 실리콘 포토닉스 업체 Lightelligence, 북경대와 함께 발표한 논문은 스위치가 아예 사라지면 어떻게 되는지 묻는다[1]. 이들의 답 InfiniteHBD는 회선 스위칭을 트랜시버 안으로 옮긴다. 800 Gbps 광모듈마다 작은 마하-젠더 간섭계(MZI) 매트릭스를 실어 빛을 두 개의 외부 경로와 내부 루프백 사이에서 조향하는 것이다. 이 모듈만으로 데이터센터 전체에 임의 크기의 링을 만들고, 장애를 노드 하나로 격리하며, 인터커넥트 비용을 GPU당 GB/s당 NVL-72의 31%에 맞춘다. 대신 치러야 할 값은 아키텍처의 정직함이다. 이 패브릭은 링을 하고, 링만 한다.
아래는 그 논지를 우리 표현으로 정리한 것이며, 어디까지가 실측 하드웨어이고 어디부터가 시뮬레이션인지 함께 표시한다.
더 크고 더 유연한 도메인이 필요하다는 논거
논문은 설계의 명분을 겸하는 워크로드 분석으로 문을 연다. 자체 학습 시뮬레이터로 Llama 3.1-405B를 돌려 보면, Model FLOPs Utilization(MFU)을 최대로 만드는 텐서 병렬(TP) 크기는 클러스터 규모와 함께 자란다. 1,024 GPU에서 16이던 최적 TP가 65,536 GPU에서는 64가 되고, 8-GPU 서버가 강제하는 TP-8에 묶인 클러스터는 131,072 GPU 규모에서 최대 3.37× 뒤처진다. TP는 링 all-reduce로 동기화하고 그 트래픽은 논리적 이웃만 오가므로, 큰 TP를 감당하는 도메인에 실제로 필요한 것은 any-to-any 대역폭이 아니라 길고 신뢰할 수 있는 링이다. Mixture of Experts(MoE) 모델에 대해서는 한 발 더 나가, TP가 전문가 병렬(EP)을 대신할 수 있다고 주장한다. 이론상 EP가 데이터를 덜 옮기지만 실제 라우터는 전문가마다 토큰을 고르지 않게 나눠 주는데, 1.1조 파라미터 모델 시뮬레이션에서 이 불균형이 대략 10%를 넘으면 낙오자(straggler) 효과가 EP의 통신 이점을 지워 버린다. 이들의 탐색에서 최적 EP 차수는 1로 나온다.
이 세계관이 논쟁 지대에 있다는 점은 짚어 둘 필요가 있다. 본지가 앞서 다룬 딥시크의 ISCA 논문은 대규모 EP all-to-all을 MoE 추론의 규정적 트래픽으로 놓고 그것을 가속할 패브릭을 요구한다[5]. InfiniteHBD는 학습을 놓고 정반대에 베팅한다. 전문가를 TP로 고르게 쪼개고, 트래픽을 이웃 간에 가두고, 정확히 그 패턴만을 위한 가장 싼 패브릭을 짓자는 것이다. 어느 쪽이 더 오래 유효할지는 패브릭 요구 사항을 MoE 서빙이 정하느냐 학습이 정하느냐에 달려 있고, 두 논문은 같은 긴장을 반대로 읽는 유익한 짝이다.
세 가지 아키텍처, 세 가지 장애 기하학
분류 절은 이 논문에서 가장 날카로운 분석 도구다. 스위치 중심 도메인(NVL-36/72/576)은 any-to-any 통신을 스위치 칩으로 사는데, 그 비용은 규모에 대해 초선형으로 자라고, 스위치가 하나 죽으면 붙어 있던 모든 노드가 함께 느려진다. 고정된 크기는 파편화도 부른다. GPU 36장의 도메인에서 TP-16을 돌리면 최소 11%의 용량이 놀게 되는데, 36에서 장애분을 뺀 수가 16으로 나눠떨어지지 않기 때문이다. GPU 중심 설계(TPUv3, 테슬라 Dojo, SiP-ML의 링 제안[3])는 스위치를 지우고 가속기끼리 직결해 비용을 선형으로 만들지만 운명을 한데 묶는다. GPU 하나가 죽으면 모두의 토폴로지가 바뀐다. 저자들은 이를 HBD 수준 장애 폭발 반경이라고 부른다. TPUv4는 64칩 큐브 사이에 광 스위치를 두는 절충으로 장애를 가두지만[2], 격리 단위가 여전히 64칩 폭발 반경이고, 중앙 집중식 OCS 하드웨어 자체의 비용과 제조 난도가 남는다. 설계 목표는 이 분류에서 그대로 따라 나온다. GPU 중심처럼 선형인 비용, 스위치 중심처럼 노드 단위인 장애 격리, 그리고 중앙 집중식 장치의 부재다.
QSFP-DD 껍데기에 들어간 회선 스위치
이 논문에서 실측 실리콘으로 존재하는 부분이 바로 이 하드웨어다. OCSTrx는 실리콘 포토닉 OCS를 표준 QSFP-DD 800 Gbps 트랜시버에 통합한다. MZI 스위치 매트릭스를 실은 10.5×13 mm의 65 nm 포토닉 칩을 4×4 mm의 28 nm 컨트롤러가 구동한다. 두 단의 MZI가 초기 라우팅(외부 경로 1, 외부 경로 2, 또는 루프백)을 결정하고, 내부 크로스바가 모듈에 붙은 두 GPU 사이의 레인 단위 루프백을 처리한다. 열광학 위상 암은 빛의 경로를 60~80 µs에 재구성하는데, MEMS·피에조·로봇식 광 스위치의 밀리초에서 분 단위보다 자릿수로 빠르고, 학습 스텝 뒤에 숨기기에 충분하다. 실측된 대가는 작다. 상온 평균 삽입 손실 3.3 dB(부품별 2.5~4.0 dB), 50°C까지 대부분의 동작점에서 비트 오류 0, 모듈 전력 12 W 미만으로 QSFP-DD 규격 안이다. 스위칭이 트랜시버 단위로 일어나므로 외부 경로는 한 번에 하나만 켜지고, GPU의 전체 대역폭은 대기 링크에 쪼개지는 대신 활성 연결을 통째로 따라간다.
이 모듈로 조립하는 토폴로지가 K-홉 링이다. 각 노드는 거리 1부터 K까지의 이웃(실전에서는 K=2 또는 3)으로 광 링크를 내고, 노드마다 2K개의 탈출로를 갖는다. 정상 운용에서 TP 그룹은 노드 사슬의 양 끝에서 루프백을 켜 GPU 단위 링을 만든다. 링의 크기와 위치는 소프트웨어가 정한다. 노드가 죽으면 이웃들이 그 노드를 건너뛰는 예비 홉으로 재구성해 링을 다시 닫고, 장애 반경은 정확히 노드 하나에 머문다. K=3이면 인접 노드가 연쇄로 죽어 우회가 막힐 확률이 이들의 장애 통계에서 무시할 수준이 된다. 배치 알고리즘은 이 링 도메인을 일반 데이터센터 네트워크와 함께 편성해서, TP 그룹을 랙에 정렬하고 이더넷 패브릭을 건너야 하는 병렬화 차원들(데이터, 파이프라인, 컨텍스트)을 각자의 ToR 스위치 아래에 가둔다.
숫자가 말하는 것, 그리고 그 숫자가 돌았던 기계
평가는 하드웨어 층과 시뮬레이션 층으로 깔끔하게 갈린다. 위의 트랜시버 수치는 제작된 모듈의 벤치 실측으로, PCIe와 이더넷 레인 속도에서 검증되고 온도 사이클 시험을 통과했다. 물리 링으로 배선한 32-GPU 클러스터(PCIe 4.0 기반 호스트 간 링크를 갖춘 실험용 GPU)에서 all-reduce는 16 GPU에서 링 대역폭의 77.1%, 32 GPU에서 77.3%를 썼다. H100 NVLink 서버의 81.8%에는 못 미치지만, 소형 패킷 지연은 스위치 경로보다 13% 낮았고, 무엇보다 16에서 32로 늘려도 곡선이 평평하다는 점이 고무적이다. 링은 커질수록 나빠지는 것이 보통이기 때문이다.
나머지는 전부 시뮬레이션인데, 이례적으로 근거가 단단한 시뮬레이션이다. 장애 모델은 StepFun의 약 3,000 GPU 프로덕션 클러스터에서 수집한 348일치 트레이스를 재생하며, 팀은 이 트레이스를 공개했다. 이 트레이스로 TP-32 작업을 돌리면 InfiniteHBD가 놀리는 GPU는 0.53%로, NVL-72의 10.04%, TPUv4의 7.56%보다 각각 19×와 14× 낫고, K=2 구성이 K=3을 바짝 따라가서 프로덕션 장애율에서는 세 번째 홉이 선택 사항으로 보인다. 비용에서는 부품 명세 분석 기준 K=2의 인터커넥트가 GPU당 GB/s당 $3.28로, NVL-36/72의 $10.63(30.9%), TPUv4의 $5.22(62.8%) 대비이고, NVL-576의 다층 패브릭은 $33.80까지 오른다. 편성 알고리즘은 노드 장애율 7%까지 랙 간 트래픽을 0 근처로 유지한다(탐욕적 배치는 약 10%를 랙 밖으로 흘린다). 다만 헤드라인인 3.37× MFU 향상은 실측 가속이 아니라 131,072 시뮬레이션 GPU에서 TP-64를 해금한 가치로 읽어야 하고, 저자들이 공개한 단순화 하나에 기대고 있다. 큰 TP 시뮬레이션에서 Llama의 그룹 쿼리 어텐션을 고전적 멀티헤드 어텐션으로 바꿨는데, 이는 실제 405B 모델이 원할 TP 크기를 부풀리는 방향이다.
증거가 멈추는 곳
경계 셋을 표시해 둘 만하다. 첫째, 이 패브릭 위로 대규모 학습이 아직 지나가지 않았다. 가장 큰 물리적 실물은 PCIe 4.0급 링크의 32-GPU 링이고, 함대 수준의 주장(낭비율, 비용, MFU)은 프로덕션 트레이스로 보정되었다 해도 전부 자체 시뮬레이터를 거친다. 둘째, all-to-all에 대한 아키텍처의 솔직함은 양날이다. 링에서 EP류 트래픽은 O(p²)의 교환을 치른다. 저자들은 작은 그룹에서 격차를 줄일 이진 교환 변형을 스케치해 두고도, 그것이 끌고 들어올 장애 복구와 편성의 복잡성 때문에 채택하지 않았다. 딥시크의 주장처럼 MoE 추론의 경제성이 패브릭을 all-to-all 쪽으로 민다면, 링 전용 도메인은 함대의 학습 절반만 감당한다. 셋째, 한 도메인 안의 다차원 병렬화(예: TP와 EP 동시)는 차원마다 트랜시버 묶음을 전용하거나 광 경로를 시분할해야 하는데, 어느 쪽도 깔끔한 이야기를 갉아먹는다. 비교군에도 유의할 대목이 하나 있다. NVL-72 비용 수치는 공개·2차 출처를 모은 것이라고 저자들 스스로 밝혔고, 하이퍼스케일 실구매가는 정가와 닮은 경우가 드물다.
우리가 읽어낸 것
스케일업 논쟁은 대체로 더 큰 스위치들 사이의 경쟁이었다. 오늘의 NVLink 도메인, 내일의 UALink와 스케일업 이더넷, 그리고 일관성 메모리 쪽에서는 본지가 원칩형 데이터센터 설계와 파네시아의 스위치 실리콘에서 다룬 CXL 패브릭이 그 후보들이다. 이 논문은 진짜 제3의 자리를 만든다. 대형 모델 학습을 지배하는 그 하나의 트래픽 패턴에 관한 한 가장 싼 스위치는 무(無)스위치이고, 재구성 가능한 점대점 광학이 어떤 스위치 패브릭도 비슷한 비용으로는 닿지 못할 도메인 크기를 제공할 수 있다는 것이다. 우리는 이 논문의 지속적인 기여가 특정한 링 토폴로지보다는, 구글이 방만 한 스위치로 얻어야 했던 능력[2][4]인 마이크로초급 재구성 OCS가 상용 트랜시버 안에 들어갈 수 있음을 보인 데 있다고 본다. 엔드포인트에서 빛의 경로 자체가 소프트웨어로 정의되는 순간, 토폴로지가 워크로드를 따라가게 된다(지금까지는 그 반대였다). 업계의 스케일업 자금이 any-to-any에 걸리든 링에 걸리든, 이 논문이 내놓은 부품은 양쪽 모두에 쓸모가 있다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약으로, 아래에 인용한 논문의 논지를 우리 표현으로 재서술한 것이다. 원문의 문장, 도판, 표는 이 글에 재사용하지 않았으며, 이 페이지의 도판은 모두 이 요약을 위해 새로 제작했다. 논문은 SIGCOMM 2025에서 발표되었고, 확정본은 Proceedings of the ACM SIGCOMM 2025 Conference에 실려 있다. (c) 2025 the authors, publication rights licensed to ACM. 저자 준비판은 arXiv:2502.03885에서 열람할 수 있다.