10만 GPU 클러스터는 큰 랙 하나가 아닙니다. Meta의 운영용 RoCE 패브릭은 여러 AI 구역과 데이터센터 건물에 걸쳐 있으며, 하나의 학습 작업 안에 네 종류의 통신 거리가 생깁니다. 같은 랙을 기준으로 다른 랙은 약 7배, 다른 AI 구역은 15배, 다른 건물은 30배까지 지연이 늘어난다고 논문은 보고합니다[1][2]. 통신 라이브러리는 이 물리적 거리를 이해하면서 모델에는 하나의 집합 통신 인터페이스를 제공해야 합니다.
규모가 커지면 부가 작업의 의미도 달라집니다. 수십 개 노드에서는 프로세스 그룹 생성, 토폴로지 탐색과 통신 버퍼 예약이 작아 보입니다. 10만 개가 넘는 GPU에서 이 작업을 반복하면 초기화가 늦어지고 모델에 쓸 메모리가 줄어듭니다. Meta는 이런 비전송 비용을 줄이도록 NCCLX 스택을 설계했습니다.
경계를 넘을 때마다 대역폭-지연 곱이 달라지는 조건
집합 통신은 경로를 채울 만큼 충분한 데이터를 전송 중 상태로 유지해야 합니다. 랙 안에 맞춘 메시지는 건물 사이 링크를 충분히 쓰지 못할 수 있고, 반대로 데이터를 과도하게 보내면 여러 작업이 패브릭을 공유할 때 혼잡이 커집니다. MoE 모델은 짧고 집중된 all-to-all 트래픽을 만들기 때문에 고정 경로나 큐 페어가 순간적인 병목이 될 수 있습니다.
Meta는 자체 전송 계층과 동적 큐 페어 부하 분산을 사용합니다. 여러 가상 경로의 상태를 관찰하고 한 전송을 특정 경로에 고정하지 않으며 정상 경로로 작업을 옮깁니다. 목표는 평균 처리량만 높이는 것이 아닙니다. 학습에서는 가장 느린 랭크가 집합 통신 완료 시간을 결정하므로 꼬리 경로가 GPU 이용률을 좌우합니다.
초기화도 분산 시스템 문제
논문은 프로세스 그룹을 미리 만들고 토폴로지를 O(N)에 탐색해 초기화 시간을 11배 줄였다고 보고합니다[1]. 미리 만드는 방식은 작업을 앞당기므로 직관과 달라 보일 수 있습니다. 그러나 실행 중에 반복되던 조정 비용을 계획된 초기화 단계 하나로 모으고, 노드 쌍마다 확인하는 방식보다 규모 증가가 느린 선형 탐색을 사용합니다.
자원 관리에는 반대 원칙을 적용합니다. 바로 필요하지 않은 통신 상태는 GPU 메모리를 차지하지 않아야 합니다. NCCLX는 일부 자원을 필요할 때 할당해 GPU 메모리 사용량을 2배 줄였다고 보고합니다[1]. 두 선택은 모순되지 않습니다. 전역 조정 비용이 큰 구조는 일찍 만들고, 메모리 비용이 큰 개별 상태는 늦게 만듭니다.
이 구분은 Meta 외 환경에도 적용됩니다. 통신 라이브러리는 정상 상태의 대역폭과 지연으로 평가되어 왔습니다. 대규모 학습에서는 장애 후 재시작, 병렬 그룹 변경과 모델 설정 변화가 반복되므로 첫 단계까지 걸리는 시간과 메타데이터 용량도 운영 성능입니다.
운영 배치가 보여 준 범위
Meta는 이 스택이 여러 건물의 10만 개 넘는 GPU를 연결한 RoCE 패브릭에 배치되어 실제 LLM 학습에 사용된다고 밝힙니다[1]. 시뮬레이션보다 강한 증거입니다. 다만 이 논문은 RoCE, InfiniBand와 전용 스케일업 링크를 동일 조건에서 비교하지 않습니다. 11배와 2배 개선은 Meta의 토폴로지에서 이전 소프트웨어 경로를 기준으로 측정한 결과입니다.
장애 범위도 구분해야 합니다. 이 규모에서는 긴 학습 중 하드웨어 고장이 예외가 아니라 예상 사건입니다. 경로를 동적으로 사용하고 운영 도구를 결합하면 링크 하나 때문에 작업 전체가 끝날 가능성을 낮출 수 있습니다. 그러나 체크포인트와 장애 복구형 학습까지 불필요해지는 것은 아닙니다. 네트워크 스택은 탐지하고 우회할 수 있는 장애 범위 안에서만 진행을 보존합니다.
소프트웨어 상태도 패브릭의 일부
대규모 AI 패브릭은 스위치 포트 수와 링크 속도만으로 설명할 수 없습니다. 실제 토폴로지에는 프로세스 그룹, 큐 페어, 메모리 할당, 탐색 알고리즘과 장애 텔레메트리가 포함됩니다. Meta가 보고한 초기화 11배 개선과 GPU 메모리 2배 절감은 포트 속도를 바꾸지 않고 얻었습니다. 물리 네트워크를 만든 뒤 나타나는 조정과 상태 병목을 줄인 결과입니다.
따라서 확장 한계는 스택 위쪽으로 이동합니다. 케이블이 비트를 전달한 다음 전송 계층이 여러 경로에 분산해야 하며, 라이브러리는 그 경로를 쓰는 데 필요한 전역 구조만 적절한 시점에 만들어야 합니다. 10만 GPU에서는 세 단계가 모두 패브릭 설계입니다.
거리에 따라 통신 조건이 여러 단계로 갈리는 조건
GPU 10만 개를 연결한 클러스터에는 하나의 대표 지연 시간이 없습니다. Meta가 설명한 환경에서는 통신이 랙 내부에서 더 넓은 네트워크 계층을 지나 건물 사이로 이동할수록 GPU 간 지연이 커지며, 가장 먼 경로는 랙 내부보다 약 30배에 이릅니다[1]. 거리가 늘면 대역폭·지연 곱도 커지므로 짧은 경로에 맞춘 전송은 긴 경로를 충분히 채우지 못할 수 있습니다. 버퍼만 키우면 순간 트래픽이 긴 대기열 지연으로 바뀔 수 있습니다.
따라서 집합 통신 알고리즘은 랭크 수뿐 아니라 물리적 위치를 알아야 합니다. 모든 링크를 한 계층처럼 취급하면 균형 있어 보이는 링도 비싼 상위 링크를 여러 번 지나 효율이 떨어집니다. 계층형 집합 통신은 가까운 그룹 안에서 먼저 데이터를 줄이거나 모은 뒤, 상위 계층에는 더 적은 전송만 보냅니다. 그룹은 실제 레일, 랙과 건물 경계를 따라야 합니다. 물리 배치를 무시한 랭크 순서는 같은 데이터를 넓은 범위로 반복해서 이동시킬 수 있습니다.
동작 중에는 토폴로지도 바뀝니다. 링크, 스위치 또는 GPU가 고장 나면 선호 경로가 사라지고 트래픽이 남은 계층으로 이동합니다. 정상 상태만 기준으로 정한 튜닝은 다른 대역폭과 혼잡을 만납니다. NCCLX가 토폴로지 탐색과 자원 설정을 실행 주기의 일부로 다루는 이유는 설계 문서가 아니라 작업 시작 시 실제로 사용할 수 있는 클러스터를 반영해야 하기 때문입니다.
시작 과정 자체가 분산 시스템 작업
작은 클러스터에서는 통신 초기화가 본 연산 전의 짧은 준비로 보입니다. 엔드포인트가 10만 개를 넘으면 메타데이터 교환, 연결 설정과 그룹 생성이 상당한 작업 단계가 됩니다. 모든 쌍을 순서대로 처리하는 방식은 제곱으로 증가해 사용할 수 없습니다. Meta는 선형 규모의 토폴로지 탐색과 선제적 프로세스 그룹 생성을 적용해 해당 환경의 시작 시간을 11배 줄였다고 보고합니다[1].
선제 생성은 뒤의 직렬 작업을 피하기 위해 자원을 먼저 사용합니다. 그룹 구성이 예측 가능하면 유리하지만, 대형 모델은 텐서, 파이프라인, 데이터와 전문가 병렬 그룹을 겹쳐 사용합니다. 모든 전송 자원을 최대 크기로 미리 만들면 학습 전에 GPU 메모리를 소비합니다.
필요 시 할당하는 자원 관리자는 이 문제의 반대쪽을 해결합니다. Meta는 통신 자원의 GPU 메모리 사용량을 2분의 1로 줄였다고 밝힙니다[1]. 할당만큼 회수의 정확성도 중요합니다. 늦게 생성한 요청이 전역 동기화를 기다려서는 안 되고, 다른 스트림이 참조하는 자원을 먼저 해제해서도 안 됩니다. 시작과 메모리 관리는 운영 도구가 아니라 통신 런타임의 기능입니다.
MoE 트래픽은 정상 상태 가정을 깨뜨리는 시험
조밀한 데이터 병렬 학습은 비교적 규칙적인 큰 집합 통신을 만듭니다. 전문가 혼합(MoE) 계층은 모델의 선택에 따라 토큰을 보내므로 배치마다 목적지와 크기가 달라지는 전체 대 전체 통신이 발생합니다. 여러 송신자가 짧은 시간에 한 수신자를 선택하면 평균 링크 사용률은 낮아 보여도 순간 병목이 생깁니다. 긴 측정 구간은 학습 단계를 늦춘 짧은 큐잉 사건을 지울 수 있습니다.
동적 큐 페어 부하 분산은 집합 통신보다 아래 계층에서 대응합니다. 여러 큐 페어는 대체 경로나 스케줄링 기회를 제공하고, 런타임은 한 경로의 성능이 낮을 때 트래픽을 옮길 수 있습니다. 목표는 패킷 수를 같게 만드는 것이 아닙니다. 재정렬, 혼잡 상태와 수신자 동작을 함께 고려해야 완료 시간이 줄어듭니다. 지나치게 빠른 정책은 경로를 계속 바꾸고, 느린 정책은 비싼 링크를 놀립니다.
논문은 모든 모델을 같은 실험실 조건에서 비교하기보다 운영 환경의 적용 결과를 제시합니다. 실제 규모에서 동작한다는 근거는 강하지만 개선 폭은 워크로드에 의존합니다. 모델 형상, 전문가 수, 배치 크기, 배치 위치와 네트워크 상태가 결과를 바꿉니다. 다른 스택에 11배와 2배 수치를 적용하려면 이 조건을 먼저 맞춰야 합니다.
규모가 커지면 장애가 예외가 아닌 이유
GPU 몇 개를 사용하는 작업에서는 한 단계 중 하드웨어 고장이 드뭅니다. 엔드포인트가 10만 개면 장시간 실행 중 일부 부품이 느려지거나 사용할 수 없을 가능성이 높습니다. 통신 계층은 느린 경로와 느린 랭크를 구분하고, 재경로·재시도·재시작 중 무엇을 선택할지 판단할 정보를 내야 합니다. 정상 패브릭의 최대 전체 축소 대역폭만 높이는 것으로는 충분하지 않습니다.
초기화도 장애 범위를 좁혀야 합니다. 한 랭크가 참여하지 못할 때 단순한 전역 장벽은 어느 의존성이 실패했는지 알리지 않은 채 전체 할당을 멈춥니다. 토폴로지, 연결과 장치 오류를 단계별로 검사하면 큰 모델 상태를 읽기 전에 문제를 찾을 수 있습니다. 실행 중 시간 제한은 넓어진 정상 지연 범위를 허용하면서도 실제 고장에서 전체 클러스터의 시간을 오래 낭비하지 않아야 합니다.
운영 도구는 전송 카운터를 작업, 프로세스 그룹, 큐 페어와 물리 링크에 연결해야 합니다. 이 관계가 없으면 혼잡한 포트는 보이지만 어느 집합 통신이 만들었는지 알 수 없고, 느린 학습 단계는 보여도 경로를 찾을 수 없습니다. 이 논문의 중요한 기여는 진단 관계를 별도 조직의 수작업이 아니라 운영 스택의 일부로 다룬다는 점입니다.
Meta 환경 밖에서 확인할 증거
가장 강한 근거는 GPU 10만 개를 넘는 패브릭에서 최신 대형 모델 작업을 운영한다는 사실입니다. 시작 시간과 메모리 할당의 구체적 개선도 제시했습니다. 다만 이를 모든 네트워크의 표준 설계로 볼 수는 없습니다. Meta는 데이터센터 토폴로지, 호스트 소프트웨어, 모델 런타임과 운영 절차를 함께 제어하므로 다중 임차 클라우드가 가정하기 어려운 최적화를 적용할 수 있습니다.
더 넓은 비교에서는 메시지 크기, 경로 거리와 장애 조건별 집합 통신 완료 시간 분포가 필요합니다. 정상 상태와 재구성을 분리하고 GPU 메모리, CPU 오버헤드와 네트워크 사용률을 함께 보여야 합니다. MoE는 평균 대역폭보다 단계별 꼬리 지연이 중요합니다. 초기화는 탐색, 연결, 그룹 생성과 검증에 걸린 시간을 나눠야 합니다.
규모가 커지면 통신 스택의 역할이 달라집니다. 물리 계층 구조를 집합 통신 계획으로 바꾸고, 제한된 엔드포인트 상태를 할당하며, 불규칙한 순간 트래픽을 흡수하고, 장애 원인을 찾을 수 있게 해야 합니다. 더 빠른 링크는 필요하지만 이런 책임을 없애지는 않습니다. GPU 10만 개 연결은 고대역폭 패브릭만으로 해결되지 않는 조정 문제입니다.
출처와 저작권 안내
이 글은 Meta와 Harvard의 SIGCOMM 2026 논문 및 공개 프리프린트 기록을 바탕으로 Silicon & Systems가 독립적으로 작성한 편집 요약입니다. 아키텍처, 측정값과 한계를 우리 표현으로 다시 설명했으며 원문의 문장, 표와 도판을 옮기지 않았습니다. 본문 도판은 이 글을 위해 새로 제작했습니다. 학회 논문의 권리는 해당 저자와 ACM 2026의 출판 조건을 따릅니다.