AI 학습 작업과 network 운영자는 같은 사건을 다르게 표현한다. 작업은 collective가 느리거나 멈췄다고 말한다. 운영자는 link, switch port, overlay tunnel, adaptive path, queue를 본다. 구성 요소 하나의 고장이 특정 container 배치에만 영향을 줄 수 있고, 고장 나지 않은 혼잡 경로 하나가 collective goodput을 무너뜨릴 수도 있다. 운영 stack은 세 질문에 답해야 한다. 예상한 학습 graph의 어느 부분이 달라졌는가, 영향을 받은 packet은 실제로 어떤 물리 경로를 지났는가, 다음 packet은 어디로 보내야 하는가.
산업계가 주도한 SIGCOMM 2025 논문 세 편은 이 제어 지점을 하나씩 다룬다. Alibaba Cloud의 SkeletonHunter는 대형 모델 학습이 만드는 규칙적이고 성긴 traffic에서 장애를 추론한다[1]. ByteDance의 ByteTracker는 모든 server에 agent를 설치하지 않고 중앙 probe와 switch mirroring으로 경로를 복원한다[2]. ByteDance와 Broadcom의 SGLB는 commodity switch에 전역 혼잡을 고려하는 부하분산 기능을 넣는다[3]. 하나의 점수로 순위를 매기면 안 된다. 앞의 두 시스템은 production network를 진단했고, SGLB는 혼잡을 피하는 forwarding prototype을 평가했다.
workload가 이미 중요한 경로를 그린다
container는 배치를 자주 바꾸고 물리 fabric 위에 overlay network를 더한다. 가능한 모든 경로를 빠짐없이 관측하면 비용이 크고, 임의 표본은 현재 작업에 중요한 경로를 놓칠 수 있다. SkeletonHunter는 분산 학습의 특성을 사용한다. 통신량은 많지만 구조는 성기고 반복적이다. tensor, pipeline, data, expert parallel group은 제한된 경로를 계속 지난다. 이 반복 집합이 traffic skeleton이다.
시스템은 예상 skeleton을 찾고 관측 signal이 달라지는 지점을 분석한다. 선택한 경로가 실제 학습 통신에 연결돼 있으므로, 관측값이 사라지거나 나빠지면 일반 background probe보다 workload 문맥이 강하다. overlay와 underlay 관계를 함께 보면 container에서 보이는 증상을 물리 구성 요소 후보로 바꿀 수 있다.
Alibaba는 6개월의 production 운영 결과를 제시한다. SkeletonHunter는 network 장애 4,816건을 찾아 precision 98.2%, recall 99.3%를 기록했고 95.7% 정확도로 위치를 특정했다. 운영자가 확인된 문제 구성 요소의 98%를 수리한 뒤 월간 network 장애율은 99.1% 줄었다. 마지막 값은 localization 알고리즘의 점수가 아니라 조치 전후의 운영 결과다. 검출과 장애 감소 사이에 실제 유지보수가 들어 있다.
host agent 없이 실제 path를 복원한다
ByteTracker는 다른 빈틈에서 출발한다. end-host probe는 많은 server에 process와 설정을 추가하고 host 부하의 잡음도 받는다. timeout이 network가 아니라 host에서 생길 수 있으며, adaptive forwarding 때문에 endpoint만 보고 실제 경로를 추정하기도 어렵다.
이 시스템은 소수의 전용 prober를 중앙에 둔다. destination server에 probe process가 없어도 운영체제가 응답하도록 packet을 구성한다. north-south와 east-west probe를 함께 사용해 link와 내부 forwarding 경로를 덮는다. switch packet mirroring은 packet이 실제로 지난 길을 기록하고 hop별 비교를 가능하게 해, 조용한 packet drop이나 내용 변화도 조사할 수 있다.
ByteTracker는 ByteDance의 모든 data center에 반년 넘게 배포됐다. 공식 초록은 해당 기간에 거의 모든 network 이상을 발견하고 5초 안에 100% 정확도로 위치를 찾았다고 보고한다. 평가 문맥을 붙여 읽어야 한다. 그 deployment에서 관측한 사건에 대한 저자들의 운영 결과이지 모든 장애 유형에 대한 수학적 보장은 아니다. SkeletonHunter보다 숫자가 높아서 우월한 것도 아니다. ByteTracker는 활성 학습 pattern이 없어도 일반 경로를 확인하고, SkeletonHunter는 학습 topology의 의미를 더한다.
장애가 되기 전에 혼잡을 피해 보낸다
SGLB는 incident 처리 단계가 아니라 forwarding plane에서 동작한다. local adaptive routing은 인접 queue를 볼 수 있지만 더 먼 구간의 혼잡 쪽으로 packet을 밀어 넣을 수 있다. 전역 상태는 유용하지만 commodity switch의 작은 memory에 보관하고 빠르게 배포하기 어렵다. link가 끊어지면 신속히 경로를 바꿔야 하고, path 대역폭이 다를 때 단순 분산은 오히려 처리량을 낮출 수 있다.
SyncMesh control protocol은 압축한 혼잡 정보를 switch의 Global Load Balancing engine에 전달한다. engine은 전역 경로 상태와 사용 가능한 용량을 함께 보고, link 장애 뒤 forwarding을 갱신한다. prototype 실험에서 최저 45 microsecond 안에 경로를 복구했고, 전역 혼잡 경로를 피하면서 All-to-All 통신이 최대 60% 빨라졌다.
이 결과는 SkeletonHunter나 ByteTracker처럼 6개월 동안 production에서 측정한 값이 아니다. 논문은 SGLB prototype을 만들고 실험 환경에서 평가했다. 해당 abstraction이 commodity switch 자원에 들어가고 시험한 collective를 개선한다는 근거다. 작업 구성이 계속 변하고 control packet이 손실되며 여러 traffic이 섞이는 장기 운영은 deployment에서 따로 확인해야 한다.
하나의 운영 loop로 연결하기
세 시스템은 하나의 loop로 이어질 수 있다. 학습 traffic은 가치가 높은 수동 관측 신호를 제공한다. 전용 probe는 workload와 독립적으로 경로를 확인해 작업이 바뀌거나 멈춘 동안에도 coverage를 유지한다. load balancer는 현재 혼잡을 보고 피해를 줄이고, 관측 시스템은 경로 변경 뒤 예상 성능이 돌아왔는지 확인한다. 구성 요소가 실제로 고장 났다면 계속 우회하는 대신 localization 결과를 유지보수와 격리에 넘긴다.
연결부에는 별도 설계가 필요하다. mirror된 probe는 GPU traffic을 대표하는 경로를 지나야 한다. adaptive routing 때문에 probe 하나의 관측은 빠르게 오래된 정보가 된다. scheduler가 container나 parallel group을 옮기면 traffic skeleton도 바뀐다. 전역 혼잡 요약에는 전달 지연과 정밀도 한계가 있다. 따라서 job, container, endpoint, switch, path를 잇는 공통 식별자와 관측값을 맞출 수 있는 정확한 시간이 필요하다.
더 큰 결론은 network reliability가 하나의 백분율이 아니라는 점이다. detection precision, recall, localization accuracy, 위치를 찾는 시간, 경로 수렴 시간, collective 처리량은 서로 다른 단계의 값이다. AI cloud가 그중 하나를 공개했다고 나머지까지 입증한 것은 아니다. 이 산업계 논문들은 fabric 뒤의 운영 체계를 여러 단계로 나눠 보여 준다는 점에서 가치가 있다.
개별 결과보다 큰 통합 문제
세 논문을 서로 경쟁하는 모니터링 제품으로 읽으면 안 된다. 관찰하는 시간축이 서로 다르다. SkeletonHunter는 오래 실행되는 작업의 안정적인 경로 구조가 바뀌는지를 본다. ByteTracker는 능동 탐침(probe)이 지난 실제 경로를 수초 안에 복원한다. SGLB는 관제 계층의 진단이 도착하기 전 마이크로초 단위로 네트워크 안에서 우회한다. 검출, 설명, 우회는 허용 시간이 다른 작업이므로 완전한 패브릭에는 세 시간축이 모두 필요하다.
평가 수치의 분모도 다르다. 정밀도와 재현율은 관측한 장애 집합에서 분류기를 평가한다. 5초는 실제 데이터센터에서 장애 위치를 좁히는 데 걸린 시간이다. 45마이크로초와 60%는 시제품에서 측정한 복구 시간과 집합 통신 성능이다. 이 결과를 하나의 순위로 합치기보다 계층 사이의 연결 규약으로 읽어야 한다. 워크로드 계층이 영향을 받은 경로 뼈대를 찾고, 경로 계층이 이를 물리 구성 요소에 연결하며, 제어 계층이 수리가 끝날 때까지 트래픽을 우회해야 한다. 이 인계가 없으면 각 도구가 자기 범위에서 정확해도 작업은 멈춘다.
AI 패브릭의 인수 시험도 더 강해져야 한다. 링크, 스위치, 혼잡 사건을 주입한 상태에서 완료한 학습 스텝을 측정하고, 손실을 검출 지연, 위치 추적 지연, 경로 수렴, 성능이 낮아진 경로의 대역폭, 수리 시간으로 나눈다. 잘못된 신호에 빠르게 반응하는 제어 루프가 스스로 장애를 만들 수 있으므로 불필요한 우회를 일으킨 오경보도 포함해야 한다. 경보 시각보다 사건 동안 목표 집합 통신 유효 처리량을 얼마나 지켰는지가 최종 지표여야 한다. 더 큰 통찰은 네트워크 운영이 분산 실행계의 일부가 되고 있다는 점이다. 작업 토폴로지가 텔레메트리에 문맥을 주고, 텔레메트리가 라우팅의 근거가 되며, 라우팅은 물리 수리에 필요한 시간을 번다.
워크로드의 경로 뼈대는 무엇을 관측할지도 바꾼다. 일반 네트워크 도구는 모든 경로를 비슷하게 덮으려 한다. 대규모 분산 작업은 희소하고 구조적인 일부 경로를 반복해서 사용하므로 그 경로를 관찰할 한계 가치가 더 크다. 다만 작업이 다시 배치되거나 집합 통신 알고리즘이 바뀌거나 탄력적 구성 변경으로 랭크가 이동하면 관측 대상도 달라진다. 모니터링 시스템은 경로 뼈대를 작업 계획과 함께 버전 관리해야 한다. 그렇지 않으면 어제의 핵심 경로를 정확하게 지켜보는 동안 오늘의 트래픽이 다른 곳에서 실패할 수 있다.
SGLB에는 제어 루프 안정성이라는 짝이 있다. 전역 혼잡 정보는 로컬 큐 표본보다 풍부하지만 스위치에 도달할 때는 더 오래된 정보다. 여러 스위치가 같은 지연된 요약에 동시에 반응하면 트래픽을 한꺼번에 옮겨 새로운 병목 경로를 만들 수 있다. 시제품의 복구 시간만으로는 많은 작업과 장애가 겹쳤을 때의 안정성을 입증하지 못한다. 실제 운용 평가는 오래되거나 일부만 도착한 정보에서도 진동, 공정성, 수렴을 확인해야 한다. 목표는 완벽한 전역 정보가 아니다. 분산된 판단이 지난 구간을 뒤늦게 고치는 데 그치지 않고 다음 구간을 개선할 만큼 최신이고, 오차 범위가 알려진 정보다.
출처와 저작권 안내
이 글은 Silicon & Systems가 산업계 주도의 SIGCOMM 2025 논문 세 편을 종합해 독자적으로 작성했다. 논문의 주장과 결과는 우리 표현으로 다시 썼고 원문 문장, 표, 도판은 옮기지 않았다. 두 도판은 이 글을 위해 새로 만들었다. 논문 서지와 초록은 SIGCOMM 2025 공식 프로그램에서 확인할 수 있다. 저작권 (c) 2025 각 논문의 원저자 및 출판자.