GPU 훈련 시스템은 집단 통신, 병렬화, 모델 FLOP 활용률을 최적화하지만 모든 스텝은 바이트에서 시작합니다. ByteDance 운영 환경은 엑사바이트 데이터를 HDFS에 보관하고 10억 매개변수 텍스트 모델부터 1조 매개변수 멀티모달 모델까지 훈련합니다. 이 데이터 레이크는 AI 이외 파이프라인과도 공유하므로 교체하려면 엑사바이트를 이동해야 합니다.
저자들은 90일간 훈련 추적 3만 개를 분석해 서로 다른 동기화 장애 세 개를 찾았습니다. 평가는 작은 텐서 접근을 많이 사용해 데이터센터 사이 체크포인트를 읽습니다. 작업 시작에는 작업자 수천 개가 같은 메타데이터와 매개변수를 요청합니다. 멀티모달 훈련은 훈련 호스트 CPU에서 비디오와 이미지를 해독·변환하고, 가장 느린 호스트가 스텝 장벽에서 모든 GPU를 지연시킵니다.
해결책은 더 빠른 파일시스템 하나가 아닙니다. 각 병목은 저장 계층이 전에 받지 못한 정보를 노출합니다. 원격 평가에 필요한 체크포인트, 시작 시 여러 작업자가 함께 읽을 파일, 결정론적 다음 스텝이 사용할 샘플입니다.
대역폭이 아니라 지연에 묶인 데이터센터 간 평가
동반 평가는 훈련 중 최신 체크포인트를 읽어 품질 시험을 병렬 실행합니다. 평가 장비와 일정 때문에 다른 데이터센터에 배치될 수 있습니다. 체크포인트는 많은 텐서 조각으로 구성되고 읽기 프로그램은 작은 접근 수천 건을 발행하므로 전체 대역폭이 남아도 WAN 왕복이 지배합니다.
전역 이름 공간은 사이트 사이 파일 정체성을 이미 알고 있습니다. 새 서비스는 체크포인트 생성과 평가 예약을 관찰하고 대상 데이터센터를 예측해 평가가 열기 전에 전체 체크포인트를 복제합니다. 소비자는 같은 경로를 유지하고 이름 공간 배치가 실제 사본을 선택합니다.
예측은 커밋된 체크포인트에 묶여야 하며, 훈련이 쓰는 동안 조각을 복사하면 버전이 섞일 수 있습니다. 복제 제어기는 완료 및 체크섬 메타데이터를 확인한 뒤 원격 위치를 공개합니다. 평가가 끝나면 사본을 만료시켜 주기적 체크포인트가 영구 다중 사이트 용량이 되지 않게 합니다.
평가한 경로는 평가당 낭비 GPU 시간을 16,800에서 4,000으로 줄였습니다. 이 단위는 원격 데이터 때문에 GPU가 기다린 시간을 포함하며 저장 서버 시간만이 아닙니다. 비용 모델에는 WAN 전송과 복제 용량도 넣어야 하지만, 한 번의 선제 순차 복사는 큰 GPU 할당을 붙잡은 지연 중심 소형 읽기보다 쌀 수 있습니다.
작은 공유 집합에 몰리는 시작 플래시 크라우드
대규모 작업은 디버깅, 장애, 선점, 설정 변경으로 재시작합니다. 시작할 때 모든 작업자가 정상 상태의 분할 입출력에 들어가기 전에 전역 메타데이터와 일부 복제 매개변수를 요구합니다. 저장 복제본 몇 개가 클라이언트 수천 개의 동기 읽기 폭주를 받습니다.
제어기는 모두가 읽는 핫 파일과 작업자별 조각을 구분하고 복제 계수를 미리 올립니다. GPU 2,048개 평가에서는 핫 메타데이터와 복제 매개변수 파일을 128개 사본으로 늘렸습니다. 체크포인트 로딩은 38.5초에서 22.78초로 40.8% 개선됐습니다.
복제는 임시이고 작업 범위에 묶입니다. 모든 조각의 사본 128개를 남기면 용량과 쓰기 작업이 배수로 늘어납니다. 스케줄러나 훈련 서비스가 작업 크기와 시작 단계를 사본 생성에 충분히 일찍 알려야 하며, 갑작스러운 복구는 준비 전에 도착할 수 있습니다.
저장 토폴로지도 결과를 바꾸므로 복제본은 노드 이름뿐 아니라 장애 영역과 네트워크 경로에 분산해야 합니다. 한 랙에 모이면 병목이 디스크에서 상단 랙 링크로 이동합니다. 텔레메트리는 요청 팬아웃, 복제 준비, 노드별 큐 깊이, 클라이언트 완료 분포를 보여 줘야 합니다.
훈련 스텝의 지연 작업이 된 멀티모달 변환
텍스트 토큰화는 GPU 계산 뒤에 숨길 수 있습니다. 멀티모달 배치는 비디오 해독, 프레임 샘플링, 크기 조정, 잘라내기, 이미지 변환을 추가합니다. 결정론적 로더는 원시 미디어를 큰 바이너리 묶음에 저장하고 논리 샘플을 오프셋에 매핑합니다. 훈련 호스트가 바이트를 읽고 CPU에서 변환한 뒤 텐서를 GPU로 보냅니다.
큰 멀티모달 추적에서 변환은 데이터 로딩 지연의 94.4%를 차지했습니다. 샘플 구간의 가장 느린 호스트는 42.72초가 걸렸고 평균 로딩은 훨씬 짧았습니다. 동기 훈련은 이 호스트를 기다리므로 보고된 장치군에서 하루 1만 GPU 시간 이상을 낭비했습니다.
모든 가능 출력을 미리 변환하는 방식은 실용적이지 않습니다. 해독 비디오는 40배에서 100배 커질 수 있고 잘라내기 크기, 해상도, 프레임 수, 증강이 모델 실험마다 바뀝니다. 페타바이트를 다시 만들면 용량을 소비하고 연구를 지연시킵니다.
반면 저장 노드는 네트워크와 디스크를 기다리며 CPU 사용률이 약 20%에서 30%인 경우가 많았습니다. 결정론적 로더는 미래 샘플 식별자와 스텝 진행을 압니다. 이 일정을 저장소에 보내면 노드가 원시 묶음을 읽고, GPU가 스텝 N을 계산할 때 등록 변환 연산자로 스텝 N+1을 준비합니다.
비디오는 저장 바이트 옆에서 프레임을 골라 사용하지 않을 프레임이 네트워크를 건너지 않습니다. 반환 페이로드는 완전 해독 비디오가 아니라 크기가 제한된 텐서입니다. 훈련 클라이언트가 변환 텐서와 원시 바이너리를 모두 받게 해 투명하게 대체할 수 있습니다.
공유 데이터 레이크를 보호하는 역압력
저장 계층 계산은 메타데이터, 복제, 복구, 다른 테넌트의 CPU를 빼앗을 수 있습니다. 서비스는 예시로 80% CPU 안전 임계값을 둡니다. 이를 넘으면 노드가 변환을 중단하고 원시 바이트를 반환하며, 훈련 호스트가 형식을 감지해 기존 로컬 경로를 실행합니다.
이 대체 경로는 최적화를 기회형으로 만듭니다. 한 훈련 작업이 엑사바이트 공유 저장소를 제한 없는 계산 클러스터로 바꾸지 못하게 합니다. 관련 없는 저장 테넌트에 따라 성능이 달라질 수 있으므로 스케줄러는 일정 처리량을 가정하지 말고 오프로딩 가능 상태를 봐야 합니다.
오프로딩은 p99 데이터 로딩 지연을 85.7%, 로딩으로 생긴 중단을 63.2% 줄이고 상대 훈련 성능을 10.8% 높였습니다. 훈련 호스트의 데이터 로딩 CPU는 94% 줄었습니다. 이 값은 멀티모달 작업과 여유 CPU가 있는 저장 장치군의 결과이며, 얇은 객체 저장 장비나 CPU가 포화된 삭제 코딩 노드는 재현하지 못할 수 있습니다.
한 번 통과하는 사전 훈련은 매개변수나 증강이 바뀌기 전에 샘플을 다시 읽지 않아 처리 데이터 캐시의 가치가 작았습니다. 반복 파인튜닝과 강화 학습은 재사용이 더 많을 수 있습니다. 오래된 텐서를 학습하지 않도록 캐시 키에 데이터셋 버전, 변환 코드, 매개변수, 무작위 시드를 넣어야 합니다.
최적화 인터페이스가 된 결정론
세 기법은 모두 미래 정보를 사용합니다. 체크포인트 생명주기가 평가 입력을 예측하고 스케줄러가 시작 팬아웃을 예측하며 결정론적 로더가 샘플을 예측합니다. HDFS 블록 경로에 모델 훈련 논리를 넣지 않고 저장 시스템을 선제적으로 만듭니다.
이 인터페이스는 불확실성을 명시해야 합니다. 취소한 평가는 사용하지 않은 복제본을 남기고, 실패한 시작은 실행하지 않을 작업의 핫 사본을 만들며, 동적 데이터 혼합과 온라인 샘플링은 다음 배치 목록을 무효화합니다. 제어기는 예측 적중률, 준비했지만 쓰지 않은 바이트, 선행 시간, 대체 비율을 기록해야 합니다.
개인정보와 거버넌스는 사본을 따라갑니다. 데이터센터 간 복제가 관할권이나 데이터 상주 경계를 넘을 수 있습니다. 체크포인트 메타데이터는 배치 정책, 암호화 키, 보존, 삭제 의무를 운반해야 합니다. 전역 이름 공간에 보이는 모든 경로가 이동 가능한 것은 아닙니다.
변환 실행은 공급망 위험도 만들며, 등록 디코더가 저장 노드에서 신뢰하지 않는 미디어를 처리하기 때문입니다. 샌드박스, 자원 제한, 서명된 변환 버전, 결정론 수치 시험이 필요합니다. 디코더 장애가 저장 데몬에 영향을 주거나 원시 데이터를 손상해서는 안 됩니다.
평가 결과의 최신성을 포함한 용량 지표
체크포인트 경로가 중요한 이유는 평가가 보고 작업이 아니라 학습 제어 루프의 일부이기 때문입니다. 30일 동안 사전학습 작업 19건은 동반 평가 3,589회를 실행해 회귀 156건을 찾았습니다. 결과가 늦는 동안에도 학습은 계속됐습니다. 저자들은 제때 수행한 평가가 GPU 시간 550만 시간을 절약했지만, 느린 체크포인트 전달 때문에 나중에 폐기할 실행에 약 260만 GPU 시간을 썼다고 추정했습니다.
이 수치들은 시작 및 데이터 적재 결과와 분모가 다릅니다. 260만 시간은 발견한 회귀에서 결정이 늦어진 비용이고, 40.8%는 작업자 2,048개의 체크포인트 적재, 63.2%는 멀티모달 변환으로 생긴 정지의 감소를 뜻합니다. 장비군 전체의 하나의 개선율처럼 더하거나 곱해서는 안 됩니다. 공통된 의미는 데이터 경로의 몇 초가 동기화 장벽을 거치면 많은 가속기 시간으로 확대된다는 점입니다.
따라서 운영자는 회귀를 선언한 시점의 평가 지연을 기록해야 합니다. 체크포인트가 커밋된 때부터 복제본 준비, 평가 작업 시작, 결과가 학습 제어기에 도착한 때까지를 하나의 시간축으로 봐야 합니다. 그러면 스토리지 지연을 평가 장비 대기, 느린 벤치마크 실행이나 학습 중단 정책과 구분할 수 있습니다. 줄인 시간을 실제 결정 루프가 사용해야 빠른 I/O가 유효 GPU 시간으로 바뀝니다.
세 경로별 자원 예산
세 방법을 하나의 스토리지 기능처럼 배포하면 어떤 자원이 소비되는지 놓치기 쉽습니다. 체크포인트 선행 전송은 필요성이 확정되기 전에 원거리 대역폭과 목적지 용량을 씁니다. 뜨거운 파일의 복제본 확대는 원본 클러스터에서 일정 시간 추가 저장 공간을 차지합니다. 스토리지 측 변환은 데이터 보관과 제공이 우선인 서비스에서 CPU, 메모리와 송신 대역폭을 사용합니다. 따라서 각 경로에는 별도의 수용 기준, 할당량과 중단 조건이 필요합니다.
체크포인트 전송에서는 선행 시간이 핵심 제어값입니다. 체크포인트를 읽을 수 있게 된 시각, 현지 복사본이 완성된 시각과 평가가 실제로 요청한 시각을 함께 기록해야 합니다. 지나치게 일찍 끝나는 복사는 중복 용량을 오래 점유하고, 늦게 끝나는 복사는 GPU를 원거리 경로에 남깁니다. 재시작용 복제는 임시 저장 바이트당 시작 장벽 감소로 평가하고 요청 집중이 끝나면 추가 복제본을 제거해야 합니다. 일시적 대응이 영구 캐시 정책으로 굳어서는 안 됩니다.
데이터 변환에는 가장 강한 격리가 필요합니다. 각 배치마다 변환 버전, 입력 범위, 출력 검사값, CPU 시간, 최대 메모리와 원본 처리로 돌아간 결정을 추적할 수 있어야 합니다. 변환이 실패하거나 늦어지면 기존 학습 경로가 계속 동작하도록 원본 바이트를 즉시 반환해야 합니다. 기능을 껐을 때 샘플의 의미나 체크포인트 정확성은 바뀌지 않고 성능만 원래 상태로 돌아가야 합니다.
배포에는 비교 집단도 필요합니다. 비슷한 작업에서 세 기능을 한 번에 하나씩 켜고 기존 경로를 남긴 채, 복제 저장 공간, 원거리 전송과 스토리지 CPU 비용을 뺀 유효 GPU 시간을 측정해야 합니다. 줄어든 전송량이나 사용한 CPU는 원인을 보는 지표이지 목적이 아닙니다. 평가 결과가 더 빨리 도착하고, 마지막 복구 랭크가 더 일찍 시작하며, 공유 데이터 서비스의 안정성을 해치지 않고 학습이 더 많은 유효 스텝을 끝냈을 때 개선으로 인정해야 합니다.
예측을 중단해야 하는 조건
선제 작업에는 반응형 I/O에 없는 실패가 있습니다. 오지 않을 요청에 자원을 쓸 수 있습니다. 평가가 취소되거나 재시작 대상 체크포인트가 바뀌고, 동적 샘플링이 다음 배치를 바꿀 수 있습니다. 각 힌트에 만료 시각과 신뢰도를 붙이고 준비했지만 쓰지 않은 바이트와 CPU 시간을 공개해야 합니다. 적중률이 낮으면 선행 구간을 줄이거나 해당 작업의 예측을 꺼야 합니다.
데이터의 최신성은 배치 위치와 별도로 확인해야 합니다. 잘못된 체크포인트의 완전한 현지 사본은 올바른 원격 읽기보다 위험합니다. 이름 공간에 공개하기 전에 바뀌지 않는 체크포인트 식별자, 완료 표시와 내용 검증을 요구해야 합니다. 변환 결과에도 데이터셋과 연산자 버전, 매개변수, 무작위 시드를 묶어야 합니다. 식별 정보가 하나라도 없으면 변환한 텐서를 추정해서 쓰지 말고 기존 클라이언트 경로로 돌아가야 합니다.
공유 서비스의 부하가 바뀌면 앞서 내린 결정도 무효가 됩니다. 계획을 받을 때 CPU 사용률이 30%였던 스토리지 노드가 다음 스텝 전에 복구 작업을 시작하거나 다른 사용자의 요청을 받을 수 있습니다. 마지막 순간에는 역압력 임곗값을 쓰되, 작업을 받을 때도 큐 깊이, 메모리 압력과 송신 대역폭을 봐야 합니다. 한 자원만 비어 있다는 이유로 선제 작업을 계속 받아서는 안 됩니다.
데이터센터 간 복사는 용량뿐 아니라 정책도 따라야 합니다. 전역에서 경로가 보이는 체크포인트라도 데이터나 가중치를 평가 지역으로 옮길 수 없을 수 있습니다. 대역폭을 배정하기 전에 데이터 상주, 암호화, 보존과 접근 권한을 검사해야 합니다. 모든 선제 복사와 변환을 추적하고 취소할 수 있으며, 가속하려는 기존 HDFS 경로와 같은 수준으로 보호할 때만 이 최적화를 사용할 수 있습니다.
측정된 불일치만 고치는 기존 시스템 갱신
논문은 HDFS가 이미 엑사바이트를 보유하고 다른 처리 작업도 제공하므로 신규 AI 저장소로 전환하지 않습니다. 세 확장은 이름 공간 안내 복사, 복제 수 조정, 제한된 계산 사이드카로 좁습니다. 기존 경로와 파일 형식을 유지합니다.
데이터 중력이 이동 비용을 지배하고 작업 의도를 얻을 수 있을 때 강한 선택입니다. 레거시 데이터가 없는 신규 배치는 집단 로딩, GPU 직접 경로, 풍부한 샘플 서비스를 갖춘 AI 전용 저장소를 선호할 수 있습니다. 연구는 HDFS가 본질적으로 최적이라고 주장하지 않고 제어 평면 결정론을 노출하면 기존 구조도 훈련 목표를 만족할 수 있음을 보여 줍니다.
용량 계획은 GPU 대기와 저장 자원의 가격을 비교해야 합니다. GPU 2,048개에서 1초를 줄이는 작업은 작은 작업의 1초보다 훨씬 많은 복제와 CPU를 정당화합니다. 정책은 모든 파일을 같게 다루지 말고 예상 가속기 시간 수익으로 선제 작업을 배분해야 합니다.
더 큰 교훈은 훈련 데이터 파이프라인이 백그라운드 읽기 도구가 아니라 조정된 분산 시스템이라는 점입니다. 규모가 커지면 작은 공유 파일, 원격 이름 공간 결정, 느린 디코더 하나가 가속기 수천 개를 막습니다. ByteDance의 절감은 이 장벽을 예측하고 형성되기 전에 작업을 옮긴 결과입니다.
출처와 저작권 안내
이 글은 Silicon & Systems의 편집 분석입니다. 운영 분석, 메커니즘, 측정값, 한계를 자체 문장으로 재구성했습니다. 원문의 문장, 표, 도판을 복제하지 않았으며 본문 도판은 이 글을 위해 새로 만들었습니다. 논문은 USENIX OSDI 2026 발표 페이지에서 확인할 수 있습니다. 저작권은 저자에게 있으며 연도는 2026년입니다.