Llama 3 405B는 H100 GPU 16,384개에서 약 3.8 × 10^25번의 부동소수점 연산을 거쳐 사전학습됐습니다. 이 규모에서는 병렬화 여부가 아니라 어떤 통신 비용을 어느 차원에 배분할지가 문제입니다. Meta의 ISCA 2025 논문은 네 가지 병렬화를 함께 사용한 이유와 학습 중 그 조합을 바꿔야 하는 조건을 설명합니다[1].
네 가지 분할이 서로 다른 한계를 풉니다
완전 샤딩 데이터 병렬화(FSDP)는 파라미터·그래디언트·옵티마이저 상태를 나눕니다. 텐서 병렬화는 한 계층을 나누는 대신 잦은 집합 통신을 부담합니다. 파이프라인 병렬화는 계층 묶음을 스테이지에 배치하지만 마이크로배치가 부족하면 빈 구간이 생깁니다. 컨텍스트 병렬화는 긴 시퀀스를 나눠 GPU당 활성값을 줄이는 대신 어텐션 통신이 필요합니다.
Llama 3의 학습 단계는 시퀀스 길이, 배치, 모델 구조, GPU 수가 서로 다릅니다. 긴 컨텍스트 단계에서는 전역 배치가 작아져 일반적인 파이프라인 일정으로 빈 구간을 가리기 어렵습니다. Meta는 달라지는 배치와 계층 구성을 수용하는 파이프라인 일정, 여러 문서를 구분하는 마스크 어텐션을 유지하는 컨텍스트 병렬화를 설계했습니다.
진단 시간도 효율에 포함됩니다
구현 결과는 8K 시퀀스에서 GPU당 약 400 TFLOPS, 131K에서 380 TFLOPS입니다. 컨텍스트 병렬 어텐션의 한 실험은 GPU를 1개에서 4개로 늘릴 때 3.89× 확장됩니다. 이 수치는 단일 커널 최고치가 아니라 학습 단계의 조건을 반영한 동작점입니다.
논문은 디버깅을 아키텍처 문제로 다룹니다. 수천 개 랭크가 동기화된 뒤에만 나타나는 수치 오류나 지연 랭크를 일반 응용 버그처럼 처리할 수 없습니다. 프로파일링, 재현 가능한 비교, 원인 랭크 식별이 유효 GPU 시간을 지키는 필수 기능입니다.
우리가 읽은 결론
프런티어 학습을 데이터·텐서·파이프라인 중 하나를 고르는 문제로 설명하기는 어렵습니다. 실제 시스템은 배치 의미와 네트워크 계층에 맞춰 네 가지를 계속 조합합니다. 다음 세대 가속기는 빠른 집합 통신뿐 아니라 분할을 바꿀 메모리 여유와 수치·성능 오류를 추적할 관측 기능을 함께 제공해야 합니다.
출처와 저작권 안내
이 글은 원문을 독립적인 문장과 구성으로 요약했습니다. 도판은 새로 만들었고 원문의 도판·표를 재사용하지 않았습니다. 공개 논문은 CC BY 4.0이며 저작권은 저자에게 있습니다. (c) 2025.