AMD가 처음 만든 엑사스케일 노드는 연구 단계에서 구상한 통합 프로세서를 쓰지 않았습니다. Frontier는 당시 패키징 기술, 수율, 제품 일정의 한계 때문에 EPYC CPU와 Instinct GPU를 별도 패키지로 연결했습니다. ISCA 2024 논문은 포기했던 구상이 MI300A로 돌아오기까지 어떤 물리 조건이 바뀌어야 했는지 설명합니다[1].
하나의 주소 공간이 노드를 바꾸는 방식
MI300A는 CDNA 3 가속기 다이 6개, Zen 4 CPU 다이 3개(24코어), 기반 I/O 다이 4개, HBM3 스택 8개를 결합합니다. CPU와 GPU가 함께 쓰는 128 GB 메모리는 약 5.3 TB/s의 대역폭을 냅니다. CPU가 HBM에 데이터를 만들면 GPU가 호스트 DRAM을 거치는 복사 없이 바로 사용합니다. 따라서 MI300A는 분리형 노드를 작게 만든 제품이 아니라, 소프트웨어가 관리해야 할 데이터 이동을 줄인 구조입니다.
서버용 I/O 다이를 그대로 쓰지 않은 이유도 분명합니다. DDR 채널과 외부 링크는 CPU 소켓에는 필요하지만 HBM 중심 APU에서는 면적과 전력을 낭비합니다. AMD는 기반 기능을 I/O 다이 네 개로 나누고 짧은 링크로 묶어 패키지 전체가 하나의 패브릭처럼 동작하게 했습니다.
패키징이 아키텍처가 되는 과정
HBM을 제외해도 트랜지스터가 약 1,460억 개입니다. 하이브리드 본딩은 컴퓨트 다이와 I/O 다이를 수직으로 연결하고, 2.5D 인터포저는 기반 다이와 HBM을 연결합니다. 이 기술들이 링크 에너지, 대역폭, 수리 가능성, 재사용할 수 있는 칩렛을 결정합니다. 패키징을 후공정 구현 문제로만 볼 수 없는 이유입니다.
대신 전력과 열이 한 패키지에 집중되고 조립 수율과 비용이 중요해집니다. 통합 메모리가 모든 작업을 빠르게 만드는 것도 아닙니다. CPU와 GPU가 데이터를 거의 공유하지 않거나 작업 집합이 128 GB를 넘으면 이점이 줄어듭니다.
첫 엑사스케일 계획이 바뀐 이유가 중요한 이유
AMD의 초기 구상은 CPU와 GPU를 하나의 고대역폭 메모리에 가깝게 배치하는 것이었습니다. Frontier는 결국 EPYC CPU와 Instinct 가속기를 분리해 사용했습니다. 목표가 틀려서가 아니라 당시 패키징 능력, 제품 일정, 수율 위험이 요구 규모의 통합 부품과 맞지 않았기 때문입니다[1].
MI300A는 단순한 다음 단계가 아닙니다. 재사용할 CPU·GPU 칩렛, 전용 기반 다이, 고밀도 접합, 큰 인터포저, HBM 조립이 함께 성숙한 뒤에 통합이 합리적이 됐습니다. 하나의 거대한 다이를 만드는 대신 중요한 소프트웨어·데이터 이동 경계를 없앨 수 있을 때 기능을 패키지 안으로 옮겼습니다.
칩렛 로드맵은 연결할 수 있다는 이유만으로 통합해서는 안 됩니다. 제조, 시험, 재사용, 소프트웨어 계약, 작업에서 얻는 이점이 조립 위험보다 커야 합니다. Frontier의 분리 노드와 MI300A는 서로 다른 시점의 제약에 맞춘 두 답입니다.
패키지의 세 물리 계층이 역할을 나누는 방식
GPU 연산 다이 6개와 CPU 다이 3개가 재사용 연산을 담당합니다. 아래의 기반 I/O 다이 4개가 메모리 컨트롤러, 패브릭, 패키지 연결을 구현하고, 옆의 HBM3 스택 8개가 인터포저에 붙습니다. CPU 칩렛에는 HBM 중심 APU가 쓰지 않는 서버 소켓 DDR와 외부 I/O를 남기지 않았습니다.
기반 다이는 수동 배선이 아닙니다. 네 영역을 하나의 주소 공간으로 만들고 HBM으로 보내는 경로를 결정합니다. 짧은 다이 간 연결이 보드 경로 일부를 대신하고, 수직 연결이 연산 다이와 기반 다이를 잇습니다. 수직 로컬 경로, 수평 패키지 패브릭, HBM 채널이라는 물리 계층이 프로토콜 계층과 맞습니다.
작은 다이를 여러 개 쓰면 단일 거대 다이보다 웨이퍼 수율과 설계 재사용에 유리할 수 있지만 조립 수율이라는 변수가 추가됩니다. 여러 연산 다이, 기반 다이 4개, HBM 스택 8개, 인터포저, 수많은 접속이 모두 동작해야 판매할 수 있습니다. 양품 다이 선별과 접속 시험, 고장 위치 진단이 비용 구조의 일부입니다.
일관된 HBM이 데이터 소유권을 바꾸는 방식
분리 노드에서는 호스트 메모리에 데이터를 만들고 가속기 메모리로 복사한 뒤 커널을 실행하고 결과를 되돌리거나 두 주소 공간을 런타임이 관리합니다. MI300A는 128 GB HBM3를 CPU와 GPU가 함께 쓰는 일관된 풀로 제공합니다. CPU가 GPU가 사용할 구조를 HBM에 만들고 명시적인 대량 복사 없이 소유권을 넘길 수 있습니다.
복사를 없애면 대역폭뿐 아니라 할당, 전송, 중복 상주, 동기화 관리가 줄어듭니다. 불규칙한 CPU-GPU 협력은 작은 공유 구조를 반복 포장하지 않고 다룰 수 있습니다. 객체마다 두 물리 메모리 중 하나를 고르지 않아도 돼 이식도 쉬워질 수 있습니다.
하나의 주소가 같은 지연을 뜻하지는 않습니다. CPU와 GPU 캐시, 접근 단위, 지역성, 경쟁은 다릅니다. CPU 단계가 GPU에 필요한 HBM 대역폭을 쓸 수 있고 세밀한 공유가 일관성 트래픽을 늘릴 수 있습니다. 소프트웨어는 CPU와 GPU 중 어느 쪽이 주로 쓰는지 알고 작업과 데이터를 배치해야 합니다.
용량과 대역폭은 별도 제약
약 5.3 TB/s HBM 대역폭은 일반 소켓 DRAM보다 높지만 용량은 128 GB입니다. 작업 집합이 들어가고 CPU와 GPU가 데이터를 자주 공유하면 이점이 큽니다. 더 큰 모델과 메시, 데이터셋은 외부 계층, 노드 분할, 스트리밍 정책이 필요합니다.
모든 접근이 최고 대역폭을 얻지도 않습니다. 채널 매핑, 기반 다이의 지역성, 6개 GPU와 3개 CPU의 경쟁이 실제 값을 정합니다. 5.3 TB/s는 패키지 능력이지 한 커널이나 혼합 작업의 지속 보장이 아닙니다.
평가에는 커널 속도뿐 아니라 작업 집합 크기와 없앤 이동량을 포함해야 합니다. 같은 연산 속도라도 복사를 없애 전체 시간이 줄 수 있고, 데이터를 처음부터 끝까지 GPU에 둔 작업은 변화가 작습니다. HBM 수치보다 제거한 시스템 경계로 통합 가치를 판정해야 합니다.
하이브리드 본딩은 에너지와 수율을 함께 바꾸는 방식
고밀도 수직 접합은 연산 다이와 기반 다이 사이에 짧은 연결을 많이 만듭니다. 긴 패키지 배선이나 보드 링크보다 비트당 에너지와 다이 가장자리 부담을 낮춰, 좁은 칩렛 포트 하나에 모든 통신을 몰지 않고 연산과 I/O를 나눌 수 있습니다.
대신 접합 간격, 정렬, 표면 처리, 열 스트레스, 검사가 수율에 영향을 줍니다. 구성 다이가 웨이퍼 시험을 통과해도 연결 하나의 결함으로 큰 모듈을 잃을 수 있습니다. 고밀도 접속을 다루는 조립 후 진단이 필요합니다.
HBM을 제외한 약 1460억 트랜지스터는 성능 지표가 아니라 통합 규모입니다. 일부는 연산이고 나머지는 패브릭, 메모리 제어, 중복 회로, 물리 인터페이스입니다. 이 지원 구조가 분리 부품보다 노드에서 더 많은 유효 작업을 만들 때 가치가 있습니다.
열과 전력은 적층 구조를 따르는 조건
활성 기반 다이 위에 연산 다이를 놓으면 배선은 짧아지지만 열 경로는 수직으로 겹칩니다. CPU와 GPU 단계가 다른 영역에 열을 모으고 HBM도 온도·신뢰성 한계가 있습니다. 한 칩렛의 열 때문에 이웃 연산기와 메모리가 감속하지 않도록 냉각해야 합니다.
GPU 전류 변화, CPU 부스트, HBM 트래픽도 패키지와 보드의 전력 전달을 공유합니다. 통합 APU가 I/O 에너지를 줄여도 남은 부하는 더 조밀한 모듈에 집중됩니다. 짧은 최고 사양보다 실제 시설 조건에서 지속 클록과 열·전력 제한에 따른 감속을 측정해야 합니다.
소프트웨어가 없앤 경계를 실제로 써야 할 이유
하드웨어 일관성은 선택지를 만들 뿐입니다. 할당기가 공유 객체를 HBM에 두고, 컴파일러가 지역성을 보존하며, 프로파일러가 CPU와 GPU 중 어느 쪽의 접근이 병목인지 보여 줘야 합니다. 기존 코드가 항상 GPU 전용 버퍼로 복사하면 구조적 이점을 쓰지 못합니다.
통합 메모리가 이동을 숨기는 핑계가 되어서도 안 됩니다. 포인터가 양쪽에서 유효해도 페이지 배치, 이동, 캐시, 소유권 전환을 도구에서 볼 수 있어야 합니다. MPI와 GPU 런타임은 버퍼가 이미 일관된 영역에 있을 때 임시 복사 단계를 피하고, 체크포인트는 CPU가 데이터를 제자리에서 준비할 수 있어야 합니다.
MI300A에서 이득이 큰 작업
CPU-GPU 인계가 잦고 불규칙한 제어와 공유 메타데이터가 있는 응용이 가장 분명한 대상입니다. 과학 시뮬레이션은 CPU가 자료 구조를 관리하고 GPU가 같은 내용을 갱신할 수 있습니다. 그래프·적응형 작업은 불규칙하게 변하는 작업 경계를 분리 링크용으로 계속 포장하지 않아도 됩니다.
데이터를 한 번 HBM에 넣고 GPU에서 끝까지 처리하는 밀집 연산은 CPU 통합의 이득이 작을 수 있습니다. CPU를 거의 쓰지 않으면 그 실리콘과 전력의 가치도 제한됩니다. CPU 중심 작업은 빠른 HBM보다 더 큰 DDR 용량이 나을 수 있습니다.
따라서 비교에는 CPU 소켓, 외부 가속기 링크, 중복 메모리, 보드 전력, 소프트웨어 이동을 포함해야 합니다. GPU 최고 FLOPS만 비교하면 제품이 없애려 한 경계를 놓칩니다.
패키지 경제성이 확장을 결정하는 기준
칩렛은 CPU와 GPU 설계를 여러 제품에서 재사용하고 각 기능을 알맞은 공정에 둘 수 있게 합니다. 기반 다이는 I/O에, 연산 다이는 조밀한 공정에 맞춰 전체 설계 비용을 나눕니다.
반면 인터포저 면적, HBM 공급, 본딩 설비, 시험 시간이 비용을 더합니다. 작은 논리 다이의 수율과 재사용이 조립 손실을 상쇄해야 다중 다이 패키지가 경제적입니다. 구매자는 이를 가격, 공급량, 서비스성으로 보게 됩니다. HBM이나 접속이 고장 나면 모듈 전체를 교체할 수 있으므로 오류 위치 텔레메트리와 예비 부품 비용도 포함해야 합니다.
앞으로 공개해야 할 비교 조건
다이 수와 역할, 메모리 용량과 지속 대역폭, 일관성을 공유하는 CPU·GPU 구성 요소, 링크 토폴로지, 전력 경계, 실제 없앤 복사를 밝혀야 합니다. 웨이퍼 수율 주장과 조립 모듈 공급량을 구분하고 메모리 신뢰성 기능도 설명해야 합니다.
소프트웨어 자료에는 이식 노력, 통합 전후 데이터 이동량, CPU·GPU 활용률, 일관성 비용, 작업 집합 한계가 필요합니다. 열 자료는 CPU와 GPU를 함께 오래 실행한 결과를 보여 줘야 합니다. 이 조건이 있어야 한 패키지가 시스템을 바꿨는지 기존 부품을 한 덮개에 넣었는지 구분할 수 있습니다.
논문은 설계 역사와 구조를 설명하지만 모든 분리형 CPU-GPU 노드보다 빠르다는 순위를 제공하지 않습니다. 가장 강한 근거는 인과관계입니다. 쓰지 않는 소켓 I/O를 제거하고, 재사용 연산 칩렛 아래에 패브릭을 두며, HBM을 일관된 메모리로 제시한 순서가 패키징 기술을 소프트웨어 경계 제거로 연결합니다.
패키지의 가치는 없앤 데이터 이동으로 평가해야 할 이유
MI300A의 핵심은 칩렛 수가 아니라 소프트웨어 경계를 없앤 순서에 있습니다. 불필요한 서버 I/O를 덜어 내고, 패브릭을 짧게 만들고, HBM을 일관된 메모리로 제공한 뒤 재사용 가능한 컴퓨트 칩렛을 쌓았습니다. 앞으로의 가속기 패키지도 몇 개의 다이를 넣었는지보다 어떤 데이터 이동을 없앴는지로 평가해야 합니다.
출처와 저작권 안내
이 글은 공개 저자 원고를 우리 표현으로 다시 쓴 편집 요약입니다. 원문의 문장·도판·표를 재수록하지 않았고 도판은 보고된 사실을 바탕으로 새로 만들었습니다. 공개 원고에는 저자가 저작권을 보유하고 ACM에 출판권을 허여했다고 명시되어 있습니다. 공식 프로시딩 판본은 (c) 2024 저자입니다.