AMD가 처음 만든 엑사스케일 노드는 연구 단계에서 구상한 통합 프로세서를 쓰지 않았습니다. Frontier는 당시 패키징 기술, 수율, 제품 일정의 한계 때문에 EPYC CPU와 Instinct GPU를 별도 패키지로 연결했습니다. ISCA 2024 논문은 포기했던 구상이 MI300A로 돌아오기까지 어떤 물리 조건이 바뀌어야 했는지 설명합니다[1].
하나의 주소 공간이 노드를 바꿉니다
MI300A는 CDNA 3 가속기 다이 6개, Zen 4 CPU 다이 3개(24코어), 기반 I/O 다이 4개, HBM3 스택 8개를 결합합니다. CPU와 GPU가 함께 쓰는 128 GB 메모리는 약 5.3 TB/s의 대역폭을 냅니다. CPU가 HBM에 데이터를 만들면 GPU가 호스트 DRAM을 거치는 복사 없이 바로 사용합니다. 따라서 MI300A는 분리형 노드를 작게 만든 제품이 아니라, 소프트웨어가 관리해야 할 데이터 이동을 줄인 구조입니다.
서버용 I/O 다이를 그대로 쓰지 않은 이유도 분명합니다. DDR 채널과 외부 링크는 CPU 소켓에는 필요하지만 HBM 중심 APU에서는 면적과 전력을 낭비합니다. AMD는 기반 기능을 I/O 다이 네 개로 나누고 짧은 링크로 묶어 패키지 전체가 하나의 패브릭처럼 동작하게 했습니다.
패키징이 아키텍처가 됩니다
HBM을 제외해도 트랜지스터가 약 1,460억 개입니다. 하이브리드 본딩은 컴퓨트 다이와 I/O 다이를 수직으로 연결하고, 2.5D 인터포저는 기반 다이와 HBM을 연결합니다. 이 기술들이 링크 에너지, 대역폭, 수리 가능성, 재사용할 수 있는 칩렛을 결정합니다. 패키징을 후공정 구현 문제로만 볼 수 없는 이유입니다.
대신 전력과 열이 한 패키지에 집중되고 조립 수율과 비용이 중요해집니다. 통합 메모리가 모든 작업을 빠르게 만드는 것도 아닙니다. CPU와 GPU가 데이터를 거의 공유하지 않거나 작업 집합이 128 GB를 넘으면 이점이 줄어듭니다.
우리가 읽은 결론
MI300A의 핵심은 칩렛 수가 아니라 소프트웨어 경계를 없앤 순서에 있습니다. 불필요한 서버 I/O를 덜어 내고, 패브릭을 짧게 만들고, HBM을 일관된 메모리로 제공한 뒤 재사용 가능한 컴퓨트 칩렛을 쌓았습니다. 앞으로의 가속기 패키지도 몇 개의 다이를 넣었는지보다 어떤 데이터 이동을 없앴는지로 평가해야 합니다.
출처와 저작권 안내
이 글은 공개 저자 원고를 우리 표현으로 다시 쓴 편집 요약입니다. 원문의 문장·도판·표를 재수록하지 않았고 도판은 보고된 사실을 바탕으로 새로 만들었습니다. 공개 원고에는 저자가 저작권을 보유하고 ACM에 출판권을 허여했다고 명시되어 있습니다. 공식 프로시딩 판본은 (c) 2024 저자입니다.