AI 실리콘이라는 장르에는 정형화된 문체가 있다. 다이 사진, 피크 TOPS, 벤치마크 표, 그리고 향후 과제를 향한 손짓. 수십억 사용자에게 랭킹·추천 추론을 서빙 중인 2세대 칩 MTIA 2i를 다룬 메타의 ISCA 2025 산업 트랙 논문은 그 장르가 빠뜨리는 것을 지목하며 시작한다[1]. 저자들의 주장에 따르면 아키텍처는 자체 칩을 수지맞게 만드는 일의 작은 절반이고, 큰 절반은 모델을 실리콘에 맞게 공동 설계하는 일, 모델 진화를 견딜 만큼 칩이 유연함을 증명하는 일, 그리고 자신 말고는 아무 벤더도 책임져 주지 않는 하드웨어에 프로덕션이 던지는 모든 것을 흡수하는 일이다. 헤드라인 숫자는 지금까지 출시한 모델 기준 GPU 대비 평균 44%의 총소유비용(TCO) 절감이고, 논문의 대부분은 그 숫자를 벌기까지 치른 값의 항목별 명세서다.
아래는 그 논지를 우리 표현으로 정리한 것이다.
HBM 자리가 비어 있는 메모리 계층
MTIA 2i는 TSMC 5 nm 다이에 1.35 GHz로 도는 프로세싱 엘리먼트(PE) 64개를 얹은 칩이다. PE마다 RISC-V 코어 둘과 행렬곱·리덕션·SIMD·레이아웃 변환용 고정 기능 엔진들이 짝을 이루고, 85 W 봉투 안에서 354 INT8 TOPS(구조적 희소성으로 708)를 내며, 연산·NoC 대역폭·SRAM 대역폭 모두 2023년의 전작[2] 대비 약 3×다. 파격은 이것을 먹이는 쪽에 있다. HBM이 없다. 2.7 TB/s의 온다이 SRAM 256 MB가 204.8 GB/s의 LPDDR5 64~128 GB 위에 앉아, 계층 사이에 13×의 대역폭 절벽이 생긴다. 추천 모델은 대형 트랜스포머와 달리 작업 집합이 SRAM 안에 살 만큼 지역성이 높다는 것이 이 베팅인데, 프로덕션 결과가 이를 뒷받침한다. 밀집 레이어는 SRAM 상주율 95% 이상을 찍고, 접근이 불규칙한 임베딩 조회조차 40~60%가 온다이에 머문다. SRAM을 하드웨어 관리 캐시와 소프트웨어 고정 스크래치로 어떻게 나눌지는 소프트웨어가 정하고, 그 결정을 모델마다 내리는 것은 오토튜닝 프레임워크다(커널 변형은 성능 데이터베이스 위 근사 최근접 탐색으로 골라 전수 탐색보다 1000× 빠르게, 배치 크기는 트래픽 재생으로). 메타의 모델 수는 손으로 튜닝하기엔 너무 많기 때문이다. 일부러 작게 만든 칩이 명제의 나머지 절반이다. 24개가 Grand Teton 서버 하나를 채워 합산 성능이 GPU 8장짜리 상자와 맞먹고, 수요가 출렁이는 함대에서 작은 단위는 괴물을 놀리는 대신 용량을 잘게 배분하게 해 준다.
데이터시트가 알려주지 않는 것들
논문의 진짜 기여는 프로덕션화 장들이고, 각각이 벤더였다면 대신 정해 줬을 결정 하나씩을 다룬다. LPDDR에는 네이티브 ECC가 없는데, 설계 시점의 메타는 추론이 비트 플립을 그냥 넘길 수 있을지 정말로 몰랐다. 그래서 질문을 함대에 던졌다. 초기 서버 1,700대 중 24%에서 메모리 오류가 관측됐고, 오류 주입 실험은 임베딩 인덱스나 가중치의 특정 비트가 뒤집히면 NaN이나 랭킹 출력 오염이 높은 확률로 발생함을 보였다. 그 잡음을 흡수하자는 안은 제품 팀들이 기각했고, 결국 컨트롤러 측 ECC가 켜졌다. 처리량 10~15%의 벌금이 붙었고, 논문의 모든 수치에는 이 벌금이 이미 포함되어 있다. 오버클럭은 반대 방향으로 갔다. 열 가지 시험을 칩 약 3,000개에 돌린 연구에서 실리콘이 1.1 GHz 설계점을 훌쩍 넘겨 마진을 유지함이 드러났고, 함대는 지금 1.35 GHz로 돌며 종단 간 5~20%를 번다. 프로덕션 6개월치 전력 데이터는 랙 전력 예산을 40% 가까이 깎게 해 줬는데, 작은 칩 24개가 동시에 피크를 치는 일은 드물다는 관찰 덕분이다. 그리고 펌웨어를 직접 쥔 덕에 실리콘 결함은 위기가 아니라 패치가 됐다. 고부하 프로덕션 서버의 0.1%에서 나타난 PCIe 순서 규칙발 교착을 버퍼 하나를 호스트 메모리에서 SRAM으로 옮기는 것으로 완화했고, 2024년 한 해 펌웨어 번들을 23번 함대 전체에 릴리스했다. 같은 팀이 서드파티 GPU에서 해내는 횟수는 연 한두 번이다.
모델-칩 공동 설계도 실패한 기능까지 포함해 같은 솔직함으로 다뤄진다. 동적 INT8 양자화는 동작하지만(행 단위 활성값 + 정적 INT8 가중치로 FP16 품질에 근접) 양자화·역양자화 오버헤드가 DPE의 2× 이점을 큰 레이어에서 약 1.6×로 깎아, 프로덕션은 여전히 FP16이 지배한다. 2:4 희소성 경로는 대체로 놀고 있는데, 희소성이 충분한 레이어와 모델 품질을 결정하는 레이어가 서로 다르기 때문이다. 값을 한 것은 지역성 공학이었다. 활성값 버퍼를 스크래치 SRAM에 고정하는 연산자 융합, PE 64개가 가중치 트래픽을 두고 다투지 않게 하는 브로드캐스트 읽기(최악의 형태에서 DRAM 대역폭 95% 이상 달성), 그리고 SRAM 상주를 깨는 모델 변경은 기각하되 ML 엔지니어에게 같은 효과의 대안을 제시하는, 어렵게 몸에 밴 조직 습관이 그것이다. 8개월짜리 사례 연구가 이 이야기를 처음부터 끝까지 들려준다. 메타 매출 상위 5위 안의 모델 하나가 GPU 비용 효율의 50%로 도착해, 포팅되는 동안 복잡도가 6.7× 자랐는데도 180%로 출시됐다.
숫자가 말하는 것
샘플당 15~1,000 MFLOPS에 걸친 프로덕션 모델 9개에서 MTIA 2i는 GPU 비용 효율의 0.9~2.1× 사이에 놓이고, 평균이 헤드라인의 44% TCO 절감이다. 와트당 성능은 패리티 근처(0.8~1.2×)에 모이는데, 저자들은 이를 GPU의 수십 년 전력 최적화 이력 덕으로 돌린다. 효율을 가르는 것은 복잡도 자체가 아니라 SRAM 적합도다. 승자는 큰 배치에서 활성값이 스크래치에 고정되는 모델이고, 뒤처지는 쪽은 흘러넘치는 모델이다. 검증은 이 장르 기준으로 이례적으로 단단하다. 서빙 스택이 같은 학습 모델의 변환본을 MTIA 함대와 GPU 함대에 나눠 실트래픽을 분할할 수 있어, 비교가 지연만이 아니라 광고 매출과 예측 품질로 채점된다. 경계도 같은 직설로 진술된다. Llama급 LLM은 맞지 않고(8B 모델이 프리필 목표는 맞추지만 LPDDR에 묶인 디코드가 토큰당 60 ms 예산을 놓친다), 샘플당 약 2 GFLOPS를 넘는 모델은 SRAM 전략을 벗어나며, 소프트웨어 생태계는 수동 최적화를 정당화하지 못하는 소형 모델 롱테일에서 아직 CUDA 세계에 뒤진다.
우리가 읽어낸 것
본지가 다뤄 온 다른 인더스트리 실리콘 옆에 놓으면 이 논문은 하나의 패턴을 완성한다. Vistara가 화려하지 않은 메모리 확장을 출하하는 메타라면, MTIA 2i는 화려하지 않은 연산을 출하하는 메타이고, 두 논문 모두 지면의 명예를 피크 숫자가 아니라 운영의 진실에 쓴다. 칩의 설계 명제는 수요 측 문서들의 거울상으로도 읽힌다. 딥시크의 주문서[6]가 토큰 생성을 위해 더 많은 인터커넥트와 HBM을 청하는 곳에서, 메타의 추천 함대는 정답이 “더 싸게 산 더 적은 메모리 대역폭을 SRAM으로 가리는 것”인 크고 수익성 높은 AI 워크로드가 존재함을 보여 준다. 우리는 44%라는 숫자 자체가 생존자 평균이라는 점이 오래 남을 교훈이라고 본다. MTIA 2i가 이기는 것은 메타가 모든 모델을 이 칩에 돌리지 않을 권리를 확보해 두었기 때문이고, 설계점 밖의 것은 GPU가 맡는다. 자체 실리콘은 범용 강자를 모든 곳에서 이길 필요가 없다. 어디서 이길지를 아는 정확한 워크로드 인구조사, 그리고 모델이 표류하는 동안 그 땅을 지키는 조직적 기계 장치(오토튜닝, 실매출 대상 A/B, 주 단위 펌웨어)가 필요할 뿐이다. 이 논문이 실제로 기록한 것은 PE 어레이가 아니라 그 기계 장치이고, 경쟁자들이 베끼기 가장 어려운 부분도 그쪽이다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약으로, 아래에 인용한 논문의 논지를 우리 표현으로 재서술한 것이다. 원문의 문장, 도판, 표는 이 글에 재사용하지 않았으며, 이 페이지의 도판은 모두 이 요약을 위해 새로 제작했다. 논문은 ISCA 2025 산업 트랙에서 발표되었고 CC BY 4.0 라이선스로 공개되어 있다. (c) 2025 the authors.