모든 HBM 시스템은 같은 통행료를 낸다. DRAM 스택은 연산 다이에서 수 밀리미터 떨어져 앉고, 둘은 인터포저를 사이에 두고 양쪽 PHY를 거쳐 대화하며, 비트 하나를 HBM4 베이스 다이로 옮기는 데만 약 2.4pJ이 든다. 이 통행료는 부수적인 비용이 아니다. 토큰을 하나씩 생성하는 디코드 단계에서는 출력 토큰마다 활성 가중치와 KV 상태를 연산기 앞으로 흘려보내야 하므로, 메모리 트래픽이 곧 워크로드이고 인터페이스 에너지는 그 모든 바이트에 비례해 쌓인다. Hot Chips 2026에서 d-Matrix는 길을 넓히는 대신 요금소를 철거한 가속기, Raptor의 초기 실리콘을 공개했다[1]. TSMC 4nm 연산 다이를 커스텀 DRAM 다이에 36µm 마이크로범프 피치로 맞대어 접합하면 PHY가 사라지고, 수직 인터페이스는 비트당 0.37pJ, HBM4 경로의 약 1/6.5 에너지로 데이터를 옮긴다. 내세우는 결과는 카드 한 장에서 100TB/s의 메모리 대역폭이다. 설명이 필요한 숫자는 그 옆에 있다. 그 카드의 용량은 32GB다.
HBF 규격이 HBM급 대역폭에 512GB 스택을 약속한 지 3주 만에 나온 Raptor는 교과서적인 대조군이다. 메모리 벽은 지금 양쪽 끝에서 동시에 공략당하고 있다. HBF는 지연을 내주고 용량을 얻고, Raptor는 용량을 내주고 대역폭을 얻는다. 아래에서는 아키텍처와 이를 성립시키는 패키징 선택, 그리고 실제로 입증된 범위가 어디까지인지를 정리한다.
SRAM에서 적층 DRAM으로
Raptor는 d-Matrix가 수년째 쌓아 온 아키텍처의 2막이다. 현재 출하 중인 가속기 Corsair는 디지털 인메모리 컴퓨팅(DIMC)을 구현한다. 곱셈 누산 로직이 메모리 어레이 안에 살고 있어, 가중치는 제자리에 있고 연산이 데이터 쪽으로 온다. Corsair 칩렛 하나는 DIMC 코어 256개와 SRAM 256MB를 담는데[5], 바이트당 대역폭은 압도적이지만 용량은 메가바이트 단위로 배급된다. 모델은 수많은 칩렛에 쪼개져야 하고, SRAM의 비트당 비용이 그 확장의 상한을 긋는다. 자연스러운 질문은 같은 메모리 중심 연산 규율을 DRAM의 밀도 위에 세울 수 있는가였다.
3DIMC가 그 답인데, 스타트업치고는 이례적으로 준비가 두텁다. 2025년 11월에 Alchip과 공동 개발한 커스텀 DRAM 다이를 발표했고[3], Pavehawk라는 전용 테스트 칩으로 DRAM과 로직의 적층 조합을 제품 주장 이전에 실험실에서 검증했다[4]. Hot Chips 2026이 더한 것은 그 조합을 양산 설계로 옮긴 Raptor 자체의 첫 공개다.
뒤집힌 스택
패키징은 모든 HBM 시스템이 쓰는 배치를 뒤집었고, 뒤집음마다 이유가 있다. 로직이 위로 간다. 수랭 콜드 플레이트가 4nm 연산 다이에 직접 닿으므로, 열에 민감한 DRAM 스택을 뚫고 열이 빠져나가기를 기대할 필요가 없다. DRAM은 아래로 가서 인터포저 노릇을 겸한다. PCIe와 다이 간(D2D) 신호가 DRAM 다이의 TSV를 타고 패키지 기판까지 내려가므로, 메모리 다이가 저장소이자 배선이다[1][6]. 두 다이 사이에는 SerDes도 PHY도 인터포저 횡단도 없고, 36µm 피치의 면대면 마이크로범프 필드만 있다. PHY는 거리를 이기려고 존재하는 물건이다. 거리를 없애면 PHY도, 그 전력과 지연도 함께 사라진다.
주장되는 효과는 곱으로 쌓인다. 비트당으로는 수직 인터페이스가 0.37pJ, HBM4 경로의 약 2.4pJ와 대비된다. 카드당으로는 합산 메모리 대역폭이 약 100TB/s에 이르는데, HBM 시스템이 이 수치에 닿으려면 최대급 GPU에 스택 여덟 개 이상을 둘러야 한다. d-Matrix는 이를 HBM4 기반 플랫폼 대비 유효 추론 대역폭 약 10×로 자리매김하고, NVIDIA Rubin 세대와 견주어 메모리 서브시스템의 대역폭 밀도 약 20×, 전력 효율 13.5×를 주장한다[6]. 주의할 점은, 이 수치들이 초기 실리콘에 기댄 벤더 전망이지 출하 제품의 독립 측정이 아니라는 것이다.
32GB가 사 주는 것과 요구하는 것
32GB 카드에 프런티어 모델은 들어가지 않고, d-Matrix도 그런 척하지 않는다. 배치 이야기는 수평 방향이다. 카드 72장의 스케일업 도메인이 프런티어급 모델(회사가 든 예는 100만 토큰 컨텍스트의 Kimi K3)을 수용하고, 칩렛마다 약 1TB/s의 D2D 대역폭이 쪼개진 모델 조각들을 묶는다[1]. 거는 판돈은 이것이다. 지연에 묶인 소규모 배치 토큰 생성에서는, 작지만 극도로 빠른 메모리 여러 개의 경제학이 크지만 적당히 빠른 메모리 몇 개의 경제학을 이긴다. HBF와 정확히 반대 방향의 베팅인데, 둘 다 옳을 수 있다. 겨냥하는 단계가 다르기 때문이다. 디코드는 활성 바이트당 대역폭을 원하고, 프리필과 가중치 보관은 용량을 원한다.
솔직한 유보 조건은 솔직한 매력과 짝을 이룬다. 카드당 용량이 HBM4급 GPU의 1/16 수준이므로 활용률은 샤딩 소프트웨어와 카드 사이 인터커넥트에 달려 있는데, 그 층이야말로 본지의 스케일업 패브릭 리뷰가 짚었듯 원시 대역폭이 아니라 결정론이 규모의 거동을 결정하는 곳이다. 스타트업과 디자인 서비스 파트너의 커스텀 DRAM은 HBM 기존 업체들이 10년간 산업화해 온 공급망에 이제 진입하는 처지다. 뜨거운 로직 아래 DRAM의 열 여유는 뒤집힌 스택으로 관리될 뿐 사라지지 않는다. 출하 일정도 발표되지 않았다. 오늘 존재하는 것은 검증된 테스트 실리콘과 초기 제품 다이다.
주장을 증거 등급별로 정렬하면
Hot Chips 2026이 확정한 것과 전망한 것을 나눠 읽을 필요가 있다. 확정된 것. 3D 접합은 동작하고, Pavehawk 실리콘은 실험실에서 돌았으며, PHY 없이 커스텀 DRAM 위에 얹힌 TSMC 4nm 연산 다이는 제조 가능한 물건이다. 그 실리콘에서 측정된 것. 0.37pJ/bit의 수직 인터페이스. 미래 제품에 투영된 것. 카드당 100TB/s, HBM4 플랫폼 대비 10× 추론 우위, 그리고 아직 출하되지 않은 카드를 아직 출하되지 않은 플랫폼과 비교한 Rubin 대비 20× 대역폭 밀도와 13.5× 전력 효율. 이 구분은 비판이 아니다. 파네시아의 CXL 스위치 논문을 읽을 때 실리콘 측정과 보정된 전망을 나눠 읽었던 것과 같은 독법을 여기에도 적용할 뿐이다.
우리가 읽은 결론
여기서 오래갈 통찰은 경쟁 구도가 아니라 구조에 있다고 본다. 지난 20년간 메모리 인터페이스는 두 산업 사이에서 협상되는 국경이었고, 협상의 산물은 언제나 PHY였다. Raptor는 한 회사가 두 다이를 모두 쥐면 그 국경을 아예 철폐할 수 있음을 지금까지 중 가장 선명하게 보여 준다. 0.37과 2.4pJ/bit 사이의 6.5× 에너지 격차가 곧 그 국경의 유지비였던 셈이다. d-Matrix가 이를 사업으로 바꿔낼지는 소프트웨어와 공급망, 그리고 위에서 짚은 인터커넥트 질문에 달렸다. 그러나 방향 자체는 되돌리기 어렵고, 기존 업체들도 이미 움직이고 있다. 메모리 회사들은 베이스 다이에 로직을 넣기 시작했고 근메모리 연산을 저울질한다. HBF가 계층의 바닥을 넓힌다면 Raptor는 천장을 끌어올린다. 2030년대 초의 AI 메모리 시스템은 점점 이 둘을 동시에 품은 모습에 가까워지고, HBM은 그 사이 중간 계층의 자리로 밀리며, 흥미로운 공학은 늘 그렇듯 어떤 바이트를 어디에 둘지 정하는 소프트웨어에 있다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약이다. d-Matrix의 Hot Chips 2026 Raptor 발표와 회사의 공개 기술 블로그·발표문, 그리고 위에 인용한 독립 매체의 컨퍼런스 보도 내용을 우리 표현으로 재서술했다. 해당 자료의 문장, 도판, 슬라이드는 여기에 재수록하지 않았고, 이 페이지의 도판은 이 요약을 위해 새로 만들었다. 발표와 회사 자료의 저작권은 (c) d-Matrix, Inc. 2026에 있다.