메모리는 데이터센터의 세 가지 문제가 겹치는 불편한 교차점에 있다. 수백만 대 규모인 Meta의 서버 중 43.7%는 다른 어떤 자원보다 메모리 용량에 먼저 묶이고, DRAM은 내재 탄소 배출의 69%를 차지하며, DIMM은 10~14년을 버티는데 그것을 꽂은 서버는 5~7년 만에 퇴역한다. 각 문제는 저마다의 연구 흐름이 있지만, 이 교차점이 흥미로운 이유는 하나의 메커니즘이 셋을 동시에 건드릴 수 있기 때문이다. 폐기되는 서버에서 DDR4를 꺼내, CXL 뒤에 붙여 새 서버의 확장 메모리로 쓰는 것이 그것이다.
이 아이디어는 CXL이 등장한 이래 줄곧 논의되어 왔지만, 특성 분석 논문과 커널 패치, 상용 장치가 6년간 쌓이는 동안에도 실제로 이를 프로덕션 규모로 운영했다는 하이퍼스케일러의 보고는 없었다. ISCA 2026에서 발표된 Meta 인프라 조직의 논문이 그 공백을 메운다[1]. 자체 ASIC부터 커널 통합, 워크로드별 정책까지(즉, 전체 경로를) 기술하고, 그 위에서 돌아가는 프로덕션 서비스의 측정치를 보고한다. 아래는 그 논지를 우리 표현으로 정리하고, 이 논문이 무엇을 매듭지었고 무엇을 열어 두었는지 짚은 것이다. 앞서 다룬 CXL 스케일업 패브릭 리뷰를 기억하는 독자라면 저자 명단에서 같은 인프라 조직을 알아볼 것이다. 두 논문은 같은 설계 공간의 양 끝을 붙잡고 있다.
세 가지 문제, 하나의 재활용 자원
용량 고갈은 out-of-memory 오류로 먼저 드러나지 않는다. 먼저 드러나는 것은 자원 좌초(stranding)다. 코어보다 메모리가 먼저 바닥나므로 CPU와 스토리지, 네트워크가 가득 찬 DRAM 뒤에서 놀게 된다. 이전 세대 하드웨어에서 메모리 병목 서비스는 CPU 자원의 25~40%를 좌초시켰고, 64GB 구성의 활용률은 128GB 구성이라면 피했을 25~35% 수준까지 떨어졌다고 논문은 보고한다. 대규모 ML 서빙에서는 파라미터가 메모리에 들어가지 않으면 팬아웃이 넓어지고 샤드가 늘며 꼬리 지연이 커져서, 총소유비용이 함께 부푼다.
탄소와 수명 논거도 같은 방향을 가리킨다. DRAM은 사실상 모든 서버에 들어가므로 플릿의 내재 배출을 지배하고, 10년짜리 DIMM을 6년짜리 서버와 함께 버리는 것은 멀쩡한 실리콘을 폐기하는 일이다. 그 DIMM을 새 서버에서 다시 쓰면 새 DRAM 구매와 그 제조 과정의 탄소 발자국을 동시에 피할 수 있다.
문제는 이 프로젝트가 시작될 당시 시판 CXL 확장 장치 중 어느 것도 이 용도에 맞지 않았다는 점이다. 대부분 컨트롤러와 새 DRAM을 묶어 팔아 재사용 자체가 성립하지 않았고, DDR4 지원을 아예 뺀 제품도 많았으며, 전력과 가격도 부담스러웠다. 이 논문의 하드웨어 기여가 존재하는 이유가 여기에 있다. 오래된 메모리에 최적화된 장치를 시장이 내놓지 않았기에, Meta는 Vistara라는 확장 ASIC을 직접 만들었다.
콜드 페이지가 느린 계층을 견딜 만하게 만든다
확장 계층은 로컬 메모리보다 확연히 느리고, 논문은 그 수치를 숨기지 않는다. 프로덕션에서 이 계층의 대역폭은 로컬 DDR5 대비 약 10× 낮고 지연은 60% 높다. 주의할 점은 이 페널티가 DIMM의 나이에서 오지 않는다는 것이다. 약 150 ns는 확장 장치의 데이터패스(컨트롤러, PHY, 브리지) 자체에서 나오고, 나머지는 전력과 혼합 세대 호환성을 위해 DDR4를 의도적으로 2400 MT/s로 돌리는 데서 나온다.
이것이 수용 가능한 이유는 워크로드의 형태에 있다. 플릿 전반에서 메모리 대부분은 대부분의 시간 동안 차갑다. 유휴 시간 분포를 재 보면 조사한 모든 워크로드에서 페이지의 최소 75%가 4초 넘게 손대지 않은 상태였고, 중앙값 유휴 시간은 수 분에서 수십 분에 이른다. 뜨거운 소수를 로컬 DRAM에 두고 차가운 다수를 CXL 뒤에 세워 두는 계층화 소프트웨어라면, 지연 페널티를 거의 일어나지 않는 접근에만 지불하는 셈이다. 배포된 시스템의 동작점이 이를 확인해 준다. 로컬 메모리는 대역폭 활용률 60% 부근에서 돌지만 CXL 계층은 10% 아래에 머문다.
제약 목록처럼 읽히는 ASIC 사양표
Vistara는 PCIe Gen5 x16 인터페이스(배포는 x8) 뒤의 CXL 2.0/1.1 Type-3 메모리 확장 장치다. 칩 하나가 독립적인 72비트 DDR4 채널 두 개를 최대 3200 MT/s로 구동하고, 64GB DIMM 기준 최대 256GB를 지원한다. 프로덕션에서는 재사용 가능한 최대 용량이 32GB 모듈이었으므로 4×32GB, 즉 칩당 128GB를 쓴다. 신뢰성은 오래된 DIMM에 맡기지 않고 확장 장치가 책임진다. Reed-Solomon RS(36,32) 부호가 2심볼 정정과 x4 칩킬을 제공한다. RISC-V 코어 세 개가 각각 시큐어 부트, 제어, 초기화를 맡아 관리 플레인을 구성하고, 표준 CXL Command Interface(CCI)로 호스트와 BMC 양쪽에서 관리된다. 칩의 소비 전력은 약 9 W다.
핵심 수치는 ASIC을 통과하는 유휴 왕복 지연 약 50 ns다. 논문은 이를 마법이 아니라 구성의 결과로 설명한다. CXL과 DDR 컨트롤러 IP를 저지연으로 설정하고, 클록 도메인 교차 횟수를 줄였으며, 지연에 민감한 블록을 촘촘히 배치하고 임계 데이터패스에 low-Vt 셀을 쓰는 물리 설계를 더했다. 부하가 걸리면 큰 완료 버퍼와 넓은 흐름 제어 윈도, 깊은 재전송 큐가 부하 지연을 묶어 두고, 펌웨어가 오류 인터럽트를 속도 제한해 불량 DIMM이 파이프라인을 세우지 못하게 한다.
배포 플랫폼인 MemServer는 싱글 소켓 158코어 AMD Turin에 12채널 768GB DDR5-6400(피크 614 GB/s, 유휴 약 130 ns)과 Vistara 카드 두 장의 256GB DDR4-2400(피크 약 76 GB/s, 유휴 약 250 ns)을 결합해 노드당 1TB를 만든다. 접근은 두 장치에 256바이트 단위로 인터리브되고, CXL 서브시스템 전체(ASIC 두 개와 DIMM 여덟 개)가 450~560 W 서버 안에서 약 50 W 예산에 들어간다. 경제성이 곧 요점이다. GB당 비용은 로컬 DRAM의 0.13×, GB당 전력은 0.7×다.
계층의 주인은 BIOS가 아니라 커널이다
소프트웨어 쪽 설계 원칙은 비대칭을 숨기지 말고 운영체제가 보고 관리하게 하라는 것이다. CXL 메모리는 CPU 없는 NUMA 노드로 나타나고, BIOS의 주소 맵 트릭 대신 리눅스 CXL 드라이버가 이를 ZONE_MOVABLE로 온라인한다. 이 결정 하나로 페이지 테이블과 슬랩 같은 이동 불가 커널 구조가 느린 계층에 올라가지 않게 되고, 신뢰성과 함께 페이지를 자유롭게 옮길 계층화 메커니즘의 여지도 지켜진다. ACPI 테이블(CEDT, HMAT)을 정확히 구성하는 일이 기초 공사였는데, 커널이 지연과 대역폭 모델을 거기서 얻기 때문이다.
배치 자체는 기존 메커니즘 두 개 위에서 돈다. 반응형 강등과 승격은 TPP[2], 선제적 오프로드는 TMO[3]가 맡고, 기본값에서 바꾼 것은 sysctl 노브 세 개뿐이며 나머지는 그대로다. 눈여겨볼 개선이 둘 있다. 파일 캐시와 tmpfs 할당을 처음부터 CXL 노드로 보내는 정책을 쓰면, 로컬 20GB에 CXL 76GB를 더한 실험 구성이 전부 로컬인 96GB 구성과 같은 캐시 처리량을 낸다. 여기에 더해 대역폭 병목 소비자를 위한 가중 인터리브 자동 튜닝을 구현해 업스트림에 올렸다.
플릿 정책은 의도적으로 균일하다. 모든 MemServer는 언제나 1TB 머신이고, CXL을 펌웨어에서 끄는 일은 없다. 이 계층을 견디지 못하는 워크로드는 소프트웨어로 빠져나간다. 클러스터 오케스트레이터가 cpuset.mems cgroup 컨트롤러를 조작하는 방식이라 BIOS 변경도 재부팅도 필요 없다. 따라서 어떤 노드가 오늘은 지연에 민감한 서비스를 받고 내일은 일반 용량 풀로 돌아갈 수 있으며, 백그라운드 서비스는 기본적으로 CXL 계층을 쓰게 해 로컬 DRAM을 비워 둔다.
세 가지 반론, 프로덕션 데이터로 답하다
이 논문은 발표된 우려들을 반박하는 데 이례적으로 공을 들이는데, 어쩌면 이것이 가장 유용한 기여일 것이다.
첫 번째 우려는 꼬리 지연이다. 널리 인용된 특성 분석은 CXL 하드웨어에서 매우 불안정한 꼬리를 발견했지만[4], 논문의 응답은 직접 측정이다. 동시 스레드를 1개에서 100개까지 늘려도 CXL 부착 메모리의 지연 분포는 로컬 DRAM의 분포를 따라가며, 경합 아래에서도 변동 폭이 비슷하다. 저자들은 이전의 이상 현상이 프로토콜의 성질이 아니라 FPGA 기반 시험 장치의 산물(예: 미결 트랜잭션을 받칠 크레딧 버퍼 부족)이라고 본다. 목적에 맞게 만든 ASIC은 얌전하고, 프로토타입은 그렇지 않다는 것이다.
두 번째 우려는 소프트웨어 오버헤드다. TPP의 비용이 크다는 보고가 더 정교한 OS 설계들을 낳았지만, Meta의 프로덕션 텔레메트리에서 핫니스 감지에 쓰는 마이너 폴트를 포함한 계층화의 CPU 오버헤드는 0.5% 아래에 머문다. 승격 트래픽도 서비스에 따라 분당 몇 페이지에서 수천 페이지 수준으로 작다. 이주량 자체가 미미하므로 페이지 이주를 DMA 엔진으로 가속하는 접근은 이 플릿에 없는 문제를 푸는 셈이고, 단순한 LRU 수준의 핫니스 감지로 실무에는 충분하다고 저자들은 결론짓는다.
세 번째 우려는 실제 서비스가 느려지지 않느냐는 것이다. 그 답은 A/B 테스트의 형태를 하고 있고, 다음 절이 요약한다.
프로덕션 수치
캐시 서비스에서 확장은 곧바로 적중률과 내구성으로 환산된다. 한 캐시는 메모리 계층을 680GB에서 890GB로 늘려 서버당 지속 가능 QPS를 33% 높였고 객체 보존 시간을 약 1분에서 5~10분으로 늘렸다. 다른 캐시는 590GB에서 820GB로 늘려 평균 질의 처리 시간을 29% 줄였으며, 적중의 2.3%를 플래시에서 DRAM으로 옮겨 플래시 마모를 직접 줄였다. 데이터 웨어하우스에서 용량은 곧 적재 밀도다. Spark는 서버당 실행기를 최대 33% 더 담고, 셔플 서비스 Cosco는 MIPS를 11% 올리면서 컴퓨트 용량의 30%를 반납했으며, OOM 관련 실패는 33%(일부 ML 워크로드는 50%) 줄었다. 개발 인프라는 서버당 CI 컨테이너와 개발자 VM을 각각 33% 더 수용하고, ML 파라미터 서버는 컴퓨트 용량을 25% 줄이면서 처리량을 12% 얻었다. 모델이 20TB로 커지는 시나리오에서 논문은 4~12%의 처리량 이득과 20~25%의 서버 절감을 전망한다.
봉투의 경계는 스트레스 실험 두 개가 긋는다. 먼저, 배포 기준인 3:1은 물론 2:1의 로컬 대 CXL 용량비에서도 동일 용량의 전부 로컬 DRAM 구성과 비교한 애플리케이션 지표 차이는 1% 안에 머문다. 측정 가능한 퇴행은 1:1에서야 나타나는데, 이때는 워킹셋의 35~40%가 CXL에 얹혀 웹 워크로드의 요청 처리율이 6%, 전처리 서비스의 처리량이 19% 떨어진다. 다음으로, 풋프린트에서 뜨거운 비율을 합성적으로 쓸어 보면 무릎(knee)이 75% 부근에 있다. 그 아래에서는 평균 지연이 260 ns 언저리에서 평평하고, 넘어서면 완전히 뜨거운 풋프린트에서 지연이 +22%까지 오른다. 프로덕션 서비스는 무릎에서 한참 왼쪽에 있으며, 플릿의 CXL 대역폭은 로컬 대비 10~100× 낮다.
멀티테넌트 호스트에는 진짜 추가분이 하나 필요했다. 기본 TPP만으로는 한 노드의 동일한 캐시 컨테이너 두 개가 로컬 DRAM 상주율 90%와 70%로 갈라졌고, p99 지연이 20% 벌어졌으며, 시끄러운 이웃 시나리오에서 한쪽이 처리량의 65%를 잃고 끝내 OOM으로 종료됐다. 컨테이너별 로컬 DRAM 사용량에 상한을 두는 회계 계층(Fair Share)을 얹자 두 컨테이너 모두 3:1 부근의 균형 잡힌 분할로 돌아왔고, p99 지연이 각각 1.6×와 1.8× 개선됐으며, 최악의 처리량 하락은 12%로 묶이고 OOM은 사라졌다.
이 논문이 주장하지 않는 것
여기서는 범위를 정확히 읽는 일이 중요하다. “CXL at scale”이라는 말이 그동안 너무 많은 것을 가리켜 왔기 때문이다. 이 배포는 단일 호스트의 메모리 확장이다. 호스트 간 풀링도, 공유 일관성 메모리도, 패브릭도 없으며, CXL 2.0을 1.1 상당의 토폴로지로 쓰는 것 이상은 없다. Pond[5]부터 풀링 반대론[6]까지 이어진 풀링 경제성 논쟁은 이 증거로는 건드려지지 않는다. 논문 스스로 짚는 교훈도 입력 자원의 취약성을 가리킨다. 재사용 가능한 DDR4가 아홉 가지 부품 유형에 걸쳐 있고(상위 셋이 각각 29%, 28%, 15%), 이 때문에 검증 도구와 적시(just-in-time) 재고 관리가 필요했으며, GB당 0.13×라는 비용은 폐기 DDR4가 계속 나오는 동안에만 성립한다. 구매한 DDR5로 지을 다음 세대는 경제성을 처음부터 다시 논증해야 하고, 75% 무릎보다 뜨거운 워크로드는 더 넓은 링크(현재 x8은 레인 절반을 놀린다)나 더 빠른 매체를 요구할 것이다.
우리가 읽은 결론
이 논문의 가장 깊은 결과는 입증 책임의 이동이라고 본다. 오랫동안 계층형 메모리에는 더 영리한 운영체제가 필요하고 CXL 장치에는 실격 사유가 될 꼬리가 있다는 전제가 깔려 있었다. 그런데 이 배포는 거의 순정에 가까운 커널 경로가 오버헤드를 0.5% 아래로 유지하고, ASIC이 꼬리를 로컬 DRAM 옆에 붙여 두는 모습을 실 트래픽을 받는 서비스들에서 보여 준다. 이제 이 분야의 제안은 허수아비가 아니라 배포된 기준선을 이겨야 한다. 무엇이 이를 가능하게 했는지도 그만큼 시사적이다. 설계점을 정당화한 플릿 규모의 유휴 시간 데이터, 그리고 시장이 만들어 주지 않을 때 ASIC을 직접 만들 수 있는 능력이다. 이 지점에서 앞서 다룬 스케일업 패브릭 리뷰[7]와의 대비가 유익하다. 같은 인프라 조직이 오늘은 수수한 CXL 2.0 확장 장치를 배포하고 내일을 위해 야심찬 일관성 패브릭을 그린다. 두 논문 사이의 거리(즉, 차가운 용량을 재활용하는 일과 뜨거운 지연을 길들이는 일 사이의 거리)가 CXL이 실제로 서 있는 자리의 정직한 지도다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약이다. 아래에 인용한 논문의 논지를 우리 표현으로 다시 서술했으며, 게재된 원문의 문장과 도판, 표는 어느 것도 이 페이지에 복제하지 않았다. 본문의 도판은 이 요약을 위해 새로 만든 자체 제작물이다. 이 논문은 ISCA 2026(롤리, 2026년 6월 29일) 산업 세션에서 발표됐고, 정본은 ISCA 2026 프로시딩에 실리며, 저자가 공개한 사본은 여기에서 볼 수 있다. 게재본의 저작권은 (c) IEEE 2026에 있다.