메모리는 데이터센터의 세 가지 문제가 한꺼번에 겹치는 지점에 있습니다. 수백만 대 규모인 Meta의 서버 중 43.7%는 다른 어떤 자원보다 메모리 용량에 먼저 묶이고, DRAM은 내재 탄소 배출의 69%를 차지하며, DIMM은 10~14년을 버티는데 그것을 꽂은 서버는 5~7년 만에 퇴역합니다. 각 문제는 저마다의 연구 흐름이 있지만, 이 지점이 흥미로운 이유는 하나의 메커니즘이 셋을 동시에 건드릴 수 있기 때문입니다. 폐기되는 서버에서 DDR4를 꺼내, CXL 뒤에 붙여 새 서버의 확장 메모리로 쓰는 것이 그것입니다.
이 아이디어는 CXL이 등장한 이래 줄곧 논의되어 왔지만, 특성 분석 논문과 커널 패치, 상용 장치가 6년간 쌓이는 동안에도 실제로 이를 운영 환경 규모로 운영했다는 하이퍼스케일러의 보고는 없었습니다. ISCA 2026에서 발표된 Meta 인프라 조직의 논문이 그 공백을 메웁니다[1]. 자체 ASIC부터 커널 통합, 작업부하별 정책까지(즉, 전체 경로를) 기술하고, 그 위에서 돌아가는 운영 환경 서비스의 측정치를 보고합니다. 아래는 그 논지를 우리 표현으로 정리하고, 이 논문이 무엇을 매듭지었고 무엇을 열어 두었는지 짚은 것입니다. 앞서 다룬 CXL 스케일업 패브릭 리뷰를 기억하는 독자라면 저자 명단에서 같은 인프라 조직을 알아볼 것입니다. 두 논문은 같은 설계 공간의 양 끝을 붙잡고 있습니다.
세 가지 문제, 하나의 재활용 자원
용량 고갈은 out-of-memory 오류로 먼저 드러나지 않습니다. 먼저 드러나는 것은 자원 좌초(stranding)입니다. 코어보다 메모리가 먼저 바닥나므로 CPU와 스토리지, 네트워크가 가득 찬 DRAM 뒤에서 놀게 됩니다. 이전 세대 하드웨어에서 메모리 병목 서비스는 CPU 자원의 25~40%를 좌초시켰고, 64GB 구성의 활용률은 128GB 구성이라면 피했을 25~35% 수준까지 떨어졌다고 논문은 보고합니다. 대규모 ML 서빙에서는 파라미터가 메모리에 들어가지 않으면 팬아웃이 넓어지고 샤드가 늘며 꼬리 지연이 커져서, 총소유비용이 함께 부풉니다.
탄소와 수명 논거도 같은 방향을 가리킵니다. DRAM은 사실상 모든 서버에 들어가므로 장비군의 내재 배출에서 큰 비중을 차지하고, 수명이 10년인 DIMM을 6년 주기의 서버와 함께 버리면 아직 쓸 수 있는 실리콘을 폐기하게 됩니다. 그 DIMM을 새 서버에서 다시 쓰면 새 DRAM 구매와 그 제조 과정의 탄소 배출을 동시에 줄일 수 있습니다.
문제는 이 프로젝트가 시작될 당시 시판 CXL 확장 장치 중 어느 것도 이 용도에 맞지 않았다는 점입니다. 대부분 컨트롤러와 새 DRAM을 묶어 팔아 재사용 자체가 성립하지 않았고, DDR4 지원을 아예 뺀 제품도 많았으며, 전력과 가격도 부담스러웠습니다. 이 논문의 하드웨어 기여가 존재하는 이유가 여기에 있습니다. 오래된 메모리에 최적화된 장치를 시장이 내놓지 않았기에, Meta는 Vistara라는 확장 ASIC을 직접 만들었습니다.
콜드 페이지가 느린 계층을 견딜 만하게 만드는 방식
확장 계층은 로컬 메모리보다 확연히 느리고, 논문은 그 수치를 숨기지 않습니다. 운영 환경에서 이 계층의 대역폭은 로컬 DDR5 대비 약 10× 낮고 지연은 60% 높습니다. 주의할 점은 이 페널티가 DIMM의 나이에서 오지 않는다는 것입니다. 약 150 ns는 확장 장치의 데이터패스(컨트롤러, PHY, 브리지) 자체에서 나오고, 나머지는 전력과 혼합 세대 호환성을 위해 DDR4를 의도적으로 2400 MT/s로 돌리는 데서 나옵니다.
이것이 수용 가능한 이유는 작업부하의 형태에 있습니다. 장비군 전반에서 메모리 대부분은 오랫동안 접근되지 않습니다. 조사한 모든 작업부하에서 페이지의 최소 75%는 4초 넘게 접근되지 않았고, 중앙값 유휴 시간은 수 분에서 수십 분이었습니다. 접근이 잦은 소수의 페이지를 로컬 DRAM에 두고 나머지를 CXL 계층에 배치하면 추가 지연은 드물게 접근하는 페이지에만 발생합니다. 배포된 시스템의 동작점도 이를 확인합니다. 로컬 메모리의 대역폭 활용률은 약 60%지만 CXL 계층은 10% 아래에 머뭅니다.
사양표가 곧 제약 목록인 ASIC
Vistara는 PCIe Gen5 x16 인터페이스(배포는 x8) 뒤의 CXL 2.0/1.1 Type-3 메모리 확장 장치입니다. 칩 하나가 독립적인 72비트 DDR4 채널 두 개를 최대 3200 MT/s로 구동하고, 64GB DIMM 기준 최대 256GB를 지원합니다. 운영 환경에서는 재사용 가능한 최대 용량이 32GB 모듈이었으므로 4×32GB, 즉 칩당 128GB를 씁니다. 신뢰성은 오래된 DIMM에 맡기지 않고 확장 장치가 책임집니다. Reed-Solomon RS(36,32) 부호가 2심볼 정정과 x4 칩킬을 제공합니다. RISC-V 코어 세 개가 각각 시큐어 부트, 제어, 초기화를 맡아 관리 플레인을 구성하고, 표준 CXL Command 인터페이스(CCI)로 호스트와 BMC 양쪽에서 관리됩니다. 칩의 소비 전력은 약 9 W입니다.
핵심 수치는 ASIC을 통과하는 유휴 왕복 지연 약 50 ns입니다. 논문은 이를 단일 기법의 효과가 아니라 여러 설계 선택을 합친 결과로 설명합니다. CXL과 DDR 컨트롤러 IP를 저지연으로 설정하고, 클록 도메인 교차 횟수를 줄였으며, 지연에 민감한 블록을 촘촘히 배치하고 임계 데이터패스에 low-Vt 셀을 쓰는 물리 설계를 더했습니다. 부하가 걸리면 큰 완료 버퍼와 넓은 흐름 제어 윈도, 깊은 재전송 큐가 부하 지연을 묶어 두고, 펌웨어가 오류 인터럽트를 속도 제한해 불량 DIMM이 파이프라인을 세우지 못하게 합니다.
배포 플랫폼인 MemServer는 싱글 소켓 158코어 AMD Turin에 12채널 768GB DDR5-6400(피크 614 GB/s, 유휴 약 130 ns)과 Vistara 카드 두 장의 256GB DDR4-2400(피크 약 76 GB/s, 유휴 약 250 ns)을 결합해 노드당 1TB를 만듭니다. 접근은 두 장치에 256바이트 단위로 인터리브되고, CXL 서브시스템 전체(ASIC 두 개와 DIMM 여덟 개)가 450~560 W 서버 안에서 약 50 W 예산에 들어갑니다. 경제성이 곧 요점입니다. GB당 비용은 로컬 DRAM의 0.13×, GB당 전력은 0.7×입니다.
계층의 주인은 BIOS가 아닌 커널
소프트웨어 쪽 설계 원칙은 비대칭을 숨기지 말고 운영체제가 보고 관리하게 하라는 것입니다. CXL 메모리는 CPU 없는 NUMA 노드로 나타나고, BIOS의 주소 맵 트릭 대신 리눅스 CXL 드라이버가 이를 ZONE_MOVABLE로 온라인합니다. 이 결정 하나로 페이지 테이블과 슬랩 같은 이동 불가 커널 구조가 느린 계층에 올라가지 않게 되고, 신뢰성과 함께 페이지를 자유롭게 옮길 계층화 메커니즘의 여지도 지켜집니다. ACPI 테이블(CEDT, HMAT)을 정확히 구성하는 일이 기초 공사였는데, 커널이 지연과 대역폭 모델을 거기서 얻기 때문입니다.
배치 자체는 기존 메커니즘 두 개 위에서 돕니다. 반응형 강등과 승격은 TPP[2], 선제적 오프로드는 TMO[3]가 맡고, 기본값에서 바꾼 것은 sysctl 노브 세 개뿐이며 나머지는 그대로입니다. 눈여겨볼 개선이 둘 있습니다. 파일 캐시와 tmpfs 할당을 처음부터 CXL 노드로 보내는 정책을 쓰면, 로컬 20GB에 CXL 76GB를 더한 실험 구성이 전부 로컬인 96GB 구성과 같은 캐시 처리량을 냅니다. 여기에 더해 대역폭 병목 소비자를 위한 가중 인터리브 자동 튜닝을 구현해 업스트림에 올렸습니다.
장비군 정책은 의도적으로 균일합니다. 모든 MemServer는 언제나 1TB 장비이고, CXL을 펌웨어에서 끄는 일은 없습니다. 이 계층을 견디지 못하는 작업부하는 소프트웨어로 제외합니다. 클러스터 오케스트레이터가 cpuset.mems cgroup 컨트롤러를 조작하는 방식이라 BIOS 변경도 재부팅도 필요 없습니다. 따라서 어떤 노드가 오늘은 지연에 민감한 서비스를 받고 내일은 일반 용량 풀로 돌아갈 수 있으며, 백그라운드 서비스는 기본적으로 CXL 계층을 쓰게 해 로컬 DRAM을 비워 둡니다.
세 가지 반론, 운영 환경 데이터로 답하는 방식
이 논문은 발표된 우려들을 반박하는 데 이례적으로 공을 들이는데, 어쩌면 이것이 가장 유용한 기여일 것입니다.
첫 번째 우려는 꼬리 지연입니다. 널리 인용된 특성 분석은 CXL 하드웨어에서 변동 폭이 큰 꼬리 지연을 발견했지만[4], 논문의 응답은 직접 측정입니다. 동시 스레드를 1개에서 100개까지 늘려도 CXL 부착 메모리의 지연 분포는 로컬 DRAM의 분포를 따라가며, 경합 아래에서도 변동 폭이 비슷합니다. 저자들은 이전의 이상 현상이 프로토콜의 성질이 아니라 FPGA 기반 시험 장치의 산물(예: 미결 트랜잭션을 받칠 크레딧 버퍼 부족)이라고 봅니다. 제대로 설계한 ASIC은 예측대로 동작하고, 프로토타입은 그렇지 않다는 것입니다.
두 번째 우려는 소프트웨어 오버헤드입니다. TPP의 비용이 크다는 보고가 더 정교한 OS 설계들을 낳았지만, Meta의 운영 환경 텔레메트리에서 핫니스 감지에 쓰는 마이너 폴트를 포함한 계층화의 CPU 오버헤드는 0.5% 아래에 머뭅니다. 승격 트래픽도 서비스에 따라 분당 몇 페이지에서 수천 페이지 수준으로 작습니다. 이주량 자체가 미미하므로 페이지 이주를 DMA 엔진으로 가속하는 접근은 이 장비군에 없는 문제를 푸는 셈이고, 단순한 LRU 수준의 핫니스 감지로 실무에는 충분하다고 저자들은 결론짓습니다.
세 번째 우려는 실제 서비스가 느려지지 않느냐는 것입니다. 그 답은 A/B 테스트의 형태를 하고 있고, 다음 절이 요약합니다.
운영 환경 수치
캐시 서비스에서 확장은 곧바로 적중률과 내구성으로 환산됩니다. 한 캐시는 메모리 계층을 680GB에서 890GB로 늘려 서버당 지속 가능 QPS를 33% 높였고 객체 보존 시간을 약 1분에서 5~10분으로 늘렸습니다. 다른 캐시는 590GB에서 820GB로 늘려 평균 질의 처리 시간을 29% 줄였으며, 적중의 2.3%를 플래시에서 DRAM으로 옮겨 플래시 마모를 직접 줄였습니다. 데이터 웨어하우스에서 용량은 곧 적재 밀도입니다. Spark는 서버당 실행기를 최대 33% 더 담고, 셔플 서비스 Cosco는 MIPS를 11% 올리면서 연산 용량의 30%를 반납했으며, OOM 관련 실패는 33%(일부 ML 작업부하는 50%) 줄었습니다. 개발 인프라는 서버당 CI 컨테이너와 개발자 VM을 각각 33% 더 수용하고, ML 파라미터 서버는 연산 용량을 25% 줄이면서 처리량을 12% 얻었습니다. 모델이 20TB로 커지는 시나리오에서 논문은 4~12%의 처리량 이득과 20~25%의 서버 절감을 전망합니다.
동작 범위의 경계는 스트레스 실험 두 개가 긋습니다. 먼저, 배포 기준인 3:1은 물론 2:1의 로컬 대 CXL 용량비에서도 동일 용량의 전부 로컬 DRAM 구성과 비교한 애플리케이션 지표 차이는 1% 안에 머뭅니다. 측정 가능한 성능 저하는 1:1에서야 나타나는데, 이때는 작업 메모리의 35~40%가 CXL에 놓여 웹 작업부하의 요청 처리율이 6%, 전처리 서비스의 처리량이 19% 떨어집니다. 다음으로, 전체 메모리 점유 범위에서 자주 접근하는 영역의 비율을 인위적으로 바꿔 가며 측정하면 75% 부근에서 지연이 꺾입니다. 그 아래에서는 평균 지연이 260 ns 부근에서 일정하고, 모든 영역에 자주 접근하는 조건에서는 지연이 22%까지 늘어납니다. 운영 환경 서비스는 이 경계보다 사용 비율이 훨씬 낮으며, 장비군의 CXL 대역폭은 로컬 DRAM 대비 10~100배 낮습니다.
멀티테넌트 호스트에서는 새로 만들어 넣어야 했던 것이 하나 있습니다. 기본 TPP만으로는 한 노드의 동일한 캐시 컨테이너 두 개가 로컬 DRAM 상주율 90%와 70%로 갈라졌고, p99 지연이 20% 벌어졌으며, 시끄러운 이웃 시나리오에서 한쪽이 처리량의 65%를 잃고 끝내 OOM으로 종료됐습니다. 컨테이너별 로컬 DRAM 사용량에 상한을 두는 회계 계층(Fair Share)을 얹자 두 컨테이너 모두 3:1 부근의 균형 잡힌 분할로 돌아왔고, p99 지연이 각각 1.6×와 1.8× 개선됐으며, 최악의 처리량 하락은 12%로 묶이고 OOM은 사라졌습니다.
이 논문이 주장하지 않는 것
여기서는 범위를 정확히 읽는 일이 중요합니다. “CXL at scale”이라는 말이 그동안 너무 많은 것을 가리켜 왔기 때문입니다. 이 배포는 단일 호스트의 메모리 확장입니다. 호스트 간 풀링도, 공유 일관성 메모리도, 패브릭도 없으며, CXL 2.0을 1.1 상당의 토폴로지로 쓰는 것 이상은 없습니다. Pond[5]부터 풀링 반대론[6]까지 이어진 풀링 경제성 논쟁은 이 증거로는 건드려지지 않습니다. 논문 스스로 짚는 교훈도 입력 자원의 취약성을 가리킵니다. 재사용 가능한 DDR4가 아홉 가지 부품 유형에 걸쳐 있고(상위 셋이 각각 29%, 28%, 15%), 이 때문에 검증 도구와 적시(just-in-time) 재고 관리가 필요했으며, GB당 0.13×라는 비용은 폐기 DDR4가 계속 나오는 동안에만 성립합니다. 구매한 DDR5로 지을 다음 세대는 경제성을 처음부터 다시 논증해야 하고, 75% 꺾임 지점보다 뜨거운 작업부하는 더 넓은 링크(현재 x8은 레인 절반을 놀립니다)나 더 빠른 매체를 요구할 것입니다.
운영 배치가 CXL 메모리의 기준선을 바꾼 변화
이 논문은 CXL 메모리 계층을 평가하는 기준을 바꿉니다. 계층형 메모리는 복잡한 운영체제 지원이 필요하고 CXL 장치는 꼬리 지연 때문에 운영 환경에 쓰기 어렵다는 가정이 있었지만, Vistara는 거의 순정에 가까운 커널 경로에서 오버헤드를 0.5% 아래로 유지하고 ASIC으로 꼬리 지연을 로컬 DRAM 수준에 묶었습니다. 따라서 이후 제안은 이상적인 비교 대상이 아니라 실제 배포된 이 기준선을 넘어야 합니다. 이를 가능하게 한 조건도 분명합니다. 장비군 전체의 메모리 유휴 시간을 측정해 설계 근거를 만들었고, 상용 부품이 요구 조건을 충족하지 못하자 ASIC을 직접 설계했습니다. 원칩형 CXL 패브릭 리뷰[7]와 비교하면 현재 입증된 범위도 보입니다. Vistara는 저활용 메모리 용량을 재사용하는 CXL 2.0 확장 장치이고, 원칩형 패브릭은 더 넓은 가속기 영역에서 일관성과 전진 진행을 하드웨어로 관리하려는 설계입니다. 전자는 운영 환경에서 검증되었고 후자는 더 큰 실행 영역을 목표로 하므로, 두 결과를 같은 수준의 근거로 읽으면 안 됩니다.
출처와 저작권 안내
이 글은 Silicon & Systems가 작성한 편집 요약입니다. 아래에 인용한 논문의 논지를 우리 표현으로 다시 서술했으며, 게재된 원문의 문장과 도판, 표는 어느 것도 이 페이지에 복제하지 않았습니다. 본문의 도판은 이 요약을 위해 새로 만든 자체 제작물입니다. 이 논문은 ISCA 2026(롤리, 2026년 6월 29일) 산업 세션에서 발표됐고, 정본은 ISCA 2026 프로시딩에 실리며, 저자가 공개한 사본은 여기에서 볼 수 있습니다. 게재본의 저작권은 (c) IEEE 2026에 있습니다.