엣지 센서와 AI 클러스터가 서로 다른 작업량과 정확도, 측정 경계를 쓰면서 모두 에너지 효율이 좋아졌다고 주장할 수 있습니다. MLPerf Power는 20곳이 넘는 기관이 참여해 마이크로와트부터 메가와트까지 적용할 한 가지 절차를 만들었습니다[1].
에너지 효율은 완료한 작업, 품질 목표, 측정 구간, 포함한 설비의 경계를 맞춘 뒤에야 비교 가능한 장치 특성이 됩니다. 이 글은 이 방법론으로 어떤 비교가 가능해졌는지 설명하고, 구매 판단에 쓰기 전에 냉각, 유휴 전력, 서비스 수준의 동작을 별도로 더해야 하는 범위를 밝힙니다.
비교 전에 측정 경계를 정하는 기준
이 방법은 유효 작업량과 전력 측정을 동기화하고, 유휴 상태와 장비 조건을 규정하며, MLPerf의 정확도 기준을 함께 적용합니다. 논문은 시스템 60대에서 얻은 재현 가능한 측정 1,841개를 분석합니다. 에너지 수치에는 작업, 시나리오, 정확도, 전력계에 포함된 부품이 반드시 따라붙습니다.
BERT 제출 결과에서는 정확도를 99%에서 99.9%로 높일 때 추론 에너지 효율이 평균적으로 절반 수준으로 낮아졌습니다. 확산 모델의 이미지 생성은 비교한 가장 작은 작업보다 추론 한 번에 1,082× 많은 에너지를 썼습니다. 시스템 규모가 커질수록 장치 전력만 재서는 놓치는 데이터 이동도 중요해집니다.
유효 작업의 단위를 먼저 맞추는 방식
전력은 시간당 소비율이므로 완료한 작업량과 품질 없이 시스템 순위를 정할 수 없습니다. 추론당 에너지도 한쪽이 작은 모델, 낮은 정확도, 다른 배치, 허용할 수 없는 지연을 쓰면 의미가 달라집니다. MLPerf Power는 에너지 측정을 기존 작업과 품질 규칙에 연결합니다[1].
정밀도를 낮추거나 가지치기, 조기 종료, 반복 횟수 축소로 에너지를 줄일 수 있지만 요청한 일을 덜 수행한 결과일 수 있습니다. BERT의 99%와 99.9%가 평균 약 2배 차이를 만든 결과는 정확도를 각주가 아니라 분모의 일부로 둬야 함을 보여 줍니다.
시나리오도 유효 작업을 바꿉니다. 오프라인(Offline) 시나리오는 알려진 배치의 처리량을 높이고 서버(Server) 시나리오는 요청이 들어올 때 지연 조건을 지켜야 합니다. 작은 장치는 한 샘플씩 처리하고 대부분 시간을 유휴 상태로 보낼 수 있습니다. 같은 가속기도 조건에 따라 다른 에너지 동작점에 놓입니다.
전력과 작업을 같은 시간축에 맞춰야 할 이유
전력계는 시간에 따라 표본을 만들고 벤치마크는 완료 질의를 셉니다. 시작과 종료 경계를 정해 준비, 예열, 후처리를 일관되게 포함하거나 제외해야 합니다. 부하 생성기와 계측기의 시계가 어긋나면 짧은 시험에서 에너지 구간이 크게 달라질 수 있습니다.
MLPerf Power는 규모별 계측 장치, 표본화, 동기화, 유효 조건을 정합니다. 마이크로와트 장치와 메가와트급 설비가 같은 계측기를 쓸 수는 없지만 주장한 차이를 볼 해상도와 추적 가능성을 확보해야 합니다. 보정, 센서 위치, 불확실성이 재현성의 일부입니다.
짧은 순간 부하는 아직 온도가 낮은 실리콘과 일시적인 부스트 클록을 이용할 수 있습니다. 지속 실행은 열 한계, 팬, 안정 클록을 드러냅니다. 반복 실행은 스케줄링과 배경 서비스, 주변 온도의 변동을 보여 줍니다.
유휴 에너지는 결정에 따라 포함 범위가 달라지는 조건
항상 켜진 단말 장치는 추론보다 대기 시간이 길 수 있고, 높은 활용률의 데이터센터 가속기는 유휴 전력을 많은 요청에 나눕니다. 최고 처리량의 추론당 에너지는 낮은 활용률 서버의 연간 소비를 과소평가할 수 있습니다. 반대로 공유 호스트의 유휴 전력을 간헐적 모델 하나에 모두 배정하면 한계 비용을 과장합니다.
표준 결과와 실제 가동률을 적용한 모형을 함께 봐야 합니다. 큰 배치는 장치 활용과 항목당 에너지를 개선하지만 큐 지연과 메모리를 늘립니다. 서버 시나리오는 지연 조건을 지켜야 하고 오프라인 시나리오는 더 큰 배치를 선택할 수 있습니다. 가장 효율적인 한 점만 보고하면 배포 가능한지 알 수 없습니다.
측정 경계가 순위를 바꿀 수 있는 구조
장치 전력은 가속기를 보지만 호스트 CPU, DRAM, 네트워크, 저장장치, 팬, 전력 변환, 냉각을 뺄 수 있습니다. 연산이 큰 커널에서는 작아도 분산·데이터 이동 작업에서는 이 항목이 지배할 수 있습니다. 가속기에서 소비한 줄(J)을 줄이면서 호스트 전처리나 통신을 늘린 시스템은 시설 에너지를 줄이지 못할 수 있습니다.
칩 설계자는 rail 단위 에너지로 변경 효과를 분리하고, 구매자는 서버·랙 전력을, 시설 운영자는 냉각까지 봅니다. MLPerf Power는 선택한 경계를 밝혀 서로 다른 층의 결과를 섞지 않게 합니다. 장치 계측기는 HBM을 포함해도 입력을 공급한 스위치와 저장장치를 놓칠 수 있습니다.
정확도는 에너지 조절 변수
BERT의 두 정확도 비교는 높은 품질에 덜 공격적인 양자화, 큰 모델, 추가 보정, 낮은 활용 경로가 필요할 수 있음을 보여 줍니다. 평균 효율은 약 절반이 됐지만 일부 시스템은 손실이 작았습니다. 하드웨어와 소프트웨어가 품질 상향을 처리하는 능력이 다릅니다.
에너지, 실제 품질, 지연을 하나의 곡선으로 비교하는 편이 낫습니다. 정확도를 유지하며 에너지를 30% 줄인 기술과 정확도를 허용 가능한 최저 수준까지 낮춰 30% 줄인 기술은 다릅니다. 오류 비용이 비대칭인 응용은 벤치마크보다 높은 품질을 선택할 수 있습니다.
품질 지표도 드문 클래스와 안전 조건, 생성 출력 선호를 모두 담지 못합니다. 표준 임곗값은 재현 가능한 출발점이며 제품은 도메인 검증을 별도로 해야 합니다.
작업에 따라 에너지가 세 자릿수 배수로 달라지는 조건
확산 생성과 가장 작은 추론 사이의 1,082배는 AI 추론 에너지가 하나의 범주가 아님을 보여 줍니다. 모델 크기, 반복 단계, 데이터 형식, 입력 크기, 메모리 이동, 품질이 작업량을 바꿉니다. 전처리와 후처리도 시스템 경계에 따라 포함 위치가 달라집니다.
작업별 에너지에 연간 요청 수를 곱해야 운영 에너지를 추정할 수 있습니다. 최고 전력은 전기 설비 용량을 정하고 에너지는 운영비를 정합니다. 호출이 적은 비싼 작업이 수십억 번 실행되는 효율적인 작업보다 연간 소비가 작을 수도 있습니다.
60개 시스템의 1,841개 결과는 단일 순위보다 분포와 교환 관계를 분석할 때 가치가 큽니다. 어떤 최적화가 작업을 넘어 적용되는지, 정확도 비용이 어디서 나타나는지, 규모가 커질 때 비연산 에너지 비율이 어떻게 변하는지 볼 수 있습니다.
재현에 필요한 구성 공개
하드웨어, 펌웨어, 소프트웨어, 모델, 정밀도, 배치와 시나리오, 품질, 계측기, 표본 방식, 전력 경계를 공개해야 합니다. 가속기 클록과 전력 제한, 클러스터의 노드 수·네트워크·호스트·냉각 포함 여부도 중요합니다.
커널 융합, 양자화, 그래프 컴파일, 요청 스케줄링은 에너지를 크게 바꿉니다. 한쪽은 조정된 스택, 다른 쪽은 기본 스택을 쓰면 소프트웨어 차이를 하드웨어에 귀속합니다. 계측기 정확도와 실행 변동보다 작은 향상은 반복과 신뢰 범위 없이 기록으로 인정하기 어렵습니다.
시설 결정으로 옮기는 방법
구매자는 실제 작업, 품질, 지연에 맞는 제출을 고른 뒤 활용률, 유휴 시간, 중복, 연간 서비스량을 적용해야 합니다. 최고 시스템 전력은 랙 밀도와 전기 설비를, 에너지는 전력 가격과 배출량을 결정합니다.
시설 냉각과 전력 변환도 같은 방식으로 더해야 합니다. 액체 냉각은 팬을 줄여도 서버 계측 밖의 펌프를 쓸 수 있습니다. PUE는 사이트 속성이지 가속기 속성이 아닙니다. 냉각 구조가 같을 때 내부 비교에 하나의 PUE를 쓰는 것은 가능하지만 제품 사양으로 만들면 안 됩니다.
활용률, 전력 가격, 정확도, 지연, 모델 성장에 따라 결론이 바뀌는 민감도 분석이 필요합니다. 현재 추론당 에너지가 낮아도 미래 모델이 메모리를 넘고 네트워크를 추가하면 우위가 사라질 수 있습니다.
설계자가 자료에서 읽을 수 있는 것
장치와 시스템 경계를 나누면 연산, 메모리, 호스트, 네트워크 중 병목을 찾을 수 있습니다. 품질을 높일 때 에너지가 두 배가 되면 정밀도 지원과 알고리즘-하드웨어 공동 설계가 기회입니다. 시스템이 커질수록 장치 밖 소비가 늘면 연결망과 데이터 배치가 중요합니다.
같은 시스템의 새 컴파일러는 소프트웨어 진전을, 같은 스택의 새 장치는 하드웨어 변화를 근사합니다. 효율 향상이 비용을 낮춰 사용량을 늘리고 총에너지가 증가하는 반동도 남습니다. MLPerf Power는 단위 비용을 재며 제품·정책 분석은 수요를 곱해야 합니다.
표준 프레임워크의 한계
유한한 벤치마크 제품군이 모든 모델, 사용자 연산, 지연 목표, 배포를 다루지는 못합니다. 참여자가 제출 시스템을 골라 조정하므로 자료가 설치된 평균 장비군을 대표하지도 않습니다. 소프트웨어와 모델이 바뀌면 결과는 빠르게 오래됩니다.
이 체계의 강점은 순위보다 측정 문법입니다. 작업, 품질, 시나리오, 경계, 에너지를 함께 적게 합니다. 운영자는 공개 표를 보편 순위로 쓰기보다 자신의 트래픽과 시설 조건에 이 문법을 다시 적용해야 합니다.
같은 작업을 여러 전력 경계에서 확인하는 방법
가속기 전력선, 완전한 서버, 네트워크를 포함한 랙, 냉각·전력 변환을 포함한 시설 할당의 네 경계에서 같은 작업을 잴 수 있습니다. 절대 에너지는 경계마다 늘지만 기준 시스템과 최적화 시스템의 차이가 어디까지 유지되는지 보여 줍니다.
예를 들어 양자화가 가속기 에너지를 35% 줄여도 호스트 전처리와 배치 제약을 늘리면 서버 수준의 이득은 작을 수 있습니다. 지연 목표를 지키려고 복제본이 더 필요하면 시설 수준의 이득은 더 줄어듭니다. 반대로 연결망 최적화는 가속기 전력선 수치를 거의 바꾸지 않고 랙 에너지와 완료 시간을 낮출 수 있습니다.
칩 분석에는 가속기 전력선 측정이 유효하고 구매에는 서버·랙 경계가 필요합니다. 중요한 것은 네 경계가 같은 작업, 품질, 시간 구간을 써서 차이가 추가된 구성 요소에서 나오게 하는 것입니다.
줄(J)을 비용으로 바꾸려면 요청량과 지역 전기 요금이 필요하고, 탄소 배출량에는 시간별 발전원 구성도 추가됩니다. 탄소 배출을 고려한 스케줄링은 유연한 오프라인 작업을 옮길 수 있지만 대화형 작업은 기다리기 어렵고, 지역 이동은 네트워크 에너지와 지연, 데이터 규제를 만듭니다. MLPerf Power는 단위 운영 에너지를 제공하며 사용량과 위치, 제품 수명은 별도 모형이 밝혀야 합니다.
전력 효율의 분모부터 맞춰야 할 이유
MLPerf Power는 하나의 보편적 우승자를 정하기보다 분모를 검증할 수 있게 합니다. 구매자는 가속기·CPU·네트워크·냉각·유휴 시간이 포함됐는지, 품질 목표가 같은지 확인해야 합니다. 설계자는 같은 규칙을 시간에 따라 반복 적용해 하드웨어, 소프트웨어, 양자화, 스케줄링의 효과를 분리해야 합니다.
계측 범위가 구매 판단을 결정하는 기준
전력 결과는 전기적 범위와 작업 범위가 같을 때만 비교할 수 있습니다. 가속기 보드 전력에는 호스트 CPU, 메모리, 네트워크, 스토리지, 냉각이 빠지지만 랙이나 시설 계측에는 다른 작업과 공유하는 자원까지 들어갑니다. 데이터 적재, 컴파일, 체크포인트 저장, 예열, 유휴 구간을 측정 시간 밖에 두면 작업 범위도 달라집니다. 장치 수준 전력이 낮아도 완료한 결과 하나당 시설 에너지는 더 클 수 있습니다.
평가에서는 작업 단계와 각 계측기의 시각 정보를 맞춰 공개해야 합니다. 그러면 완료한 학습 표본 또는 SLO를 만족한 추론당 에너지(J), 전력 설비가 감당해야 할 최고 전력, 유효 작업이 없던 구간의 에너지를 각각 계산할 수 있습니다. 짧은 전력 변화가 거친 평균에서 사라질 수 있으므로 계측 오차와 표본화 주기도 필요합니다. MLPerf가 제공하는 공통 작업과 공개 형식은 출발점입니다. 구매자는 이를 자신의 시설 경계와 실제 이용 패턴에 다시 적용해야 합니다.
출처와 저작권 안내
이 글은 독립적인 문장과 두 새 도판으로 작성한 편집 요약입니다. 원문의 문장·도판·표를 재사용하지 않았습니다. 공개 프리프린트는 arXiv에 있으며 공식 프로시딩 판본은 (c) IEEE 2025입니다.