대규모 장치군 효율은 분모가 독특합니다. 흔한 함수에서 CPU 일부만 줄여도 드문 경로의 극적인 마이크로벤치마크 개선보다 더 많은 용량을 돌려 줄 수 있습니다. 그 함수를 찾고 의미를 이해하며 모노리포 전체에 안전한 수정을 전달하는 일은 서로 다른 문제이며, 언어 모델은 그중 일부만 해결합니다.
ECO는 최적화를 생산 작업 흐름으로 다룹니다. 과거 성능 변경과 외부 지침에서 반복 안티패턴을 학습하고, 장치군 프로파일로 비싼 위치를 찾으며, 후보 수정을 생성한 뒤 기존 시험·검토·소유자·감시 체계를 통과시킵니다. Google은 1년 배치에서 커밋 6,400건 이상으로 코드 25,000줄 넘게 바꿨다고 보고합니다.
중요한 추상화는 생성 응답이 아니라 커밋입니다. 각 제안에는 측정 비용으로 정당화한 대상, 좁은 변환, 자동 근거, 책임 검토자, 복구 경로가 필요합니다. 이 구조는 더 좋은 모델이 한 단계를 개선하게 하면서 생산 권한은 부여하지 않습니다.
장치군 비용에서 시작하는 검색
정적 검사기는 비싸 보이는 관용구를 모두 찾지만 대부분은 실행되지 않을 수 있습니다. ECO는 Google Wide Profiling에서 시작해 전체 사이클, 캐시 미스, 애플리케이션별 지표를 소스 함수로 매핑합니다. 호출 트리를 따라 비용을 귀속하되 모든 신호를 흡수할 공유 유틸리티는 가지치기합니다.
위치 찾기는 기대값을 바꿉니다. 같은 불필요 할당을 포함한 함수 두 개가 있으면 큰 서비스 장치군에서 실행되는 쪽을 먼저 고릅니다. 모델에 보내는 소스 양과 무관한 제안도 줄어듭니다.
프로파일은 완전하지 않습니다. 인라이닝, 심볼 변환, 샘플링 편향, 공유 라이브러리가 비용 위치를 틀리게 만들 수 있습니다. ECO는 기회를 정렬하는 데 사용하고 수정이 정확하다는 증거로 쓰지 않습니다. 후보는 통제 벤치마크나 생산 실험에서 성능을 별도로 입증해야 합니다.
검색 재료가 된 과거 변경
ECO는 커밋 메시지와 검토 문맥에서 효율 개선을 나타낸 변경을 채굴합니다. 되돌렸거나 품질이 낮은 사례를 제거하고 벡터 용량 예약, 불필요 복사 회피, 부적절한 맵 교체, 중복 정렬 제거 같은 변환으로 묶습니다.
예시는 두 역할을 합니다. 소스 검색용 안티패턴 사전을 만들고, 모델 문맥에 의미가 비슷한 전후 코드를 제공합니다. 같은 코드베이스에서 엔지니어가 승인한 변경에 제안을 근거 짓습니다.
과거 데이터에도 선택 편향이 있습니다. 한 커밋은 특정 컨테이너, 소유권 규칙, 컴파일러 시기에만 맞을 수 있습니다. 성공한 수정이 어디서나 안전한 재작성은 아니므로 ECO는 소스 타입과 지역 문맥을 유지하며 기계적 치환 대신 후보를 요청합니다.
구조는 모델과 분리됩니다. 평가 배치는 Gemini 계열 코드 모델을 사용했지만 위치 찾기, 검색, 검증, 배포는 모델 정체성과 독립된 단계입니다. 생성 품질이 좋아지면 생산 통제를 다시 설계하지 않고도 수율을 높일 수 있습니다.
보수적 생성이라는 공학 선택
평가는 마이크로벤치마크와 생산 코드에서 제로샷, 퓨샷, 사고 과정, 도구형 프롬프트를 비교합니다. 복잡한 프롬프트가 더 큰 개선을 찾을 수 있지만 넓고 예측하기 어려운 변경도 만듭니다. 적은 줄을 건드리는 보수적 패치는 검증하기 쉽고 가능한 절감 대부분을 전달할 수 있습니다.
ECO는 후보를 여러 개 만들고 패치 적용, 빌드, 시험을 확인하며 유사도와 품질 신호로 순위를 정합니다. 자기 검토 단계에서 모델이 자기 패치의 의미 및 성능 위험을 찾게 합니다. 명백한 실패는 걸러도 작업 측정을 대신하지는 못합니다.
CodeBLEU 같은 유사도 지표는 알려진 좋은 변환과 가까운 수정을 고르는 데 도움이 됩니다. 정확성 증명은 아닙니다. 높은 유사도가 같은 숨은 버그를 보존할 수 있고 새롭지만 정확한 최적화는 낮게 나올 수 있어 모델 점수는 선별 신호로만 사용합니다.
측정 시스템에 남아 있는 사람 검토
모든 생산 변경은 코드 소유자에게 전송됩니다. 논문은 피드백 없이 승인, 피드백 뒤 승인, 사용자 거절, 사후 복구를 나눠 보고합니다. 복사 패턴 제안 약 40%와 벡터 패턴 약 41%는 검토자의 수정 요구 없이 생산에 들어갔지만 맵 변경은 약 5%로 훨씬 낮았습니다. 패턴 의미에 따라 난도가 달라집니다.
이 과정은 평가 밖의 약점이 아니라 핵심 처리량 지표입니다. 낮은 품질 패치를 많이 만들면 최적화 작업을 검토자 방해로 옮겨 조직 신뢰를 잃습니다. ECO는 검토 결과로 프롬프트, 패턴, 검증을 다듬습니다.
승인 코드는 정상 시험과 생산 감시를 거칩니다. 성능 저하로 인한 보고 롤백률은 0.5% 아래입니다. 낮은 값은 신중한 대상 선정과 사람 승인을 포함한 전체 파이프라인 결과이며 모델 단독 신뢰도가 아닙니다.
귀속이 필요한 용량 절감
생산 효율은 지역 벤치마크보다 측정하기 어렵습니다. 작업 혼합, 트래픽, 컴파일러, 다른 릴리스가 동시에 바뀝니다. ECO는 기존 실험 및 감시 시스템과 연결해 배포 뒤 서비스 지표를 비교하고 성능 저하를 되돌립니다.
한 장치군 전체 백분율보다 배치 범위를 제시합니다. 6,400건 넘는 커밋과 25,000줄 이상의 변경이 복사, 맵, 벡터 등 여러 패턴을 다뤘습니다. 커밋 1만 건 생성의 모델 추론 비용은 약 3,000달러로 추정돼 장치군 자원과 엔지니어 시간에 비하면 작습니다.
그러나 추론비는 전체 비용이 아닙니다. 프로파일 처리, 빌드, 시험, 검토자 시간, 카나리 용량, 사고 위험을 분모에 넣어야 합니다. 후보당 승인율, 검토 시간, 시험 계산량, 측정 자원 절감, 복구 빈도, 손익분기 시간을 함께 추적해야 합니다.
의미에서 발생하는 어려운 실패
할당 제거는 반복자 유효성, 예외 동작, 메모리 수명, 동기화를 바꿀 수 있습니다. 컨테이너 교체는 순서와 최악 복잡도를 바꾸고 복사 제거는 별칭 문제를 노출할 수 있습니다. 단위 시험이 드문 동시성이나 과부하 동작을 모두 덮지는 못합니다.
성능 변경은 비용을 옮길 수도 있습니다. CPU를 줄이면서 메모리, 캐시 점유, 전력, 꼬리 지연, 네트워크를 늘리면 무조건 개선이 아닙니다. 대상 지표와 검토 양식이 최적화 자원과 악화해서는 안 될 예산을 명시해야 합니다.
생성 코드에는 출처와 보안 의무도 있습니다. 소스 접근 통제, 비밀을 노출하지 않는 프롬프트 기록, 모델 버전, 재현 가능한 패치 문맥이 필요합니다. 소유자는 함수가 선택된 이유와 어떤 예시가 제안에 영향을 줬는지 볼 수 있어야 합니다.
생성보다 통제 루프의 확장
ECO에서 옮길 수 있는 설계는 깔때기입니다. 측정한 장치군 비용에서 시작해 조직별 변환을 검색하고 작은 수정을 만들며, 기계적 실패를 제거하고, 소유자 판단과 카나리 측정을 거쳐 자동 복구를 유지합니다. 각 단계가 위험을 줄이면서 다음 단계의 근거를 보존합니다.
Google과 같은 모노리포 및 프로파일 기반이 없는 조직도 상시 프로파일, 소스 색인, 코드 검토, CI로 일부를 구현할 수 있습니다. 병목은 모델 접근보다 데이터 통합일 가능성이 큽니다. 과거 변경 라벨, 심볼 매핑, 소유자 탐색, 성능 실험을 일상화해야 합니다.
AI 보조 최적화는 정상 유지보수처럼 평범하게 동작할 때 가치가 생깁니다. 모델은 후보 개선 수를 늘리고 주변 시스템은 무엇이 실제 소프트웨어가 될 자격이 있는지 결정합니다.
실제 절감을 결정하는 포트폴리오 관리
효율화 프로그램은 연간 예상 자원 수익에 승인 확률을 곱하고 엔지니어링·검증 비용으로 나눠 패치 순서를 정해야 합니다. 장치군 전체에서 쓰이는 기본 요소의 작은 수정이 서비스 하나의 큰 개선보다 앞설 수 있습니다. 반대로 공유 라이브러리 변경은 영향 범위가 커 예상 절감이 많아도 별도 소유자와 긴 카나리를 요구할 수 있습니다.
지표는 제안, 빌드 가능, 검토, 배포, 유지, 효과 측정 단계를 구분해야 합니다. 생성 차이 수를 세면 잡음을 보상하고, 병합 커밋만 세면 생산 이득이 사라진 변경을 숨깁니다. ECO의 1년 기록은 여러 단계를 공개한다는 점에서 유용합니다. 다음 성숙 단계는 유지한 각 패치를 CPU, 메모리, 에너지, 지연 절감과 귀속 신뢰도에 연결하는 장기 원장입니다.
출처와 저작권 안내
이 글은 Silicon & Systems의 편집 분석입니다. 시스템 설계, 생산 측정, 검토 결과, 한계를 자체 문장으로 재구성했습니다. 원문의 문장, 표, 도판을 복제하지 않았으며 본문 도판은 이 글을 위해 새로 만들었습니다. 논문은 USENIX OSDI 2026 발표 페이지에서 확인할 수 있습니다. 저작권은 저자에게 있으며 연도는 2026년입니다.