자동차 가속기는 제한된 전력과 원가 안에서 인지·계획·언어·콕핏 모델을 실행해야 합니다. 좁은 전용 가속기는 현재 모델에는 효율적이지만 다음 모델에서 빠르게 낡습니다. Li Auto의 M100은 GPU의 큰 캐시 계층 대신 소프트웨어가 텐서 이동을 명시적으로 조정하는 중간 지점을 택합니다[1].
캐시 미스가 아니라 데이터 이동을 계획하는 방식
컴파일러와 런타임이 텐서를 컴퓨트 클러스터, 데이터 이동 엔진, 온칩 메모리, 외부 DDR로 보냅니다. 하드웨어 관리 캐시는 대부분 제거했습니다. 일정 단위는 텐서이므로 명령어와 동기화 비용을 줄이면서 크기는 바꿀 수 있습니다. 다만 규칙적인 데이터 흐름을 전제로 하므로 불규칙한 제어는 소프트웨어가 처리해야 합니다.
같은 전력과 273 GB/s DDR 조건에서 M100은 UniAD 구성 요소별 1.2~6.3×, 종단 간 프레임률 3.8×를 보고합니다. 클러스터 14개 중 8개만 UniAD에 써서 동시 작업 여지도 남겼습니다. Llama-2 7B 디코드는 20 ms와 21.34 ms로 비슷합니다. 외부 메모리 대역폭이 지배하기 때문입니다. 프리필 표에서는 Thor-U가 더 빠르므로 결과를 보편적 우위로 읽으면 안 됩니다.
자동차 연산은 제품 수명 전체의 문제
차량 플랫폼은 실리콘을 정한 뒤에도 여러 해 동안 인지, 센서 융합, 계획, 언어, 콕핏 기능을 지원해야 합니다. 모델과 텐서 모양은 자동차 인증 주기보다 빠르게 바뀝니다. 좁은 고정 데이터 경로가 출시 시점에는 효율적이어도 소프트웨어가 바뀌면 보조 프로세서나 새 제어기가 필요할 수 있습니다[1].
범용 GPU는 변화에 유연하지만 그래픽과 데이터센터까지 지원하기 위한 큰 레지스터, 세밀한 스케줄러, 캐시 일관성 구조를 포함합니다. M100은 예측 가능한 추론 그래프에서 소프트웨어가 이동 시점을 안다면 이 하드웨어 일부를 줄일 수 있는지 묻습니다. 평가 대상은 현재 모델의 최고 처리량이 아니라 차량 수명 동안 새 연산자를 얼마나 빨리 지원하는지입니다.
캐시 탐색을 텐서 이동 계획으로 바꾸는 방식
M100은 생성된 일정에 따라 텐서를 클러스터, 온칩 저장공간, 이동 엔진, DDR 사이로 보냅니다. 컴파일러는 생산자와 소비자, 텐서 수명을 알기 때문에 캐시 미스가 수요를 알리기 전에 전송을 배치할 수 있습니다. 태그 조회와 교체, 일관성, 세밀한 명령 비용을 줄이는 대신 일정이 틀리면 연산기가 기다리거나 온칩 공간을 낭비하고 DDR 트래픽이 늘어납니다.
텐서 단위는 절충점입니다. 완전히 고정된 공간형 가속기는 효율적이지만 유연성이 낮고, 명령마다 제어하면 GPU 스케줄러를 소프트웨어로 다시 만들게 됩니다. 비교적 큰 작업과 이동만 런타임이 조정하고 규칙적인 내부 반복은 엔진이 처리합니다. 결국 컴파일러 품질이 하드웨어 자원처럼 직접 측정되는 구조입니다.
클러스터는 동시성과 여유를 만드는 방식
평가 구성에는 14개 클러스터가 있고 UniAD는 8개를 사용합니다. 남은 클러스터는 자동으로 낭비가 아닙니다. 다른 차량 기능을 동시에 실행하거나 향후 큰 모델을 수용하고, 낮은 전력 상태에서 여유가 될 수 있습니다. 다만 실제 동시 작업이 같은 전력과 메모리 안에서 이 자원을 쓸 때만 가치가 입증됩니다.
분할은 지역성 문제도 만듭니다. 텐서는 가능한 한 소비하는 클러스터 가까이에 남겨야 하지만 입력 복제와 축약 연산은 온칩 이동을 늘립니다. 컴파일러는 로컬 저장공간, 패브릭, DDR, 동기화, 전력의 비용 모형을 가져야 합니다. 일을 넓게 나눠 이동이 지배한다면 적은 클러스터가 더 빠를 수 있습니다.
차량은 실시간성과 격리도 요구합니다. 서로 다른 중요도의 기능 사이에서 지연 상한, 메모리 보호, 서비스 품질, 장애 복구가 일정과 함께 동작해야 합니다. 논문은 성능 가능성을 보여 주지만 제품은 이 운영 계약을 추가로 증명해야 합니다.
UniAD는 명시적 데이터 흐름에 유리한 조건
UniAD는 인지와 계획의 여러 구성 요소를 구조화된 그래프로 연결합니다. 컴파일러가 의존 관계를 보면 중간 텐서를 재사용하고 단계를 겹칠 수 있습니다. 같은 전력과 대역폭에서 구성 요소별 1.2~6.3배, 전체 파이프라인 3.8배라는 범위는 모든 부분이 같은 이득을 얻지 않는다는 뜻입니다.
큰 배수는 비교 장치의 범용 스케줄링이나 메모리 계층에서 제거할 비용이 많은 경로일 수 있습니다. 1.2배 구간은 명시적 일정의 이점이 제한되는 작업도 보여 줍니다. 종단 간 3.8배도 구성 요소 배수의 평균이 아니라 파이프라인 겹침과 임계 경로가 만든 결과입니다.
8개 클러스터로 얻은 수치라는 점은 동시성 주장을 강화하지만 비교를 복잡하게 합니다. 남은 6개의 가치는 실제 차량 작업을 함께 실행해도 전력과 DDR를 넘지 않고 마감 시간을 지킬 때 확인됩니다. 고립된 UniAD 처리량 다음에는 전체 차량 작업의 꼬리 지연을 봐야 합니다.
LLM 디코드는 DDR 상한을 드러내는 지표
자기회귀 디코드는 토큰마다 모델 가중치를 반복해서 읽고 연산량은 상대적으로 작습니다. 작업 집합이 DDR에 있으면 M100과 Thor-U 모두 같은 273 GB/s에 가까워집니다. 20 ms와 21.34 ms의 근접한 결과는 연산 조직이 달라도 외부 메모리가 지배한다는 부정적 증거입니다.
캐시와 스케줄링 비용을 줄여도 대역폭은 생기지 않습니다. 압축, 낮은 정밀도, 큰 배치의 가중치 재사용, 빠른 메모리가 한계를 옮길 수 있으며 클러스터만 늘려서는 어렵습니다. TOPS가 디코드 지연을 예측하지 못하는 이유도 같습니다.
프리필은 여러 입력 토큰을 큰 행렬 연산으로 처리해 재사용이 많고, 논문의 비교 표에서는 Thor-U가 빠릅니다. 대화형 언어 기능은 첫 토큰까지 시간과 이후 토큰 시간을 분리하고 시퀀스, 배치, 정밀도, 메모리 위치를 함께 보고해야 합니다.
컴파일러가 제품 호환성의 일부가 되는 과정
명시적 일정은 그래프 변환, 연산 융합, 타일링, 배치, 전송, 런타임 조정을 컴파일러에 맡깁니다. 지원하지 않는 연산자는 CPU와 장치 사이를 반복해서 오가지 않는 범용 경로가 필요합니다. 동적 모양과 제어 흐름은 정적 일정의 이점을 버리지 않으면서 조건별 변형을 선택해야 합니다.
차량에서는 컴파일러 갱신도 인증 대상입니다. 메모리 재사용이나 타이밍이 달라지면 안전과 지연 조건을 다시 확인해야 합니다. 생성 일정에는 하드웨어, 컴파일러, 모델, 보정 정보를 붙여 무선 업데이트를 재현하고 되돌릴 수 있게 해야 합니다.
지속 가능한 자산은 일정 하나가 아니라 실리콘으로 검증한 비용 모형입니다. 연산, 온칩 fabric, DDR 중 무엇이 병목인지 예측하고 새 측정으로 개선해야 합니다. 예측과 실측이 달라지면 합법적이지만 느린 일정을 조용히 내놓지 말고 차이를 보여 줘야 합니다.
같은 전력과 대역폭이 주장의 범위를 좁히는 방식
비교는 DDR 273 GB/s와 전력 예산을 맞춰 데이터 흐름과 활용률에 초점을 둡니다. 그렇다고 모든 조건이 같은 것은 아닙니다. 소프트웨어 성숙도, 정밀도, 연산 구현, 클록, 메모리 할당, 전력 경계는 다를 수 있습니다.
배수와 함께 절대 지연, 활용률, 에너지, 품질을 공개해야 합니다. 기준 장치에 조정된 경로가 없으면 비율이 커질 수 있습니다. 프리필에서 순위가 바뀐 결과를 함께 보는 것이 어떤 작업 특성이 아키텍처를 선택하는지 알려 줍니다.
차량 인클로저의 온도와 동시 제어기, 냉각 정책도 지속 클록을 낮출 수 있습니다. 실제 열 조건과 동시 작업에서 같은 일정이 마감 시간을 지켜야 전력 비교가 제품 주장으로 이어집니다.
구매자가 다음으로 확인할 시험
먼저 convolution, attention, 희소 연산, 동적 모양, 사용자 연산, 혼합 정밀도를 하나의 공개 컴파일러로 확인해야 합니다. 다음은 인지, 계획, 언어, 콕핏을 동시에 실행해 격리와 마감 시간을 보는 시험입니다. 마지막으로 실리콘 설계에 쓰지 않은 다음 세대 모델을 컴파일해 수작업 커널이 얼마나 필요한지 확인합니다.
메모리 시험은 온칩 재사용과 DDR 트래픽을 나누고 다른 작업의 경쟁을 포함해야 합니다. 언어 모델은 배치와 문맥별 프리필·디코드 곡선을, 자동차 그래프는 평균 FPS뿐 아니라 프레임 지연 분포와 활성 클러스터 수를 보고해야 합니다.
장애와 업데이트도 평가 대상입니다. 클러스터나 이동 엔진 오류에서 일정을 복구할 수 있어야 하고, 무선 컴파일러·모델 갱신을 되돌릴 수 있어야 합니다. 이 조건이 명시적 일정이 하드웨어 복잡도를 줄이면서 관리할 수 없는 소프트웨어 의존성을 만들지 않는지 판정합니다.
증거가 일반화되지 않는 범위
M100은 선택한 전력, 대역폭, 모델, 소프트웨어에서 한 NVIDIA 자동차 구성을 비교합니다. 모든 GPU와 데이터 흐름 가속기, 미래 Thor보다 우수하다고 증명하지 않습니다. UniAD와 Llama-2 7B는 유용한 기준이지만 차량의 전체 모델 구성은 더 넓고 계속 바뀝니다.
그럼에도 구조화된 그래프에서는 텐서 수명과 의존 관계를 이용해 캐시 탐색 구조를 줄이고 처리량을 회복할 수 있습니다. 반면 대역폭 제한 디코드에서는 두 시스템이 같은 외부 메모리 상한에 수렴합니다. 제품 전략은 이득이 나는 구간과 그렇지 않은 구간을 모두 포함해야 합니다.
명시적 일정에는 캐시 부재 횟수를 세는 계수기에 해당하는 관측 기능이 필요합니다. 텐서가 예정된 시점, 전송 시작·종료, 막힌 실행 엔진과 경로, 연산 묶음의 대기, DDR·온칩 저장공간 병목을 보여 줘야 컴파일러 회귀와 하드웨어 문제를 구분할 수 있습니다.
또한 설계 당시 없던 다음 세대 모델과 연산자를 같은 실리콘에서 시험해야 합니다. 일반적인 컴파일러 매핑으로 지원한 비율, 새 라이브러리 코드와 대체 실행 경로가 필요한 비율, 개발·인증 시간을 재면 프로그래밍 가능한 데이터 흐름 구조인지 고정된 고속 경로의 모음인지 판정할 수 있습니다.
데이터 흐름의 이점은 메모리 상한 안에서만 성립하는 조건
M100은 데이터 흐름이 이기는 구간과 물리 한계를 함께 보여 줍니다. 구조화된 인지 그래프에서는 명시적 일정으로 활용률을 높이지만 대역폭 제한 디코드는 같은 DDR 상한에 수렴합니다. 컴파일러가 모델 변화보다 빠르게 적응하고 줄인 캐시 복잡도가 실제 전력·원가 절감으로 이어지는지가 관건입니다.
컴파일러가 실리콘 기능의 일부가 되는 과정
M100은 캐시가 실행 중에 내릴 판단을 컴파일러가 만든 데이터 이동 일정으로 바꿉니다. 이 구조는 컴파일러가 의존성을 확인하고, 로컬 저장 공간을 배분하며, 실제 모델이 사용하는 연산 형태에 맞춰 전송을 배치할 때만 유효합니다. 지원하지 않는 제어 흐름이나 불규칙한 접근, 새로운 모델 변환은 느린 경로로 내려갈 수 있습니다. 따라서 사용할 수 있는 가속기 성능은 실리콘의 최대 기능이 아니라 실리콘과 컴파일러가 함께 지원하는 범위입니다.
배포에서는 이 범위를 버전이 붙은 산출물로 보존해야 합니다. 모델 배포판마다 컴파일러 버전, 생성한 실행 일정, 메모리 배치, 대체 연산자, 경합 상황의 여유를 기록합니다. 회귀 시험에는 논문이 강조한 커널뿐 아니라 연산 형태 변화와 혼합 작업도 포함해야 합니다. 구매자는 종단 간 추론 중 컴파일러가 조정하는 경로에 남는 비율과 새 연산자를 최적화하는 데 걸리는 시간을 확인해야 합니다. 모델이 바뀐 뒤에도 이 비율을 유지할 수 있어야 데이터 흐름 특화가 실제 장비군 비용을 줄입니다.
출처와 저작권 안내
이 글은 독립적인 문장과 새 개념 도판으로 작성했습니다. 원문의 문장·도판·표를 재사용하지 않았습니다. 공개 arXiv 원고가 있으며 공식 판본은 (c) IEEE 2026입니다.