대부분의 AI 가속기는 고정된 행렬 곱 형태를 제공하고 컴파일러가 모든 연산을 그 틀에 나누어 넣도록 합니다. FuriosaAI의 ISCA 2024 논문은 이 관계를 뒤집습니다. 행렬 곱을 포함하는 더 일반적인 텐서 축약을 기본 연산으로 두고, 현재 텐서의 축에 맞춰 하드웨어 자원을 다시 묶습니다[1].
이 구조를 살펴볼 이유는 유연성이 그래프 변환을 줄일 수도 있지만 컴파일러 탐색의 책임만 키울 수도 있기 때문입니다. 피크 연산량보다 레이아웃 변환, 미지원 경로, 메모리 트래픽, 전력을 포함한 모델 전체의 완료 작업량을 비교해야 합니다. 이 글은 그 경계에서 Llama-2 측정 결과를 해석하고, 한 시험 구성을 가속기의 보편 순위로 확대하지 않습니다.
작은 코어의 부담 없이 나뉘는 처리 요소
TCP는 많은 소형 코어 대신 큰 처리 요소(PE)를 사용합니다. 각 PE는 하나의 큰 유닛으로 동작하거나 여러 슬라이스로 나뉩니다. 회선 교환형 페치 네트워크가 슬라이스와 데이터 소스를 연결해 하나의 입력을 여러 컴퓨트 유닛이 재사용합니다. 컴파일러는 텐서 모양, 루프 순서, 분할 방식, 슬라이스 토폴로지를 함께 탐색합니다.
이 구조는 고정 배열과 소형 코어 사이의 절충안입니다. 고정 배열은 프로그래밍하기 쉽지만 모양이 맞지 않으면 연산기가 쉽니다. 작은 코어는 유연하지만 스케줄링과 네트워크 제어가 소프트웨어 부담이 됩니다. TCP는 큰 단위의 프로그래밍 모델을 유지하면서 필요한 순간에만 물리 연산기를 나눕니다.
메모리 비중이 큰 150 W 설계
5nm 칩에는 내부 대역폭 384 TB/s의 SRAM 256 MB와 대역폭 1.5 TB/s의 HBM3 48 GB가 들어갑니다. 최고 연산량은 BF16 256 TOPS, FP8 또는 INT8 512 TOPS, INT4 1,024 TOPS이며 TDP는 150 W입니다. 중요한 주장은 최고치보다 여러 프리필·디코드 모양에서 실제 활용률을 유지한다는 데 있습니다.
논문은 시험한 Llama-2 7B 구성에서 H100보다 2.7×, L40S보다 4.1× 높은 와트당 성능을 보고합니다. 공개된 NVIDIA 결과를 비교 대상으로 사용했으므로 이 수치는 해당 시퀀스 길이, 배치, 정밀도, 전력 조건의 결과입니다. 모든 모델에 적용되는 서열로 읽으면 안 됩니다.
텐서 축약이 대수적 실행 단위
행렬곱은 두 행렬이 공유한 축 하나를 줄이는 텐서 축약의 한 형태입니다. 신경망은 모양 변경, 전치, 배치, 축소 연산을 여러 축에서 함께 사용합니다. 모든 연산을 고정 행렬곱으로 바꾸면 중간 데이터 배치와 덜 찬 행렬 때문에 가속기 효율이 떨어질 수 있습니다[1].
TCP는 입력, 축소, 출력 축을 직접 나타내고 컴파일러가 이를 슬라이스와 이동 경로에 배치합니다. 행렬곱은 유일한 고유 모양이 아니라 흔한 한 사례가 됩니다. ISA가 유연하다고 활용률이 자동으로 높아지는 것은 아닙니다. 소프트웨어가 탐색할 매핑 공간도 함께 커집니다.
슬라이스가 물리적인 분할 가능성을 제공하는 기능
큰 처리 요소를 하나로 쓰거나 작은 슬라이스로 나눌 수 있습니다. 큰 텐서 축약은 자원을 결합하고, 작거나 불규칙한 모양은 일부 연산 레인만 놀리지 않도록 독립 슬라이스를 씁니다. 소프트웨어가 수백 개의 작은 범용 코어를 직접 배정하지 않아도 되는 절충입니다.
분할에는 제어, 피연산자 공급, 부분 결과, 동기화 비용이 있습니다. 연산마다 다르게 나누면 설정 비용이 이득을 먹습니다. TCP는 제한되고 구조적인 분할을 사용해 컴파일러와 데이터 인출망이 동작을 예측할 수 있게 합니다.
평가 대상은 한 행렬의 최고 점유율이 아니라 모델 전체에서 연산 레인이 실제 작업에 쓰인 시간의 비율입니다. 작은 배치의 디코드, 어텐션 투영, 합성곱, 축소 연산이 서로 다른 모양을 만들 때 라우팅과 제어 비용보다 활용률 향상이 커야 합니다.
회선 교환형 페치가 데이터 재사용을 겨냥하는 목표
피연산자 이동은 산술보다 많은 에너지를 쓸 수 있습니다. TCP는 데이터 원천에서 슬라이스까지 경로를 설정해 한 번 읽은 값을 여러 소비자에게 보냅니다. 브로드캐스트와 로컬 버퍼가 추가 재사용을 만들고, 일정이 정해진 뒤에는 패킷마다 라우팅 결정을 하지 않습니다.
텐서 반복 구조를 미리 아는 작업에는 효율적이지만 불규칙한 동적 라우팅에는 덜 맞습니다. 두 전송이 같은 자원을 동시에 가정하지 않도록 매핑 단계에서 충돌을 해결해야 합니다.
384 TB/s 내부 대역폭은 내부 연결망과 SRAM의 능력입니다. 설정 시간, 경로 점유, 멀티캐스트, 막힌 전송을 함께 보고 실제 재사용이 HBM 읽기를 얼마나 줄였는지 확인해야 합니다.
256 MB SRAM은 스케줄링 자원
온칩 SRAM은 가중치, 활성값, 타일을 연산 가까이에 두어 HBM 에너지와 지연을 줄입니다. 컴파일러가 어떤 텐서를 유지하고 이중 버퍼를 쓸지, 마지막 사용 뒤 언제 공간을 재사용할지 정합니다.
용량만 맞아도 포트와 뱅크 충돌로 동시에 읽지 못할 수 있습니다. 목표 슬라이스와 저장 위치도 중요합니다. 컴파일러 비용 모형은 균일한 256 MB가 아니라 실제 경합을 포함해야 합니다.
프리필은 여러 토큰에서 데이터 블록을 재사용해 큰 텐서 축약을 만들지만, 디코드는 적은 연산을 위해 큰 가중치를 반복해서 읽습니다. SRAM이 자주 쓰는 일부 텐서를 잡아도 큰 모델 전체를 담지는 못합니다.
정밀도는 산술과 이동을 함께 바꾸는 방식
BF16 256 TOPS, FP8·INT8 512 TOPS, INT4 1,024 TOPS는 낮은 정밀도에서 같은 폭에 더 많은 연산을 넣었을 때의 최고치입니다. 모델 품질이 형식을 허용하고 변환 비용이 작아야 실제 이득이 됩니다.
낮은 정밀도는 가중치와 활성값의 바이트 수도 줄여 대역폭 제한 단계에 더 큰 영향을 줄 수 있습니다. 혼합 정밀도 누산, 크기 계수, 영점, 이상값 처리는 메타데이터와 연산을 추가합니다. TOPS를 비교할 때는 이 비용을 포함하고 결과 품질이 같은지도 확인해야 합니다.
프리필과 디코드는 다른 강점을 요구하는 조건
프리필은 입력 토큰을 병렬로 처리해 큰 행렬과 높은 재사용을 만들고, 디코드는 활성 시퀀스마다 다음 토큰 한 단계를 처리하며 가중치를 반복해서 읽습니다. 큰 배치는 재사용을 높이지만 대화형 서비스의 지연 목표가 대기 시간을 제한합니다.
TCP는 프리필에는 결합한 큰 처리 요소를, 활용하기 어려운 디코드 모양에는 작은 슬라이스를 쓰려 합니다. 48 GB HBM3와 1.5 TB/s 외부 대역폭은 여전히 가중치 스트리밍의 상한입니다. 150 W 안에서 연산 레인을 놀리지 않고 유효 작업을 유지해야 합니다.
한 배수보다 배치와 시퀀스별 곡선이 중요합니다. 연산과 메모리 병목이 바뀌는 지점, 작은 모양에서 슬라이스의 효과, 컴파일러가 데이터 배치를 바꿀 때 성능이 어떻게 이어지는지를 보여 줘야 합니다.
최고 사양에 필요한 세 분모
최고 TOPS는 산술, 384 TB/s는 내부 이동, 1.5 TB/s는 외부 이동 능력입니다. 어느 하나만으로 응용 성능을 예측할 수 없습니다. 실제 연산량, 유효 연산당 외부 전송 바이트, 지속적인 보드·시스템 전력을 함께 봐야 합니다.
내부 대역폭은 HBM 읽기를 재사용으로 바꿀 때 가치가 있습니다. 그렇지 않으면 완료 추론을 늘리지 않고 데이터만 순환할 수 있습니다. TDP도 설계 범위이며 작업 실측 전력과 다를 수 있습니다.
경쟁 장치를 비교할 때는 HBM, 호스트, 냉각의 포함 여부에 따라 와트당 성능이 달라집니다. 논문의 배수는 선언한 설정에서 얻은 근거이며, 조건을 맞춘 전체 시스템 측정을 대신하지 않습니다.
컴파일러 탐색이 운영 위험
텐서 축약 매핑은 축 순서, 타일링, 슬라이스 묶음, 데이터 배치, 회선 경로, 버퍼링, 정밀도를 포함합니다. 휴리스틱과 분석 모형이 후보를 줄이고 자동 튜닝이 실리콘에서 검증합니다. 모델이 자주 바뀌어도 컴파일 시간이 실용적이어야 합니다.
동적 모양에는 미리 준비한 여러 일정이나 안전한 실행 시점 선택이 필요합니다. 한 배치에 최적화한 일정이 다른 배치에서는 슬라이스를 낭비할 수 있습니다. 지원하지 않는 연산에는 CPU 이동과 연산 그래프 결합의 단절을 최소화한 대체 실행 경로가 필요합니다.
도구는 HBM·SRAM 용량, 뱅크 충돌, 네트워크 경로, 연산기 점유율 중 무엇이 제한인지 보여 줘야 합니다. 이 관측이 있어야 논문 밖 작업에서도 유연성이 유지되는지 확인할 수 있습니다.
비교가 증명하고 남기는 것
Llama-2 7B의 2.7배와 4.1배 와트당 성능은 선택한 시퀀스, 배치, 정밀도, 소프트웨어, 전력 가정의 결과입니다. 학습, 대형 모델, 모든 지연 목표, 이후 소프트웨어에서도 H100·L40S보다 항상 낫다는 증명은 아닙니다.
공개 경쟁 결과를 사용하면 계산이 같아도 시스템 판과 측정 방식이 다를 수 있습니다. 모델 구현, 품질, 요청 흐름, 전력 계측 경계를 맞춘 실험이 주장을 강화합니다.
실리콘 사양과 종단 간 결과는 논문상의 설계안보다 강한 근거입니다. 남은 질문은 컴파일러가 새로운 어텐션, 희소 라우팅, 멀티모달 연산자, 양자화를 얼마나 빨리 지원하는지입니다.
배포 평가에 포함할 것
프리필·디코드, 합성곱, 어텐션, 축소 연산, 불규칙 축, 동적 모양, 정밀도 전환을 하나의 시험군으로 평가해야 합니다. 활용률, 지연 분포, SRAM 상주, HBM 대역폭, 내부 네트워크 정체, 실측 전력을 공개해야 합니다.
컴파일러 최초 실행과 튜닝 시간을 재고, 기존에 보지 못한 연산과 모양을 넣어야 합니다. 각 정밀도의 수치 품질과 여러 모델의 동시 실행도 확인합니다. 마지막으로 호스트, HBM 용량, 보드 전력, 냉각, 소프트웨어, 대체 실행 경로를 포함한 시스템 비용을 비교해야 합니다.
운영 환경에서는 컴파일 결과의 재현성도 성능만큼 중요합니다. 같은 모델을 다시 빌드했을 때 슬라이스 배치와 데이터 이동 경로가 달라지면 성능 회귀의 원인을 찾기 어렵습니다. 컴파일러 판, 자동 튜닝 탐색 범위, 선택한 일정의 식별자를 실행 결과와 함께 남겨야 하며, 새 일정은 기존 일정과 같은 품질 조건에서 비교해야 합니다. 그래야 유연한 하드웨어가 검증하기 어려운 소프트웨어 변동성으로 바뀌지 않습니다.
150 W 가속기는 한 벤치마크의 TOPS/W보다 대수적 유연성으로 필요한 장치의 수와 종류를 줄일 때 가치가 있습니다.
텐서 구조를 보존하는 추상화가 핵심
TCP의 핵심은 컴파일러가 보는 연산 추상화를 실제 대수 구조에 맞추고, 실행 시점에도 그 단위를 나눌 수 있게 한 데 있습니다. 소프트웨어가 새 연산자를 계속 지원한다면 고정 배열과 범용 GPU 사이의 유효한 선택지가 될 수 있습니다. 앞으로 확인할 것은 다양한 배포 환경에서 컴파일러 성숙도와 활용률이 함께 유지되는지입니다.
컴파일러 지원 범위가 실제 이용률을 결정하는 기준
유연한 텐서 엔진은 소프트웨어 스택이 여러 연산자를 불필요한 데이터 변환이나 대체 실행 경로 없이 배치할 때만 실리콘 면적에 들인 비용을 회수합니다. 텐서 축약 연산의 형태, 데이터 배치, 희소성, 정밀도, 연산 결합 경계는 모델마다 다릅니다. 특정 커널에서 연산기를 계속 가동하더라도 전체 실행 그래프가 텐서 재배치와 외부 메모리 이동에 시간을 쓰면 응용 전체 성능은 낮아집니다. 따라서 최대 효율은 하드웨어 기능을 설명할 뿐 실제 응용에서 그 기능을 사용하는 비율은 알려 주지 않습니다.
평가에서는 실행 그래프의 지원 범위와 기본 경로를 벗어날 때의 비용을 함께 봐야 합니다. 대표 모델마다 TCP에서 실행한 시간의 비율, 메모리 계층별 이동 바이트, 데이터 배치 변환 시간, 대체 경로의 지연, 새 연산자 지원에 필요한 작업량을 보고해야 합니다. 버전이 표시된 모델 실행 추적을 사용하면 컴파일러 개선이 지원 범위를 넓혔는지, 아니면 기존 일부 연산만 더 빠르게 만들었는지 알 수 있습니다. 구매 판단에는 연산 배치와 데이터 이동을 모두 포함한 뒤 목표 모델 묶음에서 와트당 완료한 작업량을 써야 합니다.
출처와 저작권 안내
이 글은 원문을 우리 표현으로 재서술한 편집 요약입니다. 논문의 문장·도판·표를 복제하지 않았고 도판은 새로 만들었습니다. 공식 프로시딩 판본은 (c) IEEE 2024입니다.