대부분의 AI 가속기는 고정된 행렬 곱 형태를 제공하고 컴파일러가 모든 연산을 그 틀에 나누어 넣도록 합니다. FuriosaAI의 ISCA 2024 논문은 이 관계를 뒤집습니다. 행렬 곱을 포함하는 더 일반적인 텐서 축약을 기본 연산으로 두고, 현재 텐서의 축에 맞춰 하드웨어 자원을 다시 묶습니다[1].
작은 코어의 부담 없이 나뉘는 처리 요소
TCP는 많은 소형 코어 대신 큰 처리 요소(PE)를 사용합니다. 각 PE는 하나의 큰 유닛으로 동작하거나 여러 슬라이스로 나뉩니다. 회선 교환형 페치 네트워크가 슬라이스와 데이터 소스를 연결해 하나의 입력을 여러 컴퓨트 유닛이 재사용합니다. 컴파일러는 텐서 모양, 루프 순서, 분할 방식, 슬라이스 토폴로지를 함께 탐색합니다.
이 구조는 고정 배열과 소형 코어 사이의 절충안입니다. 고정 배열은 프로그래밍하기 쉽지만 모양이 맞지 않으면 연산기가 쉽니다. 작은 코어는 유연하지만 스케줄링과 네트워크 제어가 소프트웨어 부담이 됩니다. TCP는 큰 단위의 프로그래밍 모델을 유지하면서 필요한 순간에만 물리 연산기를 나눕니다.
메모리 비중이 큰 150 W 설계
5nm 칩에는 내부 대역폭 384 TB/s의 SRAM 256 MB와 대역폭 1.5 TB/s의 HBM3 48 GB가 들어갑니다. 최고 연산량은 BF16 256 TOPS, FP8 또는 INT8 512 TOPS, INT4 1,024 TOPS이며 TDP는 150 W입니다. 중요한 주장은 최고치보다 여러 프리필·디코드 모양에서 실제 활용률을 유지한다는 데 있습니다.
논문은 시험한 Llama-2 7B 구성에서 H100보다 2.7×, L40S보다 4.1× 높은 와트당 성능을 보고합니다. 공개된 NVIDIA 결과를 비교 대상으로 사용했으므로 이 수치는 해당 시퀀스 길이, 배치, 정밀도, 전력 조건의 결과입니다. 모든 모델에 적용되는 서열로 읽으면 안 됩니다.
우리가 읽은 결론
TCP의 핵심은 컴파일러가 보는 연산 추상화를 실제 대수 구조에 맞추고, 실행 시점에도 그 단위를 나눌 수 있게 한 데 있습니다. 소프트웨어가 새 연산자를 계속 지원한다면 고정 배열과 범용 GPU 사이의 유효한 선택지가 될 수 있습니다. 앞으로 확인할 것은 다양한 배포 환경에서 컴파일러 성숙도와 활용률이 함께 유지되는지입니다.
출처와 저작권 안내
이 글은 원문을 우리 표현으로 재서술한 편집 요약입니다. 논문의 문장·도판·표를 복제하지 않았고 도판은 새로 만들었습니다. 공식 프로시딩 판본은 (c) IEEE 2024입니다.