인간 피드백 강화학습(RLHF)은 화이트보드 위에서는 말끔하다. 액터가 응답을 생성하고, 크리틱과 레퍼런스 정책, 리워드 모델이 채점하고, 액터와 크리틱이 그 결과로 배운다. GPU 클러스터에서는 그 말끔함이 증발한다. 상자 하나하나가 저마다의 텐서·파이프라인·데이터 병렬화로 샤딩된 분산 LLM이고, 화살표 하나하나가 서로 다른 두 샤딩 배치 사이의 다대다 재배치이기 때문이다. ByteDance와 홍콩대는 EuroSys 2025에서 이 문제의 시스템적 답을 발표했고[1], 그 답은 이후 인프라가 되었다. HybridFlow는 오픈소스 프레임워크 verl 내부의 설계이고, 추론 모델 붐의 상당 부분이 지금 그 위에서 RL 사후학습을 돌린다. 논문의 주장은 당대 RLHF 시스템 대비 1.53~20.57×의 처리량 향상이지만, 더 오래 남을 기여는 새 RL 알고리즘을 재작성이 아니라 몇 줄짜리 수정으로 만든 프로그래밍 모델이다.

아래는 그 논지를 우리 표현으로 정리한 것이다.

반씩만 맞는 두 패러다임

분산 ML이 데이터플로를 돌리는 방식은 둘이다. 단일 컨트롤러는 그래프 전체를 소유하고 모든 연산을 원격 워커에 내려보낸다. 최대로 유연하지만, 노드가 수십억 연산자의 LLM이면 스텝마다 디스패치 메시지가 클러스터를 건너다니느라 파멸적으로 수다스러워진다. 멀티 컨트롤러는 장치마다 자기 프로그램을 준다. 제어가 CPU에서 GPU로 가는 빠른 경로에 머무니 디스패치 비용이 사라지고, Megatron류 학습과 현대 서빙 엔진이 모두 이 방식인 이유가 그것이다. 대신 데이터플로 논리가 어디에도 살지 않게 된다. 각 모델의 스크립트가 이웃으로의 송수신을 직접 코딩해야 하므로, RLHF 그래프의 간선 하나를 바꾸려면 의존하는 모든 모델의 프로그램을 고쳐야 한다. 2024년 세대의 RLHF 시스템들(DeepSpeed-Chat, OpenRLHF, NeMo-Aligner)[2][3][4]은 모두 멀티 컨트롤러 쪽을 골랐고 그 경직성을 물려받았다. 배치 계획 하나, 실행 패턴 하나, PPO 하나, 그리고 통신과 연산이 한데 꼬인 코드베이스다.

HybridFlow의 관찰은 이 선택이 전역적으로 할 때에만 강요된다는 것이다. RLHF 그래프의 노드는 몇 개뿐이라 노드 수준에서 지휘하는 단일 컨트롤러의 비용은 거의 없다. 비쌌던 것은 노드 안에서 연산자를 디스패치하는 일뿐이다. 그래서 이 프레임워크는 그래프 위에 Ray 기반 컨트롤러 하나를[6], 각 모델 안에 멀티 컨트롤러 워커 그룹을 돌린다. 모델 클래스(학습은 Megatron-LM, FSDP, DeepSpeed 위에, 생성은 vLLM 위에)가 분산 연산을 generate_sequences나 update_actor 같은 원시 호출 뒤로 캡슐화하고, 모든 호출에는 전송 프로토콜이 붙는다. 모델 자신의 샤딩에 맞춰 출력을 모으는 collect 함수와, 소비자의 샤딩에 맞춰 입력을 흩뿌리는 distribute 함수다. 데이터는 GPU에서 GPU로 직접 움직이고 컨트롤러에는 퓨처만 지나간다. 보상은 코드 줄 수로 측정된다. PPO는 컨트롤러 스크립트 8줄이고[5], Safe-RLHF는 5줄을 더하고, ReMax는 크리틱을 지우고 생성 호출 하나를 더하는데, 어느 쪽도 모델 내부는 건드리지 않는다.

HybridFlow의 하이브리드. a, RLHF 데이터플로. 액터가 생성하고, 채점 모델 셋이 순전파를 돌리고, 액터와 크리틱이 학습한다. 간선마다 서로 다른 두 샤딩 배치 사이의 재배치가 일어난다. b, LLM 크기의 노드에 연산을 내려보내는 단일 컨트롤러는 조정 트래픽에 익사하고, 순수 멀티 컨트롤러는 데이터플로를 모든 모델의 스크립트 속에 파묻는다. HybridFlow는 그래프 위에 컨트롤러 하나, 노드 안에 여럿을 돌려 알고리즘 변경이 오케스트레이션 스크립트에서만 일어나게 한다. 이 글을 위해 새로 만든 도판.

값을 두 번 치르지 않고 액터를 옮기기

가장 무거운 노드는 액터다. 매 반복에서 학습(연산 위주, 넓은 모델 병렬화를 원함)과 생성(메모리 위주, 작은 복제본 여럿을 원함)을 둘 다 한다. 기존 시스템들은 이 불일치를 서로 다른 세 방식으로 서투르게 다뤘다. NeMo-Aligner는 학습 배치를 생성에도 그대로 써서 GPU를 놀렸고, OpenRLHF는 액터 사본 둘을 다른 장치에 두고 반복마다 가중치를 동기화했으며, DeepSpeed-Chat은 같은 장치에서 리샤딩하되 그 과정에서 모든 GPU에 전체 모델을 모았는데, 70B 모델이면 이 전송이 반복 시간의 3분의 1을 먹을 수 있다. HybridFlow의 3D-HybridEngine은 가중치 사본 하나를 한 GPU 집합에 두고, 학습 배치(p-t-d)와 더 작은 텐서 병렬 그룹 + 마이크로 데이터 병렬 복제본의 생성 배치 사이를 제자리에서 리샤딩한다. 요령은 생성 그룹을 긋는 방식에 있다. 각 GPU의 생성 샤드가 자기 학습 샤드와 겹치도록 랭크를 일정 간격으로 배정해서, 전환이 마이크로 그룹 내부에 갇힌 all-gather가 되고, 중복 가중치는 어디에도 상주하지 않는다. 베이스라인 대비 전환 시간이 평균 55.2% 줄고 70B에서는 최대 89.1%(반복당 78.2초)까지 줄며, 생성 텐서 병렬을 좁힐 자유가 바로 이득으로 돌아온다. 학습 폭에서 2-way로 내리면 7B 생성 지연이 60.3% 줄어든다.

남은 자유도인 배치에는 관례 대신 최적화기가 붙는다. 모델을 가상 자원 풀에 묶는 방식이라 모델-장치 분할의 어떤 조합도 표현할 수 있고, 자동 매핑 알고리즘이 배치들을 열거하고(PPO의 모델 4개면 15가지), 동거 집합마다 메모리 하한으로 GPU 수를 정하고, 시뮬레이터로 모델별 병렬화를 탐색해 반복 시간이 가장 짧은 계획을 고른다. 이 탐색은 고정 배치 시스템들이 알고도 쓸 수 없던 운영의 진실을 재현한다. 대략 64 GPU까지는 전부 동거시키는 편이 이기고, 중간 규모에서는 학습 모델과 채점 모델을 가르는 편이 이기며, 128 GPU에서는 완전 독립 배치가 이긴다. 알고리즘은 이 교차점들을 CPU 시간 30분 안에 혼자 찾아낸다.

액터 사본 하나, 배치 둘. 학습은 액터를 넓게(큰 텐서 병렬 그룹) 돌리고, 생성은 좁은 복제본 여럿을 원한다. 3D-HybridEngine은 각 GPU의 학습 샤드와 겹치게 생성 그룹을 그어, 전환을 마이크로 데이터 병렬 그룹 안의 all-gather로 만든다. 전체 모델 수집도, 두 번째 가중치 사본도 없이 전환 시간이 평균 55.2%, 70B에서 최대 89.1% 줄어든다. 이 글을 위해 새로 만든 도판.

숫자가 말하는 것

A100 128장에서 7B~70B Llama 계열 모델로, HybridFlow는 PPO 처리량 기준 DeepSpeed-Chat을 평균 3.67×(최대 7.84×), OpenRLHF를 평균 3.25×(최대 5.93×), NeMo-Aligner를 평균 12.52×(최대 20.57×) 앞선다. ReMax와 Safe-RLHF에서도 비슷한 격차이고, 전환 오버헤드가 베이스라인을 지배하는 70B에서 평균 이득이 가장 크다(9.64×). 강한 확장 효율은 알고리즘과 크기 전반에서 평균 66.8%다. 설정이 함의하는 단서도 짚어 두자. 헤드라인 실험에서는 네 모델이 같은 크기이고, 연속 배칭이 없는 베이스라인들과의 공정성을 위해 응답 길이가 고정되어 있으며, 최대 배율은 KV 캐시 없는 생성 엔진 탓에 반복 시간의 최대 81.2%를 생성에 쓰던 NeMo-Aligner를 상대로 측정된 것이다. 가장 공정한 독법은 범위의 꼭대기가 아니라 모양이다. 데이터플로의 각 모델이 자기 워크로드가 원하는 병렬화와 배치를 받기 때문에, 튜닝이 아니라 구조에 의해 모든 베이스라인을 모든 곳에서 이긴다.

우리가 읽어낸 것

2026년에 이 논문을 재는 척도는 산출물이 벤치마크를 넘어 자랐다는 사실이다. verl은 이제 공개 RL 사후학습 작업의 기본 기판이고, 추론 모델 붐은 RL 처리량을 일차적인 경제 변수로 만들었으며, 여기 담긴 아이디어들(하이브리드 제어, 프로토콜이 매개하는 리샤딩, 제자리 액터 전환)이 프레임워크 하나가 재작성 없이 알고리즘을 연이어 흡수하게 한 장본인이다. 공급망 관찰 하나도 보탤 만하다. 같은 회사의 Seed 팀이 프런티어 모델을 학습하고, 본지가 딥시크의 하드웨어 주문서[7]에서 다룬 수요 측은 RL이 학습 진도를 추론 토큰 속도에 묶는다고 지적했다. HybridFlow는 그 의존성을 소프트웨어 쪽에서 본 모습이다. 생성이 이제 학습 루프 안에 들어와 있으며, 서빙 시스템과 학습 시스템의 경계가 조직도의 편의이기를 멈추고 리샤딩 문제가 되었다는 자인이다. 우리는 하이브리드 컨트롤러 아이디어가 RLHF 너머로 일반화된다고 본다. 그래프는 작지만 노드가 거대한 워크로드(에이전트 파이프라인과 멀티 모델 시스템이 점점 그렇다)라면, 이 논문이 거부한 바로 그 양자택일과 마주치게 된다.

출처와 저작권 안내

이 글은 Silicon and Systems가 작성한 편집 요약으로, 아래에 인용한 논문의 논지를 우리 표현으로 재서술한 것이다. 원문의 문장, 도판, 표는 이 글에 재사용하지 않았으며, 이 페이지의 도판은 모두 이 요약을 위해 새로 제작했다. 논문은 EuroSys 2025에서 발표되었고, 확정본은 Proceedings of the Twentieth European Conference on Computer Systems에 실려 있다. (c) 2025 the authors, publication rights licensed to ACM. 저자 준비판은 arXiv:2409.19256에서 열람할 수 있다.