대규모 행동 모델(Large Behavior Model, LBM)은 보스턴 다이내믹스가 Atlas의 전신 조작 영상을 공개하면서 널리 알려진 용어입니다. 이 글은 TRI(Toyota Research Institute)의 LBM 논문과 Atlas 적용 사례를 근거로 LBM이 무엇을 입력받아 무엇을 출력하는지, 어떤 데이터와 평가로 만들어졌는지 정리하고, 같은 시기에 주목받는 VLA와 어떤 점이 다른지 비교합니다.
한 문장 정의: 많은 과제의 시연으로 사전학습한 언어 조건부 정책
TRI의 LBM 논문은 LBM을 여러 과제의 로봇 시연으로 사전학습한 다과제 시각·운동 정책으로 다루고, 그 구조가 Diffusion Policy 패러다임을 확장한 것이라고 밝힙니다. 카메라 영상, 로봇의 고유수용 감각(관절 위치 등), 언어 지시를 입력받아 앞으로 몇 스텝 동안의 연속 행동을 한 번에 생성합니다.
LLM처럼 “크기가 커서 대규모"라는 뜻보다는 “많은 과제와 많은 시간의 시연으로 학습해 새 과제에 빨리 적응한다"는 뜻에 가깝습니다. 논문 초록이 강조하는 결론도 세 가지입니다. 다과제 사전학습 정책이 단일 과제 정책보다 성공률과 강건성이 높고, 새 과제를 더 적은 데이터로 배우며, 사전학습 규모와 다양성이 커질수록 성능이 예측 가능하게 오릅니다.
TRI LBM의 내부 구조와 학습 데이터
논문 본문 4장의 설정을 표로 옮기면 다음과 같습니다.
| 구성 요소 | TRI LBM 설정 |
|---|---|
| 생성 방식 | DDIM 기반 확산, 잡음 예측 네트워크는 Diffusion Transformer(DiT) 8블록, 임베딩 768 |
| 시각 인코더 | 사전학습 CLIP ViT-B/16의 CLS 토큰, 학습 중 미세조정 |
| 언어 인코더 | CLIP 텍스트 인코더(고정) + 학습 가능한 투영층 |
| 관측 입력 | 관측 2스텝, RGB 이미지 최대 6장, 고유수용 감각, 언어 지시 1개 |
| 행동 출력 | 20차원 행동 16스텝을 예측하고 앞 8스텝을 실행, 10Hz |
| 로봇 플랫폼 | Franka FR3 팔 2개로 구성한 테이블 위 양팔 조작 스테이션 |
사전학습 데이터 구성은 이 연구에서 가장 구체적으로 공개된 부분입니다. 논문은 전체 데이터를 약 1,695시간(본문 서두에서는 약 1,700시간으로 표기)으로 밝히고, 그 안을 다음처럼 나눕니다.
- TRI-Ramen-Real: 468시간, 362개 과제, 46,063개 시연, 하드웨어 스테이션 9곳
- TRI-Ramen-Sim: 45시간, 41개 과제, 7,348개 시연, 시뮬레이션 스테이션 2곳
- TRI-Ramen-UMI: 32시간, 129개 과제, 10,851개 시연
- OXE-Ramen: Open X-Embodiment 데이터셋의 일부, 약 1,150시간
TRI가 직접 모은 데이터만 545시간·532개 과제이고, 나머지는 공개 데이터셋에서 골라 온 것입니다. 사람 시연을 어떻게 모으고 품질을 관리하는지는 원격조작 실데이터와 합성 데이터 비교에서 정리한 기준과 같은 문제입니다.
평가 설계가 결론만큼 중요한 이유
TRI 논문이 “신중한 검토(careful examination)“를 제목에 넣은 이유는 평가 방법에 있습니다. 실제 로봇에서는 과제·정책·조건마다 50회, 시뮬레이션에서는 200회씩 실행했고, 평가자가 어떤 정책을 시험하는지 모르게 하는 블라인드 방식과 무작위 순서, 고정된 초기 조건 묶음을 썼습니다. 성공률은 베이지안 사후분포로 보고하고, 여러 정책을 비교할 때는 Bonferroni 보정과 Compact Letter Display로 통계적으로 구분되는지를 표시했습니다.
이 설계를 거친 결과가 데이터 효율 수치입니다. 논문에 따르면 실제 과제 SetBreakfastTable에서 데이터의 15%만으로 미세조정한 LBM이 전체 데이터로 학습한 단일 과제 정책보다 통계적으로 나았고, 시뮬레이션에서는 처음부터 학습하는 경우에 필요한 데이터의 30% 미만으로 비슷한 성능에 도달했습니다. 영상 몇 개로 “잘 된다"를 보여주는 데모와 달리, 어느 조건에서 어떤 차이가 통계적으로 의미 있는지를 함께 보고한 점이 이 논문을 읽을 가치로 만듭니다.
Atlas 적용 사례: 같은 아이디어를 전신 휴머노이드로
보스턴 다이내믹스와 TRI의 협업 결과를 소개한 Atlas LBM 블로그는 같은 아이디어를 이동하며 조작하는 휴머노이드로 넓힌 사례입니다. 주요 설정은 다음과 같습니다.
- 모델: 4억 5천만(450M) 파라미터 Diffusion Transformer, flow matching 목적함수로 학습
- 입력: 머리에 단 HDR 스테레오 카메라 영상, 고유수용 감각, 목표를 지정하는 언어 프롬프트
- 출력 주기: 30Hz로 Atlas 전체를 제어, 길이 48(1.6초)의 행동 묶음을 예측하고 보통 24개(0.8초)를 실행
- 행동 공간: 양손 그리퍼 관절, 목 회전, 몸통 자세, 양손 자세, 양발 자세
- 데이터 수집: 보스턴 다이내믹스의 MPC 제어기 위에 만든 VR 원격조작, 시뮬레이션 데이터와 함께 학습
블로그는 Spot 다리 접기, 부품 분류, 상자 정리를 이어서 하는 장기 과제와, 22파운드 타이어 다루기, 밧줄 묶기, 식탁보 펼치기 같은 과제를 예로 듭니다. 같은 글은 추론 시 실행 속도를 약 1.5~2배 높여도 성능이 크게 떨어지지 않았다고 적고 있습니다. 행동 공간에 발 자세가 들어 있다는 점이 테이블 위 양팔 스테이션과 가장 큰 차이로, 걷기·균형은 하위 MPC 제어기가 맡고 LBM은 목표 자세를 내는 역할 분담 구조입니다. 이 구조는 휴머노이드 보행·전신 제어에서 다룬 계층형 제어와 맞닿아 있습니다.
LBM과 VLA를 같은 축에서 비교하기
LBM과 VLA는 둘 다 영상과 언어를 받아 행동을 낸다는 점에서 같지만, 무엇에서 출발하는지가 다릅니다. VLA는 인터넷 규모 데이터로 사전학습된 비전-언어 모델(VLM)을 뼈대로 쓰고, LBM은 비교적 작은 인코더와 확산 트랜스포머를 로봇 시연 데이터 중심으로 학습합니다. VLA 내부 구조는 VLA 파이프라인 분석에서 따로 다뤘습니다.
| 항목 | TRI LBM | Atlas LBM | OpenVLA | π0 |
|---|---|---|---|---|
| 뼈대 | CLIP ViT-B/16 + CLIP 텍스트 + DiT | Diffusion Transformer (450M) | Llama 2 + DINOv2·SigLIP (7B) | PaliGemma 3B + 행동 전문가 300M (총 3.3B) |
| 행동 생성 | 확산(DDIM) | flow matching | 이산 토큰(차원별 256구간) | flow matching |
| 제어 주기 | 10Hz | 30Hz | RTX 4090 bf16에서 약 6Hz | 최대 50Hz |
| 언어 이해 출처 | CLIP 텍스트 인코더 | 언어 프롬프트 | LLM 사전학습 | VLM 사전학습 |
OpenVLA 값은 OpenVLA 논문, π0 값은 π0 논문에서 확인한 것입니다. 표에서 보듯 경계는 점점 흐려지고 있습니다. π0처럼 VLM 위에 flow matching 행동 전문가를 붙인 VLA는 LBM과 행동 생성 방식이 같고, LBM도 언어 조건을 받습니다. 실무적으로는 “언어·상식 일반화가 얼마나 필요한가"와 “우리 로봇의 시연을 얼마나 모을 수 있는가"가 어느 쪽 설계를 따를지 정하는 기준이 됩니다.
오해하기 쉬운 세 가지
첫째, LBM은 공개 모델 이름이 아닙니다. TRI와 보스턴 다이내믹스가 쓰는 연구 개념이고, 두 사례도 모델 크기·행동 공간·제어 주기가 서로 다릅니다. “LBM을 쓴다"는 말은 “많은 과제 시연으로 사전학습한 확산 계열 정책을 쓴다"로 읽는 것이 정확합니다.
둘째, 데이터 효율 수치는 조건부입니다. TRI 논문의 15%, 30% 미만이라는 값은 특정 과제와 단일 과제 기준선에 대한 비교이고, 사전학습 데이터 분포와 비슷한 과제일수록 효과가 클 것으로 보는 것이 합리적입니다.
셋째, 모델보다 평가 체계가 먼저입니다. 정책 하나를 바꿀 때마다 같은 초기 조건으로 반복 평가할 수 있어야 사전학습 효과를 판단할 수 있습니다. 직접 정책을 학습해 보려면 LeRobot ACT 학습 가이드처럼 작은 로봇에서 시연 수집과 반복 평가 체계를 먼저 갖추는 것이 순서입니다.
LBM 방식 도입을 검토할 때 먼저 정할 것
- 로봇의 행동 공간과 제어 주기를 정의합니다. 관절 각도를 직접 낼지, 손·발 목표 자세를 내고 하위 제어기에 맡길지에 따라 데이터 형식이 달라집니다.
- 여러 과제를 같은 형식으로 모을 수 있는 원격조작 장비와 시연 품질 기준을 만듭니다.
- 공개 데이터셋(Open X-Embodiment 등)과 자체 데이터의 비율을 기록하고, 사전학습 유무를 비교할 수 있게 기준 정책을 남겨 둡니다.
- 과제별로 초기 조건 묶음과 반복 횟수를 정하고 평가자 블라인드 규칙을 둡니다.
이 네 가지가 준비되면 모델 크기나 생성 방식(확산, flow matching)은 GPU 예산과 제어 주기에 맞춰 고를 수 있습니다. 실제 로봇에 올릴 연산 장치 산정은 VLA 엣지 하드웨어 산정 가이드의 절차를 같은 방식으로 적용할 수 있습니다.