월드 모델로 로봇 학습 데이터 늘리기: NVIDIA Physical AI Data Factory Blueprint의 선별·증강·평가 구조

로봇 정책 학습에서 데이터를 늘리는 방법은 크게 두 갈래입니다. 시뮬레이터에서 시연을 변형해 새 궤적을 만드는 방법과, 이미 있는 영상의 조명·배경·질감을 생성 모델로 바꿔 관측 다양성을 늘리는 방법입니다. NVIDIA가 GTC 2026에서 발표한 Physical AI Data Factory Blueprint는 두 번째 갈래를 선별·증강·평가 단계로 묶은 참조 아키텍처입니다. 이 글은 구성요소별 역할과 공개 상태를 정리하고, 시뮬레이션 기반 합성 데이터와 언제 어떻게 함께 쓸지 판단 기준을 제시합니다.

한 문장 정의: 데이터를 만들고 늘리고 거르는 흐름의 설계도

NVIDIA 보도자료(2026-03-16)는 이 블루프린트를 학습 데이터의 생성·증강·평가를 통합하고 자동화하는 공개 참조 아키텍처로 소개합니다. 대상은 비전 AI 에이전트, 로봇, 자율주행이고, 데이터 선별, 합성 데이터 생성, 강화학습, 모델 평가를 지원한다고 설명합니다.

핵심은 “새 모델"이 아니라 “기존 도구를 잇는 순서"라는 점입니다. 블루프린트를 이루는 구성요소는 각각 별도 저장소와 라이선스를 가진 독립 프로젝트이고, 블루프린트는 이를 어떤 순서로 연결해 어떤 산출물을 다음 단계에 넘길지를 정합니다.

네 구성요소가 맡는 역할

표의 역할 설명은 보도자료를, 공개 상태는 각 저장소 README를 기준으로 했습니다. Cosmos Curator는 영상 분할·주석·필터링·중복 제거·데이터셋 생성을 기능으로 내세우고, 분산 처리는 Ray Data와 Cosmos-Xenna 라이브러리로 합니다.

보도자료는 Evaluator와 Azure 툴체인은 발표 시점에 GitHub에 공개했고, 블루프린트 전체는 4월 공개 예정이라고 적었습니다. 이 글을 쓰는 시점에 블루프린트를 하나로 묶은 저장소 위치는 공식 문서에서 확인하지 못했으므로, 도입을 검토한다면 구성요소 저장소부터 개별로 시작하는 것이 현실적입니다.

증강 단계: 제어 입력으로 장면을 바꾸는 방식

증강의 중심인 Cosmos Transfer는 원본 영상을 그대로 픽셀 단위로 고치는 것이 아니라, 원본에서 뽑은 구조 정보를 조건으로 새 영상을 생성합니다. Cosmos Transfer 2.5 README에 따르면 이 모델은 여러 영상 모달리티를 입력으로 받는 multi-controlnet 구조이고, 제어 입력으로 깊이, 분할, 에지, 블러를 지원합니다. README의 “Simulation 2 Real Augmentation” 예시는 로봇 팔 시뮬레이션 영상에서 분할·깊이·에지 맵을 계산한 뒤 이를 조건으로 사실적인 영상을 생성해, 3D 시뮬레이션의 시각 품질을 높이는 데 드는 노력을 줄이는 방식을 보여줍니다.

버전 상태는 주의가 필요합니다. 같은 README는 Transfer 2.5 저장소가 더 이상 활발히 개발되지 않고 제한적인 유지보수만 받는다고 밝히고 새 작업에는 Cosmos 3를 안내합니다. NVIDIA/Cosmos 저장소는 Cosmos 3를 Mixture-of-Transformers 기반의 omnimodal 월드 모델 묶음으로 설명하고, 하나의 모델에 텍스트·영상을 이해하는 Reasoner와 영상·소리·행동을 생성하는 Generator 두 인터페이스를 둡니다. 크기는 Super 64B, Nano 16B, Edge 4B 세 가지이고 라이선스는 OpenMDW-1.1입니다. 월드 모델이 다음 장면을 예측하는 원리 자체는 월드 모델 잠재 공간 구조에서 따로 다뤘습니다.

평가 단계: 생성된 영상을 믿을 수 있는지 거르기

생성 모델은 원본에 없던 물체를 만들거나 있던 물체를 지울 수 있습니다. 행동 레이블을 원본 시연에서 그대로 가져오는 증강에서는 이것이 치명적입니다. 영상 속 컵이 다른 위치로 옮겨졌는데 행동은 원래 위치로 손을 뻗는다면 잘못된 학습 데이터가 됩니다.

Cosmos Evaluator README가 공개한 검사는 이 문제를 겨냥합니다.

• 환각 검사(Hallucination Check): 원본과 증강 영상의 움직임 마스크를 비교해 새로 생긴 움직이는 물체와 사라진 물체를 찾습니다.
• 객체 검사(Objects Check): 생성 영상 속 물체(차량, 보행자, 시설물 등)가 월드 모델 정답 위치와 얼마나 맞는지 점수를 매깁니다.
• 속성 검증(Attribute Verification Check): 비전-언어 모델에 질문을 던져 증강 영상이 요구한 속성(예: 비 오는 날, 야간 조명)을 실제로 담았는지 확인합니다.

모든 검사는 REST API 마이크로서비스나 Python API로 호출할 수 있고, 판정 서비스와 PostgreSQL 기반 저장소를 묶은 오케스트레이션 계층이 함께 제공됩니다. 공개된 객체 검사가 차량·보행자 같은 주행 장면 예시를 중심으로 설명돼 있으므로, 로봇 조작 장면에 쓸 때는 집는 물체와 손의 위치가 유지되는지를 보는 기준을 별도로 정의해야 합니다.

시뮬레이션 합성 데이터와 무엇이 다른가

원격조작 실데이터와 합성 데이터 비교에서 다룬 MimicGen 계열은 시뮬레이터 안에서 물체 위치를 바꿔 새 궤적을 만듭니다. 생성 영상 증강은 궤적을 그대로 두고 관측만 바꿉니다. 둘은 경쟁 관계가 아니라 다루는 축이 다릅니다.

조명이나 질감 차이로 실패하는 정책이라면 영상 증강이, 물체 위치가 조금만 바뀌어도 실패하는 정책이라면 시뮬레이션 증식이 먼저입니다. Sim-to-Real 격차 해법에서 다룬 도메인 랜덤화가 시뮬레이터 안에서 시각 조건을 흔드는 방법이라면, 영상 증강은 이미 렌더링된 결과를 사실적으로 바꾸는 방법이라는 점도 구분해 둡니다.

도입 전에 쓸 수 있는 데이터 양을 미리 계산하는 법

증강 파이프라인의 실제 산출량은 생성 수가 아니라 평가를 통과한 수로 결정됩니다. 원본 에피소드 수를 $N$, 원본 1건당 생성하는 변형 수를 $k$, 평가 통과율을 $r$이라 하면 학습에 쓸 수 있는 증강 에피소드 수는 다음과 같습니다.

예를 들어 원본 200건에 변형 5개씩, 통과율 0.6을 가정하면 증강 에피소드는 600건이고 원본까지 합쳐 800건이 됩니다. 이 값은 설명을 위한 가정이며, 실제 $r$은 장면 복잡도와 평가 기준에 따라 크게 달라지므로 소규모 시험 배치로 먼저 측정합니다. 생성 비용은 $N \cdot k$에 비례하고 쓸 수 있는 양은 $r$에 비례하므로, $k$를 늘리기 전에 $r$을 높이는 제어 입력과 프롬프트 조합을 찾는 쪽이 GPU 시간을 아낍니다.

도입 순서는 다음과 같이 잡을 수 있습니다.

1. 정책이 실패하는 원인을 관측 문제(조명·배경)와 배치·접촉 문제로 나눠 기록합니다.
2. 관측 문제가 크면 원본 시연을 Curator로 정리하고, 품질 기준(길이, 흐림, 중복)을 문서로 남깁니다.
3. 원본 수십 건으로 시험 증강을 돌려 $k$와 $r$을 측정하고, 통과 영상을 사람이 표본 검토합니다.
4. 증강 데이터를 섞은 정책과 원본만 쓴 정책을 같은 초기 조건에서 비교합니다.

증강한 데이터로 실제 정책을 학습하는 과정은 GR00T N1.7 파인튜닝 가이드의 데이터 형식을 그대로 따르면 되고, 이 파이프라인이 NVIDIA의 학습·시뮬레이션·배포 구조 중 어디에 놓이는지는 Cosmos·Isaac·GR00T 3-컴퓨터 구조에서 이어서 볼 수 있습니다.