월드 모델은 어떻게 다음 장면을 예측하나: 잠재 공간 구조와 NVIDIA Cosmos 정리

로봇이 컵을 밀면 컵은 미끄러질까요, 넘어질까요? 사람은 실제로 밀어 보기 전에 결과를 머릿속으로 예상합니다. 월드 모델은 이 “미리 상상하기"를 신경망으로 구현한 것입니다. 이 글은 월드 모델의 기본 구조를 2018년 논문의 실제 설계값으로 설명하고, 같은 원리가 DreamerV3와 NVIDIA Cosmos에서 어떻게 커졌는지 정리합니다.

월드 모델의 정의: 행동을 넣으면 다음 상태가 나온다

월드 모델은 현재 관측과 행동을 입력받아 다음 상태를 예측하는 모델입니다. Physical AI 전체 구조에서 보면 VLA가 “무엇을 할지"를 정하고, 월드 모델은 “그렇게 하면 무슨 일이 일어날지"를 답합니다.

대부분의 월드 모델은 고해상도 이미지를 그대로 예측하지 않습니다. 먼저 관측을 작은 잠재 벡터로 압축하고, 그 잠재 공간에서 시간에 따른 변화를 학습합니다. 이렇게 하면 계산량이 줄고, 정책은 수만 개 픽셀 대신 수십 차원의 요약된 상태를 보고 판단할 수 있습니다.

World Models(2018)의 세 부품: V, M, C

Ha와 Schmidhuber의 World Models는 에이전트를 세 부품으로 나눴습니다. 아래 수치는 저자들이 공개한 인터랙티브 논문 페이지에 실린 값입니다.

눈여겨볼 점은 C의 크기입니다. 표현 학습(V)과 미래 예측(M)을 큰 모델에 맡기자 실제로 행동을 고르는 제어기는 파라미터 867개짜리 선형층으로 충분했습니다. 이 에이전트는 CarRacing에서 무작위 트랙 100개 평균 906점(±21)을 받아, 과제 해결 기준인 900점을 넘겼다고 보고됐습니다.

‘꿈속 학습’과 모델 허점 악용 문제

이 논문에서 가장 많이 인용되는 실험은 VizDoom입니다. 제어기를 실제 게임이 아니라 M이 만들어 낸 가상 환경, 즉 “꿈” 속에서만 학습시킨 뒤 실제 환경으로 옮겼습니다. 저자 페이지에 따르면 이 정책은 실제 VizDoom에서 1092(±556) 타임스텝을 버텨 기준인 750을 넘겼습니다.

같은 실험은 월드 모델의 약점도 보여 줍니다. M의 샘플링 무작위성을 정하는 온도 τ를 0.10으로 낮추자, 꿈속에서는 몬스터가 거의 불덩이를 쏘지 않았습니다. 제어기는 이 허점을 학습해 꿈속 점수 2086점을 받았지만 실제 환경에서는 193점에 그쳤습니다. τ를 1.15로 높여 꿈을 더 불확실하게 만들었을 때 실제 환경으로 가장 잘 옮겨졌습니다. 정책은 “모델이 틀린 부분"까지 최적화한다는 점을 기억해야 합니다.

잠재 공간에서 미래를 굴려 보는 계산

월드 모델로 정책을 학습하는 과정은 아래처럼 단순화할 수 있습니다. 실제 구현은 모델마다 다르지만 순서는 같습니다.

# 월드 모델 안에서 H 스텝 앞을 상상하고 행동을 평가하는 개념 코드
z = encoder(observation)            # 관측 → 잠재 벡터 (V)
h = rnn.initial_state()
total_reward = 0.0
for t in range(H):
    action = controller(z, h)        # 정책 (C)
    z, h, reward = dynamics(z, h, action, temperature=tau)  # 다음 상태 예측 (M)
    total_reward += reward
# total_reward로 controller 파라미터를 갱신 (CMA-ES, 액터-크리틱 등)

여기서 encoder, dynamics, temperature가 각각 V, M, τ에 해당합니다. 실제 로봇을 움직이지 않고 이 반복문만으로 수천 번의 시행착오를 할 수 있다는 것이 월드 모델의 실용적 가치입니다.

DreamerV3: 같은 원리를 범용 강화학습으로

DreamerV3는 환경 모델을 학습하고, 그 모델로 상상한 미래 시나리오에서 행동을 개선하는 강화학습 알고리즘입니다. 논문은 정규화·균형 조정·변환 기법을 더해 150개 이상의 서로 다른 과제를 하나의 고정 하이퍼파라미터 설정으로 풀었고, 사람 데이터나 커리큘럼 없이 처음부터 Minecraft에서 다이아몬드를 모은 첫 알고리즘이라고 보고합니다. 과제마다 설정을 다시 맞추지 않아도 된다는 점이 로봇처럼 실험 비용이 큰 분야에서 의미가 큽니다.

NVIDIA Cosmos: 월드 모델을 파운데이션 모델로

Cosmos 논문은 범용 월드 모델을 먼저 크게 학습하고, 각 로봇·차량 환경에 맞게 후속 학습하는 월드 파운데이션 모델(WFM)을 제안합니다. 논문에 공개된 구성은 다음과 같습니다.

2018년 모델이 게임 화면 하나를 32차원 벡터로 압축했다면, Cosmos는 수많은 실제 영상을 압축하는 토크나이저와 수십억 파라미터 예측 모델로 같은 일을 합니다. 로봇 조작용 후속 학습은 영상과 행동 시퀀스를 함께 넣어, 특정 행동을 했을 때의 다음 장면을 예측하도록 만드는 방식입니다. 이렇게 만든 가상 경험은 합성 데이터로도 쓰이며, 합성 데이터와 실제 원격조작 데이터의 비교는 합성 데이터 파이프라인에서 다룹니다.

월드 모델을 쓰기 전에 오해하기 쉬운 점

• 사실적인 영상 ≠ 정확한 물리: 생성된 장면이 자연스러워도 접촉 힘, 미끄러짐 같은 결과는 틀릴 수 있습니다. 로봇 과제에서는 성공률 같은 하위 과제 지표로 평가해야 합니다.
• 학습 분포 밖에서는 약하다: 학습 영상에 없던 카메라 시점, 조명, 물체에서는 예측이 무너질 수 있습니다. 후속 학습 데이터를 내 환경에 맞춰야 하는 이유입니다.
• 정책은 모델의 허점을 찾아낸다: VizDoom의 τ 실험처럼 모델 속 보상만 보고 정책을 고르면 실제 성능이 떨어질 수 있습니다.

다음에 읽을 글: 예측한 미래를 행동으로 바꾸는 쪽

월드 모델이 결과를 예측한다면, 실제로 관절 명령을 만들어 내는 것은 VLA입니다. 이미지와 지시문이 행동 토큰이나 연속 행동으로 바뀌는 과정은 VLA 모델 구조 분석에서 이어서 다룹니다.