디퓨전 정책(Diffusion Policy) 작동 원리: 멀티모달 로봇 조작에서 다봉성(Multimodality) 해결과 실시간 행동 생성

인간의 시연(Demonstration) 데이터를 보고 로봇이 동작을 따라 배우는 모방 학습(Imitation Learning)에서 오랫동안 풀리지 않던 난제는 ‘행동 분포의 다봉성(Multimodality)’ 문제였습니다.

예를 들어 앞에 놓인 장애물을 피해 컵을 집으려 할 때, 인간 오퍼레이터는 컵의 왼쪽으로 손을 뻗을 수도 있고 오른쪽으로 돌아서 뻗을 수도 있습니다. 기존의 평균 제곱 오차(MSE) 기반 지도학습 신경망에 이 데이터를 학습시키면, 모델은 두 가지 정상적인 경로의 중간값(Mean)을 취해 장애물 정면으로 돌진해 충돌하는 치명적인 실패를 겪게 됩니다.

이 문제를 근본적으로 해결하며 현대 로봇 미세 조작(Fine-grained Manipulation)의 표준으로 자리 잡은 알고리즘이 바로 디퓨전 정책(Diffusion Policy)입니다.

1. 기존 모방 학습(MSE/GMM)의 붕괴와 디퓨전 모델의 등장

기존 행동 복제(Behavior Cloning, BC) 방식이 실패했던 이유는 연속적인 행동 분포를 단일 가우시안(Single Gaussian)이나 단순 회귀로 근사했기 때문입니다.

[인간 시연 1: 좌측 우회 경로 (a_left)]  ──┐
                                          ├──> [기존 MSE 손실 함수] ──> 평균값 계산 ──> [장애물 정면 충돌!]
[인간 시연 2: 우측 우회 경로 (a_right)] ──┘

디퓨전 정책은 이미지 생성 모델(Stable Diffusion, DALL-E)에 사용되는 확률론적 디노이징 확산 모델(DDPM, Denoising Diffusion Probabilistic Model)의 수식을 로봇의 행동 공간(Action Space)에 직접 적용했습니다.

랜덤 가우시안 노이즈로부터 시작하여, 카메라 시각 입력($O_t$)을 조건부(Condition)로 받아 여러 단계의 역방향 디노이징 과정을 거치면서 확률 분포의 극대점(Peak) 중 하나로 자연스럽게 수렴하게 만듭니다. 그 결과 로봇은 왼쪽 경로와 오른쪽 경로 중 하나의 궤적을 망설임 없이 명확히 생성해 냅니다.

2. 주요 로봇 조작 학습 알고리즘 비교

로봇 조작 제어 분야에서 디퓨전 정책은 기존 강화학습 및 트랜스포머 기반 제어기와 비교하여 독보적인 강점을 갖습니다.

3. 액션 청킹(Action Chunking)과 시간적 앙상블(Temporal Ensembling)

디퓨전 정책의 또 다른 혁신은 단일 타임스텝의 행동($a_t$)을 하나씩 예측하는 대신, 미래 일정 구간의 행동 시퀀스인 액션 청크(Action Chunk, $A_t = [a_t, a_{t+1}, \dots, a_{t+T_a}]$)를 한 번에 생성한다는 점입니다.

시간 t   : [a_t, a_{t+1}, a_{t+2}, a_{t+3}, ...]  (청크 1)
시간 t+1 :       [a_{t+1}, a_{t+2}, a_{t+3}, a_{t+4}, ...]  (청크 2)
                   └─── 가중 지수 평균(Exponential Weighting) 앙상블 적용 ───> 최종 모터 지령

1. 고주파 진동(High-Frequency Jitter) 제거: 한 스텝씩 독립적으로 예측할 때 발생하는 모터 떨림 현상을 완전히 없애고 부드러운 물리적 연속성을 보장합니다.
2. 시간적 앙상블(Temporal Ensembling): 매 타임스텝마다 새로 생성되는 겹치는 액션 청크들을 지수 가중치로 부드럽게 결합하여 센서 노이즈가 발생하더라도 급격한 오동작을 방지합니다.

4. 엣지 배포를 위한 DDIM 추론 가속 최적화

디퓨전 모델의 가장 큰 단점은 노이즈 제거 과정에서 여러 번의 신경망 순전파(Forward Pass)가 필요하다는 점입니다. 원래 100단계의 디노이징 스텝을 거치면 엣지 로봇의 추론 주파수는 1~2Hz로 떨어져 실시간 제어가 불가능해집니다.

이를 극복하기 위해 로보틱스 현장에서는 다음과 같은 최적화 기법을 적용합니다.

• DDIM(Denoising Diffusion Implicit Models) 스텝 압축: 노이즈 제거 스텝을 100단계에서 4~8단계로 대폭 단축하여 정확도 손실 없이 연산 속도를 10배 이상 가속합니다.
• CNN 기반 vs 트랜스포머 기반 백본 선택:
  • Diffusion-CNN: 1D ResNet 구조를 사용하여 메모리 점유율이 극도로 낮고 NVIDIA Jetson Orin에서 50Hz+ 제어 주기를 완벽히 달성합니다.
  • Diffusion-Transformer: 장기적 계획(Long-horizon) 및 복잡한 도구 조작에 유리하지만 더 높은 VRAM 대역폭을 요구합니다.

디퓨전 정책은 현재 스탠포드 모바일 알로하(Mobile ALOHA), 유니트리 휴머노이드 조작 모듈, 다양한 공장 자동화 협동 로봇의 핵심 제어 엔진으로 채택되며 피지컬 AI 실시간 조작의 새로운 표준으로 확고히 자리 잡았습니다.