디지털 공간의 텍스트와 코드 생성을 주도한 대규모 언어 모델(LLM)의 다음 패러다임은 **피지컬 AI(Physical AI)**입니다. 피지컬 AI는 중력, 마찰력, 강체 및 연체 역학(Rigid & Soft Body Dynamics), 센서 노이즈가 존재하는 3차원 물리 세계를 인지하고 직접 행동(Actuation)을 수행하는 체화 지능(Embodied Intelligence) 시스템을 의미합니다.
1. 기존 로보틱스 파이프라인과 Physical AI의 차이점
전통적인 로봇 제어 시스템은 **인지(Perception) → 경로 계획(Planning) → 제어(Control)**가 분리된 모듈형 파이프라인으로 설계되었습니다. 각 모듈을 수작업 규칙과 고전 제어 이론(MPC, PID 등)으로 연결하면 정의된 환경에서는 정밀하게 작동하지만, 처음 보는 물체나 비정형 환경에서는 급격히 성능이 저하됩니다.
반면 현대 Physical AI는 멀티모달 파운데이션 모델과 월드 모델(World Models), 그리고 VLA(Vision-Language-Action) 아키텍처를 결합하여 센서 입력으로부터 로봇 관절 토크나 엔드이펙터(End-Effector) 궤적을 직접 생성합니다.
| 구분 | 전통적 로보틱스 (Classical Stack) | Physical AI (Foundation Stack) |
|---|---|---|
| 인지 표현 | 명시적 3D 바운딩 박스, 수작업 특징점 | 사전 학습된 멀티모달 잠재 공간 (Latent Representation) |
| 물리 예측 | 해석적 동역학 방정식 (Analytical Equations) | 학습된 생성형 월드 모델 (Generative World Model) |
| 행동 생성 | 궤적 최적화 + 역기구학 (IK) | Diffusion Policy / Autoregressive Action Tokens |
| 일반화 능력 | 단일 태스크·고정 작업장 특화 | 제로샷/퓨샷 다중 환경 및 미지의 물체 조작 |
2. 월드 모델(World Models)의 핵심 역할
로봇이 물리 세계에서 안전하고 효율적으로 작업하려면 **“내가 이 행동을 취했을 때 다음 프레임의 세계가 어떻게 변할 것인가?”**를 내부적으로 시뮬레이션할 수 있어야 합니다.
- 잠재 상태 압축 (Latent State Compression): 고해상도 멀티 카메라 RGB-D 영상과 고유수용성 감각(Proprioception: 관절 각도, 각속도, IMU, 힘/토크 센서)을 저차원 잠재 토큰으로 인코딩합니다.
- 동역학 전이 예측 (Dynamics Transition Prediction): 현재 상태 $z_t$와 후보 행동 $a_t$가 주어졌을 때 미래 상태 $\hat{z}_{t+1:t+H}$를 예측하여 충돌 가능성과 작업 성공 확률을 평가합니다.
- 합성 데이터 증강: 실제 로봇 하드웨어에서 수만 시간의 실패 데이터를 수집하는 것은 위험하고 비용이 많이 듭니다. 물리 정합성이 보장된 월드 모델과 시뮬레이터(NVIDIA Isaac Lab, MuJoCo, Genesis 등)를 결합하면 수백만 에피소드의 학습 데이터를 합성할 수 있습니다.
3. Dual-System (System 1 & System 2) 제어 구조
최근 휴머노이드 로봇 아키텍처는 인간의 인지 구조를 모사한 이중 제어 루프를 채택하고 있습니다.
- System 2 (고수준 추론, 2~10 Hz): VLM/VLA 기반 모델이 자연어 명령과 장면 문맥을 이해하고 서브골(Sub-goal) 또는 잠재 계획 벡터를 생성합니다.
- System 1 (저수준 반응 제어, 50~500 Hz): 경량 Diffusion Policy 또는 강화학습(RL) 전신 제어기(Whole-Body Controller)가 고주파수로 관절 위치·토크 명령을 출력하여 외란에도 균형을 유지합니다.
온디바이스 환경에서 VLA 모델 구동에 필요한 실제 GPU 메모리와 하드웨어 사양이 궁금하다면 VLA·로보틱스 온디바이스 VRAM 계산기에서 모델 파라미터와 양자화 비트별 요구 사양을 즉시 계산해 보세요.