2024년 이후 자율주행 및 체화 로보틱스 진영에서 일어난 가장 급진적인 패러다임 전환은 ‘엔드투엔드(End-to-End) 신경망으로의 단일화’입니다.
과거 자율주행 소프트웨어는 수천 명의 엔지니어가 도로 표지판, 차선, 보행자 양보 수칙을 수작업 코드(if (pedestrian_detected) yield();)로 정의하는 규칙 기반(Rule-based) 아키텍처였습니다. 그러나 비가 내리는 야간 공사 구간이나 복잡한 비신호 회전교차로처럼 변수가 무한히 확장되는 물리 세계에서는 규칙 간의 상충으로 인해 자율주행이 급정거하거나 멈춰서는 ‘로봇의 뇌정지(Stall)’ 현상이 빈번했습니다.
테슬라 FSD v12+와 엔비디아 드라이브(DRIVE) 플랫폼이 어떻게 이 한계를 극복했는지 아키텍처를 비교 해부합니다.
1. 모듈형 파이프라인 vs 엔드투엔드 신경망 아키텍처 비교
[레거시 모듈형 스택 (Cascading Error 구조)]
카메라/라이다 ──> [인지 모듈] ──> 3D Bounding Box ──> [추적 모듈] ──> [C++ 경로 계획 (30만 줄)] ──> [PID 제어]
(오차 5%) (오차 10%) (규칙 충돌로 급정거)
[모던 엔드투엔드 스택 (Unified Latent 구조)]
8개 카메라 픽셀 ──> [시공간 트랜스포머 백본 (3D 점유 격자 + 잠재 월드)] ──> 다이렉트 주행 궤적 및 조향 토크 출력
2. 모듈형 파이프라인의 치명적 결함과 E2E의 해결책
| 기술 축 | 전통적 모듈형 자율주행 파이프라인 | 엔드투엔드(End-to-End) 신경망 파이프라인 |
|---|---|---|
| 소프트웨어 구조 | 인지, 예측, 계획, 제어가 C++ API로 분리 연결 | 단일 시공간 트랜스포머 기반 엔드투엔드 모델 |
| 코드베이스 성격 | 수십만~수백만 줄의 수작업 if-else 규칙 코드 | 신경망 가중치(Weights) 매트릭스 중심 (C++ 휴리스틱 코드 배제) |
| 중간 표현 (Representation) | 3D 바운딩 박스, 고정 시맨틱 레이블 | 연속적인 잠재 점유 공간 (Continuous Latent Occupancy) |
| 오차 전파 (Error Propagation) | 앞단 인지 오차가 뒷단 계획으로 기하급수적 증폭 | 역전파(Backpropagation)를 통해 전체 파이프라인 동시 최적화 |
| 비정형 객체 대응력 | 사전에 라벨링되지 않은 물체(예: 쓰러진 나무, 동물) 인식 불가 | 시각적 점유(Occupancy)로 물리적 충돌 경로 본능적 회피 |
| 추론 지연 시간 (Latency) | 모듈 간 직렬화/역직렬화 오버헤드 (100~200 ms) | 단일 순전파(Forward Pass)로 20~30 ms 이내 즉각 출력 |
| 디버깅 방식 | 특정 C++ if 분기 코드 수정 (부작용 발생 빈번) | 실패 케이스 주행 클립 데이터셋 추가 후 재학습 (Data Engine) |
3. 테슬라 FSD 신경망 아키텍처의 3대 진화 축
테슬라의 엔드투엔드 자율주행 엔진은 다음 3가지 핵심 신경망 모듈로 구성됩니다.
- 비디오 토크나이저 및 시간 백본 (Video Transformer Backbone):
- 8개 서라운드 카메라가 촬영하는 36경(fps) 영상을 연속적인 시공간 토큰으로 임베딩합니다. 과거 수 초간의 프레임 이력을 기억하는 시간적 어텐션(Temporal Cross-Attention)을 통해, 가려졌던 트럭 뒤의 오토바이나 보행자의 미래 위치를 내부적으로 유지합니다.
- 3D 점유 격자 네트워크 (Occupancy Network):
- “이 물체가 자동차인가 트럭인가"를 언어적으로 분류하는 대신, 3차원 공간을 보셀(Voxel, 입체 화소) 단위로 쪼개어 “저 공간이 물리적으로 비어있는가(Free) 차 있는가(Occupied)"만을 순수 기하학적으로 연산합니다. 도로에 굴러온 정체불명의 화물이나 뒤집힌 트럭도 충돌체로 완벽히 인식합니다.
- 경로 및 궤적 디코더 (Trajectory Planner Head):
- 잠재 공간 표현으로부터 미래 5초간 차량이 이동해야 할 3차원 좌표계 상의 공간 궤적 곡선($x(t), y(t), z(t)$)과 권장 속도, 가속도를 실수 벡터로 직접 디코딩하여 스티어링 랙과 브레이크 엑츄에이터로 지령을 내립니다.
4. 로보틱스로의 기술 전이: 자율주행차가 곧 휴머노이드다
엔드투엔드 자율주행 아키텍처의 완성이 로보틱스 업계에 던지는 가장 강력한 시사점은 “바퀴 달린 로봇(자율주행차)의 두뇌가 두 다리와 손을 가진 휴머노이드의 두뇌와 수학적으로 동일하다”는 점입니다.
- 데이터 엔진(Data Engine)의 복제: 테슬라가 수백만 대의 고객 차량에서 위험 상황 클립을 자동 수집해 FSD를 고도화했듯, 휴머노이드 역시 공장에 배치된 수만 대의 로봇에서 작업 실패 텔레메트리를 클라우드로 전송해 월드 모델을 재학습시키는 선순환 플라이휠을 그대로 적용하고 있습니다.
- VLA 모델과의 융합: 자율주행의 목적지가 내비게이션 좌표라면, 휴머노이드의 목적지는 자연어 명령(“부품 상자를 A라인으로 옮겨라”)입니다. 두 시스템 모두 비전 센서 입력을 다이렉트 액션 토큰으로 변환하는 단일 신경망 구조로 수렴하고 있습니다.
관련 VLA 모델의 수학적 구조와 Action Chunking 원리는 VLA 모델 구조 분석에서 확인하실 수 있습니다.