SmolVLA 파인튜닝, GPU 메모리는 얼마나 필요할까: 단일 GPU VRAM 계산법

SmolVLA는 논문 초록에서 “단일 GPU에서 학습하고 소비자용 GPU나 CPU에서도 배포"할 수 있게 설계했다고 소개하는 VLA입니다. 그렇다고 아무 GPU에서나 공식 예시 설정 그대로 학습이 되는 것은 아닙니다. 이 글은 SmolVLA 파인튜닝에 필요한 GPU 메모리를 가중치, 그래디언트, 옵티마이저 상태, 활성화로 나눠 계산하고, 자신의 카드에서 배치 크기를 정하는 방법을 정리합니다. 수치는 논문·모델 카드·LeRobot 설정 파일에서 확인한 값과 그 값으로 계산한 추정치이며, 추정에는 가정을 함께 적었습니다.

모델을 아직 고르지 않았다면 ACT·Diffusion Policy·SmolVLA 선택 기준에서 데이터 규모별로 어떤 모델이 맞는지 먼저 볼 수 있습니다.

SmolVLA의 450M은 어디에 쓰이나

SmolVLA 논문에 따르면 주 모델은 450M 파라미터이고, 그중 약 100M이 행동 청크를 만드는 행동 전문가에 할당됩니다. 나머지는 SmolVLM-2 기반 VLM입니다. 논문은 VLM 언어 모델의 앞쪽 16개 층만 쓰고, 프레임당 시각 토큰을 64개로 제한한다고 설명합니다. 모델 카드는 같은 모델을 0.5B로 반올림해 표기합니다.

학습 메모리를 계산할 때 중요한 것은 전체 크기가 아니라 어떤 파라미터가 학습되는가입니다. configuration_smolvla.py의 기본값은 다음과 같습니다.

즉 기본 설정의 파인튜닝은 450M 전체가 아니라 행동 전문가 약 100M과 상태 투영층 정도가 학습 대상입니다.

학습 메모리를 네 부분으로 나눠 계산하기

학습 중 GPU 메모리는 다음 네 항의 합으로 볼 수 있습니다.

• $P_{frozen}$: 고정된 파라미터 수, $b_w$: 그 가중치의 바이트 수(FP32 4, BF16 2)
• $P_{train}$: 학습되는 파라미터 수
• $M_{act}(B)$: 배치 크기 $B$에 비례해 늘어나는 활성화 메모리
• $M_{overhead}$: CUDA 컨텍스트, 캐시 할당자 예약분

학습 파라미터 1개당 16바이트는 ZeRO 논문이 혼합 정밀도 Adam에 대해 정리한 값입니다. FP16 가중치 2바이트, FP16 그래디언트 2바이트, FP32 가중치 사본·모멘텀·분산 12바이트를 합한 것입니다. 전부 FP32로 학습해도 가중치 4 + 그래디언트 4 + 모멘텀·분산 8로 같은 16바이트가 됩니다. SmolVLA 설정 파일의 옵티마이저 기본값(optimizer_betas (0.9, 0.95), optimizer_eps 1e-8)은 Adam 계열이므로 이 값을 그대로 씁니다.

논문 수치(전체 450M, 행동 전문가 약 100M)로 고정항을 계산하면 다음과 같습니다. 1GB는 $10^9$바이트로 계산했습니다.

고정항만 보면 기본 설정은 소비자용 카드에도 여유가 큽니다. 실제로 배치 크기를 제한하는 것은 마지막 두 항, 특히 활성화 메모리입니다. 모델 카드의 예시 명령도 --policy.dtype=bfloat16과 --batch_size=4를 쓰고, 그래디언트 체크포인팅을 선택 옵션으로 둡니다.

학습되는 파라미터 수를 직접 세는 코드

논문 수치는 근사값이므로, 사용하는 LeRobot 버전에서 실제 학습 대상 수를 세어 위 식에 넣는 편이 정확합니다.

from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy

policy = SmolVLAPolicy.from_pretrained("lerobot/smolvla_base")
total = sum(p.numel() for p in policy.parameters())
train = sum(p.numel() for p in policy.parameters() if p.requires_grad)

print(f"total {total/1e6:.0f}M, trainable {train/1e6:.0f}M")
print(f"fixed term ≈ {((total-train)*4 + train*16)/1e9:.2f} GB (frozen FP32)")

train_expert_only나 freeze_vision_encoder를 바꿔 실험할 계획이라면, 정책을 만들 때 그 설정을 넣고 같은 코드를 다시 실행해 학습 대상 수가 어떻게 바뀌는지 확인합니다.

배치 크기는 짧은 측정 세 번으로 정한다

활성화 메모리는 카메라 수, 이미지 해상도, 언어 토큰 길이, 청크 길이, 그래디언트 체크포인팅 여부에 따라 달라져서 식 하나로 정확히 맞추기 어렵습니다. 대신 배치 크기에 거의 비례한다는 성질을 이용해 측정으로 구합니다.

1. 학습 데이터셋과 설정을 고정하고 --batch_size=1, 2, 4로 각각 수십 스텝만 학습합니다.
2. 각 실행의 최고 메모리 $M(B)$를 기록합니다. 별도 터미널에서 nvidia-smi --query-gpu=memory.used --format=csv -l 1로 보면 됩니다.
3. 두 점으로 기울기 $a = (M(4) - M(2)) / 2$와 절편 $M_0 = M(2) - 2a$를 구합니다.
4. 카드 용량 $V$의 0.9배까지만 쓴다고 가정하고(나머지는 단편화·피크 변동 여유분) 최대 배치를 계산합니다.

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/mydataset \
  --batch_size=2 \
  --steps=50 \
  --output_dir=outputs/mem_probe_b2 \
  --policy.device=cuda

예를 들어 측정값이 $M(2)$=8GB, $M(4)$=12GB라면 $a$=2GB, $M_0$=4GB이고, 24GB 카드의 최대 배치는 $\lfloor (21.6 - 4)/2 \rfloor = 8$, 48GB 카드는 $\lfloor (43.2 - 4)/2 \rfloor = 19$입니다. 이 숫자는 계산 방법을 보여 주기 위한 가정값이며, 실제 측정값으로 바꿔 넣어야 합니다.

LeRobot SmolVLA 문서의 예시는 --batch_size=64, --steps=20000이고, 이 설정이 A100 한 장에서 약 4시간 걸린다고 밝힙니다. 문서는 작은 배치에서 시작해 GPU가 허용하는 만큼 늘리라고 권합니다. 배치를 줄여야 한다면 학습률과 스텝 수도 함께 조정해야 같은 학습량이 됩니다.

오해하기 쉬운 세 가지

추론 메모리와 학습 메모리는 다르다. 추론에는 그래디언트와 옵티마이저 상태가 없습니다. FP16 가중치 기준 0.5B × 2바이트 ≈ 1GB에 KV 캐시와 시스템 여유분이 더해지는 수준입니다. 추론 장비는 VRAM 계산기에서 SmolVLA 프리셋, 제어 주기 30Hz, 청크 50스텝으로 바로 확인할 수 있습니다.

추론에서는 메모리보다 주기가 먼저 막힌다. 기본값 n_action_steps 50을 30Hz로 실행하면 다음 청크까지 $50/30 \approx 1.67$초가 주어집니다. 실행 행동 수를 10으로 줄이면 예산은 약 0.33초로 짧아집니다. 대역폭과 추론 주기의 관계는 VLA 메모리·대역폭 산정 방법에서 자세히 다룹니다.

“6배 적은 메모리"는 π0와의 상대 비교다. SmolVLA 논문은 π0 대비 학습이 약 40% 빠르고 메모리를 6배 적게 쓴다고 보고하지만, 절대 메모리 값은 제시하지 않습니다. 자신의 카드에 맞는지는 위의 측정 절차로 확인해야 합니다.

학습 전에 계산기에 넣어 볼 값

학습 전에 세 값을 정리해 두면 장비 판단이 빨라집니다. 첫째, 위 코드로 센 학습 파라미터 수로 고정항을 구합니다. 둘째, 배치 1·2·4 측정으로 활성화 기울기를 구해 최대 배치를 계산합니다. 셋째, 배포할 장비에서 VRAM 계산기로 추론 주기를 확인합니다. 학습 장비와 배포 장비를 따로 계산해야 “학습은 되는데 로봇에서는 느린” 상황을 피할 수 있습니다.

환경 설치가 아직이라면 MuJoCo·LeRobot 설치 가이드에서 lerobot[smolvla] extra와 CUDA 조합부터 맞춥니다. 오픈 모델 전체의 크기와 라이선스는 오픈소스 로봇 정책 모델 비교에서 볼 수 있습니다.