본문 바로가기

VRAM

2개의 글
  1. 시뮬레이션 & AI 컴퓨팅 인프라설명

    SmolVLA 파인튜닝, GPU 메모리는 얼마나 필요할까: 단일 GPU VRAM 계산법

    450M 파라미터 SmolVLA를 파인튜닝할 때 가중치·그래디언트·옵티마이저 상태·활성화 메모리를 나눠 계산하고, 기본 설정(행동 전문가만 학습)과 전체 학습의 차이, 24GB·48GB 카드에서 배치 크기를 정하는 방법을 정리합니다.

  2. 시뮬레이션 & AI 컴퓨팅 인프라튜토리얼

    온디바이스 VLA 모델의 메모리·대역폭 산정 방법: 7B 모델을 Jetson에 올리기 전에 하는 계산

    VLA 모델을 로봇 온보드 컴퓨터에 올리기 전에 가중치 메모리, 시각 토큰과 KV 캐시, 시스템 여유분, 메모리 대역폭에 따른 추론 속도 상한을 단계별로 계산하는 방법을 Jetson Orin·Thor 공식 사양으로 정리합니다.