NVIDIA Dynamo: 분산 추론을 위한 AI 팩토리 운영체제

한 문장 요약: NVIDIA가 대규모 생성형 AI 추론을 최적화하는 오픈소스 프레임워크 Dynamo를 발표했다.

무엇이 발표됐나

NVIDIA의 공식 발표일은 2025-03-18다. 이날 공개된 NVIDIA Dynamo의 핵심은 다음과 같다. 요청 라우팅, KV 캐시 관리, prefill·decode 분리, GPU 스케줄링을 하나의 런타임으로 제공했다.

기술적으로 볼 지점

서로 다른 지연 특성을 가진 prefill과 decode를 별도 GPU 풀에 배치하고 KV 캐시를 계층적으로 공유해 처리량을 높인다.

왜 중요했고, 무엇을 경계해야 하나

AI 비용의 중심이 학습에서 대규모 추론 운영으로 이동하면서 서빙 스케줄러가 핵심 인프라가 됐다.

발표 처리량은 특정 모델·하드웨어 구성 기준이며 운영 환경에서는 네트워크와 메모리 병목을 다시 측정해야 했다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• NVIDIA Dynamo announcement — NVIDIA, 2025-03-18