官方技术资料：NVIDIA（第 3 页）
官方技术资料 · NVIDIA：共 264 条，本页为第 31–45 条。
Disaggregated Serving
The prefill and decode phases of LLM requests have different computation characteristics and memory footprints.
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Distributed Runtime
Dynamo's DistributedRuntime is the core infrastructure in the framework that enables distributed communication and coordination between different Dynamo…
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Sidecar Backends
Run Dynamo beside a stock inference engine through its native gRPC API.
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
SGLang for Agentic Workloads
Priority scheduling and session control for multi-turn agentic serving
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：agent · tool-calling · inference-optimization
链接复核时间：2026-09-25
Using HiCache
Hierarchical KV caching with tier-aware router integration
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
KV Cache Offloading
CPU and disk offloading integrations for vLLM in Dynamo
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
vLLM-Omni Disaggregated Multi-Stage Serving
Architecture of multi-stage vLLM-Omni pipelines (e.g. AR + Diffusion), with each stage on its own GPU for independent scaling and isolation.
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
KVBM Design
This document provides an in-depth look at the architecture, components, framework integrations via the connector API, and the detailed workings of the Dynamo…
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Planner Design
The Planner is Dynamo's autoscaling controller.
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Deficit Round Robin Queue Scheduling
Weighted arbitration across router policy classes
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Disaggregated Serving
Prefill and decode routing with the Dynamo router
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Router Design
This document describes the internal architecture of the Dynamo KV Router, including block tracking mechanisms, the KV cache optimization system, event…
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Router Filtering
Candidate eligibility, DP-rank filtering, and queue backpressure boundaries
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Routing Concepts
Cost model, worker selection, and routing primitives for the Dynamo router
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25
Embedding Cache
Cache vision encoder embeddings to skip re-encoding repeated multimodal content
证据用途：用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界：只直接证明 NVIDIA 技术栈的实现与声明；版本化接口和实验能力使用前应复核
关联概念：deployment · inference-optimization · observability
链接复核时间：2026-09-25