官方技术资料:NVIDIA(第 17 页)
官方技术资料 · NVIDIA:共 264 条,本页为第 241–255 条。
TensorRT LLM Benchmarking #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:model-evaluation · inference-optimization · deployment
链接复核时间:2026-09-25
Sparse Attention Development Guide #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Multi-Head, Multi-Query, and Group-Query Attention #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
KV Cache Architecture #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
AutoDeploy Pipeline Cache Design #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Cache Initialization Stage #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Checkpoint Loading #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Disaggregated Serving #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Embeddings (Encoder-Only Models) #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
KV Cache Compression #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
KV Cache Connector #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
KV Cache System #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
ModelExpress (MX) Checkpoint Loading #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Paged Attention, IFB, and Request Scheduling #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25
Parallelism in TensorRT LLM #
通过通用学习价值预筛,等待逐份重要性、时效性和替代关系审核。
证据用途:用于理解 GPU 计算、训练、检索、推理服务、可靠性或部署决策。
使用边界:只直接证明 NVIDIA 技术栈的实现与声明;版本化接口和实验能力使用前应复核
关联概念:deployment · inference-optimization · observability
链接复核时间:2026-09-25