专业知识库与评测机构：Stanford CRFM / HELM
专业知识库与评测机构 · Stanford CRFM / HELM。基础模型透明度与评测。本来源共收录 12 条已通过本类收录机制的资料，均可直接跳转到原始来源。
本类权威分层：A2–B。收录机制：核心资料全收；按各二级来源自身的数据库、方法、版本与榜单结构收录，不设跨机构统一评分机制。
HELM：Holistic Evaluation of Language Models
以统一场景、指标和可复现配置评估语言、多模态、医疗与图像等基础模型能力。
证据用途：支持 HELM 各子榜的方法、场景、指标与模型结果。
使用边界：各子榜口径不同；部分评测使用模型裁判
关联概念：model-evaluation
链接复核时间：2026-09-24
2025 Foundation Model Transparency Index
使用一组透明度指标评估主要基础模型开发者在上游、模型和下游环节的披露。
证据用途：支持开发者透明度表现及指标体系的比较。
使用边界：评分衡量披露而非模型质量或安全性；只能在同版指标内比较
关联概念：governance · model-evaluation
链接复核时间：2026-09-24
HELM Capabilities
以多个场景和指标评估语言模型的通用能力。
证据用途：支持统一配置下的模型能力横向比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM Audio
综合评估音频理解与音频语言模型。
证据用途：支持音频模型的场景化能力比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM Lite
以较低成本覆盖广泛语言模型能力场景。
证据用途：支持可复现的轻量广覆盖评测。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM Classic
延续原始 HELM 论文的多场景、多指标和扰动评测。
证据用途：支持研究能力、鲁棒性、公平性和效率等多维表现。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HEIM：Holistic Evaluation of Text-to-Image Models
从对齐、质量、原创性和风险等维度评估文生图模型。
证据用途：支持文生图模型的多维可复现比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM Instruct
用绝对评分方法评估模型对自然语言指令的遵循。
证据用途：支持比较指令模型的任务完成与响应质量。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM MMLU
在统一提示和运行配置下复现 MMLU 评测。
证据用途：支持消除提示差异后的 MMLU 比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
VHELM：Vision-Language Model Evaluation
跨视觉问答、识别、推理和风险场景评估视觉语言模型。
证据用途：支持多模态模型的统一横向比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
HELM Image2Struct
评估视觉语言模型从图表、文档和界面图像提取结构化信息的能力。
证据用途：支持文档与界面理解能力比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24
MedHELM v2.0.0
以临床相关任务和多维指标评估医疗领域语言模型。
证据用途：支持医疗场景模型能力的版本化比较。
使用边界：各子榜使用不同场景、指标和版本；latest 页面会滚动更新，引用需记录访问日期
关联概念：model-evaluation
链接复核时间：2026-09-24