专业知识库与评测机构：METR
专业知识库与评测机构 · METR。预部署评测与任务时长曲线。本来源共收录 8 条已通过本类收录机制的资料，均可直接跳转到原始来源。
本类权威分层：A2–B。收录机制：核心资料全收；按各二级来源自身的数据库、方法、版本与榜单结构收录，不设跨机构统一评分机制。
Measuring AI Ability to Complete Long Software Tasks
以人类专家完成任务所需时长作为难度刻度，研究模型可靠完成长软件任务的能力。
证据用途：支持任务时长度量的定义、方法和历史趋势。
使用边界：任务以软件、机器学习和网络安全为主；趋势外推不是能力承诺
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
Task-Completion Time Horizons of Frontier AI Models
持续发布前沿模型在任务时长曲线上的结果、解释和常见问题。
证据用途：支持指定日期、模型和评测套件下的 50% 任务时长结果。
使用边界：时长指人类完成任务的估计，不是模型运行时长；套件接近饱和时区间更不稳定
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
Frontier Risk Report（2026 年 2–3 月）
综合报告共享前沿模型的任务时长、监控规避、破坏策略与定性评测结果。
证据用途：支持该轮预部署评测所观察到的能力、风险和不确定性。
使用边界：覆盖由实验室提供的特定模型与设置；定性案例不能概括全部行为
关联概念：agent · red-teaming · model-evaluation
链接复核时间：2026-09-24
METR General Capability Evaluations
介绍 METR 对自主完成复杂任务、信息获取和工具使用能力的评测路线。
证据用途：支持理解 METR 通用能力评测的设计和边界。
使用边界：结果依赖模型访问方式、脚手架和任务集；研究结论不能外推为全部真实工作表现
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
RE-Bench：AI 研发能力评测
让模型智能体和人类专家在受控时间预算下完成真实机器学习研发任务。
证据用途：支持比较前沿智能体的 AI 研发能力与人类基线。
使用边界：结果依赖模型访问方式、脚手架和任务集；研究结论不能外推为全部真实工作表现
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
MALT Evaluation Integrity Dataset
提供奖励作弊、装弱等评测完整性行为的人工复核智能体轨迹。
证据用途：支持训练和检验评测监控器。
使用边界：结果依赖模型访问方式、脚手架和任务集；研究结论不能外推为全部真实工作表现
关联概念：agent · red-teaming
链接复核时间：2026-09-24
AI Tools and Experienced Open-Source Developer Productivity
以随机对照设计测量有经验开发者在真实开源任务中使用 AI 工具的生产力影响。
证据用途：支持关于特定人群和时期下开发生产力影响的因果陈述。
使用边界：结果依赖模型访问方式、脚手架和任务集；研究结论不能外推为全部真实工作表现
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
Algorithmic vs. Holistic Evaluation
比较自动可验证任务与人工整体评审对智能体能力的不同测量结果。
证据用途：支持分析评测方式对能力趋势结论的影响。
使用边界：结果依赖模型访问方式、脚手架和任务集；研究结论不能外推为全部真实工作表现
关联概念：agent · model-evaluation
链接复核时间：2026-09-24