专业知识库与评测机构：SWE-bench
专业知识库与评测机构 · SWE-bench。仓库级修复真实缺陷的官方榜单。本来源共收录 7 条已通过本类收录机制的资料，均可直接跳转到原始来源。
本类权威分层：A2–B。收录机制：核心资料全收；按各二级来源自身的数据库、方法、版本与榜单结构收录，不设跨机构统一评分机制。
SWE-bench Official Leaderboards
展示 Verified、Multilingual、Multimodal、Lite 和 Full 等真实代码仓库缺陷修复榜单。
证据用途：支持绑定数据集、智能体脚手架和日期的缺陷修复率比较。
使用边界：模型与脚手架共同决定成绩；领先成绩接近时排名差异可能不显著
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
SWE-bench：真实 GitHub Issue 修复基准
定义给定代码库和 issue 后生成可通过测试补丁的任务，并提供容器化评测与多个数据集。
证据用途：支持 SWE-bench 任务、数据来源和复现机制的说明。
使用边界：主要衡量可自动验证的仓库任务；不覆盖完整软件开发活动
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
SWE-bench Dataset Catalog
列出 Full、Lite、Verified、Multimodal 与 Multilingual 等数据集的规模和用途。
证据用途：支持区分各 SWE-bench 变体及其样本范围。
使用边界：不同变体成绩不可混比；数据集可能随维护更新
关联概念：model-evaluation
链接复核时间：2026-09-24
SWE-bench Multimodal
要求智能体结合 issue 中的截图或界面信息修复真实代码仓库问题。
证据用途：支持评估多模态软件工程智能体。
使用边界：模型、智能体脚手架和运行预算共同决定成绩；不同数据集变体的结果不可直接混比
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
SWE-bench Multilingual
覆盖九种非 Python 语言的真实 GitHub 修复任务。
证据用途：支持评估代码智能体跨编程语言泛化。
使用边界：模型、智能体脚手架和运行预算共同决定成绩；不同数据集变体的结果不可直接混比
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
SWE-bench Lite
提供更易运行的筛选子集，用于快速比较真实仓库修复能力。
证据用途：支持低成本复现和开发阶段评测。
使用边界：模型、智能体脚手架和运行预算共同决定成绩；不同数据集变体的结果不可直接混比
关联概念：agent · model-evaluation
链接复核时间：2026-09-24
SWE-bench Evaluation Harness
说明数据下载、预测格式、容器构建和测试执行。
证据用途：支持复现 SWE-bench 提交并核对运行条件。
使用边界：模型、智能体脚手架和运行预算共同决定成绩；不同数据集变体的结果不可直接混比
关联概念：agent · model-evaluation
链接复核时间：2026-09-24