专业知识库与评测机构:LMArena(原 LMSYS / Arena)
专业知识库与评测机构 · LMArena(原 LMSYS / Arena)。模型竞技场与开放评测。本来源共收录 10 条已通过本类收录机制的资料,均可直接跳转到原始来源。
本类权威分层:A2–B。收录机制:核心资料全收;按各二级来源自身的数据库、方法、版本与榜单结构收录,不设跨机构统一评分机制。
Arena:How It Works
说明匿名模型对战、用户投票、数据共享和榜单形成方式。
证据用途:支持对 Arena 数据来源、投票流程和公开评测定位的说明。
使用边界:用户偏好不等同事实正确性;样本分布随用户群变化
关联概念:model-evaluation
链接复核时间:2026-09-24
Arena Leaderboard Policy
规定模型进入榜单、预发布模型、透明度、数据发布和方法变更的处理方式。
证据用途:支持解释 Arena 排名的纳入标准、时效和可审计性。
使用边界:政策会持续修订;公开数据只是平台数据的一部分
关联概念:model-evaluation
链接复核时间:2026-09-24
Agent Arena:Causal Evaluation of Agents in the Real World
利用真实智能体交互轨迹、随机组件选择和因果方法评估任务成功、可引导性及工具错误恢复等信号。
证据用途:支持 Agent Arena 的指标、因果估计和榜单含义。
使用边界:真实用户任务分布不可完全控制;聚合信号不等于单项能力
关联概念:agent · model-evaluation
链接复核时间:2026-09-24
Arena Ranking Method
说明成对投票、Bradley-Terry 排名、不确定区间和榜单分组。
证据用途:支持解释 Arena 分数、排名差异和统计显著性。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:model-evaluation
链接复核时间:2026-09-24
Arena-Rank
用 Arena 对战数据构建可复现的开放模型排序方法。
证据用途:支持研究自动评测与真实用户偏好的一致性。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:model-evaluation
链接复核时间:2026-09-24
Search Arena
通过匿名成对比较评估联网搜索与答案生成系统。
证据用途:支持比较搜索增强系统的端到端用户偏好。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:agent · model-evaluation
链接复核时间:2026-09-24
Code Arena
以真实代码需求和用户投票比较代码模型与代理系统。
证据用途:支持面向用户任务的代码生成偏好比较。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:agent · model-evaluation
链接复核时间:2026-09-24
Style Control for Arena Leaderboards
分析并控制回答长度、格式等风格因素对用户投票的影响。
证据用途:支持区分内容质量和呈现风格对排名的贡献。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:model-evaluation
链接复核时间:2026-09-24
Factuality in Arena
研究 Arena 偏好排名与回答事实准确性的关系。
证据用途:支持判断偏好榜对事实性的反映边界。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:model-evaluation
链接复核时间:2026-09-24
Image Arena Improvements
说明图像竞技场的数据质量、匹配和排名改进。
证据用途:支持解释图像生成模型的人类偏好榜。
使用边界:用户偏好受人群、提示和展示方式影响;动态榜单和方法变更需标注日期
关联概念:model-evaluation
链接复核时间:2026-09-24