LiveBench - AI编程模型排行榜
时间：2026-10-17 来源： 作者： 我要纠错
官方网站：LiveBench
开源仓库：https://github.com/livebench/livebench（Apache2.0）
LiveBench 是开源、防数据集污染的大模型评测基准项目，配套官网展示排行榜，论文发表于 ICLR 2025，核心亮点：动态更新试题 + 客观标准答案打分，不用 LLM 裁判主观打分arXiv。
LiveBench 是一套不断换题、客观判分的硬核大模型基准，专门用来对抗榜单刷分 。
LiveBench 是开源、防数据集污染的大模型评测基准项目，配套官网展示排行榜，论文发表于 ICLR 2025，核心亮点：动态更新试题 + 客观标准答案打分，不用 LLM 裁判主观打分arXiv。
LiveBench 是一套不断换题、客观判分的硬核大模型基准，专门用来对抗榜单刷分 。
核心设计初衷
传统静态榜单（MMLU、HumanEval）的最大痛点：测试集泄露（contamination），模型训练时见过题目，分数虚高。
LiveBench 的解决思路：
- 定期刷新题库，题目取自最新竞赛题、新闻、arXiv、真实 GitHub issue，模型不可能提前见过；
- 尽量采用客观真值自动判分，不是靠另一个大模型打分，减少裁判偏见；
- 题目难度偏高，用来区分前沿模型能力，不是简单基础题arXiv。
当前版本：LiveBench 2.0（2026-10 新版），新增长任务 Agent 场景，可以测试需要连续多轮、耗时很久的真实工作任务LiveBench。
7 大评测赛道（LiveBench 2.0）
- Agentic：长周期复杂任务，多轮迭代、持续修改代码 / 需求，模拟真实 Agent 工作流
- Reasoning：逻辑、空间推理、心智理论，客观唯一答案
- Coding：真实 Github 缺陷修复，在 Docker 容器内运行测试用例，必须能跑通才算通过
- Browser Use：操控真实浏览器完成多步骤网页操作（多模态能力，不能看图的模型直接 0 分）
- Data Analysis：表格转换、表关联、数据特征判断，有确定标准答案
- Research：撰写研究报告，按固定评分细则评估
- Design：PPT、PDF、文档排版与视觉布局任务LiveBench
网站核心功能
- Leaderboard 排行榜
可按总分 / 单赛道排序，点击模型查看细分得分；同时附带每成功完成一个任务的成本，可以看「性能 / 价格性价比」，这是它很有特色的指标。
- Insights 可视化分析
质量 - 成本散点图，找出性价比最优模型；支持多选模型横向对比，绘制各分项雷达图。
- 方法与详情页
公开评测规则、任务定义、打分逻辑，所有任务、模型回答、评测代码全部开源可复现。
- 提交评测
团队 / 开发者可以提交自家模型，由 LiveBench 官方实测并加入榜单。
