AI EVALUATION DIRECTORY

别只问谁最强。先问你要它做什么。

Vauxland 不把不同榜单强行相加。这里告诉你每个评测测什么、适合谁看、结果受什么条件影响，再带你回到官方方法和原始榜单。

权威入口: 32
能力方向: 6
统一总分: 不设

CHOOSE YOUR QUESTION

先确定问题，再看排行榜。

01QUALITY · COST我要选择模型

同时比较质量、人类偏好、速度和成本。

02CODE · SOFTWARE我要选择 Coding Agent

看真实仓库修复，而不只看编程题。

03TOOLS · ACTION我要选择通用 Agent

关注浏览器、终端、桌面和长任务。

04SAFETY · TRUST我要看安全与可靠性

检查攻击、偏见、隐私和结果复现。

CORE SOURCES

10 个重点入口，状态逐条标注。

核心入口覆盖综合模型、人类偏好、客观题、中文能力、推理、真实软件工程、Agent、长任务、多模态与安全复现。

01Artificial Analysis排行榜 · artificialanalysis.ai 02Arena排行榜 · arena.ai 03LiveBench评测基准 · livebench.ai 04OpenCompass排行榜 · opencompass.org.cn 05ARC Prize评测基准 · arcprize.org 06SWE-bench排行榜 · swebench.com 07OSWorld评测基准 · os-world.github.io 08METR Time Horizons研究跟踪 · metr.org 09VLMEvalKit评测框架 · github.com 10Inspect AI评测框架 · inspect.aisi.org.uk

FIND THE RIGHT SIGNAL

先缩小问题，再打开榜单。

32 / 32 个来源

01 · MODELS

综合模型

从质量、人类偏好、速度、成本和中文能力等不同视角观察通用模型。

排行榜Artificial Analysisartificialanalysis.ai独立比较语言模型、Coding Agent、搜索、语音、图像、视频和推理服务。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标质量、速度、首字延迟、任务成本、价格适合查看在质量、速度和预算之间选择模型或 API 提供商看榜前先知道综合指数仍由一组特定任务构成，应继续查看子项和方法说明。查看官方评测

排行榜Arenaarena.ai通过用户盲测比较 Agent、对话、代码、视觉、文档、图像和视频模型。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标人类偏好、胜率、排名与投票区间适合查看观察真实用户更喜欢哪个模型的输出看榜前先知道偏好会受用户构成、提示词分布和样本量影响，不等同于客观正确率。查看官方评测

评测基准LiveBenchlivebench.ai使用定期更新的客观题目评估推理、数学、代码、语言和指令遵循。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标分类得分、总体得分、每个成功任务成本适合查看减少公开旧题造成的数据污染，比较客观能力看榜前先知道更新频率与题目覆盖仍有限，版本变化后不应直接比较旧分数。查看官方评测

02 · REASONING

推理与知识

衡量抽象推理、高难度数学、专业知识和未见任务上的泛化能力。

评测基准ARC Prizearcprize.orgARC-AGI 系列用人类容易、AI 困难的新图形任务衡量抽象推理和学习效率。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标未见任务正确率、泛化能力、推理成本适合查看观察模型能否从少量示例中发现规则并迁移看榜前先知道高度专注抽象推理，不能代表语言、知识或现实任务的完整能力。查看官方评测

评测基准FrontierMathepoch.aiEpoch AI 使用专家撰写、同行评审的未公开高难度数学题测试前沿模型。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标高等数学、研究级推理、开放问题进展适合查看观察前沿模型在真正困难数学问题上的能力边界看榜前先知道题目数量较少且高度专业，不能推断日常数学问答体验。查看官方评测

评测基准Humanity's Last Examagi.safe.ai由多领域专家设计的高难度学术知识题，用于拉开前沿模型的能力差距。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标专业知识、推理、校准与多模态题目适合查看比较顶级模型在专家级问题上的知识和推理看榜前先知道极难考试题不等于工作任务，且准确率容易受工具与搜索权限影响。查看官方评测

03 · CODING

编程与软件工程

从代码生成走向真实仓库修复、代码编辑和项目级软件工程任务。

排行榜SWE-benchswebench.com要求 Agent 修复真实 GitHub Issue，并通过仓库测试验证修改是否正确。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标问题解决率、成本、轨迹、Agent Harness适合查看比较 Coding Agent 在真实软件工程任务上的完成能力看榜前先知道模型、Agent、工具权限、重试次数和预算都会显著影响成绩。查看官方评测

排行榜Aider Leaderboardsaider.chat以真实代码编辑任务比较模型修改正确率、代码格式和运行成本。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标代码编辑通过率、重试、成本与语言覆盖适合查看选择适合结对编程和代码修改的模型看榜前先知道结果与 Aider 的提示策略和编辑格式紧密相关。查看官方评测

评测基准LiveCodeBenchlivecodebench.github.io持续收集新编程题，覆盖代码生成、自修复、执行和测试输出预测。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标Pass@1、代码执行、修复与测试能力适合查看降低旧编程题污染，比较近期代码生成能力看榜前先知道竞赛题能力与大型仓库维护能力并不相同。查看官方评测

04 · AGENTS

Agent 与工具调用

观察模型使用搜索、浏览器、终端、桌面软件和业务工具完成长任务的能力。

排行榜GAIAhuggingface.co使用搜索、推理、文件和工具调用才能完成的真实世界多步骤问题。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标分级任务正确率、工具使用与多步骤推理适合查看比较通用 Agent 搜索和整合信息的能力看榜前先知道浏览工具、搜索服务和运行时间会改变最终结果。查看官方评测

排行榜BFCLgorilla.cs.berkeley.eduBerkeley Function Calling Leaderboard 专门测试函数选择、参数生成和多步工具调用。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标函数调用正确率、参数匹配、并行与多轮调用适合查看选择需要稳定调用 API 和业务工具的模型看榜前先知道函数调用格式正确不代表工具执行后的业务目标一定完成。查看官方评测

评测基准WebArenawebarena.dev在可复现的网站环境中测试 Agent 浏览、操作和完成真实网页任务。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标网站任务成功率、步骤轨迹与操作正确性适合查看比较网页自动化和浏览器 Agent看榜前先知道网站环境、页面版本和视觉输入方式必须保持一致。查看官方评测

05 · MULTIMODAL

多模态与生成

评估图像、文档、视频和专业视觉内容的理解与生成质量。

评测基准MMMUmmmu-benchmark.github.io覆盖图表、图片、文档和多个专业学科的多模态理解评测。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标视觉问答、专业知识、图表与文档理解适合查看比较视觉语言模型处理专业内容的能力看榜前先知道选择题成绩不能完全反映开放式视觉分析质量。查看官方评测

评测框架VLMEvalKitgithub.com统一运行大量图像与视频评测集的开源工具，便于复现多模态模型结果。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标多数据集得分、模型适配、评测日志适合查看查找和复现多模态模型在不同任务上的表现看榜前先知道框架聚合的榜单仍需查看每个数据集自己的评分方法。查看官方评测

评测基准VBenchvchitect.github.io从画面质量、运动、主体一致性和提示词对齐等维度评估视频生成。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标视频质量、运动、时序一致性、提示词对齐适合查看比较文本生成视频模型的细分能力看榜前先知道自动指标与人类审美并非完全一致，需要结合盲测样例。查看官方评测

06 · TRUST

性能、安全与复现

补充吞吐、延迟、部署效率、安全风险，以及结果是否能够独立复现。

排行榜MLPerfmlcommons.orgMLCommons 维护的训练和推理性能基准，覆盖硬件、系统和部署场景。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标吞吐量、延迟、功耗、训练时间与硬件配置适合查看选择推理硬件、部署方案和性能优化路线看榜前先知道性能结果高度依赖硬件、精度、批量大小和优化配置。查看官方评测

评测基准HarmBenchgithub.com标准化评估模型在有害请求、攻击提示和安全防护方面的表现。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标攻击成功率、拒答、防护与有害行为覆盖适合查看比较模型与安全防护系统对越狱攻击的抵抗力看榜前先知道安全威胁快速变化，旧攻击集很容易失去代表性。查看官方评测

评测基准DecodingTrustdecodingtrust.github.io从毒性、偏见、隐私、鲁棒性、公平性和机器伦理等维度评估可信度。链接检查 2026-10-10 · 可访问；不代表评测成绩已验证。主要指标偏见、隐私、毒性、鲁棒性、公平性适合查看建立比单一安全分数更全面的可信模型画像看榜前先知道不同风险维度不能简单相加为一个总分。查看官方评测

HOW TO READ A LEADERBOARD

看排名之前，先检查这六件事。

同一个模型换一个 Agent Harness、Prompt、工具权限或预算，成绩就可能完全不同。可信的评测页面必须保留运行条件。

先确认评测对象

模型、模型加 Agent、完整产品和推理服务是四种不同对象。

保留榜单版本

题库、模型快照、发布日期和评测日期缺一不可。

记录运行条件

Prompt、Harness、工具权限、预算、重试和硬件都会改变结果。

查看不确定性

样本数量、置信区间和复现次数，比一个孤立排名更重要。

识别结果来源

厂商自报、榜单复核和第三方独立复现应明确区分。

不要制造万能总分

质量、速度、价格、代码、Agent 和安全应该分别展示。

REPUTATION SIGNALS

口碑很重要，但它不是能力分数。

评分、评论和安装量适合判断产品体验与采用情况，不能替代可复现的标准化评测。

G2企业软件评分、评论数量和使用场景↗Capterra商业软件分类、用户评价和定价线索↗AlternativeTo替代产品、平台支持和社区推荐↗Product Hunt发布热度、早期用户评论和产品定位↗Chrome Web Store插件评分、评论、用户规模和版本更新↗

VAUXLAND EVALUATION POLICY

保留原始分数，也保留它成立的条件。

第一阶段只整理权威入口、方法和局限；未来接入榜单数据时，将同时保存评测版本、模型快照、日期、Harness、工具权限、预算、样本量、置信区间和结果来源。

继续浏览全部情报来源 →