Mercor 研究：90% 美国工作时间未被现有 AI 基准有效覆盖

基准测试地图

每个方块代表构成美国劳动力的 923 个 O*NET 职业之一，分为 22 个职业族。各职业根据其任务在我们初始 AI 基准测试清单中所占的比例进行着色。单个基准测试提示可以映射到多个 O*NET 任务。

全部 22 个职业族

点击一个职业族以展开

覆盖率依据

至少被覆盖

• 基准测试指数
• 无覆盖

22 个中的第 1–12 个

在我们的数据集中：923 个职业中只有 208 个拥有至少包含 5 条基准测试提示的任务，而 22 个职业族中有 6 个没有任何这样的职业。

我们的研究结果表明，美国人 90% 的工作时间花在了现有基准测试很少或几乎没有覆盖的任务上。这使得我们很难了解 AI 模型在美国人实际工作上的表现究竟如何。

现有基准测试的覆盖范围也不是随机的。我们的图谱表明，AI 社区首先关注的是最大的劳动力市场：

例如，我们初始清单中的基准测试大量覆盖了 AI 暴露程度高的律师的任务，但几乎没有覆盖同样具有 AI 暴露的法律秘书或法庭书记员的任何 O*NET 任务。较小且中等收入的知识型工作的长尾似乎覆盖不足。

随着我们在整个经济范围内扩展对模型能力的覆盖，我们希望既能揭示也有助于填补我们对模型能做什么的理解上的更多空白。

方法简述

为了将经济分解为行业、职业和任务，我们使用了美国劳工部的 O*NET 分类法。O*NET 将美国劳动力划分为 923 个职业；对于每个职业，O*NET 试图提供一份构成该职业的「任务」的综合清单，所有职业共计 18,797 个任务。

为了衡量基准覆盖率，我们从一份包含 29 个基准的清单开始，这些基准因其质量和经济相关性而被选中。（完整清单和选择标准见基准索引标签页）。在为该清单选择基准时，我们优先考虑：

• 公共可用性。入选的基准至少包含 25 项公开可用的任务。我们还纳入了 Mercor 的 APEX 基准，在这些基准中我们可以访问保留的基准提示，因此能够将它们映射到 O*NET 任务。
• 智能体任务。入选的基准要求模型执行智能体任务，而非回答问题或向用户建议如何完成任务。
• 经济真实性。基准任务类似于人类（或智能体）在现实企业中经常被要求完成的任务。经济上有价值的任务优先于学术上复杂的任务。
• 经济多样性。我们对每个职业族所纳入的基准数量设了上限，这在很大程度上是为了应对软件工程和研究任务在流行基准中被严重过度代表的问题。
• 难度均衡。基准尚未被前沿模型饱和。

根据 Wang 等人的工作，我们随后请一位 LLM 评判员为每个基准提示标注其认为对应的所有 O*NET 任务。我们使用 Mercor 的 APEX 基准（这 29 个基准的一个子集）上的人类专家标签来验证我们的 LLM 标注。在基准地图上，如果我们的 LLM 评判员已将某个 O*NET 任务映射到我们 29 个基准中的至少 5 个提示，则该任务计为"已覆盖"。

为了估计美国人花费在清单中基准所覆盖任务上的工时总占比，我们将我们的覆盖估计与 Hatgis-Kessell 等人基于 LLM 推导出的每个 O*NET 任务工时占比估计相结合。

更详细的方法说明可在方法论标签页找到。

局限性

我们对总经济覆盖以及覆盖模式的估计均来自我们最初选择的 29 个基准清单。这并不是更广泛的、未饱和的、公开的、智能体经济基准的一个完整或完全具有代表性的样本。任何不完整的清单都必然会压低经济覆盖的估计值，而且很难界定这种偏差。因此，我们要强调，这些结果是临时性的。我们将在扩展初始基准清单时更新它们。

我们还对每个职业族所纳入的基准数量设了上限，以最大化覆盖广度。我们认为这使我们对全经济基准覆盖的估计更加准确，但代价是压低了我们在基准最多的职业族（如软件工程）中的覆盖估计。

通过选择未饱和的基准，我们有可能低估 LLM 更容易完成的 O*NET 任务上的基准覆盖。另一方面，如果饱和是任务真实性较低的下游结果，那么纳入饱和基准会有高估基准覆盖的风险。鉴于基准往往会高估 LLM 在真实部署中的表现，后一种说法似乎更有可能。我们认为纳入饱和基准带来的偏差将大于排除它们的偏差，但两种选择都不理想。

最后，虽然我们在基准索引标签页中概述了基准选择标准，但有若干标准（如“经济现实性”）难以形式化，会给我们的选择带来一定主观性。

覆盖范围中的规律

我们索引中的基准对整体经济具有相对深入但狭窄的覆盖范围。它们不成比例地聚焦于最容易受到 AI 自动化影响的经济任务（由Eloundou 等人衡量），被评定为“已暴露”的 O*NET 任务在基准中出现的可能性约是被评定为“未暴露”任务的 6 倍。这很合理：基准旨在衡量 AI 进展，而 AI 进展在最易受 AI 影响的任务上最为可信。这就解释了为什么基准中充满了软件工程和金融分析任务，而卡车驾驶和燃气厂运营任务却很少。

但即使在控制了 AI 暴露程度之后，来自工资总额较大职业的 O*NET 任务在基准提示中显著过多：

在控制了职业和 AI 暴露评分之后，O*NET 的“任务重要性”是基准覆盖的另一个预测因素。具体而言，O*NET 任务附带领域专家对任务在其职业中的重要性评估，评分范围为 1–5 分。我们发现，得分最高的任务在基准中出现的可能性是得分最低的任务的约 6–10 倍：

上面的图表表明，到目前为止，投入高质量、经济相关基准测试的相对有限资源分配得较为合理；优先制作覆盖那些薪资总额最大的职业中、最重要且最易受 AI 影响的任务的基准测试，是自然而然的做法。但除非这类基准测试的数量和多样性大幅增加，否则这些模式将导致我们对经济上有价值的模型能力的看法存在重大盲区。

O*NET + 基准测试能否告诉我们 AI 在你的工作上表现如何？

按职业来衡量模型能力至关重要——对于决定哪种模型适合自身需求的企业、预测 AI 经济影响的政策制定者，以及思考自身职业发展的美国人而言，都是如此。不幸的是，这是一个很难解决的问题。

我们可以尝试简单地将模型在给定工作所有相关基准提示上的表现取平均值。但正如我们的基准地图所示，基准测试对某些经济任务的覆盖远比其他任务密集。一个简单的平均值会让那些被频繁测试的任务获得过高的权重。

O*NET 提供了一种可能减少这种偏差的方法。如果我们将模型在职业相关基准提示上的表现按 O*NET 分类加权平均，使得在我们得到的职业平均值中每个 O*NET 任务权重相等，我们就能更接近一个代表真实经济表现的数字。

作为第一步，我们用Mercor 的 APEX 基准对四个职业（投资银行、法律、会计和软件工程）尝试了这种方法。我们将 O*NET 加权得分与每个职业相关任务的简单平均得分进行比较。结果显示，加权与未加权得分总体上非常相似：

至少在这种情况下，O*NET 加权带来的变化非常小。模型在 APEX 提示上的表现在上述加权得分所包含的 O*NET 任务之间较为相似，这限制了重新加权的价值。然而，上述 4 个职业相关的 O*NET 任务中，能获得足够 APEX 覆盖从而被纳入我们加权得分的任务不到三分之一。我们希望将 O*NET 加权方法应用于更多基准测试会带来高质量的、针对具体职业的模型得分，并正为此努力。

然而，即使我们纳入来自数十个基准的任务，仍有一些障碍：

1. 01

   我们如何应对较低的统计功效？

   美国经济中所完成的工作范围极其广泛，这意味着对于任何 O*NET 职业和任务，我们拥有的基准测试项都相对较少。这意味着我们的估计本身就缺乏统计效力，仅有一两项低质量的项目就可能严重偏差我们的评分。

2. 02

   我们如何处理任务难度和保真度的差异？

   一些基准测试项已经高度饱和，而另一些仍未被解决。这部分源于时间因素（因为较早的基准测试是为性能较弱的模型和更简单的环境设计的），部分源于质量问题（一些基准测试项的评分方式过于简单，存在小错误，或者可以被奖励作弊）。我们目前还没有明确的方法来按质量加权。

3. 03

   主要衡量 AI 自动化的评估能否推广到人机协作？

   在现实世界中，AI 模型仍然主要由人类使用，而非端到端地自动化整个工作职能。因此，衡量模型在真实世界中的职业能力，理想情况下应包括衡量该模型能在多大程度上提升人类的生产力。我们已经完成了一些朝这个方向的早期工作，但找到一种可扩展的方法仍然很困难。

4. 04

   是否每个 O*NET 职业和任务都能用基准测试来衡量？

   知识型工作非常适合通过基准测试来衡量，因为它主要是在笔记本电脑和手机等数字设备上完成的。Dingel 和 Neiman估计只有 37% 的美国工作可以完全在家完成，这意味着约 63% 的工作包含某些具有物理世界组件的任务，而这些任务难以融入当前的基准测试中。鉴于机器人能力的快速发展，我们预计将迫切需要物理任务基准测试，因此目前这也许算不上一个重大的疏漏。

我们正在积极研究这些问题；如果您也在做相关工作，欢迎联系我们！

我们感谢Wang 等人提出的 O*NET 标注方法，并感谢 Nathan Lambert 对本工作草稿提供的反馈意见。

APEX 通讯

关于前沿 AI 性能的最新动态，直达您的邮箱。

来自 APEX 团队的新基准测试、排行榜变动与研究。