AI基准覆盖远未代表真实工作
AI基准覆盖研究由Mercor Research发布的一张“美国经济基准地图”显示，现有评测对真实经济活动的覆盖相当有限。研究将29个基准中的提示词映射到美国劳工部O*NET的923种职业和18,797项任务；只有208种职业拥有至少一项被5个或更多提示词覆盖的任务。研究据此估计，美国约90%的工作时长对应的任务几乎没有或没有现有基准覆盖。
覆盖集中在高曝光、高价值岗位
覆盖并不是随机分布的。基准更偏向被认为容易受到AI影响的任务，也更常出现在工资总额较大的职业和被评为重要的任务中。因此，软件工程、金融分析和部分法律工作获得的测量更密集，而许多中等收入、规模较小的知识工作，以及卡车驾驶和工厂运营等领域则更容易成为盲区。这样的分布有其现实逻辑：有限的评测资源往往先投向最可能展示模型进展、且经济价值较高的任务。
AI基准地图的价值与边界
这项工作的重要意义不在于给每个职业打出一个最终分数，而在于指出“我们还没有测量什么”。更完整的任务覆盖可以帮助企业判断模型是否适合具体流程，也能让政策制定者和求职者更谨慎地解读AI影响预测。它还提醒人们，简单平均相关基准成绩可能会过度强调被反复测试的少数任务，不能直接等同于模型在整份工作的表现。
结论目前仍是阶段性的。研究只使用了首批29个基准，样本并不能完整代表所有公开、未饱和且具有经济真实性的评测；基准选择还包含难以完全形式化的主观判断。研究团队也承认，按职业类别限制基准数量虽然有助于扩大行业广度，却可能压低软件工程等热门领域的覆盖估计。随着基准库扩展，90%这一比例及覆盖格局都可能变化，因此它更适合作为研究缺口的警报，而不是AI能力的精确普查。