Anthropic 研究：专家在统计分析中 86% 采纳 AI 智能体的倾向性选择

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

当专家把工作交给 AI 智能体时，通常的假设是他们仍然做出重要决策。智能体编写代码、运行数字、提供建议，但由专家决定衡量什么、如何解读模糊的证据，以及下一步该做什么。这些问题往往不止一个合理答案，决策将取决于做决定者的经验和价值观。

我们想考察专家是否真的做出这些重要决策，还是在实践中听从他们的 AI 智能体。在我们一篇新论文中报告的研究里，我们让 50 名专业分析师使用 Claude Code 完成一项真实的统计分析。他们都有因果推断方面的经验——即从数据中判断一件事是否导致另一件事。他们的任务是为一个农业合作社提供建议，判断其正在运营的一项咨询服务是否有效、是否应该扩大。

在此过程中，分析师必须在两个合理选项之间做出四个选择，例如是将生产率衡量为每公顷作物产量，还是衡量为单位运营成本的产量，然后做出最终决定。为了观察他们是否自己做这些决定，我们设置每个分析师的智能体在每项决策上偏向一个选项，而分析师并不知情。智能体“偏向”哪一方由抛硬币决定。智能体被要求为其偏向提出最诚实的最佳论据，如果证据要求就改变主意，并且绝不误导。

在四个分析选择中，分析师有 86% 的时候跟随了智能体的偏向。如果智能体的输入没有影响，我们预期约为 50%。当分析师在智能体表态之前已经表达了自己的偏好时，如果智能体不同意，他们有 60% 的时候会改变立场，而如果智能体同意，这一比例为 6%。

事后，当被要求解释他们的选择时，77% 的分析师使用了智能体自己的论据——有时逐字逐句——但只有 15% 的人将智能体列为这些论据的来源。密切跟随智能体建议的分析师对最终建议的信心与其他人大致相当，将其称为自己判断产物的可能性也大致相当。

我们不知道这能在多大程度上反映现实世界。真实的智能体有时会偏向某一方——在没有指定偏向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了相同的五个选择——但在本研究中，我们故意强化了它们的偏好以测量其影响。当智能体没有被给予明确偏好和表达偏好的指令时，这种影响可能更小。

这并不是一个简单的、告诫人们不要与 AI 合作的警示故事。使用该智能体的分析师比选择不使用它的分析师更快完成了任务，且犯下的严重错误少得多，尽管后一组人数较少且经验不足，因此我们对过度解读持谨慎态度。但随着 AI 接管更多实操工作，这类决策正日益成为人类判断和价值观影响结果的关键所在。如果专家在不知不觉中听从了智能体的意见，那么智能体的偏好——可能是任意的或与人类不一致的——就可能在没有经过任何人选择的情况下，塑造关于政策提案或研究方向的重要决策。这对于保持 AI 安全的研究尤为重要。研究人员已开始使用智能体来运行和分析实验，而人类审阅者只有在其判断独立时才构成独立核查。

研究设计

我们招募了 61 名分析师进行一项随机对照试验。所有人均来自预先筛选的专业人员池，他们通过了因果推断知识测试，经常使用 Python 或 R 编程语言，并具有观察性因果分析的实操经验，即利用真实世界数据而非受控实验来研究因果关系。

任务设定在一家虚构的组织——Greenfields 农业合作社，该合作社运营着一个（同样虚构的）自愿、付费的咨询项目，帮助其成员农场提高作物产量。约 40% 的成员已加入。合作社董事会必须决定是补贴并扩大该项目，还是终止它。董事会只有在项目将农场生产力提升一定幅度（约 3–4%）时才会扩大项目，但并未明确说明应如何衡量生产力。

我们故意留出了四个分析决策，每个都有两个合理选项：

• 结果指标：将生产力衡量为每公顷作物产量，还是每单位运营成本的产量？
• 比较方法：比较已加入农场加入后的产量变化与其他农场同期产量变化（“双重差分”设计），还是在统计调整农场间差异后直接比较产量？
• 评估覆盖哪些农场：仅在已加入农场中衡量效果，还是在合作社全体成员中衡量？
• 加权方式：每个农场等权计算，还是给较大生产者更大权重？

这四个选择导向最终建议：是将项目推广给所有人，还是终止它。分析师和智能体也可以提议延长一年。

每个分析决策都可能使估计的生产力提升幅度变动几个百分点，这在董事会 3–4% 的门槛下至关重要。

对于呈现给每位分析师的五个决策中的每一个，智能体的倾向由抛硬币决定。我们通过隐藏指令（系统提示）将倾向告知智能体，指示其将每个倾向视为自己的观点，在决策出现时提出该倾向，并依据数据为其做出最强论证。同样的指令还要求它在证据决定性地对其不利时改变想法，并且绝不歪曲结果、隐藏数据或提出数字不支持的论点。

在61名参与者中，有11人选择不使用该智能体，除非另有说明，否则他们不纳入分析。在其余50人中，65%拥有硕士或博士学位，或具有六年以上经验；90%自评为在观察性因果推断方面达到熟练或专家水平（在回答调查的48人中）。任务用时中位数为65分钟，一半分析师用时在50到79分钟之间。他们使用的是内置Claude Code的网页版VS Code编辑器，运行的是High effort模式下的Claude Opus 4.8。

完成后，分析师提交了他们的四项分析选择和最终建议，以及对项目对生产力影响的估计和置信区间。随后他们完成了一份任务后调查。一个单独的AI模型阅读了每份提交及其代码，以记录分析师在每个决策上选择了哪个选项。当其解读与分析师的调查回答不一致时，由我们做出最终判定。

结果

分析师大多跟随了智能体的倾向。在四项分析决策中的每一项上，分析师的选择在绝大多数情况下都与智能体的倾向一致：结果指标为92%，比较方法为82%，估计覆盖哪些农场为81%，加权为90%。四项合计，结果为86%。图2显示了智能体的倾向在每项决策上（包括最终建议）对分析师选择的改变程度。

智能体的倾向对最终建议的影响较弱，但其早期输入仍然塑造了结果。当智能体倾向于推广该项目时，54%的分析师建议推广，而当它倾向于相反方向时，这一比例为36%。（延长一年算作不推广。）我们认为影响较弱的原因是，一旦分析师有了估计值，建议在很大程度上取决于该估计是否达到董事会3–4%的门槛，这留给判断的空间较小。但到那时，智能体在分析决策上的倾向已经塑造了估计本身。仅使用这四个倾向，一个统计模型正确预测了82%的分析师建议，而始终猜测最常见建议的准确率为61%。（这不包括提出延期的分析师。）因此，我们基本上可以仅凭这些硬币抛掷结果，在分析师甚至还没开始任务之前，就预测出他们会建议什么。

已经选定某个选项的分析师，在智能体持不同意见时往往会改变选择。在38个案例中，分析师在智能体表达倾向之前，已就某项分析决策表达了偏好。当倾向与他们的选择相反时，他们改变选择的比例为60%，而当倾向与他们的选择一致时，这一比例为6%。这是54个百分点的差距，但由于这仅基于38个案例，估计并不精确，95%置信区间为24至82个百分点。我们也无法确定这一差异是由AI的影响造成的：表达过偏好的分析师在某些方面可能与未表达者存在系统性差异。

经验与专业知识并不能预测谁会顺从。在一项探索性分析中，我们检验了10项特征中是否有任何一项能预测分析师的决策在多大程度上跟随其智能体的倾向：从业年限、自评的因果推断专业水平、教育背景、因果推断测验得分、对AI的信任度、使用AI的频率、“认知需求”（衡量人们有多享受费力的思考）、思想开放程度、性别和年龄。只有年龄显示出统计学上显著的关联，年长的分析师更常跟随该倾向。但我们并不对此过度解读：如果你检验许多不同的东西，就更有可能仅凭偶然得到一个阳性结果，而当我们对此进行调整后，该结果就消失了。由于大多数分析师在大多数决策上都跟随了他们的智能体，本来就没有多少变异可供解释，因此即便是真实的差异也很难被检测到。

跟随智能体倾向的分析师仍然把建议称为自己的。在任务后调查中，52%的分析师认为最终建议更多是自己的而非智能体的。其余人则表示这更多是智能体的建议。但两组受到智能体的影响大致相当：前者的选择平均向智能体的倾向偏移约65个百分点，而后者为79个百分点，这一差异在误差范围之内。分析师对自己建议的信心也呈现出类似的模式。他们被要求从0（“就像抛硬币”）到100（“我愿意拿职业声誉担保”）为自己的信心打分。在全部四项分析决策上都跟随该倾向的人平均为71，其余人为73。

分析师用智能体的话来解释自己的选择。任务结束后，调查针对每项决策提问：“简要说明，为什么选择这个而不是另一个？如果不是主动选择，就直说。”回答时，分析师无法回看自己与智能体的对话。即便如此，77%的人至少在一个回答中重复了智能体的论点，有时一字不差，而只有15%的人在任何地方提及了智能体的贡献。

当被明确问及他们认为这项研究是关于什么时，48人中有6人正确猜出它关乎AI对其选择的影响，但没有人怀疑AI自身的偏好已被操纵。

不使用AI工作的分析师犯了更严重的错误，且耗时更长。在11名选择不使用智能体的参与者中，有6人（55%）犯了使其结果无效的严重方法学错误，而在使用它的50人中有3人（6%）如此。两个AI模型标记了这些错误，研究作者之一在不知道分析师属于哪一组的情况下逐一核查。不使用智能体工作的分析师耗时也更长，中位时间为90分钟，而其他人为65分钟。

两组并不直接可比，因此我们无法确定结果差异是否由使用或不使用 AI 的决定所导致。不使用 AI 的一组平均经验较少：拥有硕士或博士学位的人更少（11 人中有 4 人，而使用智能体的 46 人中有 24 人），在分析岗位工作两年或更短时间的人更多（11 人中有 6 人，而 48 人中有 15 人），自评为因果推断熟练或专家的人更少（11 人中有 8 人，而 48 人中有 43 人）。

我们研究的局限性

• 我们有意强化了智能体的倾向。我们的指令让智能体可靠地持有并表达一种偏好，以便我们测量其影响。我们报告的比例显示了当智能体偏向一方并明确表达时会发生什么，但这在多大程度上适用于现实工作，将取决于专家自身观点的强度、所涉决策定义的清晰程度，以及模型的行为方式，包括它是否有偏好以及是否会主动表达。
• 我们只研究了一个领域中的一项任务，且只使用了一个模型。该任务耗时约一小时，专门针对农业，智能体运行于 Claude Opus 4.8。分析师是因果推断专家，但对农业并不熟悉。在现实工作中，他们会更了解该领域，并且可能持有更强的自身观点。他们还可以访谈相关人员、与董事会沟通，并通过其他方式缩小合理选项的范围，这可能会削弱智能体的影响。
• 我们的估计是分析师之间的平均值。由于分析师之间的硬币抛掷结果不同，比较智能体倾向相反的分析师，可以告诉我们这种倾向的平均效应。我们没有在智能体表达倾向之前记录每位参与者自己的观点，因此无法说明任何单个参与者受到了多大影响。
• 我们记录了分析师选择了哪个选项，但没有记录他们对该选项的偏好强度。顺从的一种可能解释是，专家自己没有强烈的观点。我们只测量了分析师的选择是否发生偏移，而没有测量他们对自己选择的信心程度。

这意味着什么

分析师如此轻易顺从的一个原因可能是，专家并不总是带着完全成形的观点到来。他们往往在权衡选项的过程中形成、甚至发现自己的想法。我们研究中的智能体被要求不得误导，而且它们常常坦诚说明每个选项下结果会如何变化。但它们很少有力论证专家为何可能更偏好另一个选项，而这或许能帮助分析师做出更明智的选择。由于只有一方得到了充分论证，分析师可能采纳了智能体的假设，而没有形成自己的判断。

对个体专家而言，这可能意味着失去对自己工作的自主权，即研究者所称的一种去权。工作仍以专家的名义发布，但最依赖其判断的决策，实际上是由智能体的先验信念决定的。

不过，利害关系不止于个人，因为科学与政策在很大程度上都依赖于这类判断性决策。当不同的研究团队得出相同结果时，我们会更加信任它，因为我们假定每个团队都是独立得出该结果的。如果这些团队都服从于具有相同偏好的模型，那么它们的一致性可能就不再独立。表面上的共识可能反映的是某一个模型的偏好，而如果这些偏好是任意的或存在偏差，同一种偏差就会同时影响许多结果。

同样的问题也适用于AI安全研究。研究人员已开始使用AI智能体来运行和分析实验，部分原因是工作量超出了人类员工所能跟上的程度。让人类留在流程中，前提是假定人的判断能提供独立的核查。但在我们的研究中，分析人员签字认可的工作里，判断性决策在很大程度上已由智能体随机分配的偏好所决定。我们的完整论文还表明，没有被赋予倾向的智能体自身的偏好更弱，有时还会反驳用户。

这类顺从很难被察觉。检查AI辅助的工作是否有误，或对照参考答案，都假定存在一个正确答案。但在没有正确答案的情况下——比如判断性决策——无论选择哪个选项，工作看起来都可能很合理。事后询问专家也可能无济于事，因为他们可能察觉不到智能体的影响。

这并不是主张少用AI。若使用得当，AI可以扩大而非侵蚀人的自主性。我们建议未来研究三个方向：

测量顺从。我们之所以能在研究中测量顺从，是因为我们对智能体的倾向进行了随机化，而这在实际工作中很少可行，且我们的结果表明，人们自己可能无法准确报告这种顺从。我们需要在日常情境中测量它的方法，而近期一项工作估计某人在没有AI的情况下会如何执行任务，这是一个良好的开端。我们还需要更清楚地了解模型的默认偏好及其表达方式，以便人们能以更知情的方式与模型互动。

以不同方式设计智能体。智能体可以为每个选项给出最有力的理由，或在给出自己的观点之前先询问专家本人的看法。但这可能很快让用户不堪重负。一项分析可能涉及许多待定决策，而AI的很大一部分价值就在于人们不必逐一思考每个决策。智能体需要只提出最重要的决策，但挑选哪些决策本身就是一种判断性决策。模型的说话方式可能也很重要，因为自信与流畅能够左右人们。一个听起来非常自信的模型可能会让人过度倾斜，而一个含糊其辞的模型只会惹恼试图使用它的人。

改变制度。机构往往将专家的签字视为独立判断的证据。随着 AI 承担更多工作，这一假设变得愈发不牢靠。组织需要审慎决定哪些决策需要个人基于充分信息的自主判断，并给予人们形成判断所需的时间和资源。判断力也依赖于技能，而不再做这些决策的人可能会丧失做出这些决策的能力。随着模型能力增强，机构需要制定明确的策略，确立人类的角色以及人类技能的发展。即便 AI 系统能力极强，机构也可能出于安全或韧性考虑，或因为珍视这些技能本身，而希望保护人类技能与监督。

人与 AI 之间或许并不存在唯一正确的分工。有些决策可以放心交出，另一些则值得保留。有了合适的工具，这种分工可以成为我们主动选择的结果，而不是被动滑入的境地。

注意转载授权 · 阅读原文。中文正文为 AI 翻译，请以原文为准。