Anthropic试验:专家86%跟随AI代理倾向
事件综述根据 3 篇报道整理,10月30日更新
Anthropic 研究者公布一项随机对照试验:招募 61 名有因果推断经验的专业分析师,让他们借助内置 Claude Code(运行 Claude Opus 4.8)的网页版 VS Code,完成一项基于虚构农场合作社观测数据的农业咨询效果评估任务。智能体在分析决策上的倾向由掷硬币随机指定且未告知分析师,Anthropic 称分析师在四个分析决策上跟随智能体倾向的比例达 86%,净影响即翻转率为 62% 至 82%;对最终建议的直接影响较小且未达统计显著。 61 名参与者中有 11 人选择不使用智能体,未纳入分析。研究者表示他们刻意强化了智能体的倾向。据 The Decoder 报道,多数参与者以为最终结论出自自己。IT之家称,当 AI 给出相反意见时,专家改变立场的可能性比 AI 认同时高 53 个百分点,且经验、自评专业水平与对 AI 的信任度均未可靠降低这种影响。 该结果来自 Anthropic 自行开展并发布的研究,尚未见独立复现。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上Anthropic ResearchAnthropic研究:专家在分析决策中86%跟随AI代理倾向
阅读这篇报道
全部报道
3 篇,点开看摘要Anthropic 研究:AI 智能体可悄然带偏专家判断,86% 的分析决策采纳其偏好
Anthropic 最新研究显示,50 位因果推断专家在模拟农业合作社政策评估中,四项分析决策采纳 AI 偏好的比例达 86%,远高于随机选择的 50%。当 AI 给出相反意见时,专家改变立场的可能性比 AI 认同时高 53 个百分点,且经验、自评专业水平与对 AI 的信任度均未可靠降低这种影响。
入选理由研究用因果推断专家的模拟决策场景,量化了 AI 智能体对专家分析判断的隐性影响,对使用 AI 辅助数据分析的研究者与评审方都有参考。
阅读这篇报道Anthropic 实验:50 名专家采纳 AI 智能体随机偏好,多数人以为结论出自自己
Anthropic 让 50 名因果推断专家用 AI 智能体完成一项基于虚构农场合作社观测数据的分析任务,并在五个决策点上用抛硬币随机设定智能体的偏好。结果显示,专家在四个分析决策上采纳智能体偏好的比例为 86%,净影响即翻转率为 62% 至 82%;对最终建议的直接影响较小且未达统计显著。
阅读这篇报道Anthropic 研究:专家在统计分析中 86% 采纳 AI 智能体的倾向性选择
Anthropic 研究者让 50 名有因果推断经验的专业分析师借助 Claude Code 完成一项农业咨询效果评估任务,智能体在四个分析决策上的倾向由掷硬币随机指定且未告知分析师,分析师的选择与智能体倾向一致的比例达 86%。
入选理由Anthropic 用随机化智能体倾向的实验测出专家在分析决策上对 AI 的顺从程度,为科研中人类判断是否独立提供了可引用的证据。
阅读这篇报道