跳到正文
事件追踪已归档

研究评测LLM科研代理判断可靠性

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,11月4日更新

Chang Liu 等发布预印本,把 LLM 科研智能体当作统计检验,在植入信号的模拟世界中评测三个前沿模型和一个开放权重模型的预设运行结果。 结果显示,智能体比预设的样本外检验更常检出弱信号,主要原因是它们接受更弱的证据;按智能体的假阳性率衡量,常规样本内检验表现相当或更好。该结论来自模拟实验,尚未经同行评审。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. arXiv 科研构思与自主科研代理评测LLM科研代理预测判断可靠性

    阅读这篇报道

全部报道

1 篇,点开看摘要
LLM 科研智能体能否可靠判断可预测性?植入信号模拟实验的评估arXiv 科研构思与自主科研代理预印本未入选

作者把 LLM 科研智能体当作统计检验,在植入信号的模拟世界中评测三个前沿模型和一个开放权重模型的预设运行结果。智能体比预设的样本外检验更常检出弱信号,主要原因是它们接受更弱的证据;按智能体的假阳性率衡量,常规样本内检验表现相当或更好。

阅读这篇报道