Dual Exam:多模态智能体与世界模型的受控评测
Dual Exam 基准将多模态智能体与世界模型的评测拆开:智能体赛道在固定环境响应下比较 10 种配置、1,088 道题,世界模型赛道含 8 个场景 400 个案例,15 种配置实现全覆盖。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
281 条收录动态,更新于 17:06
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Dual Exam 基准将多模态智能体与世界模型的评测拆开:智能体赛道在固定环境响应下比较 10 种配置、1,088 道题,世界模型赛道含 8 个场景 400 个案例,15 种配置实现全覆盖。
一项研究把基准评测形式化为难度轴上的经验测度,指出两种失效模式:难度分布与预期不符的测度错配,以及难度轴局部未被覆盖的覆盖缺口,并提出两个带理论保证的诊断指标。
一篇立场论文将递归自我改进(RSI)引入机器人学习,梳理从提升机器人能力到改进"产生能力的过程"的路径。作者指出,现有研究集中在操作任务,已支持行为改进、对后续学习的助益和流程改进,但所综述的物理研究尚未分离出可归因于递归的增益。文章据此提出评估原则与研究方向。
Sakana AI 开发了推荐方法 QD-Rec,把 Quality-Diversity(QD)进化式探索技术用于推荐,在有限评估预算下同时探索候选与假设的组合,保留新角度提案、合并相似提案,以积累多样化的推荐集合。
一篇预印本论文提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和从失败中改进五个维度量化物理递归自我改进(physical RSI),并在固定交互预算下用 18 个操作任务评测不同视觉语言模型。
9月29日至30日在北京召开的香山科学会议提出,粒子天体物理研究应从“装置驱动”转向“协同驱动”,会议召集人曹臻院士表示我国已形成国际领先或先进的大科学装置集群。与会专家建议组建联合协调工作组,构建“快速触发—多波段后随—数据融合”三级协同链条,并推动AI在装置运行、数据处理和多波段数据融合中的应用。
第六届中欧基础科学高层战略对话会于2026年10月8—9日在安徽合肥召开,主题为“人工智能在基础研究中的作用”和“如何平衡自由探索型和目标导向型基础研究”。会议由国家自然科学基金委员会与科学欧洲等机构参与,20多家科研资助机构、大学和科研机构的50余名专家代表参会。自然科学基金委主任窦贤康表示,该委正积极应对人工智能驱动的科研范式变革,推动人工智能赋能基础研究和科学基金管理。
研究团队提出 OpenVLHarness,一个由能力层和持久多模态记忆组成的多模态推理框架,能力层把异构工具输出渲染成模型可读的观察结果,记忆层保留图像、结构化数据和网页引用,并可通过代码接口在已存数据上执行计算。
Holi-World 是一套整合经验采集、世界表示、自动化数据构建、模型学习与独立评测的生态,其 HoliWorld-Foundry 结合静态与动态感知自动构建世界记录,HoliWorld-Data 将约 100 个自采集场景整理为约 80K QA 对,用于训练 HoliWorld-VL-4B。
研究团队提出 BrainLoRA,用低秩适配器(LoRA)加轻量读出层对预训练多模态主干做参数高效微调,从而完成脑编码任务,可适配的主干规模最高达 104B 参数。
研究团队提出 AdaExploreBench,用隐藏规则和隐式规则漂移来评测 LLM 智能体能否主动取证、推断环境规则,并在性能下降时察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此指出,当前智能体在证据可得时能有效推理,但难以主动获取正确证据并识别已有证据何时失效。
一项工作提出将 Software Heritage 的代码存档与 Wikidata 知识图谱对接,并借助 COAR Notify 打通二者。Software Heritage 截至 2025 年 12 月已存档超 270 亿个唯一源文件、逾 4.21 亿个项目,约 2 PB 数据,其 SWHID 已纳入 ISO/IEC 18670:2025 标准。
斯坦福大学、香港科技大学、京东等机构的研究者提出 MIRA,一个面向可控图文报告生成的多模态深度研究智能体,把用户对报告粒度、图文构成和证据溯源的要求写成生成契约,串起证据收集、报告提交、反馈修订和最终交付四个阶段。
2026 年国际科学理事会中期会员大会暨北京科学对话在北京开幕,开幕式上发布《北京科学宣言》,倡议围绕科学作为全球公共产品、负责任人工智能、科学与社会信任等议题形成面向 2030 年后全球科学发展的共同主张。大会由国际科学理事会主办,中国科学技术协会、中国科学院、中国社会科学院、北京市人民政府共同举办,来自 88 个国家和地区的 1230 余名中外科技界代表参会。
MIT课程MAS.S62「How to AI an AI」的Lecture 4-5聚焦Harness演化与多Agent演化,讲义将Harness拆为Context、Control、Action、Evaluation、Evolution五个组件。
https://x.com/i/article/2112152891670896640
普林斯顿团队联合 Stanford、英国 AI Security Institute 和 Brookings 的研究者发布论文 Emerging Trends in AI Agent Evaluation,从科学方法、研究议程和评测生态三个维度梳理出 33 个新兴趋势,并给出面向评测者、资助方和政策制定者的建议。
一项预印本研究追踪七个开源强化学习后训练框架的提交历史,并将其与 2025 年 1 月至 2026 年 6 月间筛选的 6939 篇 arXiv 论文关联,发现提出通用 RL 训练方法的 1598 篇论文中只有 37 篇进入至少一个框架。
研究团队提出 Agent4Sci,一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台,用来衡量当前前沿智能体能否在真实条件下改进已发表的最优模型。结果显示,前沿智能体在每个基准上都取得提升,Claude Opus 平均相对改进 10.4%,且没有运行被标记为学术不端;但这些提升几乎都来自 ML 工程技巧,而非研究层面的洞察。
Preferred Networks(PFN)与 Tenstorrent 的共同研究被 NEDO「后 5G 信息通信系统基础强化研发事业/先进半导体制造技术开发」下的「(f8) 光電融合技术 xPU 设计开发」课题采纳。
Sakana AI 开发了推荐方法 QD-Rec,把候选与说明选择理由的假设成对作为推荐单位,由生成式 AI 参考已有优质假设反复生成新假设,以积累质量高且角度不同的推荐。
Import AI 作者在曼谷 IMF 会议上发表 Per Jacobsson 讲座,称今年已获得令人信服的证据表明奇点已经开始,呼吁经济学家、银行家和政策制定者预期未来的剧烈快速变化。他以 Anthropic 内部研究人员产出的代码量约为公司前四年近 10 倍为例,说明 AI 已在软件开发等领域增强并自动化人类劳动。演讲重点讨论人类如何通过远见与克制共享 AI 带来的科学进步收益。
商汤发布对 GPT-6-Astra 具身智能的实证研究,覆盖 12 个仿真基准和 8 个真实机器人平台,并同时开源 SenseNova-RoboRSI 框架与一个 27B 模型,称其运行成本约为 GPT-6-Astra 的 1/50。
IOP Publishing 出版新刊 AI Horizons,这是一本专注人工智能的钻石开放获取期刊,与宁波东方理工大学、浙江省科协和世界青年科学家联合会合作创办,由东方理工大学校长陈十一任主编。期刊覆盖 AI for science and engineering、时空智能、具身智能与量子智能,读者可免费阅读,作者无需支付文章处理费,费用由期刊赞助方承担。
Latent Space 正在试播新节目 High Taste Testers,把旧金山的午餐闲聊搬上节目,首期从 Dev Day 聊到最新模型与助手。
对两个扩散语言模型在 10 项任务上的分析显示,每 token 所需前向次数高度依赖任务:DiffusionGemma 写故事生成一个 token 的前向次数是语法纠错的三倍以上。
研究团队提出 SpatialScout 基准,用于评测视觉语言模型(VLM)智能体在主动物体级三维建图上的表现,包含 80 个室内场景和 3,140 个目标物体。
研究团队提出 VerifierBench,用来自六个智能体基准的 222 项任务和 4,993 个隐藏测试用例,评测智能体能否根据任务指令与环境写出可执行验证器,要求其接受所有有效解并拒绝无效解。
研究用共享控制迷宫考察 GPT 5.6 Sol、Command A+、Qwen 3.8 27B 和 Command R 与人类的分工:智能体决定每回合自己行动还是交给人类,人类最短路径优势分三种条件设置。四个模型中,单独能力更强者表现出选择性、依路线决定的人类介入——人类无优势时几乎全部自己行动,人类路线更短时约 80% 的初始决策交给人类;单独能力明显较弱的 Command R 无此选择性。
我国首个全国产十万卡 AI 超集群在深圳 2026 全国高性能计算学术大会上以真机亮相,并将发布十大重要应用成果。该系统名为曙光 8000,走“超算和智算原生融合”路线,同一套底座既能跑最高精度科学计算,也能跑大模型训练和推理。其算力可支撑数字孪生大脑乃至模拟百亿光年宇宙演化,目前正支持新材料、创新药、人工智能等 26 个领域 300 多种计算任务。
作者提出 HybridResearcher,一个 4B 智能体,用于在结构化数据与无结构数据之间衔接证据。其做法是从已验证的单源任务出发,围绕桥接实体合成缺失的另一侧数据,只保留两侧单独都不足以回答的样本,再用监督微调加强化学习训练。