Microsoft 研究员 Jennifer Neville:AI 评测如何暴露传统基准之外的“意外失败”
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对话,讨论评测如何推动 AI 系统性能边界,以及模型在传统基准之外测试时出现的“意外失败”。她表示,当结果出乎预期时应仔细查看数据,并分享了使用当前 AI 系统的实用建议。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
2,299 条收录动态,更新于 17:44
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对话,讨论评测如何推动 AI 系统性能边界,以及模型在传统基准之外测试时出现的“意外失败”。她表示,当结果出乎预期时应仔细查看数据,并分享了使用当前 AI 系统的实用建议。
美国佐治亚大学 Guo-Wei Wei 团队在 arXiv 预印本中提出 TargetAgent,一个把最优传输、张量分解、拓扑数据分析与 LLM 智能体解读串联起来、依次分析多批次空间转录组数据的 AI 科研助手框架。
Google 以 Earth AI 中的 Population Dynamics Foundation Model(PDFM)为概念验证,把搜索趋势、人口流动、建成环境密度和环境决定因素压缩为按月更新的位置嵌入,无需任务微调即可作为即插即用输入接入现有流行病学模型。
入选理由Google 公开 PDFM 位置嵌入在五类公共卫生任务中的合作评估结果,研究者可据此判断地理空间基础模型能否接入现有流行病学建模流程。
Google 发布与全球卫生伙伴合作的多篇研究论文,展示 Google Earth AI 结合卫星影像、移动性数据与 AlphaEarth Foundations、Population Dynamics Foundation Model(PDFM)等基础模型,用于疾病暴发预测与社区健康趋势分析。
入选理由Google 把地理空间基础模型与人口动态模型接入公共卫生预测,研究者可据此判断这类模型能否用于疾病监测与资源调度。
欧盟委员会在 Horizon Europe 框架下划拨 6500 万欧元,用于保障支撑新药研发和生物技术 AI 工具的科学数据与知识资源。其中 GENCODE 获 1900 万欧元、UniProt 获 3000 万欧元、Europe PMC 获 800 万欧元,分别由 EMBL-EBI、基因组调控中心及 SIB 瑞士生物信息研究所等机构参与,资金用于内容维护与策展。
入选理由欧盟委员会为生命科学核心数据资源划出专项经费,科研服务从业者可据此判断欧洲生物数据基础设施的资助方向与开放获取取向。
美国学术出版学会(SSP)2026 年 9 月 Pulse Check 调查访问了 181 名学术传播从业者,73% 将 AI 生成或操纵的稿件列为最担忧的三大诚信问题之一,但只有 10% 对发表前检出这类稿件很有或极有信心,49% 信心较低。
香港科技大学(广州)、伦敦大学学院等团队提出自学习衍射分析代理 Gan Jiang,它把分析经验写成可执行技能,通过诊断失败、修改技能指令与代码并在复用前验证,在不重训语言模型、不改物理模型的前提下改进分析流程。
SciSpace 发布网页研究指南,给出挑选文献综述种子论文的启发式方法与迷你基准。指南建议按引用量、时效性和相关性排序种子论文,并称其迷你基准显示优质种子能显著减少文献地图的覆盖缺口。文中还列出选择偏差、数据库覆盖不全等常见问题,并演示用 SciSpace 相关文献智能体从种子论文扩展生成文献地图。
Scite 发布 2026 年 9 月更新,Scite MCP 新增引用证据、全文阅读、参考文献格式化和引用报告工具,可查看论文被支持、对比或提及的引用及引用原文,并逐页阅读开放获取论文和机构订阅内容。
入选理由Scite 把笔记、全文阅读和引用证据接入 AI 助手,研究者可据此判断文献工作流能否在对话中完成。
OpenAI 9 月 8 日宣布其内部模型解决了千禧年数学难题 Navier-Stokes,证明由多个 AI 智能体在启动约 88 小时后产出并经 Lean 证明助手核验。
SciSpace 发布研究指南,解释概念框架是展示研究核心概念或变量及其预期关系的模型,通常以图示呈现,并串联研究问题、方法与分析。指南区分了概念框架与文献综述、理论框架,并介绍 SciSpace 的概念框架生成器以辅助研究流程。
该内容因页面组件未能加载,正文实际不可读,仅保留标题“How to mobilize the agile science needed in a crisis”,讨论危机情境下敏捷科学的调动问题。来源为 Nature 研究管理主题,未识别到明确发布主体,无法提供更多可核验细节。
SciSpace 发布研究指南,提出把研究空白的创新性、影响力和可行性各按 1-10 分打分、合计 30 分的“gap worthiness”评分模型,用于快速排序科研选题。
SciSpace 发布指南,介绍用人在回路验证小组核验 AI 发现的研究空白,流程为 AI 发现、人工验证、迭代完善三步。指南指出 AI 空白发现工具存在数据不完整、偏见放大、语境盲区和模型幻觉等风险,需专家结构化评审补足。SciSpace 的 research gap agent 与 ResearchGPT 负责生成和追问空白,结果可导出至协作空间供小组评审。
SciSpace 发布网页研究指南,介绍"主张优先分组"法:按每篇论文的核心论断而非时间或作者聚类文献,用于撰写综述中的相关文献(RRL)章节。指南称其 Review of Related Literature Finder 可自动抽取主张并聚类,并给出收集论文、抽取主张、主题分组、写入叙述的四步流程。文中未披露准确率或测试数据。
SciSpace 发布研究指南,介绍如何将文献中的研究空白转化为具体研究目标与方法,并用其 Research Gap Finder 自动识别空白、生成目标与方法建议。指南给出“识别空白—拟定目标—设计方法”的三步流程,建议将空白转化为 2-3 个可测量目标并对齐 NSF 等资助机构的评审标准。
SciSpace 发布网页研究指南,介绍“Seed-to-Scope”相关文献检索方法:从 3-5 篇高质量种子论文出发,结合后向与前向引文追踪的雪球法和概念标签控制噪声,逐步扩展综述范围。指南称其 Review of Related Literature Finder 可自动完成这一扩展。文中以环境科学和社会心理学为例说明应用,并给出分步流程与避免范围蔓延的建议。
首届“万方数据杯”智能体大赛投稿将于2026年10月7日23:59截止,仅保存草稿不算完成投稿,作品还需同步上传说明素材。截稿后进入大众评审及专家评审环节。训练营直播课已完成全部培训,天津大学图书馆技术支持中心副主任续斐曾从大赛视角讲解智能体如何落地。
一篇发表于 Nature 的文章指出,AI 可能以微妙方式削弱科学独立性。由于页面正文未能加载,文章的具体论证、案例与数据无法核实。
SciSpace 发布基于 Jackson 学术写作讲座的研究论文写作指南,将写作流程拆为 7 步:明确研究问题、整理文献来源、搭建提纲、写初稿、解释发现、修改草稿、从读者角度检查。指南建议为每条文献记录论点、方法与相关性,建立带注释的参考文献目录,并按主题和时间分组规划综述段落。
SciSpace 发布研究数据清洗指南,梳理分析前检查、修正与准备数据的流程,涵盖录入错误、变量标准化、缺失值、重复记录与异常观测的处理。指南强调清洗目标是对数据做出可辩护的一致决策并记录在案,而非让每个数值看起来整齐。文中给出常见问题示例和一份分析前可用的实用清单。
SciSpace 发布网页研究指南,介绍 Cluster to Claim 方法,把 Review of Related Literature(RRL)中的主题文献聚类转化为具体、有证据支撑的研究问题与空白陈述。
开源软件库 Grobid 通过查询 Crossref REST API 获取完整参考文献元数据,补全缺失字段并提升 PDF 书目信息提取准确度,2026 年第一季度其客户端向该 API 发出超 1 亿次请求。
SciSpace 发布指南,介绍如何将 AI 识别的研究空白与未来引用数据做基准比对,以筛选更可能获得关注的方向。其 Research Gap Finder 由 research gap agent 与 ResearchGPT 驱动,流程包括上传文献、生成空白、查询引用增长预测。指南同时列出数据不完整、预测偏差与验证指标缺失等挑战,并建议用多样数据集和专家验证。
SciSpace 的 Related Literature Agent 可自动生成同义词与检索式,用于构建相关文献综述(RRL)。该指南给出经实测的流程:定义主题、生成检索要素、用 AI 细化时间窗口与纳入标准、再核验来源,并提供可复用的检索式库。文中以 STEM 与社会科学案例说明该工作流的适用场景。
SciSpace 发布指南,介绍用引用速度与嵌入漂移两种信号提前识别新兴研究主题。引用速度衡量论文引用量的增长快慢,嵌入漂移则用 AI 追踪文献语义变化;指南给出从 PubMed、arXiv 取数到验证的流程,并称其 Research Gap Finder 可减少人工筛查。
alphaXiv OpenResearch 发布 v0.2.16,修复 SSH 复用因控制套接字失效而失败、连接空闲 10 分钟后断开的问题,并让智能体与终端共享已认证的 SSH 连接。该版本还支持 Windows 桌面版使用 alphaXiv 证书签名,并改进桌面标题栏与仪表盘的集成。
我们……我们真没想到会这样。能进入 @a16z 生成式 AI 网页产品前十,真是莫大的荣誉 😭🏆 我们要感谢了不起的用户们,你们花了无数小时听自己笔记生成的 AI 播客。是你们成就了这一切!
The seventh edition of our Top 100 Consumer AI Apps is here. New this time: a revenue leaderboard, alongside the usual web and mobile traffic rankings. Three years ago we published the first edition. ChatGPT was #1, Claude was unranked, and the entire category was chatbots, image generators, and not much else. In today's edition: - ChatGPT still holds the throne, now with 1B+ monthly actives on mobile - Claude has climbed to #3 on web with nearly 1B monthly visits - The category has expanded to vibe coding (Lovable, Cursor, Replit), music (Suno), design (Figma), voice (ElevenLabs), video (Higgsfield, Kling), agents (Manus), and even hardware (Plaud) Full breakdown from @omooretweets: https://www.a16z.news/p/top-100-consumer-ai-apps-seventh
微软研究院团队提出 fork-and-flush 干预方法,让自主科研智能体在保留已积累工作区的同时清空对话上下文,分叉出多条并行轨迹并保留得分最高的一条,以跳出作者所称的 idea basins。
Asimov Press 发布第三批“Stories We'd Like to Publish”选题清单,公开征集报道与随笔,报道稿酬为每词 1–1.50 美元,随笔为 1200 美元固定稿酬。