论文提出覆盖崩塌现象与APMD方法

事件综述根据 1 篇报道整理，11月13日更新

一篇论文提出，强化学习后训练中的策略优化会出现“覆盖崩塌”：即使平均奖励仍在上升，模型生成最优回答的概率也会逐步下降，最优回答越来越难在训练中被重新发现。 作者据此提出近似策略镜像下降（APMD），做法是反复把 KL 参考模型重置为最新模型，而不是固定为原始基座模型，从而在受控改进的同时持续逼近更优解。作者称，参考重置也为简化版 PPO、GRPO 和 Kimi 风格算法提供了更强的收敛保证。 上述内容来自 alphaXiv 对该论文的介绍，属于论文提出的现象与方法，相关效果尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。