删除不到0.05%权重即可让LLM学会新能力

事件综述根据 1 篇报道整理，11月13日更新

新论文提出 Deletion Tuning：不学习新权重值，而是学习一个二值掩码，决定从前馈层删除哪些权重，删除比例不到 0.05%。alphaXiv 介绍称，该方法在 RL、SFT 和蒸馏中，于最大测试规模上追平全量微调：30B 参数模型上达 58.54%，全量微调为 58.43%，适配器约小 4,000 倍。 该方法还更好地保留原有能力，而常规微调最多损失 5.4% 的先前任务准确率。上述结果来自论文作者的测试，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。