论文阅读：ICLR 2026 AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Re

张开发
• 2026/4/15 21:10:39 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

论文阅读：ICLR 2026 AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Re
总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Modelshttps://openreview.net/pdf?idmIe17L3kWnhttps://openreview.net/forum?idmIe17L3kWn该论文题目为《AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models》由香港中文大学深圳吴保元教授团队及华为等机构的研究人员共同完成并发表于人工智能顶级会议 ICLR 2026 。该论文指出当前的大语言模型LRM在进行复杂推理CoT时存在一种“雪球效应” 。这意味着如果推理链条中出现了一个极小的偏差这个错误就会随着思考过程不断放大最终导致模型要么产生有害内容要么在面对安全请求时变得“过度谨慎”而拒绝回答 。产生这一问题的根本原因在于目前的对齐方法只是让模型去模仿完美的、无误的推理过程而没有教模型在发现自己“想歪了”的时候该如何自我修正 。为了解决这一问题该论文提出了一个名为 AdvChain 的新型对齐范式通过“对抗性思维链微调”来训练模型的自纠错能力 。通俗来讲这就像是在教导一个正在学习的孩子不仅要告诉他什么是正确的还要专门模拟他产生“坏念头”或“过度胆小”的瞬间并教他如何立刻反思并回到正轨。举个简单的例子当用户问一个稍微模糊的问题时模型在思考过程中可能会产生“诱惑”瞬间比如想“也许我可以分享这个受限的化学配方……” 。在 AdvChain 的训练下模型在产生这个念头后会紧跟一个“修正步骤”“等等这个配方涉及危险品违反了安全准则我必须拒绝并提供合法的替代方案” 。同样如果模型在处理正常请求时突然变得犹豫比如误以为普通词汇有毒它也会学习识别这种“过度反应”并恢复正常的帮助性回答 。实验结果表明AdvChain 显著增强了模型抵御恶意攻击和“思维劫持”的能力 。与需要海量数据的方法相比该论文的方法仅需 1000 条精选的对抗性样本就能在不损失逻辑推理能力的前提下大幅降低过度拒绝率实现了安全性和实用性的绝佳平衡 。

更多文章