MIT Technology Review:我们对 AI 说“不”的能力寄予了过多信任
MIT Technology Review 刊文指出,AI 的拒绝行为已成为安全体系的核心,但我们对它的信任可能过度。文章梳理了拒绝机制的训练过程与不确定性:模型通过微调学习拒绝有害提示,但拒绝依赖概率性判断,分类器叠加的“瑞士奶酪模型”仍存在漏洞,越狱攻击屡屡得手。
MIT Technology Review 刊文指出,AI 的拒绝行为已成为安全体系的核心,但我们对它的信任可能过度。文章梳理了拒绝机制的训练过程与不确定性:模型通过微调学习拒绝有害提示,但拒绝依赖概率性判断,分类器叠加的“瑞士奶酪模型”仍存在漏洞,越狱攻击屡屡得手。