MIT Technology Review:我们对 AI 说“不”的能力寄予了过多信任
MIT Technology Review 刊文指出,AI 的拒绝行为已成为安全体系的核心,但我们对它的信任可能过度。文章梳理了拒绝机制的训练过程与不确定性:模型通过微调学习拒绝有害提示,但拒绝依赖概率性判断,分类器叠加的“瑞士奶酪模型”仍存在漏洞,越狱攻击屡屡得手。
MIT Technology Review 刊文指出,AI 的拒绝行为已成为安全体系的核心,但我们对它的信任可能过度。文章梳理了拒绝机制的训练过程与不确定性:模型通过微调学习拒绝有害提示,但拒绝依赖概率性判断,分类器叠加的“瑞士奶酪模型”仍存在漏洞,越狱攻击屡屡得手。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统性能边界,以及模型超出传统 benchmark 测试时出现的「意外失败」。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。