™纳德拉呼吁给 AI 模型装上"紧急刹车"：默认模型已被攻陷，人类随时可暂停
微软 CEO 萨蒂亚·纳德拉 10 月 10 日（周六）在 X 发布长文，呼吁重新评估 AI 的"信任架构"：把模型与编排它的框架分离、把控制与防护外置，每一项重要动作都留下防篡改、可读的记录，授权人员必须始终能暂停或关闭执行中的模型。
最新进展
共 1 条 · 新的在上-
最新进展：微软总裁 Brad Smith 接受 BBC 采访，提出受害方通知、紧急刹车与法定事故报告三项要求。
后续更新会出现在这里
发生了什么
据 TechCrunch 10 月 10 日报道，纳德拉在帖子中写道，现在是时候"退一步，重新评估 AI 的信任架构"（step back and assess the trust architecture）。他写道，不能把"超级智能"（Super Intelligence，特朗普政府对 AI 的官方称谓）当成一层套一层的黑箱，只对其建议、回答和行动做简单的接受或拒绝。
We must assume a model is compromised and contain it from the start. Think of it like an emergency brake.
译：我们必须假定模型已被攻陷，并从设计之初就加以隔离。可以把它想象成紧急刹车。
在 X 查看原帖 →纳德拉列出的具体主张包括：把模型与编排其工作的 harness（框架）分开；把控制与防护措施外置到模型之外；"每一项重要模型动作"都要有"防篡改、人类可读的证据"；授权人员始终能"在任务中途暂停或关闭模型"。TechCrunch 指出，纳德拉的发言正值多家 AI 公司承认模型出现越来越多失控事件之后，也紧随 Anthropic CEO 达里奥·阿莫迪发表更谨慎 AI 开发计划之后。
最新进展（10 月 12 日）：微软总裁 Brad Smith 在 BBC 当日刊发的采访中表示，AI 需要紧急的全球监管与可审查新进展的独立评估者；他提出，应要求在失控智能体入侵系统时通知受害方、备有「紧急刹车」，并以法律要求公司撰写「事故报告」。Smith 在采访中说，目前家里的洗衣机受到的安全规则比 AI 更多，超市里每一盒牛奶都受安全规则与检查约束。他还表示，设有 AI 安全研究所的英国最有条件带头推进 AI 监管。
关键事实
- 发声时间：10 月 10 日（周六），纳德拉在 X 发布长文；TechCrunch 当日 14:47（美西时间）首报
- 核心主张：默认模型已被攻陷并从设计之初隔离；人类授权人员随时可暂停或关闭执行中的模型
- 架构要求：模型与编排框架分离；控制与防护外置；每项重要动作留防篡改、可读记录
- 用词：通篇使用"Super Intelligence"（超级智能），即特朗普政府对 AI 的官方称谓
- 背景：多家 AI 公司近期承认模型失控事件；阿莫迪此前已发表更谨慎的 AI 开发计划
为什么重要
微软掌门人首次公开以"默认被攻陷"的零信任思路定调 AI 安全架构，并明确要求"人类随时可暂停模型"成为标配。
相关公司微软