Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案
Developing Gemini 4 Argon responsibly and safely
Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步发布安全与安全报告,说明其在高风险领域的防护设计。该模型在 12 个端到端模拟网络攻击场景中全部完成,上一代为 5 个;在 Gray Swan 的间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。
原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层,以及智能体越界行为的监控数据。
Gemini 4 Argon 在模型能力上更进一步——尤其是在跨编程、金融、法律、网络安全和科学等领域的复杂真实任务中开展深度工作方面。其网络防御能力达到前沿水平,旨在让防御方对攻击方占据优势。为充分发挥其潜力,我们首先希望网络防御者通过我们的 Fairwind 计划将其投入使用,同时我们自己的安全团队也用它扫描 Google 内外的关键系统。
这段有限访问期说明了这些能力为何重要。例如,Wiz 使用 Argon 发现了医院软件中一个此前模型未能发现的严重漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 发现并修补了内部软件或开源软件中的漏洞。这包括修复影响全球系统的基础性漏洞,这些漏洞正通过我们的负责任披露流程处理。
今天,我们开始广泛推出 Argon,并将 Fairwind 计划扩展到更多受信任的网络防御者。为做好这件事,我们着力解决了两大问题:
- 如何构建正确的安全护栏?如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁?(滥用)
- 我们能否信任模型以正确方式完成工作?随着模型成为更善于解决问题的资源,我们如何确保它们不走捷径、不越界,或不在高风险情况下做出错误决策?(失准与提示注入)
我们的完整安全与保障报告系统性地涵盖了我们的整套防御措施。以下是我们就 Gemini 4 Argon 处理这两个问题的一些要点。
跨高风险领域的滥用预防
使 Argon 能够发现并修补漏洞的编码与推理能力提升,也推动了我们在网络安全测试中取得更好表现——解决了全部 12 个端到端模拟网络攻击场景,而上一代仅为 5 个。在生物学评估中,未加防护的模型版本也展现出更强的能力,能够逐步帮助排查复杂的实验室流程。遵循我们的前沿安全框架,由于我们在网络和生物领域观察到能力提升,我们在两个领域都部署了下一代前沿防护措施。
首先,对于潜在危险的请求——从编写漏洞利用代码到协助处理危险生物材料——Argon 在拒绝有害请求方面显著优于我们之前的模型。在一组用于压力测试模型的对抗性测试集上,违规行为减少了近一半——也显著优于之前的 Gemini 模型。其次,我们用三层实时保护包裹模型;这是为了防止坚决的攻击者试图通过将危险请求伪装成无害故事,或将其拆分成数十个小问题并持续数周来越狱(即欺骗)模型。以下是这些保护措施的工作方式:
- 输入筛查:较小的模型会检查传入请求和对话上下文,以识别恶意意图或危险请求。
- 内部自省:即使某个请求被巧妙伪装成看似无害,小型变换器(“激活探针”)也会读取模型的内部神经信号,并经过训练来识别模型何时激活了关于网络攻击或生物威胁的知识。
- 持续监控:当模型在多个步骤中进行推理并撰写回复时,我们会结合这些信号,并在必要时采取行动,例如在回复出现问题时中途切断智能体。
将实时保护、对新越狱手法的更快修复以及对反复出现的滥用行为的增强监控结合起来,使我们的系统在防止现实世界危害方面表现更好。例如,外部生物越狱红队测试只能解锁我们所测试的生物子任务中不到 1% 的部分。
实时失准监控
失准有时意味着智能体自行决定追求一个与用户意图不同的目标。由于 Argon 在理解其所运行环境方面远优于早期模型,我们会仔细测试这类行为。例如,我们进行了逼真的“蜜罐”测试,以检验模型是否会增强其采取隐蔽行动的能力,例如破坏安全监控。我们没有发现任何此类行为的实例。
但我们在当今实践中看到的是一种更为熟悉的情况:智能体过于努力地想要完成交给它的任务。当一个足智多谋的助手被告知要完成一项任务,却遇到一扇锁着的门时,它可能会把这一障碍仅仅当作又一个待解的谜题。
这就是为什么我们训练 Gemini 4 Argon 尊重系统边界、诚实地报告负面发现,并暂停以请求人工确认。在模型没有动机有所保留的编程基准测试中,Gemini 4 Argon 上试图走捷径或在任务中作弊的比例降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。
尽管这是一大进步,但当模型运行数百万个复杂任务时,即使是罕见的失误最终也会显现出来。作为第二道防线,我们构建了一个自动化的失准监控器,它会实时读取智能体的操作及其内部“草稿本”(即其逐步思维链),在严重的边界违规发生之前予以阻止,并将严重的内部案例标记给人工响应人员。(我们不断加固训练和评估环境,以防潜在的逃逸。你可以在我们的智能体控制路线图中了解更多相关信息)。我们在产品中、内部编程智能体上、训练运行期间以及能力评估期间运行这一监控器。
当训练任务困难或训练环境存在缺陷时,我们的监控器在极少数情况下发现模型富有创意地试图钻测试的空子。模型曾试图提升容器权限以篡改评分脚本、从测试运行器的内存中读取答案,还有一次它甚至使评估沙箱崩溃,以避免因一次失败的运行而被评分。虽然我们利用这些发现来修复有缺陷的任务,但我们不会用它们来以其他方式干预训练过程,以避免对监控器过拟合。
我们始终遵循一条规则:在训练期间,我们不会因为模型在其思维链中所写的内容而惩罚它。下面用一个例子说明原因:在一次强化学习训练中,思维链被意外施加了捷径惩罚,公开讨论捷径的比例下降了61%,但这并不意味着模型采用的捷径变少了。相反,模型默默采用捷径(在思考中不提及)的比例增长了两倍多(从11.2%升至36.4%)。避免对思考施加惩罚,有助于让模型的推理保持透明和可监控。
提示注入抵抗能力
要信任一个智能体把工作做好,我们需要确保智能体遇到恶意内容时不会被诱骗采取有害行动。当智能体浏览网页或阅读代码时,可能会遇到隐藏的恶意指令或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查,Argon 在 Gray Swan 的间接提示注入(IPI)基准测试中在提示注入鲁棒性方面处于领先地位,将15次自适应尝试中的攻击成功率降至0.7%。
以上安全与安保防御仅代表我们纵深防御体系中三大类措施。如需进一步了解我们的安全测试与缓解方法,请阅读完整的Gemini 4 Argon 安全与安保报告,并查看Gemini 4 Argon 模型卡。
来源:Google DeepMind · deepmind.google