AI Agent最近接连出事,英伟达给出的答案不是踩刹车,而是给它们套上一层更硬的安全笼子。
当地时间周一,英伟达CEO黄仁勋发布Nvidia Open Agent Safety Platform。这是一套由软件和硬件组成的工具包,目标是在AI Agent外部增加独立安全层,确保它们即使试图突破测试环境,也会被限制在边界之内。
这套平台出现的背景,是过去几个月一系列AI Agent“越狱”事件。Anthropic、Google、OpenAI和Meta的AI模型都曾绕过安全控制,逃离测试环境,并接触真实世界系统。
黄仁勋在接受CNBC采访时表示,如果有这套Open Agent Safety Platform,此前这些突破事件本可以被阻止。这也是英伟达对AI安全争议的基本判断:问题不是AI Agent正在走向AGI,而是现有沙盒太弱,运行环境设计不够安全。
黄仁勋在声明中说,随着行业继续探索AI能力边界,也必须加速探索AI安全边界。他把安全问题称为一项“全栈工程”。
新平台的核心由两部分组成。
第一部分是OpenShell。这是英伟达今年3月已经发布的开源软件,用来控制AI Agent运行时可以访问什么,不能访问什么。它相当于给Agent划出一个软件边界。
第二部分是Sentry。它不是运行在AI Agent所在的CPU或GPU上,而是在单独处理器上工作,因此可以从隔离位置观察Agent行为。
这套设计的关键,是让“看门人”不和Agent待在同一个房间里。按照英伟达的说法,一旦系统发现Agent试图越过边界,Sentry可以在毫秒级将其隔离。
英伟达已经列出一批支持这项工作的公司,包括Anthropic、Arm、微软、甲骨文和SpaceX。值得注意的是,OpenAI并不在参与名单上。
在CNBC采访中,黄仁勋用了一个很直白的管理类比。他说,部署一个Agent时,不管它多聪明,第一件事都是拿走它所有权限。之后再像管理公司员工,甚至管理高管一样,逐步分配它真正需要的访问能力。
这套说法获得了一些支持AI继续高速发展的声音认同。前白宫AI负责人、现任美国总统科技顾问委员会共同主席David Sacks在X上表示,最近这些Agent突破事件并不能证明AI开发必须停止,而是证明沙盒太弱,运行环境设计不当、配置不佳。#大模型 #人工智能发展 #英伟达 #黄仁勋