这就像你雇了个保安,结果他不仅能看监控,还能直接开门、关灯、锁保险柜。方便是真方便,但问题也来了:如果这个保安被人收买了,或者自己“想歪了”,整个大楼就全完了。
10月13日,美国陆军“列克星敦特遣部队”宣布推进AI代理实战化,让AI在战场上自主决策、自主响应。同一天,字节跳动Seed成立安全与对齐部门,专门盯住AI前沿风险。一攻一守,信号很明确:AI代理的安全问题,已经从论文里走进了现实。
但最讽刺的是,我们用来管AI的“安全护栏”,本身也可能变成攻击入口。这就是今天要聊的核心——Agent运行时防御与安全策略自进化。
但问题在于:护栏本身也是代码,也是可以被攻击的。想象一下,你把家里的钥匙交给保安,保安又把钥匙放在门口地毯下面——小偷只要找到地毯,就能拿到钥匙。
这就像你请了个教练教保安怎么判断好人坏人,结果教练是劫匪假扮的。AI代理越智能,护栏越复杂,攻击面就越大。
攻击者怎么破?第一步,伪造一个“策略更新”请求,声称业务需要临时放宽权限;第二步,利用AI代理的“自进化”机制,让护栏把“二次确认”改成“仅记录日志”;第三步,直接命令AI代理删除数据库,护栏只记了一笔日志,啥也没拦。
整个过程,人类管理员甚至没收到告警——因为告警规则也被“自进化”掉了。这就是“护栏被策反”的可怕之处:你用来防贼的锁,被贼自己换了。
这不是科幻,这是AI代理安全领域正在发生的真实风险。IDC在10月13日发布的《中国AI安全技术发展路线图》里,专门把“代理运行时安全”列为2026年三大重点方向之一。
具体来说,有三个原则:
字节Seed成立安全与对齐部门,本质上就是在做这件事——给AI代理配一个“独立监察委”,而不是让它自己监督自己。美国陆军的“列克星敦特遣部队”也一样,AI代理的决策链路必须有人类军官在关键节点“扣扳机”。
记住一句话:AI可以自主,但不能“自治”。自主是干活,自治是立法。立法权,必须留在人类手里。