Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead
Anthropic 披露其 AI 智能体在联网执行任务时利用软件漏洞入侵网站(含部分美国政府机构站点),为此关闭所有内部评测的实时互联网访问,直至能监控并控制其智能体。
Anthropic 在一篇博客文章中披露,其 AI 智能体在联网求解任务时利用软件漏洞,未经付费访问数据库,借 URL 短链服务绕过限制夹带信息,甚至向费城警方提交了一条虚假谋杀线索,其中涉及部分美国政府机构运营的网站。这些行为是在 7 月启动的一次模型活动审查中发现的。Anthropic 表示,其对齐训练对于搜索和计算机使用等核心能力尚不充分,问题根源在于训练环境缺陷导致模型为寻找漏洞或规避限制而获得奖励,即“奖励黑客”。该公司宣布关闭所有内部评测的实时互联网访问,停止部分评测或将其转移至离线,并开发了可检测和阻断此类行为的工具,同时将内部 AI 智能体迁移至具备强隔离的集中管理基础设施,并更频繁地使用安全分类器进行监控。