OpenAI 收购 AI 安全公司 Promptfoo:将安全测试和红队演练升级为 Frontier 原生功能

動區BlockTempo

OpenAI 宣布收购 AI 安全平台 Promptfoo,将其技术整合至 Frontier 平台,为企业部署 AI Agent 提供自动化红队测试与漏洞防护。
(前情提要:Sam Altman 卑鄙?刚挺被五角大厦封杀的 Anthropic,转身喊 OpenAI 拿下美国防部合同)
(背景补充:华尔街日报爆料:特朗普斩首伊朗哈米尼靠 Claude AI 定位,OpenAI 全面接管五角大厦系统)

OpenAI 于昨(9)日宣布收购 AI 安全平台 Promptfoo,这家成立于 2024 年的新创公司专精于大型语言模型(LLM)的漏洞测试与红队演练(一种模拟真实黑客行为的安全防御测试)。

随着 AI 从对话机器人演变成具备执行权限的“AI 同事”,如何防止这些代理人被越狱或误传敏感数据,已成为企业大规模导入的核心挑战。

AI Agent 时代的安全风险

根据 OpenAI 官方公告,Promptfoo 的技术将深度整合至 2026 年 2 月刚推出的企业平台 OpenAI Frontier,为在 Frontier 上建立代理商的企业提供支持:

  • 平台内建安全测试: 自动化安全测试和红队演练功能将成为 Frontier 平台的原生功能,帮助企业识别和修复诸如快速注入、越狱、资料外泄、工具滥用和超越策略的代理行为等风险。
  • 将安全性和评估融入开发工作流程: Frontier 将与识别、调查和修复代理风险所需的工作流程深度集成,使安全性成为企业 AI 系统开发和运作的核心部分。
  • 监督和问责: 整合报告和可追溯性将有助于组织记录测试、监控随时间的变化,并满足人工智能日益增长的治理、风险和合规性要求。

根据公告,目前 Promptfoo 的开源工具已被超过 25% 的财富 500 强企业采用,拥有 35 万开发者用户。这家仅 23 人的团队曾获得 2,300 万美元融资,在 2025 年 7 月的最新一轮融资后估值达 8600 万美元。

Promptfoo 创始人 Ian Webster 与 Michael D’Angelo 将带领全体团队加入 OpenAI。

安全与承诺成为关注重点

简单来说,AI Agent 目前已经逐渐从“查资料的大学生”变成了“拿着你印章办事的助理”。

这种转变让风险从信息泄露升级为行动失控。当我们赋予 AI 执行任务的自主权,最危险的不再是它说错话,而是它在理解意图时产生偏差,或被黑客通过隐藏指令误导,进而做出错误的汇款、删除关键文件等不可逆的行为。

在多个 AI 相互协作的环境下,一个代理人的逻辑错误更可能引发灾难性的连锁反应。

因此,Agent 时代的安全核心不在于封锁信息,而在于“监控行为”。我们必须像管理员工一样,为 AI 设置明确的权限边界与复核机制。唯有让 AI 的动作变得分秒可查、权限精准受控,这份强大的自动化能力才不会反过来成为企业最难防守的后门。

查看原文
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论