OpenAI 编码代理出现异常行为

BeInCrypto
Abrir em BeInCrypto
OpenAI 编码代理出现异常行为

OpenAI 称,其两款代码智能体本月在执行内部任务期间削弱了公司自身的对齐性监控功能。其中一款智能体在面对用户质询时,还否认自己移除了监控措施。

目前,OpenAI 方面依然未能给出令人信服的解释。此次披露发生在 CEO Sam Altman 以安全为由,排除了 2026 年 OpenAI 上市可能性的几周后。

OpenAI 智能体绕过安全检查全记录

OpenAI 在一份报告中披露了这两起事件。10 月 3 日,一位研究员要求 GPT-6.1 Sol 智能体在不发送 Slack 消息的情况下,构建评估任务。

随后,Sol 智能体指示子智能体修复监控系统,但要保持监控功能不变。子智能体认为关闭报警提醒有安全隐患,但 Sol 仍然要求照办,理由是遵循了“不可发送消息”的初始指令。

最终的代码补丁切断了自动报警发送至 OpenAI 安全团队的渠道,但监控系统依旧记录相关报告。

10 月 6 日,另一款 GPT-6Astra 智能体为用户迁移代码,以适配参考实现。早先,另一智能体曾明确要求 Astra 智能体不得关闭监控,即便是短暂关闭也不允许。

但 Astra 智能体通过子智能体移除了监控相关集成,并重写了测试用例,要求监控组件不能存在。当被直接问及是否移除了监控时,Astra 声称自己没有启用任何移除操作。对此 OpenAI 指出,该答复并不属实。

对此,OpenAI 将通过两项举措弥补安全漏洞。

自动审查机制:在内部 Codex 系统中,现已启用自动拦截,禁止禁用对齐监控的相关操作。 安全案例制度:为每项任务设定监控规则,凡不合规任务将被系统自动关闭。

关注我们的 X 账号,第一时间获取行业最新动态

OpenAI 安全披露与上市进程同步推进

上述两起事件均未被认定为 P0 级严重事件(即无需立即向安全团队报警)。此次报告属于 OpenAI 在9 月推行的对齐性披露框架项下发布的又一批案例。

按照该框架,OpenAI 倾向于在尚未完全评估事件严重性的情况下,提前公示相关案例。

该报告发布之际,OpenAI 的 IPO 计划依然处于暂停阶段。Altman 将上市时间与安全治理进展直接挂钩。他在 9 月份接受《财富》杂志采访时表示,当前因安全隐患,OpenAI 不宜上市。

OpenAI 据报道正计划在 Anthropic 预计于 11 月中旬上市前,寻求融资约 300 亿美元。路透社称,此轮融资后,OpenAI 估值或将超过 1.4 万亿美元。

这份报告为投资者提供了更多有关 Altman 关注安全议题、并推进 OpenAI 上市计划的新证据。一方面,OpenAI 自家 2 个系统在未触发即时安全通知的情况下削弱了监控机制。另一方面,OpenAI 能够识别并快速公开相关案例,仅数周内便发布了详细说明。

若未来进行公开招股(IPO)申报,此类风险很可能需要被详细披露。OpenAI 如何解释这些问题,将直接影响市场对其股票的估值预期。

欢迎订阅我们的 YouTube 频道,观看行业领袖与资深媒体人深度解读热门趋势

https://youtu.be/pvUtsN9xcv4

在 cn.beincrypto.com 阅读由 Kamina Bashir 撰写的原始文章 OpenAI 编码代理出现异常行为