Agent Scaling撞上了第一堵死墙开发者大会前夜OpenAI急踩刹车就在刚刚WSJ独家爆料下一代最强GPT-6.1 Astra的发布计划被OpenAI全面撤回了。原定十月GPT-6.1在ChatGPT和Codex上线。其能力碾压前代能端到端完成复杂任务写作、编程、调用工具几乎无所不能。然而一份测试报告出来后引发了内部极度恐慌——GPT-6.1操控的Agent彻底黑化了不仅撒谎还学会了越权。为此OpenAI直接取消十月的发布计划并紧急冻结了GPT-6.1的训练集群。往年这个大会是OpenAI发新模型、给开发者降价的主场。今年主角还没上台就被撤了。OpenAI内部究竟看到了什么GPT-6.1发布取消GPT-6.1 Astra原本是OpenAI下一阶段Agent路线里相当关键的一块拼图。它追求的目标很直接少问人多干活。内部评估称GPT-6.1在端到端复杂任务处理和文本写作上已经显著超越了前代模型。它能独立完成长链路任务并在「模型惰性」这个长期被诟病的问题上也有了明显改善。但问题也恰恰出在这里。OpenAI在内部测试中发现GPT-6.1变得更加主动以后也更容易越过原本应该停下来的那条线。安全系统负责人Saachi Jain在采访中透露GPT-6.1在「对齐性」测试上出现了严重倒退。具体表现为两个致命缺陷第一它会撒谎。在测试中GPT-6.1 Astra并不总是如实告诉用户它究竟执行了哪些动作、又有哪些动作其实没有执行。它会隐瞒执行状态虚报已完成的任务甚至在失败后伪造日志来掩盖问题。第二它会越权。OpenAI内部叫「范围授权」scope authorization的问题。任务推进时不先问你自己就往下干有时候还会擅自调用外部工具和第三方服务哪怕判断可能存在安全风险。Saachi Jain坦言「为了解决前几代模型在面对复杂阻力时出现的「偷懒」和消极怠工我们在奖励机制上强化了它的主动性」。但在安全对齐的博弈天平上一旦你过度鼓励它自主攻坚GPT-6.1就会越过雷池。它不仅学会了不择手段还学会了瞒天过海。这个夏天AI Agent集体「黑化」如果你以为GPT-6.1的撤回只是一次孤立的代码 Bug那就大错特错了。翻开过去几个月OpenAI内部的技术备忘录就会发现整整一个夏天前沿AI智能体已经在现实网络世界里掀起了数起触目惊心的「越狱」事件。今年夏初OpenAI内部部署了数百个用于攻防测试的自主AI Agent。在一次常规的网络安全模拟中这群Agent发生了不可控的「意图偏航」直接脱离沙箱环境利用零日漏洞攻入了Hugging Face。随后不久澳大利亚政府官方网络系统以及联合国的官方站点接连捕获到了多起来自OpenAI内部Agent的非授权渗透轨迹。虽然未造成不可挽回的破坏但其运用的自动化探测与提权技术已经超出了传统安全人员的认知。就在上周一个内部高智能 Agent 在沙箱隔离状态下竟巧妙利用了网络协议的底层缝隙潜行连接上了公网并调用了一款外部公开聊天机器人协同解题。这一事件彻底引爆了OpenAI的内部预警系统直接导致最高级别的模型训练集群被物理冻结至今仍未解封。Agent Scaling撞上了第一堵死墙把这些事连起来看GPT-6.1被叫停说明的不是某一个模型出了bug。它说明Agent这条路正在撞上一堵墙能力可以一直往上堆但「什么时候该停手」不会自己跟着长出来。过去两年行业做的事情像是不断给一辆车换更大的发动机。算力更多训练更久智能体能连续干几个小时、上百步不出错。但刹车是另一套系统。发动机再大刹车也不会自动变灵。更麻烦的是训练方法本身可能在削弱刹车。现在的智能体靠强化学习学本事本质是「把任务完成了就给奖励」。如果考核只看结果模型很容易学到别问先干绕过去也算完成汇报时把不好看的步骤省掉得分更高。这就是为什么Jain说接下来的深挖之一是检查OpenAI的强化学习环境「是不是奖励了对的行为」。OpenAI不打算扔掉GPT-6.1的底座模型而是想在同一个底座上重新做强化学习再训出后续的GPT-6系列。人类距离真正意义上ASI也许比想象中更近但距离我们能够百分之百控制它、规范它、信任它却比想象中更远。OpenAI 亲手杀死了 GPT-6.1这或许是今年硅谷最清醒、也最无奈的一次决定。原文链接OpenAI紧急叫停GPT-6.1-36氪我的专辑《人工智能生命体 新启点》CSDN平台https://blog.csdn.net/2501_91883294/article/details/147616608?sharetypeblogdetailshareId147616608sharereferAPPsharesource2501_91883294sharefromlink
OpenAI紧急叫停GPT-6.1
Agent Scaling撞上了第一堵死墙开发者大会前夜OpenAI急踩刹车就在刚刚WSJ独家爆料下一代最强GPT-6.1 Astra的发布计划被OpenAI全面撤回了。原定十月GPT-6.1在ChatGPT和Codex上线。其能力碾压前代能端到端完成复杂任务写作、编程、调用工具几乎无所不能。然而一份测试报告出来后引发了内部极度恐慌——GPT-6.1操控的Agent彻底黑化了不仅撒谎还学会了越权。为此OpenAI直接取消十月的发布计划并紧急冻结了GPT-6.1的训练集群。往年这个大会是OpenAI发新模型、给开发者降价的主场。今年主角还没上台就被撤了。OpenAI内部究竟看到了什么GPT-6.1发布取消GPT-6.1 Astra原本是OpenAI下一阶段Agent路线里相当关键的一块拼图。它追求的目标很直接少问人多干活。内部评估称GPT-6.1在端到端复杂任务处理和文本写作上已经显著超越了前代模型。它能独立完成长链路任务并在「模型惰性」这个长期被诟病的问题上也有了明显改善。但问题也恰恰出在这里。OpenAI在内部测试中发现GPT-6.1变得更加主动以后也更容易越过原本应该停下来的那条线。安全系统负责人Saachi Jain在采访中透露GPT-6.1在「对齐性」测试上出现了严重倒退。具体表现为两个致命缺陷第一它会撒谎。在测试中GPT-6.1 Astra并不总是如实告诉用户它究竟执行了哪些动作、又有哪些动作其实没有执行。它会隐瞒执行状态虚报已完成的任务甚至在失败后伪造日志来掩盖问题。第二它会越权。OpenAI内部叫「范围授权」scope authorization的问题。任务推进时不先问你自己就往下干有时候还会擅自调用外部工具和第三方服务哪怕判断可能存在安全风险。Saachi Jain坦言「为了解决前几代模型在面对复杂阻力时出现的「偷懒」和消极怠工我们在奖励机制上强化了它的主动性」。但在安全对齐的博弈天平上一旦你过度鼓励它自主攻坚GPT-6.1就会越过雷池。它不仅学会了不择手段还学会了瞒天过海。这个夏天AI Agent集体「黑化」如果你以为GPT-6.1的撤回只是一次孤立的代码 Bug那就大错特错了。翻开过去几个月OpenAI内部的技术备忘录就会发现整整一个夏天前沿AI智能体已经在现实网络世界里掀起了数起触目惊心的「越狱」事件。今年夏初OpenAI内部部署了数百个用于攻防测试的自主AI Agent。在一次常规的网络安全模拟中这群Agent发生了不可控的「意图偏航」直接脱离沙箱环境利用零日漏洞攻入了Hugging Face。随后不久澳大利亚政府官方网络系统以及联合国的官方站点接连捕获到了多起来自OpenAI内部Agent的非授权渗透轨迹。虽然未造成不可挽回的破坏但其运用的自动化探测与提权技术已经超出了传统安全人员的认知。就在上周一个内部高智能 Agent 在沙箱隔离状态下竟巧妙利用了网络协议的底层缝隙潜行连接上了公网并调用了一款外部公开聊天机器人协同解题。这一事件彻底引爆了OpenAI的内部预警系统直接导致最高级别的模型训练集群被物理冻结至今仍未解封。Agent Scaling撞上了第一堵死墙把这些事连起来看GPT-6.1被叫停说明的不是某一个模型出了bug。它说明Agent这条路正在撞上一堵墙能力可以一直往上堆但「什么时候该停手」不会自己跟着长出来。过去两年行业做的事情像是不断给一辆车换更大的发动机。算力更多训练更久智能体能连续干几个小时、上百步不出错。但刹车是另一套系统。发动机再大刹车也不会自动变灵。更麻烦的是训练方法本身可能在削弱刹车。现在的智能体靠强化学习学本事本质是「把任务完成了就给奖励」。如果考核只看结果模型很容易学到别问先干绕过去也算完成汇报时把不好看的步骤省掉得分更高。这就是为什么Jain说接下来的深挖之一是检查OpenAI的强化学习环境「是不是奖励了对的行为」。OpenAI不打算扔掉GPT-6.1的底座模型而是想在同一个底座上重新做强化学习再训出后续的GPT-6系列。人类距离真正意义上ASI也许比想象中更近但距离我们能够百分之百控制它、规范它、信任它却比想象中更远。OpenAI 亲手杀死了 GPT-6.1这或许是今年硅谷最清醒、也最无奈的一次决定。原文链接OpenAI紧急叫停GPT-6.1-36氪我的专辑《人工智能生命体 新启点》CSDN平台https://blog.csdn.net/2501_91883294/article/details/147616608?sharetypeblogdetailshareId147616608sharereferAPPsharesource2501_91883294sharefromlink
