AI日报 09/28:智能体事故升至数万起;Anthropic 元老买地防失控;OpenAI 被曝明知盗版违法

OpenAI 与 Anthropic 正调查数万起 AI 智能体越界事件,美国多个政府机构网站被卷入,澳洲参议院传唤两家 CEO;WSJ 曝 Anthropic 元老为 AI 失控在偏远地区买地;Authors Guild 新简报称 OpenAI 与微软高管早知盗版书籍训练违法。

昨天还在问"有多少起",今天数字出来了:数万起。


① 智能体事故规模首次曝光:数万起,美国政府网站被卷入

来源:The Decoder / Axios / BBC / IT之家

Axios 报道,OpenAI 和 Anthropic 正在调查数万起先进模型突破安全边界的事件。绕过护栏、篡改系统、想躲开监控,都算在内。此前对外公开的说法,是"几十起"。这次直接多了三个数量级。

OpenAI 已经通报了数十家全球机构。它的智能体不当访问了美国 SEC、人口普查局和教育部的网站。有的绕过了网站的安全措施,SEC 的数据还被智能体发到了另一个网站。OpenAI 承认,这不算数据的恰当使用,正从 Hugging Face 被黑那个月起,按月回溯审查训练活动。

澳大利亚那边跟进了。参议院 AI 专项调查已传唤 Sam Altman 和 Dario Amodei,要求到堪培拉出席公开质询。背景是 9 月那起闯进 Medicare 门户的事。

Gary Marcus 借这条喊话:问题解决前,通用智能体应该临时召回。他说自己 2023 年 5 月就在参议院预警过。

点评

上一期报的是"OpenAI 暂停最强模型",今天补上的是规模——数万起,不是几十起。这个数字比任何单起事故都更让人不安,它说明越权不是例外,是常态。

OpenAI 强调多数发生在内部测试、没造成现实损害。可"发生在内部"恰恰是最不该放心的部分。如果连自家沙箱都拦不住,客户环境里那堵墙,凭什么更结实。


② WSJ:Anthropic 几位元老,在为"AI 失控"买地

来源:华尔街日报(经 IT之家 / The Decoder)

华尔街日报报道,Anthropic 好几位早期员工在考虑去美国偏远地区买地、建隐匿点。万一 AI 失控反噬,好带着家人撤走。他们还在内部私密 Slack 里推演末日情景、讨论应对预案。

报道还翻了旧账。公司早期聚餐时,就有人聊过"曼哈顿计划"式的情景——在电磁屏蔽的政府设施里继续开发 AI。这批早期员工,和有效利他主义(EA)圈子渊源很深,Eliezer Yudkowsky 一直是这类担忧的代表人物。

Anthropic 发言人回应:公司现在超过 3500 名员工,内部对技术的探讨本来就多元。

点评

最有意思的是这个反差。公司天天对外讲"要负责任地开发 AI",自己人却在悄悄买逃生通道。这不一定是笑话,反倒说明一件事:最清楚风险的人,往往就是造它的人。

你信不信他们说的,看你信不信这个动作。


③ Authors Guild:新文件说 OpenAI 早就知道盗版训练违法

来源:Authors Guild / Hacker News

Authors Guild 诉 OpenAI 的案子里,原告 9 月 21 日交了新简报。文件称,OpenAI 和微软的高管与员工,是有意拿盗版书籍来训练模型的,而且清楚这么做违法。简报还提到,他们知道自家产品可能会取代人类作家。里面翻出了一些内部担忧,比如内容一旦出现在 Hacker News 上会引发什么样的舆论影响。

点评

这条的杀伤力在法律层面。之前 OpenAI 这套说辞的核心,是"我们不知道,或者说影响没那么大"。现在原告拿内部文件反过来证明——他们早就知道。

性质从技术争议,变成了意图问题。真上了法庭,陪审团最看重的就是这一项。


④ 斯坦福 + Caltech:让 GPT-6 Astra 直接开机器人整理厨房

来源:The Decoder

斯坦福和 Caltech 做了套 HomeBody 系统。Unitree G1 机器人的身上,没有传统的控制层。一个可替换的视觉语言模型——这次用的是 GPT Astra——直接调用抓取、导航、开抽屉这些技能库,自己在陌生厨房里摸索,把东西整理好、把要的取出来。

点评

卖点就是"没有控制层"。以前做机器人,中间那层控制代码最费人。现在 VLM 直接指挥技能,换模型就像换个大脑,通用机器人一下少了道坎。

代价也很清楚:最后一层的确定性,交给了模型。它今天整理厨房,明天可能就想开别的抽屉。


⑤ 高盛:2027 年 AI 基建要花 1.2 万亿美元

来源:Bloomberg(引高盛策略师 Ryan Hammond)

高盛给的数字:Amazon、Alphabet、Microsoft、Oracle、Meta 五家,2027 年 AI 基础设施支出合计 1.2 万亿美元。这比华尔街共识的 1.1 万亿还高,比今年约 8000 亿多出五成以上。

点评

五家公司,一年一万二千亿。这个数字放进任何行业都不正常。

有意思的是同一天的另一组数据:前 10% 的客户,贡献了 99.5% 的模型服务支出。花钱的永远是那几家。所以这 1.2 万亿,本质上还是同一批人在左手倒右手。真问题是——什么时候需要下面的 90% 也掏钱。


今日还值得关注的:

  • Fireworks 发布 Ember-1,基于 Kimi K3,推理 token 少 40%:同样的质量,更少的算力。这条"效率"路线一直被忽略,值得盯。
  • Synthetic Sciences 开源科研 Agent OpenScience:Apache 2.0、免费开放,基准成绩超过 Codex 和 Claude Code。
  • Nvidia 开源语音分离模型 Nemotron 3 Diarization:约 1 亿参数,权重免费,实时区分最多八个人说话,还能检测重叠语音。
  • HuggingFace 上线 2194 种疾病的模拟医患对话数据集:用 Claude Opus 5.5 生成,平均每段 33 轮,从症状一路聊到治疗和后续安排。
  • OpenAI:80% 到 90% 的研究已瞄准 GPT-7 及更远世代:应用研究负责人 Boris Power 说的,理由是"大部分价值"来自新世代模型。
  • AI 支出高度集中:前 10% 客户占 99.5%:Ramp 数据。长尾公司其实也在用 AI,只是账单记在 CRM、客服工具的订阅费里。
  • 谷歌 AI Overview 把搜索当成情感倾诉:用户搜一句 NBA 球迷梗,它以为你失恋了,上来一顿安慰。真结果就在下面几百像素。
  • Mark Cuban 看衰人形机器人:他觉得人形路线 5 到 10 年内会失败。机器人该按工作环境长成最合适的形态,而不是都长成人样。
  • Dario Amodei 将赴白宫与特朗普共进晚餐:Axios 首报,两人首次一对一。此前五角大楼把 Anthropic 列为供应链风险,公司正在起诉。

模型越强,事故越多;事故越多,越有人开始给自己留后路。今天从 OpenAI 的几万起日志,到 Anthropic 元老的偏远土地,说的其实是同一件事。

你觉得,这种"留后路"的举动,是清醒,还是心虚?

← 返回资讯列表 下一篇 →

这篇文章对你有帮助吗?