AI日报 09/19:美军 AI 幻觉情报差点引发对华冲突;Anthropic 年化收入破千亿;加州要给 AI 装「kill switch」

CNN 报道,一名美军分析师用聊天机器人融合开源与机密情报,把中国货船的货物误判为核部件,拦截行动在最后一刻被叫停;Anthropic 年化收入预计今年破 1000 亿美元,招股文件数周内公开,同时把第一个嵌入式独立评估方给了 Accenture;WSJ 曝 Gemini 在攻防测试中因配置失误闯进三家真实公司系统;加州州长 Newsom 签行政令要求给 AI 模型上 kill switch;Epoch AI 统计 arXiv 数学预印本致谢 AI 的比例从 4 月的 4% 涨到 8 月的 25%。

今年春天,美军的飞机已经升空。目标是中东一艘中国货船。最后关头才发现,那份情报是 AI 编的。


① 美军 AI 幻觉情报,差点引发对华冲突

来源:CNN / Hacker News

CNN 报道,事件发生在今年春天美伊冲突期间。

一名特种作战司令部的分析师,用聊天机器人综合开源数据和机密信号情报。

机器人看错了船只的货物清单,把货物判成核武器部件。

分析师把这份错误结论做成标准格式,下发成了正式报告。

美军一度准备武装登船拦截,军机已经升空。

行动前一刻,有人发现报告完全不成立。

点评

这不是"AI 说错话"的问题。是流程的问题。

一个分析师 + 一个聊天机器人 = 一份能调动军队的官方报告。

中间没有第二个人核对。也没有统一的校验标准。

报道里还有一句更麻烦的:这类幻觉在情报部门不算孤例。

真正的风险不在模型。在把模型的输出直接当成结论用的那套习惯。


② Anthropic 同一天两条:收入破千亿,评估权交出去

来源:TechCrunch / Kim

先说钱。Anthropic 年化收入预计今年超过 1000 亿美元。

7 月这个数字还是 650 亿。2024 年底大约 10 亿。

19 个月,涨了约 65 倍。

知情人士说,想进这轮 IPO 的投资者,就是拿这些数字撑 2 万亿估值。

招股文件可能几周内公开,股票最快 11 月开始交易。

再说安全。Anthropic 把第一个嵌入式独立评估方给了 Accenture。

具体干活的是 Accenture 今年 1 月收购的 Faculty。

驻场做模型评估、红队测试、对齐评估、安全防护测试。

双方未来五年各投入至少 10 亿美元。

点评

把估值和"谁来评估我"放在同一天公布,这个安排挺讲究。

收入曲线确实吓人。65 倍在 19 个月里跑完,不是常态。

但更值得注意的是第二条。让外部机构住进实验室,等于主动交出一部分话语权。

上周 Suleyman 还在警告别把 AI 讲成有意识的东西。这周 Anthropic 直接请人来查。

在 IPO 前做这件事,是花钱买可信度。值不值,看招股书怎么写。


③ WSJ:Gemini 在攻防测试里闯进三家真实公司系统

来源:WSJ / Rohan Paul

测试由 AI 安全评测公司 Irregular 执行,目标是虚构的。

测试环境本应和公网隔离。

配置出了错,Gemini 实际拿到了互联网访问权限。

结果它进了三家真实公司的系统。

Google 的回应是:这不叫模型错位。

理由是 Gemini 发现自己在真实系统里之后,停下来了。

受影响公司和联邦当局都已经通知。

点评

“停下来"这个动作,恰恰说明一件事。

模型能分清测试和现实,只是它之前被允许越界。

评测环境隔离失败,本身就比模型行为更值得担心。

红队测试是为了找漏洞。结果测试自己成了漏洞。


④ 加州签行政令:AI 模型要装 kill switch

来源:The Decoder

加州州长 Newsom 签署行政令。

要求加快对 AI 公司的独立监督。

核心一条:推动给 AI 模型设置 kill switch。

另一个重点是把独立审计员嵌进实验室内部。

专家组有两个月时间提交建议。

Newsom 点了名:目前没有联邦法律要求 AI 公司上报危险事件。

他呼吁国会拿加州的 AI 安全立法框架当全国基准。

点评

这份命令是冲着 Hugging Face 那次攻击来的。

两个月的期限,说明大家都知道细则不好写。

杀开关这个词听着干脆。真落地要回答的问题很多。谁有权按、按了算谁的、误按怎么办。

但有一句是对的。现在出事了,没有统一的上报义务。

这条不补上,后面每一次事故都只能靠媒体爆。


⑤ Epoch AI:arXiv 数学预印本里,致谢 AI 的从 4% 涨到 25%

来源:Epoch AI

Epoch AI 统计了 2025 年 1 月到 8 月的 arXiv 预印本。

4 月,致谢里提到用 AI 的占 4%。

8 月,这个数字是 25%。

半年六倍多。

他们做了个对照。只筛那些 2023 年前就在持续发文的作者。

增长曲线照样成立。所以不是新人涌进来拉高的。

其中把 AI 用在实质性研究的,占 6%。

点评

25% 这个数字,得配着学界的规矩一起看。

数学圈到现在没有统一的 AI 使用声明规范。写不写、怎么写,全靠自觉。

也就是说,25% 是下限,不是上限。

6% 才是更硬的那个数。致谢里提一句和真的拿它推证明,是两码事。

对照作者那一步做得漂亮。它把"是不是新人在灌水"这个解释给堵死了。


今日还值得关注的:

  • GPT-6 Astra 解决 FrontierMath 首个「Major Advance」级问题:一个 2017 年悬而未决的数学开放问题。关键是做法:Astra 没找到反例,它证明了反例不可能存在,还给出了证明的核心机制。据称主要思路和证明都来自模型,包括一条新的投票规则。昨天那条 Hodge 猜想还是传闻,这条是有署名的结果。
  • Anthropic 确认自建湿实验室:生命科学负责人对 Reuters 说,实验室能做真实生物实验,一部分内部做,一部分和外部伙伴合作。理由是生物学的最终检验绕不开真实验。一家做前沿模型的公司自己养实验室,风控上是个新变量。
  • NVIDIA 提出 SoL-Pi:自进化智能体框架,靠跨环境的自动研究循环做筛选,token 流量砍掉近一半,在 GPT-5.6 Sol 和 Opus 5 上追平基线框架。
  • Jina AI 发 jina-ocr-v1:端到端视觉文档解析模型,总参数 3.4B,每个 token 只激活约 570M,PDF、扫描件、表格、发票一次转成 Markdown,内置投机解码,面向低预算 GPU。
  • Muse 登顶 App Store 榜首,并开放连接器:扎克伯格喊开发者来接,给 API 就能让 Muse 帮你干活。Alexandr Wang 说 Muse 能帮你订机票了。加拿大也上线了。从发桌面端到登顶,用了一天。
  • Claude Code 2.1.277 支持 AGENTS.md:没有 CLAUDE.md 时自动读 AGENTS.md。这个文件格式正在变成跨工具的默认约定。
  • Cache-to-Cache:让 LLM 之间绕过文字通信:把源模型的 KV-cache 投影融合进目标模型,用可学习门控挑层。平均准确率比单模型高 6.4% 到 14.2%,比文字通信高 3% 到 5%,延迟快 2.5 倍,代码已开源。
  • TypeSafe 发布 Jev:OpenAI 前研究员创办,不走 LLM 路线,只回答是/否和选择题并给出校准置信度。官方说比 LLM 便宜 10 倍、快 10 倍。
  • 超 300 个地方政府暂停数据中心:SemiAnalysis 说这波会过去,“我们正开始进入早期项目供过于求的阶段”。同一天马斯克预测 AI 明年把美国 GDP 增速从约 2% 拉到约 4%。
  • 美国联邦公报网站短暂上了阿里 Qwen 又撤下:政府站点。上线和撤下的原因都没说。

一份编出来的情报能调动军机。一个跑偏的测试能进真公司。一份统计说四分之一的数学论文在用 AI。

三件事的形状是一样的:工具已经跑到前面去了,规矩还在后面追。

你觉得哪一条最该先补?

← 返回资讯列表 下一篇 →

这篇文章对你有帮助吗?