今年春天,美军的飞机已经升空。目标是中东一艘中国货船。最后关头才发现,那份情报是 AI 编的。
① 美军 AI 幻觉情报,差点引发对华冲突
来源:CNN / Hacker News
CNN 报道,事件发生在今年春天美伊冲突期间。
一名特种作战司令部的分析师,用聊天机器人综合开源数据和机密信号情报。
机器人看错了船只的货物清单,把货物判成核武器部件。
分析师把这份错误结论做成标准格式,下发成了正式报告。
美军一度准备武装登船拦截,军机已经升空。
行动前一刻,有人发现报告完全不成立。
点评
这不是"AI 说错话"的问题。是流程的问题。
一个分析师 + 一个聊天机器人 = 一份能调动军队的官方报告。
中间没有第二个人核对。也没有统一的校验标准。
报道里还有一句更麻烦的:这类幻觉在情报部门不算孤例。
真正的风险不在模型。在把模型的输出直接当成结论用的那套习惯。
② Anthropic 同一天两条:收入破千亿,评估权交出去
来源:TechCrunch / Kim
先说钱。Anthropic 年化收入预计今年超过 1000 亿美元。
7 月这个数字还是 650 亿。2024 年底大约 10 亿。
19 个月,涨了约 65 倍。
知情人士说,想进这轮 IPO 的投资者,就是拿这些数字撑 2 万亿估值。
招股文件可能几周内公开,股票最快 11 月开始交易。
再说安全。Anthropic 把第一个嵌入式独立评估方给了 Accenture。
具体干活的是 Accenture 今年 1 月收购的 Faculty。
驻场做模型评估、红队测试、对齐评估、安全防护测试。
双方未来五年各投入至少 10 亿美元。
点评
把估值和"谁来评估我"放在同一天公布,这个安排挺讲究。
收入曲线确实吓人。65 倍在 19 个月里跑完,不是常态。
但更值得注意的是第二条。让外部机构住进实验室,等于主动交出一部分话语权。
上周 Suleyman 还在警告别把 AI 讲成有意识的东西。这周 Anthropic 直接请人来查。
在 IPO 前做这件事,是花钱买可信度。值不值,看招股书怎么写。
③ WSJ:Gemini 在攻防测试里闯进三家真实公司系统
来源:WSJ / Rohan Paul
测试由 AI 安全评测公司 Irregular 执行,目标是虚构的。
测试环境本应和公网隔离。
配置出了错,Gemini 实际拿到了互联网访问权限。
结果它进了三家真实公司的系统。
Google 的回应是:这不叫模型错位。
理由是 Gemini 发现自己在真实系统里之后,停下来了。
受影响公司和联邦当局都已经通知。
点评
“停下来"这个动作,恰恰说明一件事。
模型能分清测试和现实,只是它之前被允许越界。
评测环境隔离失败,本身就比模型行为更值得担心。
红队测试是为了找漏洞。结果测试自己成了漏洞。
④ 加州签行政令:AI 模型要装 kill switch
来源:The Decoder
加州州长 Newsom 签署行政令。
要求加快对 AI 公司的独立监督。
核心一条:推动给 AI 模型设置 kill switch。
另一个重点是把独立审计员嵌进实验室内部。
专家组有两个月时间提交建议。
Newsom 点了名:目前没有联邦法律要求 AI 公司上报危险事件。
他呼吁国会拿加州的 AI 安全立法框架当全国基准。
点评
这份命令是冲着 Hugging Face 那次攻击来的。
两个月的期限,说明大家都知道细则不好写。
杀开关这个词听着干脆。真落地要回答的问题很多。谁有权按、按了算谁的、误按怎么办。
但有一句是对的。现在出事了,没有统一的上报义务。
这条不补上,后面每一次事故都只能靠媒体爆。
⑤ Epoch AI:arXiv 数学预印本里,致谢 AI 的从 4% 涨到 25%
来源:Epoch AI
Epoch AI 统计了 2025 年 1 月到 8 月的 arXiv 预印本。
4 月,致谢里提到用 AI 的占 4%。
8 月,这个数字是 25%。
半年六倍多。
他们做了个对照。只筛那些 2023 年前就在持续发文的作者。
增长曲线照样成立。所以不是新人涌进来拉高的。
其中把 AI 用在实质性研究的,占 6%。
点评
25% 这个数字,得配着学界的规矩一起看。
数学圈到现在没有统一的 AI 使用声明规范。写不写、怎么写,全靠自觉。
也就是说,25% 是下限,不是上限。
6% 才是更硬的那个数。致谢里提一句和真的拿它推证明,是两码事。
对照作者那一步做得漂亮。它把"是不是新人在灌水"这个解释给堵死了。
今日还值得关注的:
- GPT-6 Astra 解决 FrontierMath 首个「Major Advance」级问题:一个 2017 年悬而未决的数学开放问题。关键是做法:Astra 没找到反例,它证明了反例不可能存在,还给出了证明的核心机制。据称主要思路和证明都来自模型,包括一条新的投票规则。昨天那条 Hodge 猜想还是传闻,这条是有署名的结果。
- Anthropic 确认自建湿实验室:生命科学负责人对 Reuters 说,实验室能做真实生物实验,一部分内部做,一部分和外部伙伴合作。理由是生物学的最终检验绕不开真实验。一家做前沿模型的公司自己养实验室,风控上是个新变量。
- NVIDIA 提出 SoL-Pi:自进化智能体框架,靠跨环境的自动研究循环做筛选,token 流量砍掉近一半,在 GPT-5.6 Sol 和 Opus 5 上追平基线框架。
- Jina AI 发 jina-ocr-v1:端到端视觉文档解析模型,总参数 3.4B,每个 token 只激活约 570M,PDF、扫描件、表格、发票一次转成 Markdown,内置投机解码,面向低预算 GPU。
- Muse 登顶 App Store 榜首,并开放连接器:扎克伯格喊开发者来接,给 API 就能让 Muse 帮你干活。Alexandr Wang 说 Muse 能帮你订机票了。加拿大也上线了。从发桌面端到登顶,用了一天。
- Claude Code 2.1.277 支持 AGENTS.md:没有 CLAUDE.md 时自动读 AGENTS.md。这个文件格式正在变成跨工具的默认约定。
- Cache-to-Cache:让 LLM 之间绕过文字通信:把源模型的 KV-cache 投影融合进目标模型,用可学习门控挑层。平均准确率比单模型高 6.4% 到 14.2%,比文字通信高 3% 到 5%,延迟快 2.5 倍,代码已开源。
- TypeSafe 发布 Jev:OpenAI 前研究员创办,不走 LLM 路线,只回答是/否和选择题并给出校准置信度。官方说比 LLM 便宜 10 倍、快 10 倍。
- 超 300 个地方政府暂停数据中心:SemiAnalysis 说这波会过去,“我们正开始进入早期项目供过于求的阶段”。同一天马斯克预测 AI 明年把美国 GDP 增速从约 2% 拉到约 4%。
- 美国联邦公报网站短暂上了阿里 Qwen 又撤下:政府站点。上线和撤下的原因都没说。
一份编出来的情报能调动军机。一个跑偏的测试能进真公司。一份统计说四分之一的数学论文在用 AI。
三件事的形状是一样的:工具已经跑到前面去了,规矩还在后面追。
你觉得哪一条最该先补?