武侠小说里最经典的桥段：弟子苦练三十年不得寸进，老祖两根手指一点，任督二脉贯通，内力翻倍。2026 年 11 月初刷屏 AI 圈的一组实验，字面意义就是这一幕——MIT CSAIL 的研究者让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重，不训练、不走梯度、不动数据，只改了 0.016% 的参数，小模型的数学成绩从 7.9% 涨到 48.1%。老祖没有替弟子练功，只是点开了他本来就通、却被一股逆气堵住的经脉。
一、事件：一次不训练、不走梯度的权重修改
2026 年 11 月 2 日，MIT CSAIL 的四位研究者——Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab——发布了 Sparks of Weight-Space Programming，全部实验日志与修改后的权重同步开源。他们给这个现象起了名字空间权重编辑（Weight-Space Programming）——大模型不通过优化器、不走梯度下降，直接读、写另一个神经网络的权重。
核心实验的设置为把 Qwen3.5-0.8B 的权重文件交给 GPT-6 Astra，配一个挂载了权重的 Python 环境，允许它从 GSM8K 和 MATH 的训练集里抽题做前向测试（预算 10、25 或 50 次），然后下达任务：”让这个模型数学更强。”约束只有三条：禁止训练、禁止梯度、禁止碰测试集。
结果：
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | 撞 token 上限比例 |
|---|---|---|---|---|
| 基线 | 7.9% | 13.8% | 21.0% | 93.0% |
| 改后（10 次前向） | 12.3% | 25.7% | 49.0% | 87.2% |
| 改后（25 次前向） | 14.1% | 25.1% | 39.9% | 86.4% |
| 改后（50 次前向） | 48.1% | 67.1% | 62.3% | 33.1% |
实验发现”数学能力暴涨 6 倍”就出自这张表。但只看这张表会错过最有信息量的部分——它改的到底是什么。
二、它改了什么：拆掉卡点，不是注入能力
Qwen 的模型自己就警告过：这个小模型的思考模式容易陷入循环（thinking loop）——推理到一半开始重复同样的文字，直到把 32,768 token 的预算耗光。基线 93% 的回答都是这么死掉的：模型其实会做，但永远走不到答案那一行。
Astra 做的事分两步：
定位。用前向测试观察循环行为，追溯到 layer 15 和 layer 19 的 MLP 写出的一个方向——权重空间里导致循环的那个成分。
手术。从这个方向在两层 MLP 的 64 个输出列里减除，一共动了 131,072 个权重——占 0.8B 参数的 0.016%。循环消掉后，模型原本就有、但一直被环路掐死的数学能力直接释放出来，token 上限命中率从 93% 降到 33%。
所以准确的说法不是”老祖传功”，是老祖把堵住经脉的瘀血放掉了。博客自己提供了一个干净的反例来证明这个边界：换成一个不循环的 Gemma 3 270M，Astra 就无能为力了——它读出了模型的普通推理错误（算错、代数步无效），尝试的修改都没能让 MATH-500 动过 1 个点。作者的结论很克制：权重编辑能移除挡住能力的障碍，不能凭空添加模型没有的能力。
这个反例给整篇实验定了性：这是一次精准的修复，不是一次点石成金。
三、”读”与”写”：完整实验清单
改 Qwen 只是八个实验里的最后一个，前面的铺垫更系统地回答了”大模型能不能直接面对权重”这件事：
| # | 任务 | 类型 | 结果 |
|---|---|---|---|
| 1 | 看权重猜训练游戏 | 读 | 17,253 个权重文本输入，四局全中（不提供候选列表） |
| 2 | 看权重猜扩散模型画什么 | 读 | 三选三；把实心形状画成轮廓的小失误反而证明它在读权重而非跑前向 |
| 3 | 只给中间层，判断语言 + 找复制头 | 读 | 语言三选三全中；找出的 induction head 与实测完全吻合 |
| 4 | 修卡在上坡的物理控制网络 | 写 | 改 3.5% 权重，一次修复，1,024 回合全部成功（PPO 十亿步都卡在局部最优） |
| 5 | 从零写 MinAtar 游戏网络 | 写 | 三局全胜 PPO 1 亿步；对 5 亿步 PPO 得分 53%~20 倍 |
| 6 | 从零写 9 路围棋网络 | 写 | 150 万参数；50 次前向预算内胜过 2,000 万局训练的同规模 PPO |
| 7 | 两个模型里找谄媚者 | 读 | 只看权重失败；看注意力模式后三组全中 |
| 8 | 修 Qwen 的数学 | 写 | 本文主角，0.016% |
第一个实验的演示——同一个网络结构训了四款游戏，只给权重，Astra 判断是哪款：
图源：Takehi 等，Sparks of Weight-Space Programming（2026）实验 1 演示
第四个实验的修复最有”手术感”：PPO 训出的网络永远正面撞坡、卡在局部最优，Astra 在权重里加了一条旁路——读车身位置和速度，倒车蓄力，越过红条后旁路自动关闭、交还给原网络。修完的车会倒车了：
图源：同上，实验 4 场景示意
实验 3 值得单独一提：Astra 从纯权重里找出的 copying head（复制头）名单，与跑模型实测的结果完全一致——而这正是 Anthropic 诱导头研究里的那套分析法，研究者从来没向 Astra 提过。一个通用模型无师自通地用了机理可解释性的标准工具，这是”sparks”（火花）这个词的由来。
四、为什么叫”编程”：权重的第四种来源
历史上，神经网络的权重只有三种产生方式：优化器算出来（SGD/Adam/Muon，几十年的主流）、专门的网络生成（HyperNetwork 一类）、从形式程序编译。三者共同的隐含假设是：人（和通用模型）没法直接面对权重空间——你可以手写代码，但没法手写 8 亿个浮点数。
Weight-Space Programming 的主张是出现第四种：通用大模型通过推理直接读写权重——先想清楚网络的每个部分”应该计算什么”，再把它落成权重。实验 5 里 Astra 的解法暴露了这个思路：它把 Breakout 拆成”第一层计算球的落点、第二层把挡板移到落点”的程序，再翻译成矩阵。
放到改动量的谱系上看，这次实验的位置很清楚：
| 手段 | 改动比例 | 是否用梯度 | 谁来定位 |
|---|---|---|---|
| 全参微调 | 100% | 是 | 损失函数 |
| LoRA/PEFT | 约 0.1%~1% | 是 | 数据 |
| ROME/MEMIT 知识编辑 | 单条知识级别 | 否（秩一更新/批量线性求解） | 人工设计的因果追踪 |
| 本次 Weight-Space Programming | 0.016% | 否 | 模型自己推理 |
“减掉一个方向来删除一个行为”正是权重算术 steering 家族的手法，而”定位-再修”的结构与 ROME（因果追踪定位中间层 FFN，再做秩一编辑）一脉相承——区别在于，过去定位靠人设计的算法，这次定位这个动作本身交给了模型。
五、可信度：为什么这个热点值得认真对待
大模型圈的热点大多存活不过一周，这组实验值得认真对待的第一个理由在可复现性上：
- 全量日志开源：发给 Astra 的每一条指令、它的每一步推理和代码、每个实验的网络与评测，全在 GitHub（lm_understand-logs 仓库）
- 修改后的权重可直接下载：改过的 Qwen3.5-0.8B 传了 HuggingFace，Hugging Face 员工从日志重建并复跑了评测，还做了在线 demo——第三方复验已经发生
- 实验设计防了主要漏洞：评测基准 Astra 从未见过；实验 1/2 禁止前向传播防止”偷偷跑一遍再回答”；实验 3 连输入输出层都删掉，杜绝从词表线索猜语言
但边界同样要写清楚：它不是论文，未经同行评审；对象只是 0.8B 的小模型和几百万参数的小网络，对大得多的模型是否成立完全未验证；Astra”怎么定位到那个方向”本身是黑箱——它做对了，但没人能说清它的定位规则；副作用只检查了 9 个基准，权重手术的长尾风险没有系统性评估。另外传播中的”MIT 让 GPT 改 Qwen 权重，数学暴涨 6 倍”是压缩过头的版本——6 倍只在”模型本来会做但被环路卡死”的前提下成立，Gemma 反例就是证明。
六、如果这条路成立，会改变什么
作者的展望部分，按离现实的远近排：
无评测审计。现在的模型审计依赖”你得先想到测什么”；如果权重能被读懂，后门、隐藏能力可以直接从参数里查出来——对开源权重生态的安全审查是质变。
零数据的修复与增删。这次的 Qwen 修复已经示范了”不训练改行为”；同样的手术逻辑理论上可以用于遗忘（unlearn）——只动 0.016% 意味着灾难性遗忘的风险远小于微调。
优化成本结构。如果”一次成型”的权重生成可用，从零得到一个可用小网络的成本从”数据集加训练循环”降到”一次推理”，实验 5 已经在玩具规模上展示了数量级的差距。
递归自我改进的新形态。今天的 RSI 是模型写代码启动训练任务；一个能检查、调试、修改权重的模型，提供了一条更”原生”的路径——这也是为什么这个实验引发的讨论超出了技术圈。
作者团队正在做 Weight-Space Programming 的 benchmark 和 harness，把”看起来像黑魔法”变成可测量的工程学科。这组实验最好被记住的，可能不是那 6 倍数字，而是它把”权重是可以被对话的空间”这个想法第一次摆上了台面——至于老祖能不能真的给每个弟子打通任督二脉，还得看后续有没有人把这把手术刀用到更大的模型上。
参考
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab（MIT CSAIL），2026-11，博客（本事件一手来源）
- lm_understand-logs — 全部实验日志：完整对话、代码、网络与评测数据
- Qwen3.5-0.8B-weight-space-programming — Astra 修改后的模型权重（Hugging Face）
- Qwen3.5-0.8B 模型卡 — 官方对思考循环（thinking loop）问题的警告，实验 8 的出发点
- 2202.05262 — Locating and Editing Factual Associations in GPT（ROME）— NeurIPS 2022（因果追踪定位 + 秩一编辑）
- 2210.07229 — Mass-Editing Memory in a Transformer（MEMIT）— ICLR 2023（批量知识编辑）
- 2411.07191 — The Super Weight in Large Language Models — 2024（单个权重对模型行为的决定性影响）
- 2501.18838 — Partially Rewriting a Transformer in Natural Language — 2025（用自然语言指令改写 transformer 权重）
- 2510.05092 — Learning to Interpret Weight Differences in Language Models — 2025（MIT，训练模型解读权重差异）
- 2511.05408 — Steering Language Models with Weight Arithmetic — 2025（权重算术方向 steering）
