资料截至 2026-11-08
一、RSI 是什么,它和”自动化”差在哪
递归自我改进(Recursive Self-Improvement,RSI):系统改进自己,改进后的系统再来改进自己。关键不在”自动”,而在改进的对象是系统自身。
按”改什么”分,目前能看到四种层次:
| 改进对象 | 具体形态 |
|---|---|
| 提示与工作流(harness) | agent 重写自己的控制器指令、记忆协议、工具与技能定义 |
| 记忆 | 把经验沉淀成可复用的外部记忆,供后续任务读取 |
| 自己的源代码 | 编程 agent 直接编辑自己的代码库 |
| 权重与数据 | 自生成轨迹再训练自己 |
它的思想源头是 Gödel Machine 的理想:一台能证明自己每次改动都”净收益为正”的自我改进机器。而 Darwin Gödel Machine 的摘要把现实说得很清楚——证明大多数改动有益在实践中做不到,所以这条路转向了”经验验证 + 开放演化”(arXiv:2505.22954)。
二、三条技术路线
1. 改代码:编程 agent 改写自己
这条线的进展最直观,因为它有跑分。
- A Self-Improving Coding Agent(2025-04,arXiv:2504.15228)。一个带基础编程工具的 agent 系统能自主编辑自己,在 SWE-Bench Verified 的随机子集上把成绩从 17% 提到 53%,在 LiveCodeBench 与合成的 agent 基准上也有提升。这篇通常被当作这条线的起点。
- Darwin Gödel Machine(2025-05,arXiv:2505.22954)。放弃”可证明有益”,改成经验验证加存档式开放演化,让自我修改在谱系上累积下来。
- Huxley-Gödel Machine(2025-10,arXiv:2510.21614)。这篇提出一个很值得记住的概念:元生产力-性能错配(Metaproductivity-Performance Mismatch)——当前跑分高,不代表这个 agent 后续自我改进的潜力大。作者改用”后代的表现”(CMP 指标)来衡量自我改进潜力,而不是它自己的分数。
- Mendel Gödel Machine(2026-08,arXiv:2608.07645)。指出多数做法一次只看一条失败轨迹,浪费了历史尝试里的对比信息;于是引入基于多任务轨迹的”反应规范变异”等自我修改方式。
2. 改数据与奖励:自我监督的瓶颈
- Multi-Agent Self-Supervision(MASS)(2026-10,arXiv:2610.12176)把这条路的难点讲得很直白:在不可验证任务(例如开放式研究)上会出现监督瓶颈——输出已经超出人类专家能可靠评估的范围,于是模型自己既是”被优化者”又是”优化者和评估者”。但单个模型实例在同质回路里很难批评并改进自己的复杂推理,所以它用多智能体结构来解决:演化式工作流优化与自生成轨迹上的监督微调交替进行。
- 更早的自我奖励线(如 arXiv:2503.03746、arXiv:2508.06026)都在做同一件事:让模型给自己打分,再用自产数据迭代。
3. 改科研流程与环境
- The AI Scientist(2024-08,arXiv:2408.06292)。全自动开放式科研的第一个完整框架。
- Jr. AI Scientist 及其风险报告(2025-11,arXiv:2511.04583)。模拟新手研究者的流程:分析基线论文的局限 → 提假设 → 迭代实验 → 写论文,并附一份风险报告。
- AlphaEvolve(2025-06,arXiv:2506.13131)。演化式编码 agent,持续接收评估器反馈来改进算法本身,报告了在开放科学问题与关键计算基础设施上的改进。
- RSI-Forge(2026-10,arXiv:2610.09426)。多智能体流水线把已发表的论文变成可执行的自改进环境:产出 210 个环境、覆盖 18 个领域,其中 90 个经过独立复核,每篇论文的方法都被独立重实现以保证基线可信。它针对的瓶颈是——环境(任务 + 可靠评估)才是 RSI 的地基,但造环境一直得靠领域专家。
- RSIGym(2026-10,arXiv:2610.10310)。agent 原生的自改进环境(构建在 Everything as a Service 之上),把训练、推理、rollout、评估、沙箱都做成可复用服务,支持 Data / Harness / Joint 三条改进轨,并带共享预算与权限控制。
三、近期转向:从”能不能”到”怎么量、怎么防跑偏”
最近的重心明显变了。不太有人还在问”能不能自我改进”,问题变成了三个:怎么度量它、怎么给环境、怎么防止它跑偏。
- Verification and Self-Improvement in Agentic AI: Foundations and Limits(2026-10,arXiv:2610.10611)给了一个理论视角:跑分提升本身无法区分三种机制——是”搜得更久”、是”拿到了更多外部支持”、还是真的改变了”如何提出与验证候选方案”。也就是说,成绩涨了不等于自我改进能力涨了。
- SEABench(2026-09,arXiv:2609.35596)测的是内生失准(endogenous misalignment):自我进化出的更新在局部有用,却会留存到后续任务里产生不安全行为——不需要任何外部对抗输入。它用 48 条纵向任务序列覆盖多种进化面、任务域与危害类型。
- Safety in Self-Evolving Agents: A Survey(2026-09,arXiv:2610.00093)把安全问题的性质变化说得很清楚:一旦经验变成可复用的状态,过去的事件就成为未来的原因——某个上下文里无害的信息,可能以更强的持续性和权威性影响之后的决策。
- ReSI(2026-10,arXiv:2610.12233)反过来把递归用在安全上:模型每次更新后安全对齐都要重新适配,目标是”对已知威胁的抵抗”加上”对未预见风险的韧性”。
- Authorization for Self-Modifying AI Agent Populations(2026-10,arXiv:2610.00347)指出自我修改的 agent 会替换、分叉、回滚自己的”带身份的软件”,而逐个后继授权管不住整个种群(兄弟节点可能重复配额、合并权限、越过祖先裁剪),于是提出”授权继承”来在代际之间守恒权限。
四、2026 下半场:三篇综述,把”怎么量”做成了方法论
第三节的转向(从”能不能”到”怎么量”)在 2026 下半年有了系统性产出——三篇综述和一批评测基准,各自回答了这个问题的一个侧面。
1. 自主度分级:五级刻度给 491 篇研究定位
The Last AI Built by Humans(2026-09,arXiv:2609.11873,上交、清华、字节、面壁、上海 AI Lab 等九家单位 33 位作者)把”AI 在自我改进循环里替人承担了多少决策”做成了 B0 到 L5 的五级刻度:
| 级别 | 自主的物件 | 代表系统 | 491 篇占比 |
|---|---|---|---|
| B0(参照) | 无,会话内打磨、改动不保留 | Self-Refine、Reflexion | — |
| L1 | 改进执行(人定方案,AI 跑流程) | FineWeb-Edu | 43.8% |
| L2 | 改进策略(AI 定”改什么”) | GEPA、AlphaEvolve | 31.6% |
| L3 | 学习经验(任务难度跟着学习者走) | AZR、R-Zero | 13.0% |
| L4 | 部署环境(改动落进真实任务反馈) | PANDO、ENPIRE | 5.7% |
| L5 | 改进机制本身也被改进 | DGM、STOP | 5.9% |

图源:Duan 等,The Last AI Built by Humans(2026)Figure 1
这张表最有信息量的不是刻度本身,是分布:43.8% 的研究停在 L1,标称 L5 的只有 5.9%。而 L5 少的原因,综述给了一刀切的概念区分:结构性递归(被改写的机制确实作用于下一轮)不等于有效性递归(同等预算、独立评测下,这套机制真的产出更强的后继者)。它拿第二节里的 Darwin Gödel Machine 开刀:SWE-bench 子集成绩从 20% 拉到 50%,但档案维护规则和父代选择规则都不在自修改范围内——那 30 个百分点的涨幅里,有一部分要记在没被改的固定流程头上。这与”元生产力-性能错配”互为印证:跑分涨了,未必是改进能力涨了。

图源:同上,Figure 2——每升一级,循环里就多一个原来由人把守的环节被交给系统。
综述还给了一套四领域对照,结论一致:决定 RSI 成熟度的不是算法,是反馈条件。软件工程跑一遍测试就知道改动好坏,L2 最成熟、DGM 摸到受限 L5;医疗不允许拿患者试错,验证器是临床规范和真实结局,L4 与 L5 至今空白。

图源:同上,Figure 9
2. 可信度框架:改了什么、约束还在不在、监督是否有效
Trustworthy Recursive Self-Improvement(2026-10,arXiv:2610.35193,人大高瓴联合国科大)先给出一个过程框架:一次改进分四步——诊断系统局限(S1)、生成候选方案(S2)、评估候选方案(S3)、实施通过评估的更新(S4);而把同一套流程递归地应用于更新函数本身,就是从”自我调整”跨入 RSI 的那一步。

图源:Pu 等,Trustworthy Recursive Self-Improvement in the Era of Large Models(2026)Figure 3
在这个框架下,评估对象拆成三个层面:单次更新(这次修改是否真的带来收益且满足约束)、后续继承系统(收益和约束能否跨版本保持)、改进机制本身(修改后的更新器能否产生更好的后续更新)。第三层最难——只看最终系统的表现,分不清收益来自更新机制还是任务条件与预算的变化,需要从可比初始条件出发的配对式持续演进实验。
它把可信 RSI 的要求归为四个主题——真实且持续的能力改进、行为约束/对齐与公平性、系统安全/韧性/隐私、透明性与可控性——再归并为三个分析视角:改进有效性、约束保持、有效监督。三个视角不是检查清单的不同栏目,而是同一道追问:在同一条持续演进的系统轨迹上,能力提升、安全约束和人类监督能否同时得到证据支持?一旦更新机制本身可以被修改,”有效监督”就不再是默认成立的——这正是第三节里权限继承(2610.00347)和内生失准(SEABench)两篇要从相反方向堵的洞。

图源:Pu 等,Trustworthy Recursive Self-Improvement in the Era of Large Models(2026)Figure 1
3. 验证器层级与评测谱系:”改进真实但不稳定”
Recursive Self-Improvement in AI(2026-07,arXiv:2607.07663)调研了 1250 篇 arXiv 论文,给出目前最锋利的一个区分:有界自优化(收敛、可评估、已是工业实践)与开放式 RSI(在所有可测维度上受基础接地、坍缩动态与算力约束)是两类东西——文献里混用的”self-refine / self-reward / self-play / self-evolve”词汇掩盖了这个本质差别。它最有价值的贡献是给”自我评估”单独设类,并把验证信号排成层级:从形式验证器(最强)到内在自评估(最弱),而已证实的自我改进强度与这个层级相关,失败模式(自确认循环、模型坍缩、多样性坍缩)正来自对层级的违反。

图源:Chen 等,Recursive Self-Improvement in AI(2026)Figure 5——每一次自我改进循环,本质都是在声称”某个信号可以替代人类判断”,层级选得越靠下,自确认循环的风险越大。
评测侧,一批新基准把层级做成了工程。隔离派冻结除一个工件外的一切(AI4AI-Bench 只开算法设计:263 个提交里 141 个根本没触及学习过程,触及算法层的平均 0.226 对未触及者的 0.126);联合派允许数据、训练与 harness 协同(RSIGym 联合轨道、RSI-Env),逼近真实循环但归因模糊。跨基准的一致结论是四个数字:改进真实,但不稳定——AI4AI-Bench 的 0.226 对 0.126;RSIBench-Data 里 78.26% 在达峰后继续搜索的 run 以更低分收尾;REUSE 证明固定评测集被反复复用时假晋升最高达 20.7%(解法是把晋升决策做成带统计保证的认证,假晋升降到 0);SelfImprove-Bench 用 G0–G4 泛化阶梯发现相似分数掩盖着不同进化模式,更难的实例上出现排名反转。
这组数字与第三节的理论视角(2610.10611 的”三种机制混在一个分数里”)拼起来,就是 2026 下半年 RSI 评测的完整拼图:分数上升的证据,必须同时回答归因、复利与泛化三个问题,缺一个都可能是选择效应的产物。
五、实验室与学界的表态
这一层比论文更能说明现在到了哪一步。
一篇 22 人的论文(2609.36054,2026-09-28):《What if automating AI R&D triggers an intelligence explosion?》,作者里有 Hinton、Bengio、Barto(RL 先驱)和 OpenAI 首席科学家 Pachocki。摘要第一句就很直白:
In contrast to even a year ago, AI systems now write most of the code inside the companies that build them.
大意是:和一年前不同,现在 AI 系统写出了”造它们的公司”里的大部分代码。论文的判断是初步证据支持”加速可能发生”,但也明确写了不确定性——算力、数据、实验时间都是约束——并给政策制定者提了三条:提高对 AI 研发自动化的可见度、设法约束和引导这个过程、让社会准备好适应冲击。
一份 25 人访谈(2603.03338,2026-02):2025 年 8–9 月访谈了前沿实验室与高校的 25 位研究者(DeepMind、OpenAI、Anthropic、Meta、伯克利、普林斯顿、斯坦福),其中 20 位把”自动化 AI 研究”列为最严重、最紧迫的风险之一;论文同时写明”AI 系统目前还不能递归自我改进”。
一场正在发生的抵制:据量子位 2026-10-09 报道,陶哲轩牵头成立”人类数学家协会”,25 位菲尔兹奖得主联名要求商业 AI 公司放慢;随后 OpenAI 放出 700 多份机器生成的证明文档——其内部模型在约 8000 个开放数学问题上成功率约 5%(每题平均约 3 小时 GPT-Pro 级算力)。反对理由是:未经同行评审、缺乏人类可读的逻辑、无视既有工作。这其实是”跑分涨了但无法验证”的现实版。
六、为什么”递归”这么难
把上面的论文串起来,瓶颈其实就四个:
- 评估瓶颈(裁判问题):谁来判定”这次改动真的更好”?任务可验证时还好,一到开放式任务就只能让模型自己当裁判(MASS 的出发点)。
- 跑分不等于能力:既有”元生产力-性能错配”(Huxley-Gödel),也有”三种机制混在一个分数里”(2610.10611)。优化分数和优化能力是两件事。
- 内生失准与环境反馈:局部有用的更新会沉淀成后续的不安全行为(SEABench),而且这种风险不来自外部攻击。
- 同质回路的极限与误差累积:同一个模型自我批评、自我评估,收益会很快饱和;同时每一步的验证成本与错误都会沿着谱系累积。
七、跟进综述
- A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve(arXiv:2507.21046)——按”改什么、何时改、怎么改、在哪改”组织,适合建立整体框架。
- Safety in Self-Evolving Agents: A Survey(arXiv:2610.00093)——安全侧的对应框架。
- Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops(arXiv:2607.07663)——1250 篇文献、验证器层级视角,见第四节。
- The Last AI Built by Humans(arXiv:2609.11873)——五级自主度刻度与 491 篇定位,见第四节。
- Trustworthy Recursive Self-Improvement(arXiv:2610.35193)——可信度四主题三视角,见第四节。
今天的 RSI 更像”agent 工程的自举”,而不是”智能爆炸”。但它值得跟的原因也在这里——它正在真实地推进评测、环境、权限这些基础设施,而这些恰好是大模型落地最缺的东西。
参考
- A Self-Improving Coding Agent — 2504.15228(2025-04,预印本)
- Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents — 2505.22954(2025-05,预印本)
- Huxley-Gödel Machine: Human-Level Coding Agent Development — 2510.21614(2025-10,预印本)
- Mendel Gödel Machine: Recursive Self-Improving Coding Agents via Comparative Evolution — 2608.07645(2026-08,预印本)
- Recursive Self-Improvement through Multi-Agent Self-Supervision — 2610.12176(2026-10,预印本)
- Process-based Self-Rewarding Language Models — 2503.03746(2025-03,ACL 2025,CCF-A)
- Temporal Self-Rewarding Language Models — 2508.06026(2025-08,预印本)
- The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery — 2408.06292(2024-08,预印本)
- Jr. AI Scientist and Its Risk Report — 2511.04583(2025-11,TMLR 2026)
- AlphaEvolve: A coding agent for scientific and algorithmic discovery — 2506.13131(2025-06,预印本)
- RSI-Forge: From Research Papers to Environments for Recursive Self-Improvement — 2610.09426(2026-10,预印本)
- RSIGym: A Flexible Environment for Recursive Self-Improvement — 2610.10310(2026-10,预印本)
- Verification and Self-Improvement in Agentic AI: Foundations and Limits — 2610.10611(2026-10,预印本)
- SEABench: Benchmarking Endogenous Misalignment in Self-Evolving Agents — 2609.35596(2026-09,预印本)
- Safety in Self-Evolving Agents: A Survey — 2610.00093(2026-09,预印本)
- ReSI: Recursive Safety Improvement toward Resistant and Resilient AI — 2610.12233(2026-10,预印本)
- Authorization for Self-Modifying AI Agent Populations — 2610.00347(2026-10,预印本)
- A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve — 2507.21046(2025-07,预印本)
- What if automating AI R&D triggers an intelligence explosion? — 2609.36054(2026-09,预印本)
- AI Researchers’ Views on Automating AI R&D and Intelligence Explosions — 2603.03338(2026-02,预印本)
- AgentGarten: Code Worlds for Evolving Agents — 2610.12374(2026-10,预印本)
- The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement — 2609.11873(2026-09,预印本)
- Trustworthy Recursive Self-Improvement in the Era of Large Models — 2610.35193(2026-10,预印本)
- Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops — 2607.07663(2026-07,预印本)
- AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement — 2608.20318(2026-08,预印本)
- Which Self-Improvements Should We Trust? Reliable Self-Improvement When Agents Reuse Their Benchmarks(REUSE)— 2609.33180(2026-09,预印本)
- SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents — 2611.02797(2026-11,预印本)