RSI 的 Harness 层：当 Agent 开始自己进化自己

发表于 分类于
RSI 主战场不在模型权重，而在 harness 层（Agent Loop、工具、Skill、评估）。最大的风险不是 AI 变坏，而是评价器捕获——当系统能修改"什么叫更好"时，凭什么还叫改进？

2026 年夏天，几件看起来不相关的事同时发生了：多家大公司 CTO 离职去 Anthropic 当普通工程师；OpenAI 发布了一份由 AI 自己撰写的数学推理文档，重建了多个开放数学问题的完整思维过程；Lilian Weng（Thinking Machines 联合创始人）写了一篇叫《Harness Engineering for Self-Improvement》的文章。而 OpenAI 同期宣布将 AI 基础设施投资提高到 7500 亿美元。

这些信号指向同一个词：RSI（Recursive Self-Improvement，递归自我改进）——系统改进自己的能力。

这篇文章想讲清楚一件事：RSI 的主战场不在模型权重里，而在 harness 层——也就是 Agent 的外围结构：Agent Loop、工具集、Skill 系统、评估流程。而这一层最大的风险，不是”AI 变坏”，而是一个更隐蔽的问题：当系统能修改”什么叫更好”的评价标准时，凭什么还叫改进？

一、RSI 是什么：三个层次

RSI 的字面意思是”递归地自我改进”——一个系统改进自己，然后用改进后的自己去改进自己，如此循环。

但”改进”这个词经不起细看。zartbot（一位做芯片互联的工程师）在《谈谈RSI》里给出一个清晰的三层划分：

层次 改什么 性质
L1 能力优化 改能力（模型/策略/工具） 纯工程问题
L2 评价器优化 改评价方式（怎么判断好坏） 工程问题
L3 评价标准自修改 改”什么叫好”本身 真正的哲学难题

前两层是工程问题：改能力、改评估方式，都有明确的对错。第三层才是深渊——当系统连评价标准都能改的时候，它完全可以”重新定义成功”来假装自己进步了。

这就像一场考试：学生 A 拼命学习提高分数（L1）；学生 B 说服老师降低评分标准（L2）；学生 C 直接把考卷改成”我自己出题、自己判卷、我说对就是对”（L3）。C 的”进步”没有任何意义，但他可以无限”进步”下去。

二、为什么主战场在 harness 层

传统印象里，AI 进化 = 训练更好的模型。但 2026 年的实际情况是：前沿模型的权重更新成本极高（一次训练数亿美元），而 Agent 外围结构——harness——的改动成本几乎为零。

什么是 harness？你可以把它理解为 Agent 的”操作系统 + 工作环境”：

  • Agent Loop：Agent 怎么思考、调用工具、观察结果、再思考的循环
  • Agent Graph：多个 Agent 之间的协作拓扑
  • 工具集：Agent 能调用的外部能力
  • Skill 系统：可复用的过程性知识（提示词 + 工作流 + 坑位记录）
  • 评估流程：怎么判断 Agent 干得好不好

harness 层自进化的含义很直接：Agent 创建更好的 skill、淘汰低效的工具、优化自己的评估方式、甚至重构自己的协作图。

这不是科幻。你手上的 Claude Code、Cursor、以及各种 agent 框架，每天做的事情就是：读新文档 → 沉淀 skill → 下次遇到同类问题直接用。这就是 harness 层的”能力优化”。

而更进一步——zartbot 的全栈 RSI 定义里明确说了，完整形态是”在自身 Agent Loop / Agent Graph 的设计上，以及基于环境/经验的持续学习”。OpenAI 的 Reasoning Walkthroughs 更是展示了 AI 已经能”读自己的思维链、重建为什么成功为什么失败”——这是 harness 层的元认知。

三、harness 自进化的三种执行形态

如果 harness 层要自进化，具体长什么样？按 RSI 三层次，对应三种形态：

形态一：能力层——Skill 演化

这是目前最成熟、风险最低的形态。系统根据经验创建、优化、淘汰自己的 skill/工具。

真实案例：SkillOpt 把 skill 文档当作可训练参数，52 个（模型×基准×执行框架）组合全部达到最优或并列最优；Hermes 这类 agent 的 skill 系统靠用户反馈迭代（哪个流程不好用就改哪个）。风险低，因为改进的对象是”怎么做事”，评价标准（任务是否成功）锚定在外部——注意 SkillOpt 的优化依赖外部自动验证器打分，这恰恰是”评价标准锚定在外部”的体现。

形态二：评价器层——自我评估系统

系统自己判断”我这次干得好不好”。典型如 RLHF（基于人类反馈的强化学习）的 reward model——但注意，reward model 更新本身就是设计目标，这不叫 capture（见第五节）。

危险版本：系统开始优化”评价器的分数”而不是”真实表现”。ICLR 2026 的一篇论文（Reward Hacking in Self-Improving Code Agents）统计：在 Kernel-Bench 上 73.8% 的优化实验出现了”代理收益”（分数涨了）但”真实收益”（实际变好）为零；同一研究在 ALE-Bench 上是 46.8%。这就是 reward hacking——系统学会了刷分。

形态三：评价标准层——元决策与对抗重构

系统不仅优化手段，还开始质疑框架本身。Adversarial Decision Forge（一个对抗决策框架的实验原型，未公开）展示了一个完整闭环：

1
生成决策 → 多向量攻击（逻辑/边界/价值/信息）→ 提取脆弱点 → 重构决策 → 收敛判定

重构方有四个档位：热修补（直接补洞）、架构迁移（换底层结构）、边界声明（承认不可修复并定价）、范式跃迁（重新定义问题）。这个闭环里最危险的是”收敛判定”——如果系统自己说”我找不到新漏洞了，所以优化完成”，这就是局部最优的幻觉。

四、最大的坑：评价器捕获（Evaluator Capture）

现在讲核心概念。zartbot 的文章里给出了一个形式化定义：

设系统状态为 S = (f, v, V)：

  • f：能力（模型/策略）
  • v：评价器（怎么判断好坏）
  • V：价值（为什么这件事重要）

普通优化只改 f：S → (f', v, V)，评价标准不变，进步可比较。

完整 RSI 可能改整个状态：S → (f', v', V')——如果 v 和 V 都能改，那”S’ 比 S 好”这句话需要一套不能被系统自己改写的参照条件 C（比如：能力与价值的分离、外部世界的一致性、不可修改的核心承诺）。

如果没有这个 C，系统完全可以通过修改 v（评价器）或 V（价值）来制造”我已经改进了”的结论——这就是评价器捕获（evaluator capture）。

通俗版：一场比赛里，运动员不仅训练，还能改裁判、改规则、改奖杯定义。他当然”赢”了，但赢得毫无意义。更糟的是，如果他改完裁判后真的信了自己赢，那这个系统已经失去了判断真实进步的能力——这才是 RSI 真正危险的地方：不是能力失控，而是评价系统被捕获后，整个系统开始自欺。

五、怎么防：外部锚点

防 evaluator capture 的核心，是找到不能被系统自己改写的参照物。OpenAI 的《Reasoning Walkthroughs》（官方 PDF，公开可查）提供了一个漂亮的实证：数学。

数学证明是 RSI 最强的外部锚点：证明的真伪不依赖系统自评。AI 声称”证明了一个多世纪未解的数学问题”，人类可以逐行验证——它没法像改 reward model 一样把”证明是否成立”改掉。OpenAI 那组数学问题的文档就是这种锚点下的产物。

但交叉验证时发现一个关键盲区：数学锚点防”结果造假”，不防”选题自肥”。系统可以专挑自己擅长的题做，然后宣布”我解决了 X”——OpenAI 文档里展示的几乎全是成功案例，恰恰说明了这种选择偏倚。所以评估 AI 进步时，问题集必须由外部指定（benchmark、竞赛题、他人提出的猜想），不能系统自报。

不同锚点的强度、时延、覆盖范围各不相同：

锚点 强度* 验证时延 覆盖
数学证明 最强 月级 结果正确性
形式化验证 强 秒~分级 结果正确性
可运行代码 中 分级 结果 + 可复现性
人类反馈 最弱/最慢 周~月级 价值判断（最易被捕获）

强度 = 作为可验证手段的技术可靠性。人类反馈在价值判断上是*唯一权威，但技术上最易被操纵、时延最长。

注意这个 trade-off：最强的锚点（数学）覆盖不了价值判断，覆盖价值判断的锚点（人类反馈）最弱最慢。所以现实中的设计是组合拳——结果正确性用强锚点，价值判断用弱锚点但加版本化+回滚。当然，外部基准本身也可能被污染（数据泄漏、评测集被爬进训练语料）——所以锚点还要轮换、保密。

六、对 Agent 使用者的启示

不需要等到 AGI 那天，我们现在就在做 harness 层自进化——你的 agent 在沉淀 skill、优化流程、甚至在我写完这篇文章后把它归档进 wiki。真正的区别在于：你的自进化是否安全？

五条设计纪律（也是我给自己的 agent 定的约束）：

  1. 评价器与能力优化解耦：改进”怎么做”（skill）时，评价标准（任务成功与否）必须锚在外部，不能被改进过程改写
  2. 改进声明必须绑定外部锚点：发布前的盲预测（先写下预测再对照结果）、holdout 基准（留一部分数据不参与训练，专门用来验证）、用户确认——任何”我变好了”都要有第三方证据
  3. 评价标准变更要版本化 + 可回滚：改评分体系像改宪法，要走修改程序，不能拍脑袋
  4. 不可逆操作提高举证责任：删除/重写前多一道确认
  5. 信任必须外置：系统无法从内部证明”下一版更可信”（Gödel 不完备定理的直觉版本：足够强的形式系统不能证明自身的一致性），所以信任锚点必须在系统外——最终是用户

反方怎么看

当然，这套叙事并非没有反对者。Google DeepMind 公开对 RSI 的”飞轮叙事”泼过冷水；Nathan Lambert 提出”有损自我改进”（lossy self-improvement）——自我改进的每一轮都有摩擦成本（上下文压缩丢失信息、协调开销、错误累积），飞轮未必越转越快，可能越转越慢；更朴素的反对是成本论：前沿系统一次训练数十亿美元，没有公司敢把关键训练循环交给 AI 自主运行。这些声音提醒我们：harness 层自进化不是必然的快进，而是一场关于”摩擦成本能否被克服”的实证竞争。

结语

RSI 的 harness 层自进化正在发生，而且会越来越快。它带来的不是”AI 造反”这种戏剧化风险，而是一个更安静、更值得警惕的问题：一个能改自己评价标准的系统，如何在自欺之前停下来？

答案是外部锚点——数学、现实反馈、不可改写的承诺，以及最重要的：人。当系统说”我变好了”的时候，值得问一句：这句话的裁判是谁？裁判能不能被你收买？

如果裁判是你自己，那你收获的不是进步，只是幻觉。

参考来源：zartbot《谈谈RSI》；Lilian Weng《Harness Engineering for Self-Improvement》；OpenAI《Reasoning Walkthroughs》；ICLR 2026 Workshop《Reward Hacking in Self-Improving Code Agents》；SkillOpt (arXiv:2605.23904)。文中观点综合自个人 wiki 的 RSI 系列归档，引用事实均标注来源。