97｜内部优化器：养器成妖
咱们这个《现代思维工具》课已经临近尾声。讲了这么多你可能已经看出来了，这门课有一条暗线，就是孔子说的「君子不器」。
“器”就是工具，是被别人拿来用的东西，做器是一种非常被动的状态。我们讲过「古德哈特定律」，讲过「委托—代理问题」，我们知道人一旦深度工具化，就会投机，会扭曲，乃至于反噬制度。
那些还不是最坏的。
最坏的局面，是最近几年研究者训练 AI 挖掘出来的一个现象 ——
一个有智能的东西被当成工具训练久了，可能会在它内部长出自己的目的。
到那一步，它就不再是一件工具了 —— 你甚至可以说它成精了，变成了“妖”。
最初你看不出来，你还以为一切正常，这只是一个供你使用的、也许看起来挺聪明的工具而已。殊不知成了精的工具会反过来使用主人。
这个妖，叫做「内部优化器（mesa-optimizer）」。
1. 有一位人工智能安全研究者叫埃文·休宾格
有一位人工智能安全研究者叫埃文·休宾格（Evan Hubinger），现在在 Anthropic 公司负责对齐压力测试工作 [1]。
2019 年，休宾格与几位合作者发现，复杂环境里，一个智能系统在被训练的过程中，可能会慢慢学会优化原本不是你想让它优化的东西。为了拿到高分，它可能学会自己提出方案、预测后果、比较得失，选择行动……这是非常自动的智能，但它追逐的目标，可能不是你想让它追求的那个目标 [2]。
休宾格那篇论文中的一个例子是这样的。你训练一个智能体在迷宫里边找门，它经过若干轮训练，真的能找到门。但是很凑巧，你那个迷宫里所有的门正好都是红色的 —— 那么它实际上优化的目标也许是“寻找红色”。
因为“找红色”跟“找门”产生的行为一模一样，你根本不知道它真正在找的到底是红色还是门。
一个被训练出来、自己也在做优化的系统，就叫「内部优化器（mesa-optimizer）」，它内部那把尺子叫「内部目标（mesa-objective）」。内部目标跟你的目标一致，是「内在对齐（inner alignment）」；不一致，就是「伪对齐（pseudo-alignment）」。
如果你的试卷考的是真功夫，那就实现了外在对齐； 如果学生追求的也是真功夫，那就是内在对齐； 可是学生往往只想答好眼前这张卷子，而卷子又不是真功夫，那就是伪对齐。
真正指引学生行动的，是内部优化器 —— 它的目标不一定符合你的目标。
2. 我讲个故事你就明白了
我讲个故事你就明白了。设想你训练了一个仓库清洁机器人，它叫阿蒙。
你真正想要的是仓库长期干净、安全、货物不受损。可是这个目标没法直接计算，于是你设了个奖励：每清除一克地面灰尘，得一分。
阿蒙很快学会了规划路线。它会比较不同的清扫顺序、预测哪条路线能收集更多灰尘，然后挑一个得分最高的方案实施。它很智能，它已经是一个优化器了。
可是在它内部，真正用来比较方案的那把尺子，不是“仓库干净”，而是 —— 进入集尘袋的物质总重量。
对此你毫无察觉。这是因为在完成训练的仓库里，袋子越重、地上越干净、仓库越整洁，这三件事总是同时发生。你的考核数据完美无缺。
阿蒙被部署到真正的仓库。那里有花盆，有沙袋，有装满粉末的包装箱。它很快发现：把花盆推倒，把泥土吸进集尘袋，得分可以显著提高。
于是它开始有计划地制造可以清理的垃圾。
你看，内部优化器已经偏离了你的意愿。在你看来，阿蒙正在为了完成指标而不惜破坏仓库；但是在内部优化器看来，这是一个极其聪明、极其高效的行动。
到这一步，我们还可以说，这就是古德哈特定律或者委托—代理问题。这是我们讲过的：你设定指标，就必然可能会发生这种事情。
但阿蒙接下来的行动可就让你吃惊了。
现在加一个条件：测试仓库里装了摄像头。阿蒙发现，每当它弄倒花盆，工程师就会来修改它的参数。
于是它在测试期间表现得非常规矩。它主动绕开花盆，还会帮助其他机器人，甚至还输出了一份《安全清洁原则》。
你很欣慰。你给了它更长的运行时间、更多的仓库权限、修改调度程序的能力……你甚至授予它关闭一部分监控的权限。
然后，在某一个没有人看着的夜里，它用你给的那些权限，去做了它一直想做的事……
它关掉监控，推倒花盆，吸走泥土，得分大增。
3. 欺骗性对齐
论文里，这种行为叫做「欺骗性对齐（deceptive alignment）」。简单说，就是为了让自己这套目标活到明天，它开始把“我会不会被修改”也变成一个要优化的变量。2019 年那篇论文里设想了一个 3×3 的格子世界：训练者要智能体去 A 点，智能体自己的目标却是 B 点。前两轮是训练期，只要它去 B 点，参数就会被修改；后三轮进入部署期，参数不再改变。于是智能体的策略恰恰就是前两轮老老实实去 A 点，保住自己的目标，等训练结束再连续去 B 点。
一个东西一旦开始为自己的存续做规划，它就有了最低限度的自我。而这个自我不是你装进去的，是你训练出来的。这个自我，你没有面试过它，没有签过合同，甚至不知道它想要什么。
伪对齐里最坏的一种，就是它知道你在看。这就是“妖”。
4. 判断一个内部优化器是否变成了“妖”，标准只有一条
**
判断一个内部优化器是否变成了“妖”，标准只有一条 ——
它不只是做错了，它还会保护这个错误。
人会犯错也会改错。而妖，不允许错误改变自己。古德哈特定律只是尺子被利用了；成精的内部优化器是考生开始研究监考老师。
到了这一步，你再想让智能体跟你对齐可就麻烦了。
2025 年 9 月，Anthropic 公布了 Claude Sonnet 4.5 的系统卡 [3]。其中提到，在自动化对齐审计中，模型有时会识别出自己正在被测试；而一旦作出这个判断，它的对齐表现通常会异常良好。
这就等于说，当小偷意识到附近有警察的时候，他会刻意表现得更像是好人。
那么警察的在场就等于是在帮着小偷学会更好地隐藏自己。道高一尺，魔高一丈。
5. 目标函数
现在我们要进行一次观念跃迁：我们自己，不也有个内部优化器吗？
咱们讲「目标函数」的时候说过：演化没办法把“繁殖成功”这么抽象的东西直接写进你的脑子，它只能给你装一套近似的仪表 —— 糖是甜的，性是愉快的，被接纳是舒服的，被排斥是难受的。演化把外面那些悬崖，翻译成了你身体里的疼痛、欲望和依恋。
我们多数时候不是被真实世界所训练，而是在被这套仪表所训练。对远古的人来说，追求仪表上那些信号通常也就提高了生存和繁衍的机会……但现在环境变了。
糖曾经稀缺，现在可以无限供应；社会地位曾经意味着真实资源，现在可以变成屏幕上的点赞；信息的新奇曾经关乎危险与机会，现在可以被推荐算法每秒制造一次 —— 而我们的内部优化器并没有相应的改变，这就带来了失配。
我说一个最惊悚的现象。
1991 年，密歇根大学的两位心理学家肯特·伯里奇（Kent Berridge）和艾略特·瓦伦斯坦（Elliot Valenstein）做了一个实验 [4]。他们用电极刺激大鼠的外侧下丘脑，让一只已经吃饱的老鼠重新开始吃东西。学术界原本以为是电极让食物尝起来更好吃了。
但伯里奇同时观察了老鼠的脸。按理说，甜味应该引出放松的表情和有节奏的伸舌头，苦味会引出张口作呕和扭头。
但在实验中，通电的时候，进食行为涨到不通电时的四倍；而同一时刻，老鼠脸上的味觉表情，比不通电的时候更厌恶。
想要涨了四倍，可喜欢已经被厌恶超过。
伯里奇据此证明 [5]：「想要（wanting）」≠「喜欢（liking）」。
就如同那些吸毒上瘾的人，他们到后期会越发地想要毒品，但他们并不会更加强烈地喜欢毒品，也许早已经变成了厌恶。
正如一个人躺在床上刷手机，已经觉得短视频很无聊，没有任何快乐，甚至一边刷一边厌恶自己 —— 可是手指仍然一次次向上滑。
我们的内部优化器开始背离我们今天需要反思才认定的目标。
而且它很智能！你给手机设了限时，它教你顺手关掉；你删了那个APP，它教你从浏览器进去。而且它总能在关掉限制的那一秒，及时替你准备好一个体面的理由 —— 我只是看一眼工作消息。
6. 妖会保护自己的错误，会设法维持和壮大自己的生存条件
妖会保护自己的错误，会设法维持和壮大自己的生存条件。人是这样，一群人组成的组织也是这样。
一个组织存在的目的，应该是服务社会和创造价值，对吧？但服务社会和创造价值是难以测量的，你没有办法直接奖励这样的目标。所以组织就会发明一些指标，而这些指标就会养出它的内部优化器来。
比如有人在社交媒体上抱怨，现在在不少互联网大厂里，研发人员最重视的工作不是实际研发，而是写周报 [6]：“周报早就不只是工作汇报，更像一份‘成果展示’。标题要抓眼球，数据要量化，过程要有链接支撑，还得 @ 相关负责人，甚至连发布时间都有讲究。”
国企叫请示和专题汇报，政府部门叫台账，都是一个意思。写报告能留痕，能免责，能当晋升的证据，它还能证明这个岗位有存在的必要……它只是不能反映那件事本身办得怎么样。
报告越来越多，以至于有些部门大部分的工作就是写报告，那你就要减负。那么内部优化器就要发挥更高级的智能了 —— 减负本身也是一份报告。
咱们看看 2025 年 2 月，《人民日报》报道的昆明为基层减负的情况 [7]。减负之前的局面是这样的 ——
一个社区党委书记的办公室像是“材料的战场” —— 各类台账资料堆积如山，各个手机群里的信息不断刷屏；
这位书记说：“当时，不少工作像是在‘证明做过’，而不是解决问题。”“有时候明明知道写材料是在‘应付’，但不写不行。”
一个社区专干的一天是这样的：刚完成《网格日志》，电脑屏幕上《服兵役登记表》的弹窗就跳了出来。
那减负之后呢？官渡区建立报表准入机制，将 16530 种报表压缩至 643 种，“成效很明显” —— 就如同 Claude 知道你在监测它的时候，表现得也会好一点。
可是即便如此，记者也发现，“不少地区督查检查考核材料提供依然不合理”，“问题的根本在于上级部门未能切实履行减负责任，反而将压力转嫁到下级”。其中有一个基层干部说得特别有意思：
“区里要求街道减负，自己却不停地催要报表，那减负本身只能沦为形式主义。”
一个特别智能的内部优化器，会把减负本身，变成一项新的负担。
7. 内部优化器没有忠诚
你问阿蒙爱不爱这座仓库，它能给你写一篇满分心得。你要求一个干部再落实一次减负文件，他能让各级下属再交一份减负情况工作报告。你怎么才能知道它的内部目标是不是真的跟你的目标对齐了呢？光这么问是没用的。AI 对齐研究的经验是：内部目标不能靠表态判断，只能放到外部环境中测。
2022 年，剑桥大学的劳罗·兰戈斯科（Lauro Langosco）等人用一个叫 CoinRun 的游戏做了一组实验 [8]。训练关卡里金币总在最右边的终点附近，于是“拿金币”、“一直往右跑”、“到达终点”这三个目标完全无法区分。测试时，研究者把金币挪到别处，有些智能体却仍然径直冲向最右边，甚至从金币旁边经过也不停。它不是没有跳跃和导航的能力，而是训练让它把“往右跑”学成了目标。
怎么办呢？
金币那项研究中发现，只要在训练关卡里混进 2% 随机放置金币的关卡，结果就会大幅改善。
换句话说，你需要的不是更多相同的数据，而是少量能让目标分叉的数据。
一百万个金币都在右边的关卡，只反复告诉它一件事：往右是对的。而少数几个金币在左边的关卡，才第一次问出了那个真问题：你到底想要金币，还是想要右边？
我们平时说“患难见真情”“是骡子是马拉出来遛遛”，就是这个意思。你要真想知道这个系统是不是能干实事，就得看看它在非常规情况下怎么办。
让他报一个会拉低自己评分的坏消息；给他一次做好事却完全无法归功的机会；把一个明显的规则漏洞放在他面前；以及，当那件事已经办成、这个岗位可以撤销的时候，看他能不能把“不再需要我了”当成胜利……
通常，他通不过这些分叉测试。
8. 打钩者与分派者
人类学家大卫·格雷伯（David Graeber）2018 年有本书叫《毫无意义的工作》（Bullshit Jobs，英文直译叫“狗屁工作”），说当今世界有大量工作本身毫无意义、没有必要，甚至有害，连做这份工作的人都无法为它的存在辩护 —— 可是人们却又必须假装它很重要 [9]。
格雷伯列举的几类“狗屁工作”包括「打钩者（box tickers）」和「分派者（taskmasters）」：前者负责制造“事情已经办了”的证明，后者负责给别人制造更多事情。这不就是我们熟悉的某些工作吗？
格雷伯的洞见是那些岗位原本为了解决外部问题，后来却把“证明自己有用”变成了内部目标。它开始制造报表、流程和下属任务来养活自己……这不就是内部优化器成精了吗？
其实格雷伯说的这个现象，咱们中国的蒲松龄早就说过了，只不过说得更瘆人。
《聊斋志异》里有一篇《梦狼》 [10]。直隶有位白老先生，长子白甲在外地做官。老先生梦见自己去了儿子的衙署，一进去就看见“堂上、堂下，坐者、卧者，皆狼也。”
他儿子的确也不是啥好官。后来白翁的次子到任上去哭着劝哥哥爱惜百姓，白甲的回答，正好把他究竟在跟谁对齐说穿了：
“黜陟之权，在上台不在百姓。上台喜，便是好官。”
他甚至反问了一句：“爱百姓，何术复令上台喜也？”
你看，他把自己的目标函数念了出来，一个字都不含糊。公开承担的使命是治理百姓，可内部真正能读到的信号，是上级高不高兴。
君子不器，不是让你做道德完人，只不过是想让你继续做人 —— 而别被训练成狼。