原声.

世界太吵，来原声听播客

AXRP

程序均衡：交代码比交人更可能合作，但协调极难

程序均衡让双方互读源代码，用 Löb 定理实现合作；但合作依赖几乎相同的代码或共享随机数，现实中协调成本极高。

博弈论AI 对齐程序均衡多智能体机制设计
适合对博弈论、AI 对齐和机制设计感兴趣的听众；技术细节多，后半段关于共享随机数和 simulationist 程序的讨论信息密度高。

核心论点 · 点时间戳可跳到原声

1:10

程序均衡：先交代码，再玩游戏

程序均衡是博弈论里的一个设定：玩家不直接选合作或背叛，而是各自提交一段计算机程序，由程序替自己行动。关键增量是程序在运行时能读到对方的源代码，据此决定合作还是背叛。于是可以写出「如果对手程序等于我自己就合作，否则背叛」这种程序——它对自己构成纳什均衡，双方各得 3 而不是各得 1。Caspar 强调，这个设定最早在 1984 年左右被提出，之后被重新发现或重新发明了大约三次。

— Caspar Oesterheld
13:16

程序均衡的死穴是要事先对暗号

这套机制在实践中的麻烦在于：两个程序必须「相同」或满足某种语法对应，才能互相合作。如果双方能事先沟通，可以直说「我提交这段代码，你也提交同一段」；但如果两人是独立、在不同时间写程序，协调就非常困难。哪怕只是多一个空格，或者把「相同则合作否则背叛」写成「不同则背叛否则合作」，这种极小的改动就会让整个合作机制失效。

— Caspar Oesterheld
40:40

证明搜索不会陷入无限递归

直觉上「证明对方会合作」和「直接运行对方程序」应该同样陷入无限循环——后者确实会。但证明搜索不会：这依赖逻辑学里一个相对冷门的结果 Löb 定理。它的形式是：如果你能证明「若 P 可证则 P 为真」，那你就能证明 P。之所以不平凡，是因为你无法证明自己的证明系统永远可靠，所以不能无条件地从「P 可证」推出 P。Löb 定理恰好是程序均衡需要的那个工具，一旦写下来，合作性质几乎立刻推出。

— Caspar Oesterheld
54:48

用 epsilon 概率打破无限循环

朴素做法「运行对方程序，它合作我就合作」在双方同时提交时会无限循环。修法是：以 epsilon 的小概率直接合作、根本不看对方程序；只有这个低概率事件没触发时，才去模拟对方并复制其行动。这样每一层递归都有 epsilon 概率停下，双方最终以概率一停机。这对应重复博弈里只看对手上一手的策略，epsilon 分支相当于还没看到对手任何动作的第一轮。

— Caspar Oesterheld
1:49:32

共享随机串让所有模拟同时停机

新论文（Emry Cooper 一作，Vince Conitzer 也在）用一个技巧解决无限模拟：把随机性建模成程序启动时拿到的一串无限随机数。调用两个对手和自己时，传同一串随机输入，并去掉第一位。所有人检查第一位是否小于 epsilon，是就停机，否则去掉第一位递归。因为共享同一串，所有模拟会在同一个位置一起停机。这样既能模拟多个对手，也能模拟多个过去时间步。

— Caspar Oesterheld
2:07:43

无关联随机数让惩罚失效

为什么 uncorrelated 情形拿不到完整的 folk theorem？Caspar 给了一个三人的直觉：Alice 可以用自己的私有随机数以极低概率偏离，而我模拟 Alice 时用的是完全不同的随机串，所以我无法判断她是否真的会偏离；你模拟她时用的又是你的随机数，于是「你检测到她偏离」和「我检测到她偏离」也不相关。结果是低概率偏离几乎无法被同时抓到，惩罚也就无从协调。他还提到，如果惩罚需要两人同时做一个特定动作，这种不可相关性就更致命。

— Caspar Oesterheld
2:18:49

simulationist 程序比 pybots 更强

论文第三部分定义了更一般的 simulationist programs：直观上它们只做一件事——把对手和其他玩家作为输入跑起来。Caspar 说这类程序在 uncorrelated 情形下达成均衡的能力比 epsilon grounded pybots 更强。直觉是：pybots 要求所有人做同一件事，而 simulationist 允许只有我需要做模拟，于是我可以独立地对你的程序采样一万次——这是 pybots 做不到的。定义本身是递归的，base case 可能是「模拟空对象」或直接忽略对方输入。

— Caspar Oesterheld
2:24:53

folk theorem 是坏消息不是好消息

Caspar 对 folk theorem 的态度和主流博弈论相反：博弈论者通常把它当正面结果，他则「感受非常复杂」，因为它意味着什么都能发生，包括大量对我极差的结局——只要比「所有人最大程度惩罚我」好一点，就都是均衡。均衡越多，我们越难协调到其中一个。他提到 correlated 情形至少有一个凸的均衡空间，比在六个离散点之间选要好一些，但总体上他同意均衡选择问题非常关键，这也是他很多工作的动机。

— Caspar Oesterheld

原话 · 已逐字校验

the crucial addition is that the programs get to get access to each other's source code at runtime

关键的附加设定是，程序在运行时可以访问彼此的源代码。

Caspar Oesterheld4:10

all these like very minor changes would already break these uh schemes

所有这些非常微小的改动，就已经会让这些机制失效。

Caspar Oesterheld13:16

robust program equilibrium is not actually a solution concept in the sense that Nash equilibrium is or trembling hand equilibrium is

鲁棒程序均衡其实并不是纳什均衡或颤抖手均衡意义上的那种解概念。

Caspar Oesterheld17:22

Lub's theorem says that if you can prove that if you could prove P then P would be true then you would be able to prove P.

Löb 定理说的是：如果你能证明「若 P 可证则 P 为真」，那你就能证明 P。

Caspar Oesterheld41:41

you just have like a very high credence that like if you face a corporate bot probably something funny is going on, right?

你会有很高的置信度认为，如果你面对的是一个合作机器人，那背后多半有花样。

Caspar Oesterheld1:24:13

But if you don't have shared randomness, all of this like like this is all like complete fiction, right?

但如果你没有共享随机数，这一切就全是虚构的，对吧？

Caspar Oesterheld2:13:46

I think game theorists often view this as sort of like a positive results whereas I have like very mixed feelings about this because it's it's kind of like a well anything can happen

博弈论者通常把这看成正面结果，而我的感受非常复杂，因为它差不多等于说什么都可能发生。

Caspar Oesterheld2:24:53

the programs themselves aren't rational they're doing don't do expected utility maximization they just do what their source code says

程序本身并不理性，它们不做期望效用最大化，它们只是执行自己源码里写的东西。

Caspar Oesterheld2:28:56

数字与实体

程序均衡设定首次提出年份1984 年左右8:11
程序均衡被重新发现/重新发明的次数大约三次8:11
Manifold 锦标赛允许提交的程序数最多三个6:11
Andrew Critch 有界 Löb 定理论文年份201946:44
epsilon grounded fairbot 平均停机轮数约 1/epsilon1:07:58
模拟树增长条件epsilon 小于二分之一时，模拟树增长快于收缩1:46:31
PrudentBot 所需证明系统PA 加上该系统一致的假设（PA plus one）1:40:24
锦标赛中基本无效程序的比例约 30%1:30:16
simulationist 程序独立采样对手次数（举例）10,000 次2:18:49
讨论的博弈人数（举例）3 人2:07:43

术语

program equilibrium程序均衡
博弈论设定：玩家提交程序，程序运行时互读源码决定行动。
Löb's theoremLöb 定理
若可证「P 可证则 P 为真」，则可证 P。
folk theorem无名氏定理
重复博弈中，任何优于 minimax 收益的结果都可能是均衡。
epsilon grounded fairbotepsilon 接地公平机器人
以 epsilon 概率直接合作，否则模拟对手并复制其行动的程序。
simulationist programs模拟主义程序
只把对手和其他玩家作为输入跑起来的程序，递归定义。

收听指南

谁该听

对博弈论、AI 对齐和机制设计感兴趣的创业者和工程师，尤其是想理解多智能体合作底层逻辑的人。

可跳过

对逻辑学和证明论细节不感兴趣的听众，可跳过 40:40 至 1:07:58 的技术推导。