第八编 对手
2020 至 2022 年间，D’Amour 与一个大型合作团队发表了一篇题为《欠规定性给现代机器学习的可信度带来的挑战》的长文（arXiv:2011.03395；JMLR 2022，第 23 卷第 226 篇）。
他们的定义是精确的：一条机器学习流水线是欠规定的，如果它能返回许多在训练域上留出性能同样强、但彼此不同的预测器。
所谓流水线，指的是训练与验证的全套程序——数据、架构、初始化方案、损失函数、验证方式。欠规定性的意思是：这一整套程序没有把解定死；它定下来的只是”在留出集上表现好”这一条，而满足这一条的模型有很多个，它们之间可以差得很远。
而它们差在哪里？ 作者们的核心发现是：这些被按训练域表现视为等价的预测器，在部署域中的行为可能非常不同。他们在计算机视觉、医学影像、自然语言处理、基于电子健康记录的临床风险预测、医学基因组学等多个领域各给出了实例。
作者们把这件事当作可信度问题提出。结论指向的是实践：应当在流水线中显式地考虑欠规定性，在模型被批准使用之前更严格地规定需求并做压力测试。
这是一个工程视角，而且是一个负责任的工程视角。
换一个视角读，它是什么？
同一套 C、A、L 不唯一地决定 R。
这正是第五编所说的、路径不可消去的直接证据形态。而且它的形状恰好对上第五十五章第三条硬规定：差异不是不存在，它在训练分布上被压平，在分布外显形。
2021 至 2022 年，Sellam、Yadlowsky、Tenney、Wei、Saphra、D’Amour、Linzen、Bastings、Turc、Eisenstein、Das 与 Pavlick 发布了 MultiBERTs（arXiv:2106.16163，ICLR 2022）：二十五个 BERT-Base 检查点，超参数与原始模型相似，只在随机权重初始化与训练数据的打乱方式上不同；另附五条训练轨迹上的一百四十个中间检查点。
他们提出这套资源的理由，在摘要里写得很清楚：用单个检查点做的实验，其结论只适用于那个具体的产物，未必适用于产生它的那套程序；而已有工作表明，重跑预训练可能导致实质不同的性能。为了让研究者能对程序而不只是对产物下判断，他们同时给出了一套统计推断方法。
这同样是一个方法学视角。它要解决的问题是：“我们报告的改进，会不会只是种子运气？”
换一个视角读：它是一份关于”同一套程序的多次执行会落到多远”的系统测量。种子间的下游差异在某些任务上大到足以淹没所谓的模型改进——这句话作为方法学警告很刺耳，作为本案的读数则直截了当。
值得记一笔：这两篇工作有共同作者。欠规定性那篇的作者之一，也是 MultiBERTs 的作者之一。这不是巧合——同一批人，在同一段时间里，从两个方向测到了同一件事。
本书首跑所用的，是这条线上更晚也更完整的一份：PolyPythias（van der Wal、Lesci、Müller-Eberstein、Saphra、Schoelkopf、Zuidema、Biderman，ICLR 2025，arXiv:2503.09543）。
它在既有的模型系列之上新增了四十五次预训练：五个模型规模、每个规模九个新种子，连同原有的种子共十个，产生约七千个新的检查点，全部公开。种子同时决定参数初始化与数据次序。作者们用它研究三件事：下游性能、习得的语言学表征、训练阶段的出现。
这是目前公开可得的、最适合本案的材料：同语料、同架构、同判准、多规模、多路径，且带完整的中途状态。第四编第四十四章逐条核过它满足本案所需的四条性质。
PolyPythias 的作者自己的结论是：除若干例外之外，语言模型的训练在不同规模与不同初始条件之间大体稳定。
原文的表述是清楚的：他们的分析总体上显示出高度一致的训练动力学，跨模型规模与跨初始条件皆然；在此之上，新增的种子使他们得以识别出离群的训练轨迹并刻画其特征，并据此讨论预测训练稳定性的可能。
也就是说：
本书是在逆着原作者的结论重读他们的材料。
这件事必须写在正文最显眼处，不能藏在脚注里，也不能靠措辞含混过去。任何读到本书第七编那些读数的人，都应当同时知道：提供这批材料的人，看完同一批材料之后写下的是”大体稳定”。
这一节必须回答上一节提出的问题，否则本书对这批材料的全部使用都站不住。
答案只有一个可辩护的形式：两方问的不是同一个问题。
原作者问的是流水线的可靠性。 他们的问题形如：种子差异是否大到会影响正常使用？在这个问题下，“大体稳定”是一个精确而正确的回答——训练动力学一致，性能分布集中，离群者可识别且稀少。对一个要把这套流水线当工具用的人来说，这正是他需要知道的。
本书问的是极限行为。 本书的问题形如：种子差异是否趋于零？在这个问题下，“大体稳定”不构成回答，因为一个稳定地保持在某个正水平上的量，与一个趋于零的量，都可以被称为”大体稳定”。
于是关键的一句是：
“大体稳定”与”不趋于零”可以同时为真。
这两句话不矛盾，因为它们量的是不同的东西。前者量的是分散程度相对于使用容忍度的大小，后者量的是分散程度随资源增加的走向。一个分散程度小到不影响使用、却稳定不向零收缩的量，同时满足两者。
这个辩护有一个代价，要写明。 它意味着本书不能从原作者的结论中获得任何支持——本书用的是他们的数据，不是他们的判断。若有人指出”这批材料的作者并不认为它支持你的主张”，本书的回答只能是：“他们没有被问到这个问题。”这是一个诚实的回答，但它比引用一个支持性的结论要弱得多。本书接受这个弱势。
还有一条必须写死的禁令：不得把原作者的结论写成”他们没看出来”。他们看出来的和本书要看的不是一回事，这是问题之别，不是眼力之别。事实上，本书第七编那处最要命的方法论缺陷——噪声基线跨规模不可比——正是本书自己没看出来、靠执行才暴露出来的。在这件事上本书没有任何资格居高临下。
本节就是本书欠这批作者的那个交代。
PolyPythias 的一项产出是识别出了离群的训练轨迹，并在较大规模上观察到某些种子的训练轨迹呈现出与其余不同的走向。
这对本案显然有吸引力：若某些种子走上了结构上不同的道路，那看起来就是条款三候选一所要的东西。
但它只能作旁证，理由与第七十三章第五节完全相同：这些刻画建立在性能与训练阶段的统计描述上，即判准投影的一侧；而条款三候选一要的是机制的有无。把离群轨迹直接当作”结构不同的知识”，是替原作者下一个他们没有下的结论，也违反第五十五章第一条硬规定。
正确的用法与第七十三章一致：它指示了一个值得去做正式实验的方向，仅此而已。
这条线上还有一支，本书要用它把本编接回第六编。
数据呈现的次序、课程的安排、重复的策略对最终模型的影响，已有大量报告。工程上的处理方式是”调好它”；本书关心的是另一件事——它到底能不能被调没。
这正是条款二形式三：若路径只是选择器，那么”先学 a 再学 b”与”先学 b 再学 a”在充分训练之后应当收敛到可交换的结果，因为两次训练的材料是同一个集合。
第七编第六十六章报告过一条探索性读数：在最大规模上，只换数据次序所造成的行为差异，不小于两者都换。那条读数只有三对样本，且三组的对内共享条件不齐，因此不能当结论——它的全部作用是把这条检验从”值得一想”变成”值得一跑”。
这批材料在本章的位置由此确定：它们不是本书的读数，是本书的理由。
把本章前面三批材料并排看，会发现一个重复出现的形状，而这个形状本身值得记下来。
欠规定性：作者问的是可信度——这些模型部署之后会不会出问题。 多种子基准：作者问的是推断的稳健性——我们报告的改进会不会只是种子运气。 多种子预训练材料：作者问的是流水线的稳定性——训练过程可不可靠。
三次都是同一个结构：造材料的人问的是”这会不会给我添麻烦”，而本书问的是”这会不会消失”。
三次也都得到了同一类回答：麻烦是真的、可测的、值得警惕的；而它是否随资源增加而消失，无人问及，因此也无人回答。
这个重复不是巧合，它有一个可以说清的来源：
一个领域的工程关切，会系统性地决定哪些问题被问。
在一个以”把东西做好用”为主要目标的领域里，种子差异是一个需要被压下去的麻烦。压下去的办法是取多个种子求平均、是做压力测试、是改进流水线。这些办法全都不要求知道差异的极限行为——它们只要求差异小到不碍事。于是”差异会不会趋于零”这个问题从来没有被提上日程，不是因为它难，而是因为没有人需要它的答案。
本书需要它的答案，因为本书问的是另一类问题。
这件事有两个后果，都要写明。
后果一，对本编的：本书能从这批材料里取得的，只有数据，不是结论。这一点第五节已经说过，这里给出它的普遍形式——凡是被当作工程缺陷提出的材料，其原作者的结论都不会站在本书这一侧，因为他们问的问题不通向那里。
后果二，对第十编的：如果本案最终倒向造成论，那么上面这个”关切决定问题”的机制本身就要被重新看待。它不再只是一个关于学术社群的社会学观察，而成为一个方法论的警告：判准的设定不仅决定了什么算好的结果，还决定了什么问题会被提出来。 这条线在第十编第八十四章会被重新拾起，在那里它关系到人工智能研究自身的目标设定。
本节在此打住。它是一条观察，不是一份读数；按本书的规矩，它不进入任何判决。
本章处理的不是对手的武器，因此没有”它若成立则本书判负”的接口。它的对接是反向的。
与条款一：欠规定性与多种子基准提供的是”差异存在”的证据，而条款一判的是”差异是否随规模衰减”。前者不蕴含后者。 这一点必须写明，否则本书会犯自己在第五十二章批评过的那个错误——把计算性路径依赖的材料当作造成论的战利品。这批材料全部是在有限规模上取得的，它们与”差异随规模消失”完全相容。
与条款二形式三：次序效应这一支直接通向可交换性检验，规格见第五十六章第五节。
与条款三候选一：离群轨迹这一支只作旁证，理由见第六节。
本编到此结束。八章处理了四件在役武器与一批被误读的材料，没有判掉任何一条条款，也没有被判掉任何一条。这个结果是预料之中的：按第六十七章第四节那个不对称，本编本来就不能替本书赢，它只能把对手放在它能赢的位置上，并写清本书在每一处输掉时要交出什么。
下一编处理最后一批东西——那些本书接得住的反击，以及那一记接不住的。