第八编 对手
2019 年，Frankle 与 Carbin 提出彩票假说：一个随机初始化的稠密神经网络中，包含着稀疏的子网络；若把这个子网络单独取出来、保留它在原网络中的初始权重、再单独训练，它能在相当的步数内训练到与原网络相当的性能。
他们把这个子网络叫作”中奖彩票”。找它的办法是迭代式的量级剪枝：训练、剪掉权重最小的一部分、把剩下的权重重置回初始值、再训练，反复若干轮。
主张的落点在”重置回初始值”这一步上：彩票在训练之前就在那里，训练只是把它找出来。
哲学上的先在论说”被知道的东西先于过程而存在”，这句话的麻烦在于它不指认任何对象——“存在于哪里”这个问题，先在论传统上回答不了，本书第九编第七十六章正是要向它索取一个地址。
彩票假说给出了地址。
它把”先在”落到了一个可指认、可取出、可单独训练的对象上：一组初始权重的子集。 不是一个抽象的解集，不是一个”逻辑上可能的结果空间”，而是一批具体的数，存在于一台具体的机器上，在训练的第一步梯度落下之前就已经写好了。
这是先在论在工程上能够做到的最强形式。本书认为，如果先在论在这个现场要赢，最有可能是从这里赢。
现在写这件武器自身的历史，而这段历史是由彩票假说一方自己写下的。
原始形式在小型视觉任务上可靠地工作，在更深、更大的网络上则不然：迭代式量级剪枝在那些网络上找不到中奖彩票——把子网络重置回初始权重之后，它训练不到原有的性能；换句话说，初始权重本身是无关紧要的，随机重新初始化同一个子网络，结果没有差别。
这一点由若干独立的工作报告（Liu et al. 2018；Gale et al. 2019），也由 Frankle 与 Carbin 自己报告。为了在较深的网络上找到中奖彩票，他们不得不对每个网络的学习率安排做专门的改动——降低学习率，或加一段预热。
必须写明：这是 LTH 一方自己报告的结果，不是本书的发现。 本书在这里只是复述。
2019 至 2020 年，Frankle、Dziugaite、Roy 与 Carbin 给出了修复（arXiv:1903.01611，后并入 ICML 2020 的《线性模式连通与彩票假说》）。
修复的核心是一个叫作回绕的操作：不把子网络重置回初始化，而是重置回训练早期的某一点。
他们引入了一个分析工具：一个网络对随机梯度下降的噪声是否稳定——即从同一点出发、只因数据次序不同的两次训练，是否会落到同一片区域。结论是：在中奖彩票于初始化处不稳定的情形中，它们会在训练早期变得稳定，并在那之后变得可匹配。把子网络回绕到那一点，就能在大规模网络上产生可以单独训练到全精度的稀疏子网络。
按原文的表述，修复后的主张不再是”中奖彩票在初始化时就在那里”，而是”子网络在训练早期的某一点之后是稳定且可匹配的”。
这一节的复述必须是中性的。 不得写成”他们不得不退让”这类带情绪的说法。回绕是一个技术上合理、经验上成功的修正，它使一个原本在规模上失效的假说重新工作起来。这是科学工作的正常样子。
在进入本章的承重处之前，先看一眼回绕所依赖的那件工具，因为它的构造对本案有独立的意义。
回绕不是随便挑一个早期时点。挑哪一点，由一个叫作不稳定性分析的工具决定。它的做法是：从训练轨迹上的某一点出发，让两个副本沿着不同的数据次序各自训练到底，然后看两个终点之间是否存在损失障碍——若不存在，就说该网络在那一点对随机梯度下降的噪声是稳定的。
一个网络在初始化处往往不稳定；训练一小段之后变得稳定。回绕就回到变得稳定的那一点。
现在看这件工具量的是什么：
给定一个出发点，仅改变数据呈现的次序，两次训练会不会落到同一片区域。
这几乎就是本书第五十六章形式三——可交换性检验——的雏形。材料相同，架构相同，判准相同，只有次序不同；问的是结果是否可交换。
这件事值得单独说一句，因为它的来历很特别：这个工具不是造成论一侧为了论证路径重要而设计的，它是先在论最纯粹的那件武器为了修复自己而设计的。设计者的目的是找出”从哪一点之后次序不再要紧”，而这个目的本身预设了：在那一点之前，次序是要紧的。
本书从中取的不是一个结论，是一个方法上的承认：次序造成的分化，是一个被双方共同承认为真实、并且可测的量。 争的从来不是它存不存在，而是它随规模的走向。
现在到本章的承重处。
修复后的主张有一个本书极为关心的结构：它把”先在性生效的时点”从第 0 步挪到了第 k 步。
原始主张里，那个时点是零——一切都在训练之前定好。修复后的主张里，那个时点是训练早期的某一点，而这一点被实验确定为不是零。
于是问题来了：
在第 0 步与第 k 步之间发生的事情，是什么？
它不是材料——材料在那段时间里只被用掉了一小部分。它不是架构——架构在整个过程中不变。它不是判准——判准从未改变。
它是路径。
这一段是初始权重与数据次序共同决定的一段具体的行走。而按修复后的主张，正是走完这一段之后，解才变得确定、稳定、可匹配。走完之前，它不确定。
由此得到一个此前没有被这样提出过的量：
先在性生效的时点 k。
这个量是可测的。它由稳定性分析本身定义——从同一点出发的两次训练何时开始落到同一片区域，这正是原文所用的判据。它可以在不同规模上分别测出来，画成一条曲线。
这是本书能从这件武器里取得的最大收获：先在论最纯粹的工程表述，在它自己的修复史中交出了一个把”先在”与”路径”分开的可测边界。
现在写对手对上一节的最佳回答。不写，本章就是一次伏击。
对手可以这样说：第 0 步到第 k 步之间那一小段，仍然是由材料、架构、判准加上一段确定性的优化动力学所决定的。给定初始化的分布与数据次序的分布，那一段的行为在统计意义上是被规定好的。因此”先在”只是从第 0 步挪到了第 k 步，本体论上什么也没有变：解仍然是由 C、A、L 所决定的东西，只不过它的确定需要先跑一小段而已。
这个回答是有力的。 它与第五十二章所定义的计算性路径依赖完全一致：你还没走到——走一小段就到了。本书不能靠修辞把它挡回去。
本书唯一能做的回应是把问题量化：
k 是否随规模增大而趋于零？
若 k 随规模趋于零，对手赢：先在的边界在极限上回到了第 0 步，那一小段只是有限资源下的暂态，属于计算性路径依赖。
若 k 随规模稳定为正，或者更强地，若 k 随规模增大，那么情况就反过来了：“先在”的边界本身是路径的函数，而且这个函数不向零收缩。在这种情形下，“解由材料与架构决定”这句话即使在极限上也必须附带一个非零的前置行走，而那个行走不属于材料与架构。
这是一条新的、可执行的检验，它不在本书第六编的三条条款之内，也不在首跑的预注册之内。它的正确位置是下一跑的预注册候选，已列入第六十六章那份清单的增订。
必须同时写明这条检验的两个弱点。 其一，k 的定义依赖于稳定性判据，而稳定性判据本身有阈值，阈值是自由参数——这与第五十五章第三条所说的探针配比是同一类问题。其二，本书至今没有跑过它，因此它是一张支票，不是一份读数；按第五十七章末尾那句话的标准，它必须被标明为支票。
在进入对接之前，说明一下本编的一处安排，因为它关系到读者怎么把两章接起来。
彩票假说与线性模式连通，在文献上是同一条线，甚至在同一篇论文里——上面第四节那篇修复工作的标题就把两者并列。修复所用的稳定性判据，正是用”两个终点之间有没有损失障碍”来定义的，而那就是线性模式连通。
本书把它拆成两章，理由是它们打在本案的两个不同位置上。
本章打的是时间轴：先在性在什么时候生效？原始形式说第 0 步，修复后的形式说第 k 步，而 k 不是零。
下一章打的是空间轴：两个终点之间的差别算不算实质？答案取决于允许多大的变换群。
两者共用同一批实验，却各自通向不同的条款——本章通向条款二关于解集的部分，下一章通向条款二形式一关于可归约性的部分。把它们合成一章会让两条论证互相遮蔽，因此分开。
它若在原始形式上成立——即中奖彩票确实在初始化时就在那里，且这一点在大规模上也站得住——本书条款二判负。
理由：彩票假说的原始形式直接给出了条款二所索要的那个地址。解集不但先定，而且可以被具体指认为初始权重的一个子集。路径的全部作用就是把它找出来，即选择器。
按第五十八章第二条，本书的让步是：把核心命题降级为”路径影响到达解集中的哪一个成员，但不影响解集本身”，并承认这个降级后的主张对本案不构成判决——它与先在论完全相容。
它若只在回绕形式上成立，则本案落到第七节那个量化问题上，而那个问题目前无人回答。本书不因此取得任何东西，也不因此判负；这正是第六十七章所说的那种单向局面。
下一章处理这件武器的另一半——不同种子之间的差别究竟是不是标号。