第二编 为什么判不了：三道闸
一个结果能被不同的实验室、不同的仪器、不同的国家重复出来。
这难道不说明它独立于任何一条特定路径吗？
这一类证据比上一类更硬，理由有两条。
其一，它不依赖”同一个发现”这种事后的归类——可重复性是当下就能检验的，不需要等一百年。
其二，它是科学实践自己设的门槛。一个不能被重复的结果，在实践中根本不被接受。也就是说，这一类证据不是事后拿来辩论用的，它内建在这个行业的运作里。
本章要说明的是：可重复性所证明的那件事，恰好把待判的那一部分排除在外了。
把它的内容写准：
可重复性证明的是：在现行共同体所承认的操作等价类内部，结果稳定。
“操作等价类”这个说法需要解释。做一次重复实验，不可能把原实验的每一个细节都复制——仪器不是同一台，试剂不是同一批，操作者不是同一个人，室温不一样，时间不一样。
因此每一次”重复”，实际上都是在说：这些差异可以忽略。
而”哪些差异可以忽略”，就是操作等价类的边界。
现在把这个边界与本案对上：
这个等价类的边界——什么算”同样的实验”，什么算”可以忽略的差异”——正是造成论说被造出来的那一部分。
于是可重复性的论证有一个循环的形状：它证明”在被认为无关的差异范围内，结果稳定”，而争的恰恰是那个范围是怎么被定下来的。
上一节读起来像是一个哲学上的挑刺。它不是。这个边界在实践中被认真追问过，而追问的结果是有材料的。
复制危机的文献在这一点上提供了大量实例：当边界被认真追问——当有人真的去检查那些被认为可以忽略的差异——大量曾被当作路径无关的结果，表现出对操作细节的敏感依赖。
一批结果在原实验室稳定，换一个实验室就不稳定；换一个试剂批次就不稳定；换一套分析流程就不稳定。
这些材料应当被怎么读？
这是本章最需要小心的一处，因为它同时诱惑两侧。
造成论一侧的诱惑是把它读成胜利：看，结果依赖于操作路径。
先在论一侧的诱惑是把它读成技术问题：那些不稳定的结果本来就不够好，稳下来的那些才是真的。
两种读法都成立，而这正是问题。 复制危机的材料既不判先在论有罪，也不判造成论有罪。它们只是再一次显示：分不开。
这一点与第七十四章那批欠规定性材料的处境完全相同——那里说的是模型，这里说的是实验室，而结构是同一个：差异被观察到了，但”它是否会随努力消失”这个问题没有被问，也没有办法在那个现场被问。
处理这一类证据时，有一个术语上的区别常被略过，而它对本案很要紧。
含义一·直接重复：用尽可能接近原实验的条件再做一次，看是否得到同样的结果。这测的是原结果是不是偶然。
含义二·概念复制：用不同的方法、不同的材料、不同的测量方式去检验同一个结论，看是否仍然成立。这测的是原结论是不是只在那一套具体做法下成立。
两者所提供的证据不同，而在本案里它们的位置也不同。
直接重复完全落在第二节那个循环里：它按定义在等价类内部做，因而测不到等价类边界的问题。
概念复制看起来能跳出去——它正是在换一条路径。若一个结论能被完全不同的路径到达，这不就是路径无关的证据吗？
这是本章要处理的最有力的一个版本，而它仍然不成立，理由有二。
理由一：概念复制成功时，“同一个结论”的判定回到了第八章第三节那个问题上。 用不同方法得到的两个结果，要被算作”同一个结论”，需要一把尺子；而那把尺子是共同体给的。两条路径得到的东西在多大程度上真的相同、在多大程度上是被一个共同的描述框架抹平的，这件事本身无法在那个框架内部检验。
理由二，更硬：概念复制失败时，它不被报告。 当一个结论在概念复制中不成立，通行的处理不是”路径影响了结果”，而是”其中一次做错了”，或者”两者其实测的不是同一个东西”。两种处理都合理，而且多数时候是对的。但其后果是：概念复制的成功率，不是一个可以被读出来的量。
一个只在成功时被记录的检验，不提供关于失败率的信息；而本案恰恰需要那个失败率。
这一节留下一项可做的工作，与第八章那项同类：系统地记录概念复制的失败，并区分”做错了”与”测的不是同一个东西”这两类处理各占多少。 这项工作本书同样不做，理由同样是能力所限。但它值得被记下来——在这三类证据里，它是唯一一个有现成数据来源的。
多重发现那一类证据，至少还有一条可能的出路：去找条件差异极大而结果仍然趋同的案例（第八章第二节）。
可重复性这一类没有这条出路，原因在于它的定义。
一次重复实验，按定义就是在被认可的等价类内部做的。 若一个人故意在等价类之外做——换一套完全不同的操作、不同的原理、不同的测量方式——那么得到相同结果时，人们会称之为”独立验证”而不是”重复”；而得到不同结果时，人们会说”那不是同一个实验”。
两种情形都不构成本案所需要的对照。
于是这道闸在这里特别紧：可重复性这个概念自身的结构，就保证了它测不到路径效应。 它是一个被设计来排除路径效应的程序——这是它的目的，不是它的缺陷。
这句话与第五十五章第一条硬规定是同一个形状：一个被设计来压平差异的量，不能用来测量差异。 那一条说的是任务分数，第七十二章说的是缩放律，第八十三章说的是考试成绩。本章是它的第四次出现，而且是最早的一次——它在实验科学的基本程序里就已经在了。
复制危机那批材料是这道闸的经典实例。近年还有一个新实例，它出现在一个意外的地方，值得记下来，因为它把这道闸的机制显示得比任何历史案例都清楚。
那就是模型训练本身的可复现性实践。
在这个领域里，“复现一个结果”的标准做法是：固定随机种子、记录超参数、公开代码与数据。做到这些，结果被认为是可复现的。
而固定种子这个动作，恰恰是把路径消掉。
于是这个领域的复现标准，与第二节所说的那个循环是同一个形状：它把”路径不同”划进了”需要被消除的差异”，然后报告说在消除之后结果稳定。
这个实例的价值在于它是当下的、可查的、且机制完全透明。
历史上的等价类边界是怎么被定下来的，我们只能从档案里推测；而这个领域的边界是明文写着的——复现指南里就写着要固定什么。任何人都可以去看那份清单，看”哪些差异被认为可以忽略”。
它也给出了一个对照：第七十四章那批多种子材料，做的正是不固定种子、看差异有多大。那批工作之所以显得特别，不是因为它测了什么难测的东西，而是因为它做了一件与通行的复现实践方向相反的事。
由此得到本章最实在的一个结论：
一个领域的”可复现”标准，同时也是它关于”什么算路径无关”的一份现成声明；而那份声明从来不是被论证的，是被约定的。
这句话对本案有直接用处：要检查一个领域里”路径无关”这个假定有多硬，最快的办法不是读它的理论文献，是读它的复现指南。
本章不停在否定上。把”需要什么”写出来，因为那正是本书后面要做的事。
要让重复性这一类观察获得分辨力，需要的不是更多次重复，而是一次结构不同的重复：
这就是第六编条款一的形状，而它在人类实验室里做不到——理由与第十三章要讲的完全一样：不能只改变一项而其余全部对齐，因为实验室的各项彼此牵连；不能在不同资源水平上重复做，因为没有那个可调的资源轴。
所以这一章的结论与上一章相同，理由不同：
独立可重复性不是弱证据，是零分辨力的证据。它所稳定的东西，正是被定义为与路径无关的那一部分；而它所不能触及的，正是本案所争的那一部分。
下一章处理三类里最有力、也最常被当作终结论证的一类。