第八编 对手
设有两个量，都随规模单调下降。一个的极限是零，另一个的极限是 0.3。
在任何有限的规模窗口内，它们可以长得几乎一样。两条曲线都在降，都降得越来越慢，都能被同一族函数拟合得很好，都能通过”显著递减”的检验。画在同一张图上，肉眼分不开；分别画在两张图上，更分不开。
而这两个量说的是完全相反的两件事。 前者说路径差异终将消失，后者说它不会。
这就是本案在经验层面上的真实形状。它不是”证据不够多”，是”证据的形状不含区分”。第五十三章讲过案例研究缺的是极限，那是历史材料的处境；本章讲的是同一件事在实验材料上的处境。
四样东西，缺一样都做不成。
其一，足够长的规模跨度。 两条曲线在窗口内的重合程度，随窗口变长而下降。多长算够，没有一般答案，但有一个可操作的判据：窗口右端的量值，必须与所要区分的那个正常数处在可比的量级上。 若怀疑极限是 0.3，而窗口右端的读数还在 0.4，那么窗口内的全部信息几乎都来自尚未衰减的那一部分，外推是空的。
其二，事先冻结的拟合族。 幂律加常数、指数加常数、对数形式，各自给出不同的截距，有时差得很远。拟合族必须在看到读数之前定下来并公开，否则外推出来的截距只是一次挑选。
其三，截距的置信区间，而不只是截距。 一个点估计的截距说明不了任何事。要判的是区间是否包含零。这要求规模点的数量明显多于拟合参数的个数。
其四，事先声明的外推范围。 从若干个规模点外推到无穷，是一件本身需要辩护的事。至少要写明：外推到多大规模仍被认为有效，以及超出该范围之后结论作废。
上面四条是本书对表征收敛那一线工作的要求。现在把它们反过来对准本书自己。
第七编的首跑，四个规模点，跨度约一个数量级多一点。按第一条，窗口远远不够；按第三条，四个点拟合三参数等于零自由度，区间无从估计。因此首跑没有报告不可消解度，也没有做任何外推。
更要紧的是第七编第六十三章那一列：行为通道的路径差异单调下降。这正是”看起来在收敛”的典型形状。一个立场相反的人拿着同一张表，完全可以写成”路径差异正在随规模消失”——而他不会说谎，他只是把趋势当成了极限。
本书事先写死的判据不允许自己这样做。这条纪律在首跑里第一次真的挡住了一样东西，而它挡住的是本书自己。
把这件事写在本章，是因为它决定了本章的语气：本书对表征收敛那一线工作提出的要求，不是一个外部的苛责，而是本书自己已经付过代价的一条纪律。 若本书只对对手要求极限而对自己只给趋势，这一章就没有资格存在。
上面三条说的都是原则。本节给一个这个领域自己的实例，它比任何原则都更能说明外推的脆弱。
2020 年，Kaplan 等人在跨越多个数量级的模型上拟合出损失与参数量、数据量、算力之间的幂律关系，并据此给出算力分配的处方：给定预算，绝大部分投入模型规模，少部分投入数据量。这条处方被当作操作手册使用了将近两年，一批当时最大的模型是按它规划的。
2022 年，Hoffmann 等人在固定算力下重新做了一次更仔细的扫描，得到了不同的最优分配——参数量与词元数应当大致等比例增长。按新分配训练出的模型，在同等算力下胜过了按旧处方训练的更大的模型。
拟合的框架活了下来，常数是错的。
两次扫描的分歧不来自数据造假，也不来自数学错误，而来自实验设计的选择——尤其是学习率安排在扫描中是否随每一次运行的预算而调整。一个看起来属于技术细节的选择，改变了外推出来的处方。
后续还有一层：有人对第二代结果做了复现尝试，在大体确认其指数的同时，指出了原文损失拟合表中的报告错误。这说明即便是这个领域最受重视的一条拟合，其细节也仍在被核查。
这件事对本章的意义有两层。
第一层是警示：这个领域已经有过一次教训——在数个数量级的数据上拟合出来的幂律，其外推结论在更仔细的扫描下被推翻。 而本书首跑所用的规模跨度，比那两次扫描都小得多。任何人拿着一个比那更短的窗口去外推，都应当先把这件事放在眼前。
第二层是对称的：这件事同样限制对手。表征对齐度的外推，与损失的外推，在方法上是同一类操作，因而承担同一类风险。 一条趋势线被更仔细的扫描推翻，这在本领域不是假想的可能性，而是已经发生过的事。
最后排除三种常见的、看起来像在加强外推、其实不解决问题的做法。
其一，加更多的规模点，但不扩大跨度。 在原有窗口内加密采样，能让拟合优度变好，能让区间变窄，但它不提供关于窗口之外的任何新信息。区分零与正常数所需要的信息，全部在窗口的右端。
其二，提高显著性。 “递减是显著的”这句话在两种情形下都成立，因为两条曲线在窗口内都在递减。显著性检验回答的是”有没有在降”，而本案问的是”降到哪里”。这是两个问题，前者的答案再确定也不回答后者。
其三，换一个更好看的拟合。 在同一批点上换一族函数，往往能把拟合优度提高一点，同时把截距改变很多。若拟合族不是事先冻结的，这一步就是在挑选结论。第五十九章第一节把它列为冻结项第三条，正是为此。
三条之外还有一条不是补救而是诚实的做法：承认本窗口无法区分，并说明需要多长的窗口才能。 这句话没有判决力，但它是可以被兑现的——它给出的是一个具体的条件，而不是一个态度。
抽象的要求不如给出一个别人能照着做的设计。本节给出一个，它同时适用于表征收敛那一线与本书自己。
目标：把”对齐度趋于完全对齐”与”对齐度趋于某个正的不一致水平”分开。
步骤一·先确定要区分的那个正常数的量级。 这一步是设计的前提，却常被跳过。若不先说明”我们要把零与多大的常数分开”，就无法判断需要多长的窗口。合理的做法是取当前最大规模上的读数的某个分数作为待区分的候选值，并把这个选择写进预注册。
步骤二·选规模点，使窗口右端进入该量级。 由步骤一决定。若做不到，诚实的结论是”本设计无法区分”，而不是硬做一个外推。
步骤三·冻结拟合族与模型选择准则。 并预先声明：若两个拟合族给出的截距区间不重叠，结论作废，写”未能分辨”。
步骤四·报告分母。 若使用任何归一化，把分母单独报出来，并检查它是否随规模变动。这一条是首跑用代价换来的——详见第六十五章。
步骤五·两侧都报。 表征通道与行为通道，或任何两个读数口，必须分别报告，不得合成。理由见第五十五章第四条硬规定。
五步之中，只有第一步是新的。其余四步在第六编都已写过，本章把它们组装成一个针对对手主张的检验。
在开出邀请之前，先接一个针对本章的反问，因为它是对本章最有力的质疑。
反问是：极限是测不到的。任何实验都在有限的规模上做，要求对手给出极限，等于要求他做一件原则上做不到的事；而一个原则上做不到的要求，不是一条判据，是一堵墙。
这个反问必须被认真对待，因为它说对了一半：极限确实测不到。
回答是：本章要求的从来不是直接测量极限，而是拟合出渐近值并给出它的置信区间。这是一件标准的、每天都在做的事——第四节那两代缩放律做的正是它，而且第二代的参数化形式里明明白白地含有一个不可约的常数项，即损失的非零下界。一个领域能够在自己的损失曲线上拟合渐近值并讨论它是不是零，就没有理由说在另一个量上做同样的事是不可能的。
因此本章的要求可以重述为一句更谦逊的话：不要求测到极限，只要求把外推做成外推的样子——冻结拟合族、报告区间、声明有效范围。
这个重述同时把要求变得更硬了：它不再可以用”极限测不到”来推掉。
本章以一个邀请结束，它是本编所能提供的最实质的东西。
本书愿意接受的判负形式是：任何人在一个足以让窗口右端进入待区分量级的规模跨度上，用事先冻结的拟合族，报告出对齐度的渐近值，且其置信区间包含完全对齐。
这不是一个苛刻的要求。它要求的每一样都是标准做法，只是很少被一起做。它也不是一个本书料定对方做不到的要求——恰恰相反，本书认为它在未来几年内是可做的，而且若有人去做，它极有可能在本书之前就把条款一判掉。
本书对这个结果没有任何保留：若它发生，第五十八章第一条自动生效。
最后要说明本章为什么不单独对接某一条条款。 它不是一件武器，也不是一条判据，它是一副尺子——第六十八章的表征收敛与第七十二章的缩放律，都要放到这副尺子上才知道量到了什么。下一章回到武器本身。