面对任何一样成形的东西——一条规律、一个概念、一种能力、一门学科——可以有两种读法。
发现学读法：它本来就在那儿，只是我们从前看不见。开普勒定律在开普勒之前就成立，元素周期律在门捷列夫之前就成立，语言的语法结构在语法学家之前就在运转。人做的事是照亮：换更好的工具、更细的测量、更聪明的方法，把原本存在而未被看见的东西显出来。在这种读法里，认识活动的全部价值在于接近——离那个早已在那儿的东西更近一点。
发生学读法：它是在特定条件下被造出来的。条件不同，成形的东西就不同；不是我们看得准不准的问题，是它根本不会是同一个。人做的事不是照亮，是参与形成。在这种读法里，认识活动的价值在于条件的组织——把什么放在一起、按什么顺序、在什么约束下推进。
这两种读法的争论不新鲜。它在哲学史上换过很多名字：实在论与建构论、发现与发明、自然类与人为分类、真理符合论与真理融贯论。争了两千多年，没有一方被真正判出局。
原因不是双方都有道理，而是双方在绝大多数场合读数相同。
给定一个已经成形的东西，两种读法给出的解释都能覆盖全部已知事实。一条定律被找到了——发现学说”它本来在那儿，被找到了”，发生学说”在那一组条件下它被形成了”；两句话面对同一份材料，没有任何观测能把它们分开。差别只在反事实上：如果当初条件不同，会不会得到另一个东西？发现学说不会——真理只有一个；发生学说会。
而反事实恰恰是历史不提供的东西。科学史只发生了一次。我们不能把十七世纪重跑一遍、只换一个初始条件，看看会不会长出另一套力学。没有对照组，就没有裁决。
因此两千年的僵局不是逻辑上的僵局，是材料上的僵局：这场争论需要一个可以重跑的案例，而人类史上从来没有过。
本文要说的是：现在有了。
大模型出现之后，关于它”到底在做什么”，通行的解释很快定型，而且几乎所有版本都是发现学的：
这些说法的共同语法是：有一个东西本来在数据里，训练把它取出来。规律在语料中，特征在分布里，结构在语言中；模型是一台越来越好的提取器，规模越大提取得越干净。
这个解读极其顺手，因为它把一个全新的事物接进了一套现成的叙事——望远镜式的叙事。更大的镜片看得更远，更大的模型学得更准；改进的方向是提高分辨率，失败的原因是分辨率不够。
本文认为这是一种失败的发现学解读。
说它失败，不是说它的每一句话都错。统计确实在起作用，分布确实被拟合，规模确实带来提升。说它失败，是指它把一件构成性的事说成了提取性的事，而这个错位有可观测的后果——它在三处给出错误的预言，本文下一章逐条处理。
先把两种解读在大模型上的分歧写清楚，以免后面争论走形：
| 发现学解读 | 发生学解读 | |
|---|---|---|
| 训练在做什么 | 从数据中提取早已存在的规律 | 在一组条件下形成一套结构 |
| 数据的地位 | 规律的容器 | 形成过程的材料之一 |
| 训练路径的地位 | 通往同一终点的不同走法 | 终点的构成部分 |
| 初始条件的地位 | 噪声 | 条件 |
| 规模增大意味着 | 提取得更干净，越来越接近那个东西 | 形成得更稳定，但仍是被形成的 |
| 不同训练得到的模型 | 对同一目标的不同近似 | 不同的形成物 |
| 差异应当怎样处理 | 降级为误差、平均掉 | 当作读数、去刻画 |
最后一行是全部分歧的落点。发现学的标准动作，是把结构性的差异降级为噪声。这个动作在物理测量里是对的——同一根棒子量十次，差异确实是误差。问题在于，它被无条件地搬到了一个未经检验的新场合。
同样的语料、同样的架构、同样的超参数，只换一个随机种子——改变的是参数初始化与数据顺序——训练出来的两个模型不是同一个模型。它们的参数不同（这不奇怪），但更要紧的是：它们在某些具体的能力上、在某些探针上、在训练过程中相变发生的时刻上，会呈现可辨的差异，而且其中一部分差异不随训练进行而消失。
发现学解读对此只有一种处理方式：这是优化噪声。目标函数只有一个，最优解在数据里，不同种子只是从不同的起点下山，落在同一个盆地的不同位置；差异属于”实现细节”，不属于”模型学到了什么”。
这个处理有一个隐含承诺，而且是可检的承诺：差异应随规模和训练量单调收敛到零。如果本来在那儿的东西只有一个，而模型越大提取得越干净，那么两个提取得都很干净的模型之间就不该剩下系统性的差别。
承诺一旦写出来，就变成了可以判负的东西。本文第二十三章把它做成预注册。
比种子更尖锐的是顺序。同一个语料集合，只改变样本进入的顺序，结果不同。
这一条对发现学解读特别难办，因为顺序不改变数据中包含的信息。集合还是那个集合，统计量还是那些统计量，分布还是那个分布。如果训练是在逼近数据的分布，那么呈现顺序在原则上不该有系统影响——正如你从袋子里按什么次序把球拿出来，不改变袋子里球的比例。
而实际上顺序有影响。课程学习之所以是一个研究方向，预训练数据配比与阶段安排之所以被当作核心机密，正是因为同样的材料，按不同顺序喂进去，长出来的东西不一样。
发生学对此不需要任何补丁：顺序就是差异序列，差异序列是构成性的，所以它当然影响成形物。发现学则必须解释”为什么取球的次序改变了袋子里的比例”——而这句话本身是自相矛盾的。它现有的答案是把顺序归到优化动力学（路径依赖、鞍点逃逸、隐式正则），但这个答案等于承认了路径进入了结果，而这恰恰是发生学的主张。
一个解读如果只能靠承认对方的主张来自救，它已经输了那一局。
第三处是最被谈论、也最被误解的一处：新能力在训练过程中出现的位置与形态，不由目标函数写明。
目标函数是下一词预测，从头到尾没变过。而在训练的某些区段上，模型开始能做一些此前完全做不了的事。这些能力不在目标函数里，不在架构设计里，也不在任何人的规划里；它们出现的时刻在事前不可靠预告，事后可以被描述。
需要谨慎：关于”涌现”是否为度量假象，学界有实质争论——换一个连续的度量，很多看似突变的曲线会变平滑。本文不依赖”突变”这个说法。本文只用一个更弱、也更难反驳的版本：
能力的清单不是从目标函数推出来的。
没有人能从”最小化下一词预测损失”这一条出发，事先列出一个模型将会具备哪些能力、不具备哪些能力。这个清单只能在训练完成后，靠试出来。
发现学解读必须说：这些能力本来就在语料里，只是被提取出来了。那么请问，“在语料里”是什么意思？语料是一堆字符串。说某项推理能力”在语料里”，实际上说的是”存在某种结构，使得在这个语料上按这种方式训练会产生这种能力”——这句话已经把训练方式写进去了，它是发生学的句子，不是发现学的句子。
发现学在这里付出的代价是：它只能在事后把成形物读回数据里，而无法在事前从数据预告成形物。一个只能事后追认的解释，解释力为零。
三处指向同一件事：
D（训练路径：初始条件、顺序、阶段）进入了 S（成形的能力结构），而不只是影响到达它的速度。
发现学必须把 D 当作通往同一终点的不同走法；发生学把 D 当作终点的构成部分。这就是下一章要做的事：把这句话写成一个可判的题面。