——三家都假定候选集先于观察给定，而埋藏学自己的材料推翻了它
一道题做对了，这被用来说明学生掌握了某个点。通行的追问是覆盖得够不够、要不要多考几次。本章主张的不是这个。 关于“多测提高稳定性但不缩小覆盖差距”“该往哪个条件维上加观察要看方差分量”“信息量取决于当前的估计状态”“同一份证据在不同理论网络下含义不同”，本章都不是第一个：变换方法以分离特质与方法方差，是一九五九年的；实验的期望信息依赖于当前先验，是一九五六年的；“增加观察的效果取决于所加观察取自哪一个面”，一九七二年就逐字写在概化理论的书里；自适应测验四十年来按当前能力估计处选题。本章因此不主张“换条件比重复信息多”。 本章主张的只有一条：在教学里，竞争解释的候选集不是观察之前给定的，它是被观察条件生成的；因此换条件的首要作用不是提高对既有候选的分辨力，而是使一类原本不在名单上的解释第一次成为候选。 推翻“候选集先于观察给定”的材料取自埋藏学自己：化石记录里，取样与偏差是自然过程在研究开始之前就做完的；一个完全由易腐材料构成的传统不以“缺失”出现，而以“不存在”出现。本章给出的读数不是覆盖率，是新候选率——观察结果落在事先所列全部解释之外的次数占比，并预测它在同条件重复下趋近于零、换条件下显著大于零。
候选集 条件生成 新候选率 埋藏偏差 似然比 验前状态
一道英语选择题考现在完成时，学生选对了。
教师据此判断：他掌握了这个点。而在做出这个判断之前，教师心里其实有一张很短的名单——这个学生要么掌握了，要么没掌握而蒙对了，要么记住了这道题的套路。三种解释，选对了排除掉一种，剩下两种。
现在把条件换一下：让他口头讲一件三天前发生、影响延续到现在的事。他说出来的句子是“I have go to the hospital yesterday”。
这个结果不在那张名单上。 它既不是“掌握了”，不是“没掌握”，也不是“记住了套路”——它是一件那张名单里根本没有位置的事：他掌握了这个点该用在什么场合，但没掌握它的形式；而在笔试条件下，形式是给定的（四个选项里有一个正确形式），所以这一类学生和真正掌握的学生在笔试上完全同形。
这个第四种解释不是被那道选择题“漏掉”了，是那道选择题不可能生成它。 在只有四个选项的条件下，“会用场合但不会形式”这件事没有任何显现的方式，因而它不会以“一个待排除的可能”出现在教师的名单上——它以“不存在”的形式出现。
本章主张的就是这件事。 而本章必须在开头交代：这个主张的绝大部分已经有人占了，而且占得很早。
第一版稿的主张是“覆盖误差不随样本量减小，因而增加考试次数只提高稳定性、不缩小覆盖差距”。这一轮检索之后，这条主张的每一个构件都有归属，其中一条还有逐字原文，写在一九七二年的一本书里。 第二节逐条交代。
做完之后剩下的只有一条，而它恰恰是三家共同假定的那一条的反面。
本章的主张可拆成五个构件：①覆盖误差与随机误差性质不同，后者随次数减小、前者不减小；②换条件的观察比同条件重复提供更多信息；③一次观察的信息量取决于当前的假设状态；④同一份证据在不同的解释框架下含义不同；⑤语言测试的条件可以按若干维度枚举。 逐条查，五条全部有主。
构件②，一九七二年，而且有逐字原文。 概化理论那本书的第十一页写着：“增加观察的数量会产生不同的效果，取决于所增加的观察取自哪一个面。” 这一句话就是构件②的完整内容。而后续的教学材料把它做成了可操作的算例：在写作评分的场合，“使用更多的题目比使用更多的评分者更快地降低误差”，理由是题目这个面的方差分量（零点零六）大于评分者这个面的方差分量（零点零二），因而结论是“应当尽可能多用题目”。
这一条对本章是致命的，必须写在最前面。 第一版稿的“换条件优于重复”在操作层面上被这一句完整占满，而且它给出的是一个可计算的判据（比方差分量），比本章第一版稿的定性说法强得多。
构件③，一九五六年。 一篇关于“一项实验所提供的信息之度量”的论文，发表于一份数理统计学刊物，卷期为第二十七卷第四期、页码九八六至一〇〇五；以及一九九五年一篇贝叶斯实验设计的综述，卷期为第十卷第三期、页码二七三至三〇四。这一路的立身之本就是：一项实验的期望信息增益必须以当前的先验分布为条件计算。 也就是说，“信息量取决于当前的假设集”这句话在这一路里是定义，不是发现。
本章必须写明一处核验缺口。 上述两篇的原文本轮均未能取得（抓取被拒）。所能确认的只有书目信息，以及经由综述与词条转述的领域共识。因此本章不引用其原句，也不声称自己知道原文的确切措辞；本章只声明：按该领域的通行理解，构件③几乎肯定在一九五六年就已确立，本章不主张它。 读者若取得原文并发现其中已包含本章第七节那条主张，本章即应被归并。
构件③在教育测量里还有一个已经工业化四十年的实现。 自适应测验的选题规则可以逐字引出：“该题是题库中尚未施测的、在当前能力估计处提供最多信息的那一道题。” “在当前能力估计处”这七个字就是构件③。
构件④，一九五五年，有逐字原文。 关于心理测验中构念效度的那篇经典，卷期为第五十二卷第四期、页码二八一至三〇二，其中写道：“高相关与高稳定性可能构成支持所提议解释的有利证据，也可能构成不利证据，这取决于围绕该构念的理论。” 同一篇还写道：“可能存在若干替代性的构念，或若干组织这张网的方式，它们在当前是同等可辩护的。”
构件②的另一个先行者，一九五九年。 多特质多方法矩阵：固定特质、变换方法，以分离特质方差与方法方差。“变换条件”这个操作的量化先例在这里，比本章早六十多年。 其卷期为第五十六卷第二期、页码八一至一〇五。
本章须写明：该文与上述一九七二年那本书的原文，本轮只取得了前者的部分与后者第十一页那一句。 一九五九年那篇的逐字原文本轮未取得，本章对它的陈述依据其公认逻辑，不作引文。
构件⑤，一九九〇年，在外语测试内部。 一本语言测试的基础性著作提出了“测试方法刻面”的框架，分为五类：施测环境、测试指令、输入的性质、预期回答的性质、输入与回答之间的关系。本章第十一节那份条件维清单，其内容完全落在这个框架之内，本章不主张它。
一处核验状态：该书原文本轮未能取得（付费墙），上述五类依据一篇讨论该框架的二手文献。该二手文献同时明确指出：该书中没有任何关于“变换刻面与在同一刻面内重复何者提供更多信息”的比较陈述。 本章据此认为构件②在外语测试内部尚无明说的版本，但这个判断依赖于一份二手材料，置信度有限。
在课堂层面还有两位，本章必须致敬而不是竞争。 其一是“枢纽问题”——一道被设计成“不同的错误选项指向不同的具体误解”的问题。这在应用层面与本章第七节那条主张高度重合，而且它是一个教学设计诀窍，比本章早。 其二是科学教育里的两层诊断题，一九八八年那篇给出了十步的编制方法，卷期为第十卷第二期、页码一五九至一六九。
两处核验状态：枢纽问题的逐字定义本轮未能取得原书原句，上述表述依据多份二手教学资料的一致转述。两层诊断题那篇的摘要已核实，但其摘要中不含任何关于本章主张的内容。
做完这一轮，五个构件一个不剩，外加两位课堂层面的在先者。本章剩下的只有一条，见第七节。
本章借用三个与外语教学无关的领域。挑选判据只有一条：这三家都必须已经面对“只能观察一次或极少次”这件事，并各自给出了一套在这种条件下仍能推断的技术。
法庭科学的似然比。 这一家的样本量通常是一：一枚痕迹、一处残留。它的核心判断有两句可逐字引出的原话，出自二〇一五年一份欧洲法庭科学评估性报告指南：“似然比是一个度量，它度量特定的发现对某一命题相对于一个已陈述的备择命题所给予的支持之相对强度。” 以及：“只有当两个或更多相互竞争的命题被处理时，解释才是有意义的。”
第二句是本章的枢纽。 它说的是：证据的解释不是证据本身的属性，而是证据与一对被明确陈述的命题之间的关系。这一家还发展出一套“命题层级”，用来区分一份证据所回答的究竟是来源层面、活动层面还是案件层面的问题——其出处为一九九八年一篇论文，卷期为第三十八卷第四期、页码二三一至二三九。
核验状态两处：上述命题层级那篇的书目已逐项核实（含数字标识），但其逐字原句本轮未能取得（该刊一九九八年的文章无线上摘要）。另一份被广泛引用的统计证据实务指南，本轮确认其存在但全文未能取得，本章不对它作引文式引用。
临床医学的验前概率。 这一家面对的是：一个病人、一次检查。它的核心判断有一句可逐字引出的原话，出自一九八九年一份关于诊断技术评估的报告：“一项检查结果的解释取决于疾病的验前概率。……这一关系的后果是：不把在做检查之前关于该病人已知的东西纳入考虑，就无法恰当地解释一项检查结果的含义。” 另有一句同样可引：“验前概率越高，验后概率就越高，无论检查结果如何。”（二〇〇五年一份医学刊物，卷期为第三六五卷第九四六九期、页码一五〇〇至一五〇五）
核验状态：这一家最常被引的两篇经典——一九八〇年那篇关于临床决策阈值法的论文（卷期第三〇二卷第二十期、页码一一〇九至一一一七）与一九八九年那篇关于诊断推理的论文（卷期第一一〇卷第十一期、页码八九三至九〇〇）——书目已逐项核实，但正文与摘要的逐字原文本轮均未能取得（付费墙）。本章因此改引上述两份可取得的开放来源，并明写原句未取得。同时须写明：本轮未能找到任何一句可引的权威原话，明确陈述“重复同一项检查的增益小于换一项不同检查”。 这一条本章只能作为推论使用。
埋藏学。 这一家研究的是：一个生物从死亡到被发现之间发生了什么。术语由一九四〇年一篇论文首创，其定义可逐字引出：“对动物遗骸（在其全部细节上）由生物圈向岩石圈过渡这一过程的研究。”（卷期为第七十四卷、页码八一至九三）
这一家的核心判断有一句可逐字引出的原话，出自二〇〇〇年一篇综述：“对于化石而言，自然过程在研究开始之前就已经完成了取样并制造了偏差。” 同一篇还写道：“生物遗骸的保存状态不仅是（一）生物历史被记录得有多忠实的指标，也是（二）环境条件的见证，以及（三）生物演化若干重要方面的证据。”
核验状态三处：其一，一九八五年那篇奠基性综述的书目已核实（卷期第十一卷第一期、页码一〇五至一一九，含数字标识），但其摘要的逐字性本轮无法百分之百确认，本章不作引文式引用。其二，“埋藏偏差不能靠多采集来纠正”这句话，本轮未找到任何可引的逐字原文；本章把它作为推论使用并明确标注。其三，第一版稿把这一家笼统称为“考古学”，本章改称埋藏学——前者研究人类遗存，后者研究遗存形成的过程本身，而本章要的恰恰是后者。
似然比与验前概率：前者把证据强度与验前状态严格分开——似然比只涉及“在各命题为真的条件下看到这份发现的概率”，它有意不包含验前概率，正是为了让法庭科学家不去替法官做那一步；后者把验前概率作为解释的必要组成部分，其原话已在上一节引出：不纳入验前所知就无法恰当解释结果。一个刻意排除验前，一个坚持必须纳入验前。这一对的冲突是制度性的，不是技术性的。
验前概率与埋藏学：前者假定候选疾病的名单是给定的（教科书上的鉴别诊断表），推断的任务是在名单内重新分配概率；后者的全部工作是研究名单本身是怎么形成的——哪些类别因为保存条件而从未进入过名单。一个在名单内工作，一个研究名单的来历。
似然比与埋藏学：前者要求命题必须被明确陈述才能计算（见其原句“只有当两个或更多相互竞争的命题被处理时”）；后者处理的恰恰是没有人陈述过的那些命题——一个完全由易腐材料构成的传统，没有任何人会把它写成一个待检验的命题，因为没有任何东西提示它曾经存在。这一对是本章的全部落点所在。
三对全部冲突，而且三对都指向同一处：那张候选名单是从哪来的。
法庭科学计算一对已陈述命题下的似然比；临床医学在一张鉴别诊断表内重分配概率；埋藏学在讨论某一类保存偏差时，也是拿已知的材料类别来比。三者的技术不同，但三者都要求同一件事：
三家共同假定：竞争解释的候选集在观察之前就已给定；观察的任务是在这个集合内重新分配可信度。
这不是本章替三家总结的。 法庭科学那句原话里的“已陈述的备择命题”就是这个假定；临床医学的“验前概率”必须挂在一张已有的名单上才有定义；而上一节引的埋藏学那句“自然过程在研究开始之前就已完成取样”——恰恰是这一家自己对这个假定的陈述与破坏，见下一节。
这个假定在前两家那里大体成立。 法庭上的命题由控辩双方提出，它们确实先于鉴定存在；临床的鉴别诊断表是几代人积累的，它确实先于这个病人存在。
第二节那五位在先者，全部站在这块地上。 概化理论的“可容许观察的论域”是事先规定的；自适应测验的题库与能力量表是事先造好的；贝叶斯实验设计的参数空间是事先给定的；多特质多方法矩阵的特质清单是事先列好的；测试方法刻面的五类也是事先枚举的。五位都在一个封闭的集合内做最优化，而没有一位处理“集合本身从哪来”这个问题。
推翻一个共同假定，从外部搬理由来是没有用的。有用的材料必须是持有这个假定的某一家自己已经掌握、只是没往这个方向用的事实。
本章使用的那件来自埋藏学，而且它就是这一家的立学之本。
第一笔：取样发生在研究开始之前。 上一节已逐字引出：对于化石而言，自然过程在研究开始之前就已完成了取样并制造了偏差。这句话的力量在“之前”两个字——不是研究者取样有偏，是取样这件事在研究者到场之前就由别人做完了，研究者拿到的已经是结果。
第二笔：不保存的东西不以“缺失”出现。 这一步是本章对上述事实的推论，本章明确标注它是推论而非引文：一个完全由易腐材料构成的技术传统，不会在考古记录里留下一个“此处应有某物”的空位——因为没有任何东西提示它曾经存在。 它不以“数据缺失”的形式出现，而以“不存在”的形式出现。缺失是名单上的一个空格，不存在是名单上没有这一行。
第三笔：这一家把丢失过程本身变成了研究对象。 这是埋藏学与考古学的分界：后者研究遗存，前者研究遗存怎么变成遗存的。上一节引的那句“保存状态不仅是……忠实程度的指标，也是环境条件的见证”正是这个转向——保存偏差不是要被扣除的噪声，它本身携带信息。
这件材料在埋藏学自己的领域里回答的是另一个问题：如何谨慎解读化石记录。没有人把它当作“候选集由观察条件生成”的一般证据。但它恰好是这个证据。
把这一笔搬回来，三家与那五位在先者共同站着的那块地就塌了：
“英语能力”的那张解释名单，其行数是由测量条件决定的。不是先有一张完整的名单、再用测验去逼近它；而是能在什么条件下观察，决定了哪些解释有机会成为名单上的一行。系统性不可观察的那些解释，不以“未被检验”的形式出现，而以“没有这一行”的形式出现。
这一步同时限定了本章。 它意味着本章也不能给出任何“完整名单”——本章若声称自己知道那张名单上应该有哪些行，就等于声称自己站在一个不依赖条件的位置上。本章因此只能给一个指示计：新候选率，见第十一节。它不告诉你漏了什么，只告诉你还在漏。
一位学生在一次观察中表现如此：
不是 Y₁：因为多测几次能提高稳定性但不缩小覆盖差距——覆盖误差与随机误差之别是抽样调查的常识；
也不是 Y₂：因为换条件的观察比同条件重复提供更多信息——这是一九七二年逐字写下的，而且它给出的是一个可计算的判据（比方差分量），比本章强；
也不是 Y₃：因为一次观察的信息量取决于当前的假设状态——这是一九五六年的定义，也是自适应测验四十年的选题规则；
也不是 Y₄：因为同一份证据在不同的解释框架下含义不同——这是一九五五年的；
而是 Z：竞争解释的候选集不是观察之前给定的，它是被观察条件生成的；因此换条件的首要作用不是提高对既有候选的分辨力，而是使一类原本不在名单上的解释第一次成为候选。
那五位全都在一个封闭集合内做最优化：概化理论问“往哪个面加观察能最快降低误差方差”，自适应测验问“哪一题在当前能力估计处信息最大”，贝叶斯设计问“哪个设计的期望信息增益最大”，多特质多方法矩阵问“如何分离特质方差与方法方差”，测试方法刻面问“条件可以按哪几类枚举”。
五问全部预设名单已定。 而本章问的是：这一行是怎么进到名单上的。
一个能把两者分开的观察：取一组教师，在观察之前写下他们认为可能的全部解释；然后做两类观察——同条件重复与换条件。那五位不对“结果落在名单之外”这件事做任何预测，因为在它们的框架里这件事没有位置（自适应测验的每一个作答都落在模型内，概化理论的每一个观察都落在某个面的某个层级上）。本章预测：同条件重复的名单外结果趋近于零，换条件的名单外结果显著大于零。
第一种失败：名单外结果只是教师列得不全。 若一位更有经验的教师能在事前把那些解释都列出来，那么“名单外”测的就是教师的想象力，不是条件的生成作用。这一条很难排除，而且本章认为它部分为真。 本章的回应是一个可做的对照：让同一批教师为同一项任务在两种条件下分别列名单，比较两张名单的行数与内容。若两张名单基本相同，本章为伪——那说明名单是随任务定的，与条件无关。若换条件那张名单出现了前一张没有的行，且这些行是教师在看到结果之后才想到的，本章成立。
第二种失败：这只是贝叶斯设计里的“模型误设”。 统计学早已有“模型之外”的概念——先验支撑之外的假设、模型误设检验、非参数方法。若本章说的“新候选”能被完整地归入模型误设这一既有范畴，本章就没有新东西。 本章的回应，而且它很弱：模型误设检验要求你已经有一个模型，且检验的是“这个模型不对”，它不产生“应该是哪个”的新行；而本章说的是那一行的内容由条件给出（第一节那个“会用场合不会形式”的第四种解释，是那次口头任务本身生成的）。但本章承认这个区别可能只是语言上的，而不是实质上的；在拿到一九五六年那篇原文之前，本章无权断言。
第三种失败：新候选率测的是任务新颖性。 见第十一节第四小节。
一张越完善的鉴别名单，越不可能被新候选打破。
这与通行的直觉相反。通行直觉是：名单越全，诊断越准。本章说的是：名单越全，它所对应的那套条件就越被固化，因为每一行都是在某种条件下才能显现的，而维持这张名单要求维持那些条件。 一所学校的评价体系越成熟、鉴别越细致，它的条件谱就越窄——因为细致是靠在同一条件下做精细区分达到的。
由此得到一个可检验的预测：评价体系越成熟的学校，其新候选率越低；而这个低不是因为漏得少，是因为漏掉的东西没有显现的机会。这一条与“成熟即好”的直觉正面冲突，也是本章最容易被误读为反智的一处——第二十节须专门处理。
本章不推翻那五位中的任何一位。 概化理论的方差分解在名单已定时完全正确；自适应测验的选题规则在题库已定时完全正确；本章补的只是它们都不处理的那一步——名单是怎么来的。 这件工作有价值，但它的价值上限由“补一个前置步骤”这个性质决定。
本章的第一版稿把落点放在“覆盖”上。本节要证明覆盖不是要害。
候选一：覆盖不足。 若问题是覆盖不足，那么扩大覆盖就应当缓解它。而扩大覆盖要求先知道要覆盖什么——一张覆盖率表必须先有一个“目标总体”的定义，才能算出覆盖了百分之多少。本章第六节那件材料说的正是这个定义本身由条件塑造。 于是“覆盖率”这个量在本章的场合没有定义良好的分母。这是本章与第一版稿最实质的分歧：第一版稿要算一个覆盖率，而本章认为那个分母不存在。
候选二：样本量不足。 一九七二年那句原话已经处理完了：增加观察的效果取决于所加观察取自哪个面。这一条不是本章能补充的。
候选三：条件维列得不全。 若问题是条件维不全，那么补齐条件维就应当缓解它。而一九九〇年那份五类刻面的框架已经把条件维列得相当全，问题不在清单的长度。更要紧的是：任何一份条件维清单本身也是在既有条件下造出来的——一个从未被实施过的观察条件，不会出现在任何人的刻面清单上。清单与名单同构，两者都是被条件生成的。
因此只剩下生成。 而生成之所以能决定名单，理由是结构性的：一个解释要成为候选，必须存在一种能使它与其他解释区分开的显现方式；不存在这种方式，它就不会被想到。 这不是一条待检验的经验规律，它是“候选”这个词的直接推论。本章的经验主张全部压在一点上：教学里确实存在这样的解释——它们在现行条件下无法显现。 而第一节那个例子（会用场合不会形式）正是一个，且它是这一轮写作过程中真实出现的，不是构造的。
一条判据若只在提出它的地方成立，它是一个巧合。本节把新候选送回三家。
在法庭科学，它是命题的提出。 似然比只能在已陈述的一对命题之间计算，而“该陈述哪一对”这件事不由统计决定，由案件的调查过程决定。 这一家的命题层级框架正是在处理这件事——同一份发现在来源层面、活动层面、案件层面回答的是不同的问题。这一家因此完全知道名单的来历要紧，它只是把这一步划到了自己的职责之外（交给控辩双方）。
在临床医学，它是“想到”这一步。 鉴别诊断的第一步不是计算概率，是列名单；而一个罕见病之所以被漏诊，通常不是因为概率算错了，是因为它根本没被想到。这一家因此也完全知道这一步要紧，并发展出了成套的应对（诊断清单、系统性回顾、“不要忘了这些”的教学口诀）。
在埋藏学，它就是这一家的全部内容。 它不在名单内工作，它研究名单的来历。
回写还暴露出一处三家共同的做法，而教育没有。 三家都把“名单是怎么来的”这件事交给了一个专门的角色或专门的环节：法庭交给控辩双方与调查程序，临床交给成套的诊断清单与系统性回顾，古生物交给埋藏学这一整个分支。也就是说，三家都认为这一步重要到需要一个专门的安排，而不是留给做技术的人顺手完成。 而在教学里，写名单这一步既没有专门的角色，也没有专门的环节，也没有任何记录——它由做观察的那个人在心里顺手完成，并且不留痕迹。 这正是第十一节那份手册最要紧的要求（事先写下、带时间戳）之所以看起来如此笨拙的原因：它是在给一个从未存在过的环节造一个最低限度的形式。
回写的结果有一处对本章不利，必须写出来。 三家里有两家已经明确知道名单的来历是一个问题（法庭科学把它划给别人，临床医学发展了应对手段），只有第三家把它当作研究对象。因此本章真正借的是埋藏学一家，另外两家只是被本章用来证明这个问题在别处也存在。 本章自评这一步的贡献是一家的搬运加一个在教学里的具体化，不是三家的汇合。
这一次观察的结果，落在我事先写下的那张解释名单的哪一行上？还是一行都不在？
这句话里没有“充分”“恰当”“全面”“有效”。它问的是一个二值的事实，且有两个限定：名单必须在观察之前写下（事后补写的名单一定能容纳任何结果）；“不在任何一行上”的判定必须由写名单的那个人做出（换人判定会引入不同的名单）。
五个场景。
同一份语法练习做第二遍。 事前名单：掌握了／没掌握／记住了这几道题。第二遍的结果几乎必然落在这三行之一，因为条件完全相同，能显现的东西已经显现完了。新候选率预期为零。
把书面选择题换成口头产出。 第一节那个例子。名单外的结果出现了，而且它一旦出现就立刻变成名单上的新一行，此后所有观察都可以用它来解释。这就是“生成”这个词的全部含义。
把有准备的口头任务换成无准备的。 事前名单通常是：会／不会／紧张。而真实出现过的名单外结果是“他会说，但需要一个开头；给他第一个词他就能往下走”——这是一个关于启动而非关于能力的解释，它在有准备的条件下不可能显现，因为准备本身提供了开头。
把一对一的问答换成小组讨论。 名单外的结果通常是：这个学生在一对一时流利，在小组里几乎不说；而这既不是“会”也不是“不会”。这一格说明条件的改变可以生成关于“在什么社会条件下能力可及”的整整一类解释，而这一类在一对一条件下没有任何显现方式。
把当堂的任务换成一周后的同类任务。 名单外的结果是“当堂能做、一周后不能”——这一类在时间维上的解释，在所有当堂完成的评价里都不可能显现。
五个场景暴露出三件事。
第一，同条件重复的新候选率确实趋近于零，而这不是因为重复没用（它减小随机误差，这是真实收益），是因为它在生成这件事上无能为力。
第二，新候选一旦出现就立即转为旧候选。 这个读数因此会随使用而自然下降——一位不断换条件的教师，其新候选率会先高后低。这既是这个读数的特性，也是它最容易被误读的地方（低新候选率可能意味着已经看得很全，也可能意味着很久没换过条件了）。第十一节的手册必须把“换条件的次数”一并报告。
第三，有一类新候选不是条件生成的，是教师读得更细了。 同一次观察，一位教师看到“没掌握”，另一位看到“会用场合不会形式”。这是第七节第一种失败方式，本章的判据无法把它与条件生成分开——除非做那个两张名单的对照。
新候选率 ＝（观察结果落在事先所列全部解释之外的次数）÷（观察总次数），分同条件重复与换条件两栏分别计算并并列报告。
统稿修正：计数单位。 外部评审指出第二版稿的分母按学生逐次观察汇总、分子在多个学生暴露同一解释时只计一次，于是班级人数改变比率。本书把它拆成两个读数：新候选观察比＝出现名单外解释的观察次数÷观察总次数（每次观察独立计数，同一解释在不同学生身上各计一次）；单位换条件新候选数＝一次条件变换产生的、此前名单上没有的解释行数（按解释去重，与人数无关）。第十五节第一条检验用前者，第二条用后者。此外，凡进入教学决策的新候选，须在下一次观察里核验其是否成立——“不评价新解释是否成立”只是本章作为生成研究的边界，不是处置的许可。
11.1 它的读法
这个读数不是越高越好，也不是越低越好。 换条件那一栏高，说明条件的改变确实在生成新解释；同条件那一栏高，说明事前名单列得太粗（而不是条件在起作用）。两栏的差才是本章关心的量，而换条件的次数必须同时报告，否则一个从不换条件的教师会得到一个漂亮的零。
这个读数唯一的用途，是把“我们还在漏”这件事变成一个在教研会上可以被问出口的数。 它不告诉你漏了什么——按第六节那件材料，任何自称知道漏了什么的读数都站在一个它没有资格站的位置上。
11.2 它在三家里的同形读数
在法庭科学，它是案件进行中被新提出的命题数（而非被排除的命题数）；在临床医学，它是最终诊断落在初始鉴别名单之外的病例占比——这个量在临床上有现成的名字（诊断修正、初始诊断遗漏），而且它被记录；在埋藏学，它是新的保存环境或新的检测手段所揭示的、此前不知道其存在的材料类别数。三处量纲互不相同，比率的形状相同。而临床医学已经在记录它，这一点对本章有利也对本章不利——有利是它证明这个量可记录，不利是它证明本章的读数不新。
11.3 清点手册
“解释”的界定：一条关于“为什么这次观察会是这个结果”的陈述，且它必须蕴含一个不同的下一步处置。“他掌握了”与“他没掌握”是两条（处置不同）；“他大概会吧”不是一条（不蕴含处置）。这条规则把名单的粒度锁死在可行动的层面上，避免名单被无限细分。
“事先写下”的界定：在该次观察实施之前写在纸上或系统里，带时间戳。口头想过不算。名单长度不设上限，但每一行必须满足上一条。
“落在名单之外”的判定：由写名单的那位教师在观察后当场判定，且必须写出那一行新的解释的内容——只勾“名单外”而不写内容的，不计入分子（因为无法核对）。
“换条件”的界定：与前一次观察在以下任一维上不同即为换条件——模态（听／说／读／写）、准备度（有无预告与准备时间）、提示水平（有无选项、有无提示、有无参考材料）、社会配置（独自／一对一／小组／全班）、时距（当堂／隔日／隔周）、任务真实度（有无真实的接收者与后果）。 六维中任一维不同即计为换条件；六维全同即为重复。
这份清单不是本章的贡献。 它的内容完全落在一九九〇年那份五类测试方法刻面的框架之内（施测环境、测试指令、输入的性质、预期回答的性质、输入与回答之间的关系），本章只是按外语课堂的日常用语重排了一遍。
粒度：以一名学生的一次观察为单位。班级层面的读数由个体读数汇总，不直接在班级层面清点。
表头：｜日期｜学生｜任务｜六维取值｜与前次是否换条件｜事前名单行数｜结果落在第几行／名单外｜若名单外，新解释的内容｜
编码规则五条。 其一，名单一旦写下不得修改；新解释写在“名单外”栏，下次观察前才并入名单。其二，同一新解释在同一学生身上只计一次，此后它已是旧候选。其三，多名学生同时暴露同一新解释的，按学生人数计入分母，新候选只计一次（它是关于这次条件的，不是关于这些学生的）。其四，教师本人想到但当时未写下的解释，不得事后追认为“名单内”——这条规则是整份手册最要紧的一条，因为它是防止事后合理化的唯一屏障。其五，换条件的次数必须与新候选率并列报告，不得单报后者。
不适用四种情形：其一，教师没有时间在每次观察前写名单的场合——这是最现实的限制，本章承认这份手册的成本落在最忙的那个人身上。其二，标准化考试（名单由命题方定，教师无从写起）。其三，新接手的班级（前几周的新候选率会因为不熟悉学生而虚高，与条件无关）。其四，同一位教师连续使用超过一个学期之后——见 10 节第二件事，读数会自然衰减，此后需要按“每换一次条件的新候选数”而不是按比率来读。
编码信度：两位教师各自写名单、各自判定同一批观察，其“名单外”判定的一致性预期很低——因为两人的名单不同。本章因此不设信度门槛，而是明确声明：这个读数是教师个人的，不是班级或学校的属性，任何跨人比较都是对它的误用。 这一点使它无法进入任何考核（见第十九节），而本章认为这是它的优点。
11.4 一处必须承认的混淆
新候选率有可能测的只是任务新颖性。 一个从未做过的任务当然更容易产生意料之外的结果，而这与“条件生成候选集”无关——它只是不熟悉。
本章的隔离办法是一个可做的对照：同一种新任务，一次在旧条件下做，一次在新条件下做。 若两者的新候选率相当，本章测的是新颖性；若只有换条件那次产生新候选，本章成立。 本章承认这个对照没有做过。
判定形式统一写成：若观察到某项，则本章对而该说法错；若观察到另一项，则反之。
与概化理论（1972）——最危险的一位。 它的原话已逐字引出：增加观察的效果取决于所加观察取自哪个面。它的机制是方差分解，它的前提是可容许观察的论域已定且方差分量可估。 关键分离格：一个落在任何面的任何层级之外的结果。它的框架里没有这个格；本章预测这个格非空。判定：若在换条件的观察中，结果始终可被归入既有的某个面的某个层级，则名单是封闭的，本章为伪。这一格本章必须做，而且它就是第十一节那个读数的全部内容。
与自适应测验。 其原话已逐字引出：“在当前能力估计处提供最多信息的那一道题”。它在一个已造好的题库内、沿难度维移动。 分离格：一个跨模态的条件改变（笔试换口试）。那一路极少处理跨模态选题，而本章的主张恰恰压在跨模态上。 判定：若把跨模态的题一并放进题库、按同一信息量规则选题即可产生本章所说的新候选，则本章只是自适应测验的一次外推。本章承认这个判定很可能对本章不利。
与贝叶斯实验设计（1956／1995）。 见 7.2 第二种失败方式。这是本章最强的技术性对手，而本轮未能取得其原文——本章把这处缺口写在第二节与此处，不掩饰。
与多特质多方法矩阵（1959）。 它固定特质、变换方法，目的是分离方法方差。分离格：一个换方法之后出现的、不属于任何既有特质的结果。它的框架把这类结果归入方法方差（噪声）；本章把它归入新特质（信息）。 判定：若换方法产生的名单外结果在重复施测中不稳定，那一位对，它是方法方差；若稳定且可预测，本章对。这是本章与它最干净的一格。
与构念效度（1955）。 其原话已引：“高相关与高稳定性可能构成有利证据也可能构成不利证据，取决于围绕该构念的理论”；“可能存在若干替代性构念……在当前是同等可辩护的”。这一位说的是同一份证据在不同理论网络下含义不同，已经非常接近本章。 分离格：一个不属于任何现有替代构念的结果。那一位承认有多个同等可辩护的构念，但它们都是已被提出的；本章说的是尚未被提出的那一个，以及它为什么没被提出。 判定：若所有名单外结果最终都能被归入某个已有的替代构念，本章为伪。
与测试方法刻面（1990）。 本章不与它竞争，第十一节的条件维清单完全借自它，并已声明。判定：若该书中已有关于“变换刻面生成新解释”的陈述，本章应归并——本轮只取得二手材料，该二手材料称其中没有相关比较陈述，但这个判断的置信度有限。
与枢纽问题。 这是应用层面与本章最近的一位：一道被设计成“不同的错误选项指向不同误解”的问题。它与本章的差别有两处：其一，它的误解清单是事先设计好的（正是设计者把它们编进选项），而本章说的是未在清单上的那一类；其二，它是一个设计诀窍，不是一个关于候选集来历的主张。判定：若一道设计良好的枢纽问题能穷尽某个点上的全部误解，则该点上的名单是封闭的，本章在该点上不成立。本章预测枢纽问题在形式层面可以接近穷尽，在得体与表达层面不行——而这正是第一节那个例子的位置。
与两层诊断题（1988）。 同上，且其摘要中不含任何关于本章主张的内容。本章引用它作为“本章的机制可以解释这类题为什么有效”的例证，不作为竞争者。
与覆盖误差（抽样调查）。 本章第一版稿的落点。判定：若“目标总体”可以独立于测量条件被定义，则覆盖率有定义良好的分母，本章第八节的论证为伪，应退回第一版稿。本章认为在人群调查里它确实可以（人是数得清的），在能力测量里不行——而这个差别本章没有能力严格论证。
与反向贝叶斯（Karni &** Vierø 2013）、未构想的替代（Stanford 2006）与贝叶斯实践中的模型扩展（Gelman ****&**** Shalizi 2013）——本书统稿时补请的三位。** 第一位给出了本章主张的公理化形式：决策者的状态空间随其觉察到新的可能行动与后果而扩张，扩张后旧状态之间的似然比保持不变——“新行动生成新状态、旧状态之间只做压缩”正是本章“换条件生成新候选、重复只压缩旧解释”那句话。第二位在科学史上确立：每个时期都存在当时无人构想的替代假说，证据的支持度因此不能在已构想的集合内闭合。第三位是评审甲指出的：现代贝叶斯实践包含后验预测检验与由此推动的模型扩展，不能被整体描述为只在固定候选集内选择——本章第七节第二小节的第二种失败已经承认了这一点，统稿时把它写实。
三位合起来占了“候选集不是给定的”这一构件的形式层、史学层与统计实践层。本章的剩余只剩两处：把“新行动”具体化为可清单化的观察条件维（第十一节，落在一九九〇年那五类刻面之内），以及给出分同条件与换条件两栏的读数。分离观察：同一份不拟合的数据，反复用同条件重测能否触发名单上的新行？模型扩展那一路预测能——残差结构本身就是信号；本章预测不能——同条件重复的名单外结果趋近于零（第十五节第一条）。若同条件重测照样生成新行，本章的“条件”不是要害，退回模型扩展的常规流程。核验状态：Karni & Vierø 本轮实搜坐实（工作论文摘要）；Stanford 与 Gelman & Shalizi 本轮未实搜，按已知文献与评审报告记。
| 说法 | 把什么当作给定 | 因此看不见什么 |
|---|---|---|
| 概化理论 | 可容许观察的论域已定 | 论域由已实施过的条件划出 |
| 自适应测验 | 题库与能力量表已造好 | 题库里没有的显现方式 |
| 贝叶斯实验设计 | 参数空间已给定 | 参数空间外的那一类 |
| 多特质多方法 | 特质清单已列好 | 换方法可能生成新特质 |
| 似然比 | 命题已由他人陈述 | 谁陈述了这对命题 |
判据只有一条：一旦承认右栏那件事，左栏那个说法自己就塌了。 概化理论若承认论域由条件划出，方差分量就不再是被测对象的属性；似然比若承认命题的提出属于自己的职责，它刻意排除验前的那道制度性分界就守不住。
五行背后是同一块地：
学术界共同假定，测量的对象先于测量而存在，测量的任务是逼近它；因而测量工具的改变被理解为“换一个角度看同一个东西”，而不是“决定了有哪些东西可以被看见”。
这里必须诚实：本章并不认为这块地基是错的。在物理测量里它几乎总是对的，在人群调查里大体是对的。本章主张的只是：在能力测量里，用来谈论能力的那些范畴本身是从可测的东西里长出来的，因而“先于测量而存在”这句话在这里没有落脚点。
这块地基为什么立得住，有一个可说的原因。 任何一门学科能讨论的，都只是它已经有办法显现的东西。 一个从未被实施过的观察条件，不会出现在任何人的研究议程上，因为没有任何数据提示它值得被实施。这是一个自封的回路，而它没有外部的出口——本章自己也在这个回路里：本章能举出的名单外例子，全部来自本章作者实际教过的那些条件。
与《调用半径》：那一章判教师的可及范围在收缩；本章判候选集由条件生成。联合预测：可及范围窄的教师，其换条件次数更少，因而新候选率的分母更小——两章合起来预测“可及半径预测条件谱的宽度”，这条相关可以直接测。
与《填补即封闭》：那一章判一次正确应答扣减替代路径，是一条关于余量扣减的主张（那一章已把“阈值”降为待裁决的形状问题）；本章判候选集的行数由条件决定。分离格：一个余量充裕但条件单一的学生——那一章预测无事，本章预测他的名单照样只有三行。
与《停点》：那一章判停手判据的取值是否来自被判定过程内部（同源）。这一对最需要分清，因为两者都关于“内生”：那一章说的是一个判据的取值从哪来，本章说的是一个集合的行数从哪来。一个是量的来源，一个是集合的来源；一个可以靠找外部验证集解决，一个不能——因为外部验证集本身也是在某种条件下造的。
与《判同清单》：那一章判“讲过了”这笔账只记一方。本章的第十一节正是它的一个实例：现行的作答记录只记结果落在哪个预设类别里，没有一个字段记“落在所有预设类别之外”。这一对是本书内最互补的一对。
与《可问处》：那一章判发起权连续不换人；本章判条件连续不换。两者形状相近而对象不同：一个是人的轮换，一个是条件的轮换。联合预测：发起权不轮换的课堂，其条件谱也窄——因为提问权在谁手上，决定了会出现哪些显现方式。
与《持有位》：那一章判撤除损失由支持的类型占比决定；本章判候选集由条件生成。联合预测：不可自核支持占比高的课堂，其观察条件的提示水平这一维始终取高值，因而“会用场合不会形式”这一类解释从不显现。
与《代价落在哪里》：那一章判效应符号由层数奇偶决定；本章判候选集的来历。分离观察：两者的对象一个是传导，一个是显现，可同时为真而互不蕴含。
与《定性早于成熟》：那一章判一次早于成熟的定性删除了被判定者的成熟态。这一对必须分得极清，因为两者都关于“不存在”：那一章说的是一个个体的状态被毁掉（它曾在一条路上，现在那条路没了）；本章说的是一个类别从未形成（它从来没有过显现的机会）。一个是毁，一个是未生。 联合预测：可复原率低的体系，其条件谱也窄——因为路径一旦锁死，能观察到的条件就只剩该路径内部的那些。这条联合预测是本书里最可直接检验的一条。
与《离场之后》：那一章判空档期里未完成的重启；本章判候选集由条件生成。联合预测：离校后出现的那些能力问题，其解释在校内的名单上一行都没有——因为校内不存在能使它们显现的条件。这正是“毕业即失效”这句抱怨的结构解释。
第一条 · 两栏之差。 同一位教师，同一段时间，分别记录同条件重复与换条件的新候选率。若两栏无显著差异，本章当场作废。 这是最便宜也最致命的一格。
第二条 · 两张名单。 同一位教师为同一项能力在两种条件下分别写事前名单。若两张名单基本相同，本章为伪——那说明名单随任务定而不随条件定。
第三条 · 新颖性对照。 同一种新任务，一次在旧条件下、一次在新条件下。若两者新候选率相当，本章测的是新颖性而不是条件生成。
这三条的次序不能调换。 第一条若不过，后两条不必做。第二条若不过，本章的机制换人（名单由任务决定）。第三条若不过，本章的读数被“任务新颖性”取代，但那个更简单的量恰恰是本章的手册逼出来的——即使输掉，本章仍留下了一张别人没有的表。
还须说明为什么这三条都不检验“名单外的那条解释对不对”。 本章不检验它，理由与第六节那件材料一致：一条刚刚显现的解释，其正确与否只能在另一次观察里判定，而那次观察又有它自己的条件与名单。 于是“验证新候选”这件事在原理上是一个无穷后退，本章不进入它。本章只主张新候选出现了，不主张它是对的——这是一个比它看起来弱得多的主张，必须写明，否则读者会以为本章在替每一条名单外的解释背书。
这三条目前一条都没有数据。
16.1 最强的竞争解释
其实不就是“换个方式考考他”吗？好老师都这么干。
这句话之所以最强，是因为它是对的——本章的实践含义确实就是这一句，而且一九七二年那本书已经用方差分量把它算清楚了。本章的回应只能落在一处：那一句劝告与那一套方差分解，都假定你知道自己在找什么；本章说的是换方式的主要收获恰恰是找到你原本不知道自己该找的东西，而这件事在那两者的框架里没有位置。 “换个方式考考他”不预测“结果会落在你的名单之外”，本章预测，而且给出了一个可以逐次记录的数。
16.2 八条
条件一（两栏）：若同条件重复与换条件的新候选率无显著差异，本章为伪。
条件二（两张名单）：若两种条件下的事前名单基本相同，本章为伪。
条件三（新颖性）：若新任务在旧条件下同样产生新候选，本章测的是新颖性。
条件四（可归入性）：若所有名单外结果最终都能被归入某个已有的替代构念或某个既有的面／层级，则名单是封闭的，本章为伪。
条件五（跨模态题库）：若把跨模态的题一并放进自适应测验的题库、按信息量规则选题即可产生本章所说的新候选，本章只是自适应测验的一次外推。
条件六（稳定性）：若换条件产生的名单外结果在重复施测中不稳定，它是方法方差而非新解释，本章为伪。
条件七（分母存在）：若“目标能力总体”可以独立于测量条件被定义，则覆盖率有良定义的分母，本章第八节为伪，应退回第一版稿的覆盖论。
条件八（记录缺口）：若在多数学校的作答记录中，已经存在一个记录“落在所有预设类别之外”的字段，本章的第三层主张为伪。
16.3 被证伪能学到什么
若条件一被触发，学到的是名单确实是封闭的，那么概化理论的方差分解就是这个问题的完整答案，而那对实践是好消息——一个已经算清楚的方法比一个新读数好用得多。若条件八被触发，学到的是记录其实已经在那儿，只是没人看——那会把处方从“造一个新字段”变成“把已有的字段调出来”，几乎不花钱。
16.4 一个当场可做的最小实验
题目：同条件重复与换条件的新候选率是否不同 场合：一位教师，一个班，两周 成本：每次观察前两分钟，共约十次
第一步（写名单）： 每次布置一项观察任务前，在纸上写下”这次可能出现的结果及其解释”， 每行必须蕴含一个不同的下一步处置。写完签时间。
第二步（做观察）： 十次观察中，五次与前一次六维全同（重复）， 五次至少一维不同（换条件）。顺序交替，不集中。
第三步（当场判定）： 每次观察后当场勾选结果落在第几行，或勾”名单外”并写出那一行的内容。 名单不得修改；新解释下次观察前才并入。
第四步（算两栏）： 分别算重复五次与换条件五次的名单外占比。
本章的预测：重复那一栏接近零，换条件那一栏明显大于零。 竞争预测（名单封闭说）：两栏相当，且都接近零。
预注册项（做之前写死）：十次的条件安排先排好并封存； “名单外”的判定标准（不蕴含新处置的不算新行）先写死； 教师不得在看到结果后追认”其实我想到了”。
不利结果的处置（提前写死）：若两栏相当，正文撤回第七节那条生成主张， 保留第十一节的清点手册作为一个不含生成预测的记录工具， 并把第三层主张（现行记录没有”名单外”这个字段）作为本章的全部内容。
这个实验不需要任何研究资质、任何经费、任何额外课时。 本章把它写到这个程度，是为了让任何一位教师都可以不经作者而自行否掉本章。
第十五节那三条检验所需的自变量是“这次观察的六维取值”与“事前名单”。事前名单这个字段在任何现有数据集里都不存在，因为没有人要求在观察前写下可能的解释。
但有一份公开语料在条件维上高度匹配，值得单独说。 一份亚洲英语学习者的国际语料库，其设计是：同一批学习者、在相同的两个话题上、分别产出口头独白、口头对话与书面作文，另有经编辑的作文版本，以及一个由数十位评分者对上百份作文与演讲评分的档案。
它的价值在于“话题固定、模态变化”这个设计恰好隔离了本章的核心自变量——第十一节六维中的模态维、准备度维与社会配置维（独白对对话）在这份语料里被系统地操纵了，而内容被固定。这是本轮找到的唯一一份能直接支持本章第一条检验的外语数据。
三处限制必须写明。 其一，它没有事前名单，因此只能做事后的编码：由两位编码者分别就书面样本写出解释名单，再看口语样本是否产生名单外结果——这不如前瞻性记录严格，因为编码者已经知道有口语样本存在。 其二，取用需注册申请，部分地区的研究者需单独联系。其三，它是学习者产出语料，不是课堂观察记录，因而本章关于“教师名单”的那一半无法用它检验。
另有一份数学辅导系统的开放数据，其中含提示级别、题型分组等可变条件维与每次尝试的记录，完全开放下载。它可以用来做跨学科的佐证，但需要论证从数学到外语的可迁移性，而本章给不出这个论证。
一份大型英语学习者考试语料的完整版本仅对有合作协议的机构开放，其公开子集不保证同一学习者跨条件重复出现，不建议作为主数据。 另有一家测试机构的公开数据本轮未找到符合“同一学习者、系统变换条件”要求的可下载资源。
本节还须写明一处程序性事实：本轮的文献检索与数据核查受可用检索额度与出版方抓取限制的实质性影响，其中一九五六年与一九九五年那两篇（本章最强的技术性对手）的原文完全未能取得。因此本章所列的先到者名单必然不完整，而且缺的那一处恰好是最要紧的一处。
18.1 来自法庭科学：处方被削掉
本章原本要写的一句更强的话是：教师应当尽可能多地变换观察条件。
这句话被法庭科学自己的制度设计削掉了。这一家刻意把“该陈述哪一对命题”划到自己的职责之外，理由不是它不重要，恰恰相反：因为它太重要，重要到不能由做技术的人单方面决定。 一位鉴定人若可以自己挑选备择命题，他就可以通过挑选命题来决定结论的强度。
把这一笔搬回来：一位教师若可以无限制地变换观察条件并自行解释名单外的结果，他就可以通过挑选条件来得到他想要的结论。 换条件的自由与解释的自由必须分开——而本章的读数把两者交给了同一个人。本章没有办法解决这一点，只能写明：这个读数只能用于自我诊断，且它的结论不得用于任何关于学生的决定。
18.2 来自埋藏学：价值排序被推翻
本章原本要写的第二句更强的话是：不能显现的那些解释，是我们真正该关心的东西。
这句话被埋藏学自己的技术削掉了。这一家从不主张“没保存下来的比保存下来的更重要”——它主张的是研究保存过程本身，因为保存状态同时是忠实程度的指标、环境条件的见证和演化的证据（其原句已在第三节引出）。也就是说，偏差本身携带信息，而不是一层需要被扣除的遮蔽。
把这一笔搬回来：现行条件下能显现的那些东西，并不因为它们是被条件选出来的就不重要；而条件的构造本身也携带信息——一所学校长期只在某些条件下观察，这件事本身就说明了它认为什么要紧。 本章因此不能主张不可测的那部分更重要，只能主张条件谱本身应当被知道。这一处削弱把本章从一条关于“被忽视的真实能力”的主张，退回到一条关于“记录条件谱”的主张。
一旦新候选率被任何机构采纳为指标，最省事的实现方式是把事前名单写得极短。名单只有一行，则几乎每次结果都落在名单之外，读数漂亮。第十一节那条“每行必须蕴含一个不同的处置”的规则是为此写的，但它防不住有意的规避——一位填表者可以把两个处置写得足够接近而仍然算两行，也可以只写一行。
第二种更省事的实现方式是反过来：把名单写得极长。 若考核的方向是“新候选率越低越好”（读成“这位教师看得全”），那么把名单写到穷尽即可。同一个读数在两种考核方向下被朝相反的方向操纵，这说明它对考核完全没有抵抗力。
更糟的一层，而且它正是本章自己的论证所预言的：这个读数一旦成为被看的数，教师写名单这个动作就会被写名单这个考核条件所塑造——按本章第七节那条主张，被考核的名单与不被考核的名单是两张不同的名单，而后者从此不再有显现的机会。 本章不能一边主张“条件生成候选集”，一边假设自己的读数不是一个条件。
本章因此比前几篇更硬地主张：这个读数只能是教师个人的。 第十一节已经声明它的跨人一致性预期很低、任何跨人比较都是误用。这不是一个可以通过改进手册来修复的缺陷，它是这个读数的定义所决定的——名单是谁写的，读数就是谁的。如果它只能以跨人比较的方式传播，那么它不传播更好。
本章至少在以下七种情形下不适用。 其一，标准化考试（名单由命题方定）。其二，教师无时间在观察前写名单的场合——这是最现实的限制，而且它落在最忙的那个人身上。其三，新接手的班级（前几周虚高）。其四，同一教师连续使用超过一个学期后（读数自然衰减，须改报绝对数）。其五，任何跨教师、跨班、跨校的比较。其六，本章完全没有处理新候选的价值：一个新出现的解释可能重要，也可能是一次无关紧要的偶然；本章的读数对两者一视同仁，而这使它无法回答“这次换条件值不值”这个最实际的问题。 其七，第七节第三小节那条推论最容易被误用：本章说评价体系越成熟新候选率越低，这绝不意味着评价越粗糙越好——一个粗糙的体系只是名单短，不是条件宽。把本章读成反对精细评价，是对它最直接的误用。
伦理界限四条。 其一，这个读数指的是条件，不是人——一个低新候选率说的是“这段时间的观察条件很单一”，不是“这位教师看不见学生”。其二，名单外的解释不得写入学生的任何正式记录：它们是关于这次观察条件的假设，不是关于这个学生的结论，而一条未经检验的解释一旦进入档案，按《定性早于成熟》那一章的机制，它会改变后续安排。其三，换条件不得以增加学生负担的方式实现——多一种条件不等于多一次考试；第十一节六维中有四维（准备度、提示水平、社会配置、任务真实度）可以在不增加任何评价次数的情况下变换。其四，不得以“发现新解释”为由对学生做实验性的任务安排，凡改变观察条件的安排都必须首先是一项对学生有教学价值的活动。
本章的自我定位不是“本章也有局限”，而是把本章的判据对准提出这道题的那个问法。
这道题是这样被问出来的：作者先有一个直觉——“一道题代表不了一项能力”——然后去找三家、造一张覆盖率表。第一版稿的落点是覆盖率，而这一轮检索证明那张表的分母不存在（第八节）。
按本章自己的判据，第一版稿犯的正是本章所诊断的那个错。 第一版稿写作时的观察条件是单一的：作者只在“文献阅读加自身教学经验”这一种条件下思考这个问题，因而他的解释名单只有几行——覆盖不足、样本量不足、测量不准。而“目标总体本身由条件塑造”这一行不在那张名单上，它是这一轮做了外部检索、换了条件之后才出现的。
更难堪的一层：这一轮检索同时证明，第一版稿名单上的那几行几乎全部已被占满，而且其中一行有一九七二年的逐字原文。也就是说，第一版稿不仅名单短，而且短名单上的每一行都不是它的。
这个定位有四个后果。其一，本章的名单仍然不完整，而且缺口的位置已知且要紧：一九五六年与一九九五年那两篇原文未取得，一九九〇年那本书只有二手材料，一九五九年那篇与枢纽问题的原句均未取得。按本章自己的主张，本章这一轮所换的条件（外部检索）本身也有它的埋藏偏差——能被检索到的，是已经被数字化、被开放获取、未被反爬拦截的那一部分。 其二，本章自己就是一个条件：它要求教师在观察前写名单，而这个要求会改变教师观察的方式；本章无法知道这个改变生成了什么、又关掉了什么。 其三，本章的核心区分（生成对封闭）在本轮检索中未找到明确的在先表述，但这个“未找到”的置信度受上述缺口的实质性限制，本章据此声明而不据此夸口。其四，最该记录的一条：这个系列的每一篇都由同一位作者在同一种条件下写成——同一套检索工具、同一种论证结构、同一份写作习惯。按本章自己的读数，这个系列的条件谱宽度为一，而它的新候选率之所以看起来不低，全部来自那唯一一次条件改变：从“凭记忆写”换成“逐条去核”。
因此本章对自己最诚实的表述是：它做的是接续，不是推翻；而它最有价值的部分不是第七节那条生成主张，是第二节那份把自己五个构件逐条交出去的名单、7.2 那三处塌缝，以及第十六节那个两周就能否掉它的实验。
一道题代表不了一项能力。关于这件事本身，本章不是第一个到场的——覆盖误差是抽样调查的常识，“增加观察的效果取决于所加观察取自哪个面”一九七二年就逐字写在纸上，“信息量取决于当前的假设状态”是一九五六年的定义与四十年来自适应测验的选题规则，“同一份证据在不同理论网络下含义不同”是一九五五年的，“固定特质、变换方法”是一九五九年的，而外语测试的条件维清单一九九〇年就列全了。本章因此不主张这些。
本章主张的只有一条：竞争解释的候选集不是观察之前给定的，它是被观察条件生成的；因此换条件的首要作用不是提高对既有候选的分辨力，而是使一类原本不在名单上的解释第一次成为候选。 而这一步的依据取自埋藏学自己：取样与偏差是自然过程在研究开始之前做完的；不保存的东西不以“缺失”出现，以“不存在”出现。
本章的主张分三层，读者可以只取其中一层。
第一层（最强、最易倒）：候选集由条件生成。证伪见条件一、二、三、四、五、六。本章自己列出了它可能失败的三种方式，其中第二种（这只是模型误设）本章在拿到那两篇原文之前无权排除。
第二层（分析工具）：新候选率与它的清点手册——解释的界定（须蕴含不同处置）、事前写下并带时间戳、六维条件清单、五条编码规则、四种不适用，以及“它是教师个人的、不得跨人比较”这条声明。即使第一层被推翻，这张表仍可用于一位教师检视自己这学期换过几次条件。证伪见条件八。
第三层（最稳、最易检验）：现行的作答与观察记录只记录结果落在哪个预设类别里，没有一个字段记录“落在所有预设类别之外”。 这一层任何人取自己手上的一份评分表、一张答题卡或一份课堂观察量表核对即可——数一数它有没有那一栏。
若读者不接受第一层，可只引第三层。
在二〇三一年十二月三十一日之前，将出现至少一项公开发表的外语教学或语言测试研究，报告在观察之前写下的解释名单，并分别报告同条件重复与换条件两种情形下结果落在名单之外的比率。
什么不算命中，一并写死。 其一，仅报告不同题型／模态之间相关或方差分量的研究，不算命中——那是概化理论已有的做法。其二，仅报告误解类型清单的研究（包括枢纽问题与两层诊断题的研究），不算命中——那些清单是事先设计的，本章要的是清单之外。其三，事后回溯编码而无事前名单的研究，不算命中——事后的名单一定能容纳任何结果，这是本章最要紧的一条排除。 其四，未把重复与换条件分开报告的研究，不算命中。其五，样本少于二十名学生的研究，不算命中。其六，由本章作者参与的研究，不算命中。
若到期无此研究出现，本条按未兑现记，不按证伪记。但若到期出现的研究报告两栏相当，本章第一层即被证伪，作者将公开撤回第一层，保留第二、三层。
其一，新候选的价值。 本章只数新解释出现了几次，完全不问它值不值。而在任何实际的教学决定里，一个重要的新解释与一个无关紧要的偶然不能等量齐观。 这是本章最大的缺口，而且它直接决定这个读数有没有实践价值——一个只数次数不问轻重的读数，逼近于没有信息。
其二，名单是教师的还是条件的。 第十条第三件事已经指出：同一次观察，两位教师看到的解释不同。本章把新候选归因于条件，而它也可以被归因于读得更细的那个人。 第十五节第二条检验是为此设的，但那条检验本身也依赖教师写名单，因而它无法在原理上把两者分开。
其三，为什么有些解释在任何现行条件下都不能显现。 本章主张存在这样的解释，并举了一个例子（会用场合不会形式），但本章说不出它们有什么共同特征，也说不出该造什么条件去让它们显现。 这使本章的主张在实践上只能是回顾性的：只有在某个条件被偶然试出来之后，才知道它生成了什么。
其四，这是不是能力测量特有的。 本章的三家全部来自能力测量之外，而三家各自都面对候选集的来历问题。若一切“从少数观察做推断”的领域最终都会遇到这个问题，那么本章只是一个通用问题的外语版本；若能力测量因为“被测对象本身没有独立于测量的定义”而特殊，本章应当说清这个特殊性——而本章第十三节给出的那个说法（范畴从可测的东西里长出来）只是一个断言，本章没有能力论证它。
统稿修订说明（第二版 → 本书）。 ① 第十一节：新候选率拆为新候选观察比与单位换条件新候选数，并加入进入决策的新候选须后续核验（评审甲“其余篇目的关键限制”）。② 第十二节末新增与反向贝叶斯、未构想的替代、模型扩展三路的交手（评审乙与评审甲）。③ 第十四节：对《离场之后》《填补即封闭》的概括按第十一章对照表更新。④ 参考文献增补三条。
关于引注的七点说明。 其一，本章是对第一版稿的整体更正：第一版稿五个构件经检索确认全部已有归属，落点由“覆盖误差”改为“候选集的生成”，题名随之更改。其二，第一版稿“换条件优于重复”这一主张，被一九七二年那本书第十一页的一句原文完整占满，本章逐字引出该句并撤回该主张。其三，“信息量取决于当前假设状态”这一主张属于一九五六年以来的贝叶斯实验设计与四十年来的自适应测验，本章撤回；但该两篇原文本轮未能取得，本章因此不引其原句，也无法排除其中已包含本章第七节的主张。
其四，第一版稿把第三家笼统称为“考古学”，本章改称埋藏学，理由是本章要的是遗存形成过程本身而非遗存。其五，“埋藏偏差不能靠多采集来纠正”这句话本轮未找到任何可引原文，本章作为推论使用并标注。其六，“重复同一项检查的增益小于换一项不同检查”这句话，在临床文献中本轮同样未找到可引原文，本章作为推论使用并标注；临床一家的可引原句改用两份可取得的开放来源。其七，外语测试内部的条件维清单（一九九〇年那五类）与课堂层面的枢纽问题、两层诊断题，本章均致敬而不竞争，并已在第二节与第十二节写明其原句本轮未能取得的情况。
本章引注已并入全书参考书目；统稿新增的引注一律标明核验状态。