第38章 实验设计 证据与模型修订
38.1 实验从一个可以分歧的问题开始
设想一个研究团队面对这样的资料：同一种配方在不同次评价中得到系统不同的评分，差异似乎随呈现次序而改变。团队可以把它归入测量误差，也可以立即用属性纠缠解释。但这两种过早决定都绕开了真正的实验问题：哪些不同机制能够产生当前形状，什么新的观察会使它们给出不同答案。实验设计的起点不是选择一个最能证明自己立场的程序，而是找到能够让合理解释发生分歧的条件。
以下讨论使用一个明确虚构的研究场景来展开设计推理，不报告任何已执行结果。假定现有记录只包含配方、总体评分和大致时间。研究者提出四种候选解释：仪器或材料条件缓慢改变，受试者状态延续，重复任务产生一般适应，前一轮评分作为信息改变下一轮判断。四种解释都可能产生时间结构，却需要不同的证据。把它们并列不是为了追求清单完整，而是为了确定当前资料究竟缺少哪些区分。
如果材料温度随次序改变，增加期待问卷可能无法解决问题；如果评分展示构成锚点，仅提高浓度测量精度也不能识别通道。研究者首先应回到事件，检查目标、样品、时点、操作和记录版本。这个工作并不低于理论分析，因为错误的资料身份会使后续最精密的统计也回答错误问题。一个看似重复的事件，可能实际上改变了被估量，甚至改变了“同一配方”的材料状态。
明确分歧以后，实验才形成自己的对象。研究者可以问，保持材料和主要采样程序一致时，改变历史评分是否可见，会不会改变下一轮响应；也可以问，改变呈现路径是否在控制历史信息后仍有作用。这些问题比“是否存在三号位纠缠”更具体，却不是削弱理论。它们把宏观框架落实为能够承担失败的命题，使哲学的问题组织转化为经验研究。
实验对象也可以在设计中被创造出来。某种此前没有统一记录的路径差异，一旦被明确操作和保存，便成为可比较对象；某种隐含在日常判断中的反馈，被分离为可展示、可遮蔽的环节，就获得新的辨识机会。这种创造不意味着结果可以任意制造，因为操作一旦公开，材料和参与者的反应就会约束研究者。发生学所重视的创造，是提出新的可受限制的关系。
实验因此是一种有目的的条件组织。它既改变世界以便取得知识，也必须研究这种改变如何影响所要知道的东西。第11至15章给出的事件、封装、辨识、回写与迁移，在这里组成连续工作，而不是五套可以分别完成的表格。每一步都应改变下一步能够提出的问题，最终让模型修订有具体根据。
38.2 先把测量能力变成研究的一部分
在正式比较机制以前，需要知道装置和程序能够分辨多大的变化。若测量噪声已经覆盖理论所预期的差异，再复杂的设计也难以提供清晰裁决；若量表存在上限，真实的增加可能表现为方差收缩而非均值上移。测量校准不是研究前可以略过的杂务，而是规定实验能够回答什么的过程。它也决定不利结果究竟意味着机制不存在，还是测量暂时没有能力发现。
虚构的配方研究可以先安排材料检查和有限试测。材料检查确认批次、温度、呈现量与时间记录是否可靠；试测检验参与者是否理解报告任务、连续报告是否造成过重负担、评分是否集中在边界。这里取得的资料可以帮助调整程序，却不应同时充当最终假说的独立验证。因为程序已经根据这些资料改变，后续结论必须承认这种依赖。
试测之后应先划定本次实验能够接纳的响应范围。若高浓度条件的评分多数落在量表顶端，就需要降低刺激范围或另设能分辨的报告程序，并重新检查任务含义；若参与者只稳定区分顺序，就不宜把单位分差当作等距变化。这里调用第11章的比较资格，并把它变成入场条件：哪些事件可以合并，哪些只比较排序，哪些暂时不能进入主要终点。资格尚未确定的资料可以保存，却不能靠扩大样本自动变成更强证据。
在本例中，可以把共同末端刺激之后、同一时间窗口取得的评分规定为主要终点，用于比较路径与展示安排；完整响应曲线则帮助定位改变发生在起始、峰值还是恢复阶段。这样，终点选择直接对应竞争预测。若试测提示差异只在恢复阶段出现，可以据此另立恢复时间假说，并用新资料检验，不能把原来的主要终点悄悄替换掉。对尚无合适摘要的对象，先公开探索所得的响应结构及计算程序，也能成为后续实验的明确起点。
样本规模也不能从理论雄心直接推出。需要考虑最小重要效应、测量精度、个体内相关、失访和模型复杂度。重复观测可以增加轨迹信息，却不能简单当作增加了同样数量的独立参与者。一个适当的设计可能需要较多对象与适量重复，也可能需要少量对象的密集过程；选择取决于要辨识个体差异还是动态通道。研究应说明这段推理，而不是给出一个缺少来源的样本数。
这一步还包含停止的可能。如果校准发现目标效应远小于可取得精度，研究者可以改进测量、缩小问题或暂缓实施。继续收集大量低信息资料，未必比承认设计尚不成熟更负责任。反过来，如果试测显示简单模型已足够服务当前用途，也可以保留稳定结论，把资源转向更有区分价值的条件。发生学不要求每次实验都必须发现复杂性。
38.3 让竞争机制承担不同预测
实验的辨识能力来自竞争机制在某些条件下不再等价。仪器漂移通常随设备状态或时间改变，一般适应可能随刺激历史改变，信息锚定则应对展示内容具有特定响应。研究者可以据此设计相互交叉的操作，但不能以操作名称保证机制纯净。改变刺激间隔也可能改变注意，改变展示内容也可能改变信任，必须分析操作的多重后果。
可以把本例推进为一项有限的交叉设计：两组先前刺激采用甲—乙与乙—甲两种顺序，随后都接受相同的末端刺激丙；另设回显本人真实既往评分与不回显两种安排，界面停留时间和操作负担尽量一致。研究者保存每次实际呈现与实际回显，而不只保存分组标签。指定的适应模型预期，在两种回显安排下均保留路径差异；指定的信息利用模型则预期，回显会按其内容改变末端判断。比较应预先列明各路径内的回显效应，以及模型要求的路径或内容调节，不能只计算跨路径平均。这里每项预期都属于已写明的候选模型，而不是“适应”或“反馈”名称的必然含义。
这一设计仍有需要主动处理的交叉解释。本人没有看到旧评分，也可能记得先前判断，因此回显无效只限制外部信息展示的增量，不能抹去内部历史。回显若增加注视时间，则需用不含评分的占位界面比较一般注意；若材料状态随先前次序变化，则需对末端样品做独立检查。后续可以使用明确标为参考的序列来改变信息内容，但其结果须另列为参考信息作用，不能与本人真实历史混算。每个追加对照都围绕一个尚未关闭的分歧取得价值。
个体内交叉比较能够减少某些稳定个体差异，却可能受到携带效应影响。前一安排已经改变了期待或学习，后一安排便不是在同一初始状态下开始。延长间隔或平衡顺序可以缓解部分问题，但是否足够需要依据；无法消除的历史效应应进入模型，或者改用组间设计。随机化顺序不是时间被取消，而是让某些顺序影响不再系统偏向某个比较。
进一步实验应优先选择两模型分歧最大而测量仍可靠的位置。假如二者都能解释即刻评分，却对回显撤除后的恢复速度作出不同预测，下一轮就增加撤除后的固定观测窗口，并在分析前指定恢复标准。撤除屏幕并不撤除记忆，模型若预期立即回到基线，必须承担这一预测可能失败的风险。若二者在全部可行条件下仍给出相同响应，就应先回到形式分析寻找新约束，而不是以更多同类重复伪装机制已经分开。
竞争预测不必都表现为平均值相反。一种机制可能预测即时改变后快速恢复，另一种预测延迟改变并持续；一种只影响分布中心，另一种主要改变尺度；一种依赖实际表现，另一种依赖展示值。过程和分布提供比单一显著性更丰富的分歧，但也增加比较数量。设计应事前说明哪些分歧承担裁决，避免事后从多条曲线中挑选最像理论的一条。
38.4 模拟怎样为真实实验服务
模拟的作用之一，是在已知生成机制下检查分析程序能否作出应有区分。研究者可以生成独立噪声、稳定相关过程、群体混合、外生趋势和明确反馈等资料，观察拟议指标会不会把它们全部判为同一种纠缠。如果程序在这些已知情形中频繁误判，直接用于真实资料就缺少依据。模拟不能证明真实世界遵循某个模型，却能暴露方法本身的识别缺陷。
针对上述交叉设计，模拟库可以故意构造近邻机制：让一个外生漂移过程与一个状态更新过程具有接近的均值和自相关，却对刺激顺序给出不同响应；再让一般界面效应与评分信息作用在原安排下相似，而在占位对照下分开。这样的设置比常数与强反馈的对比更能检查设计是否触及所称通道。逐步加入弱效应、材料波动、选择性退出和量表饱和，可以标出在哪些参数范围内只能报告未决。模拟参数是构造条件，不能写成真实机制的估计。
校准还应考虑选择过程。研究者若同时检查许多指标，即使每个指标单独误报率较低，整体上也可能经常出现看似有意义的结构。模拟应复现完整分析流程，包括筛选、调参和终点选择，而不是只检查最后一项统计量。这样才能估计实际研究程序的行为。把复杂流程拆成若干各自“合格”的检验，并不能保证组合以后仍然可靠。
置换检验同样需要尊重资料结构。任意打乱时间点会摧毁真实依赖，也可能制造一个过于容易战胜的参照。若问题是分组标签是否提供额外信息，可以在允许的单位和条件内重新分配标签；若资料以个体或会话组织，就应保留相应结构。置换所代表的无效应世界必须与研究问题一致，否则一个显著差异只说明资料不是完全打乱的样子。
模拟结果本身也需要与经验结果分开。某个方法在构造数据中能够识别反馈，说明在那些生成条件下它有能力，不说明真实资料中的反馈已经存在。若模拟中参数取值借自试测，研究者应说明借用范围和不确定性；若参数纯粹为了展示逻辑，应明确其示意性质。用漂亮的模拟曲线代替未完成实验，会把方法准备误写成世界已经给出支持。
模拟还可以指导资源分配。若某个设计对增加观测频率极敏感，却对增加对象数不敏感，说明当前主要限制可能是动态分辨；若相反，则异质性估计更需要对象覆盖。设计可以据此选择较经济的取得方式，再在真实小规模实施中检查假设。模拟和试测相互修订，但最终验证必须保留新资料，使整个过程不会在同一套假设与数据中自我闭合。
38.5 执行中的变化如何进入证据
正式实验很少完全按照最初设想运行。设备可能故障，参与者可能误解任务，某个条件可能引起过重负担，研究者也可能发现原分析假设不适用。科学责任不在于假装这些变化从未发生，而在于让变化的时点、理由和影响可追踪。执行中的修订可以提高研究质量，但不能悄悄改变原来承诺检验的命题。
预先登记问题和分析安排，有助于区分根据已有观察生成假说与利用新观察检验预测。Nosek等人讨论预注册时强调的正是这种区别。[71] 它并不禁止探索，也不保证登记的设计正确。一个糟糕的预先决定仍然可能糟糕，合理偏离也可能必要；关键是让后来读者能够知道哪些判断先于结果，哪些受到结果影响。
在虚构的配方研究中，如果试验进行到一半发现某个温度传感器失效，应按事先规则或公开修订处理相应事件。不能只删除那些不支持理论的故障时段，也不能为保持完整而把明显错误资料当成正常结果。故障是否影响主要比较，需要回到设备状态、分配时间与结果记录。若影响无法区分，结论可能需要缩限，甚至重新取得资料。
分析盲法可以在某些环节降低结果对选择的影响。例如在不知道组别含义时完成数据清理和程序检查，之后再揭示标签。但盲法也有适用条件：如果清理需要理解具体操作，完全遮蔽可能妨碍发现真实问题。研究者应设计与任务相称的分工，而不是把盲法当作形式要求。透明地说明谁在何时知道什么，比笼统声称“全程盲法”更有价值。
停止规则尤其需要清楚。不断查看结果，一旦出现有利模式便结束，可能改变最终证据的性质；因安全、资源或实施困难停止，则有不同理由。研究者可以预先规定固定样本、适当序贯规则或可接受精度目标，但必须据所用方法解释。停止并不等于失败，继续也不自动代表更严格。重要的是停止决定不能成为未报告的选择机制。
执行日志还应记录未完成者与缺失。某种安排使参与者更容易退出，本身可能是重要后果；只研究完成者会把这种后果从结论中删除。缺失处理可以采用明确假设下的分析，并检查结论对假设的敏感性。不能让数学补全掩盖资料实际上没有取得，也不能把缺失一律当作无法研究的借口。有限资料可以支持有限判断，条件是限制进入结论。
38.6 结果如何使模型真正改变
实验完成以后，最容易出现的失败不是没有显著结果，而是任何结果都没有改变模型。正向结果被称为支持，反向结果被称为更深的纠缠，零结果被称为号位受到压缩。这样的解释方式可以维持语言一致，却不能积累知识。修订应当体现为具体声称、参数范围、适用条件或操作建议发生变化，并能够影响下一次研究。
假如虚构实验发现路径变化稳定影响评分，而历史信息回显的总体平均效应接近零，尚不能据此限制所有指定信息通道。例如，在一个构造情形中，回显在甲—乙路径下使评分增加一，在乙—甲路径下使评分减少一，等权平均便为零，条件效应仍然明确。研究者应检验模型事前承诺的路径内与内容相关对比。若相应不确定范围已排除实践上重要的效应，才可缩限对应通道；若范围仍宽，则是精度不足。路径相关机制、平均回显效应和条件回显机制因此分别取得结论，不以一个总体零值互相代替。
若信息展示有作用，但作用方向与事前预测相反，原预测应记录为失败。研究者可以据此提出新的机制，例如展示引发反向校正而非锚定，但新解释需要新的检验。允许创造新假说正是科学的生命力，问题只在于不能把事后解释写成原来已经预见。失败和新问题可以同时成立，不必为了保存理论声誉而抹去前者。
若新增模型提高训练拟合，却在独立序列中失效，修订重点可能是模型复杂度、信息泄漏或场景依赖。若它在同域复现成功而跨任务失败，则需要重新界定迁移范围。研究者应保留不同层次的成果：测量程序可能有效，描述结构可能稳健，机制模型却仍不充分。把全部成果捆成一次总胜负，会让局部知识随着大主张一起被误判。
模型修订还可以增加对稳定性的理解。一个原被认为必然失稳的系统，在多种扰动后都恢复，可能提示负反馈或饱和约束。研究者不应把这种结果仅称为没有发现异常，而应研究恢复关系本身。发生学若以稳定性的生成作为中心，稳定反例就不是需要隐藏的障碍，而是理论必须吸收并能够产生新解释的材料。
修订记录应能重建一次具体选择。若路径效应保留，而事前规定的各条回显对比及其调节关系都已被足够精确地限制在实践上可忽略的范围，下一版模型才有理由删除本任务中的强回显项，并标明各项限制的对照来源。如果只是平均效应接近零，条件效应仍在，模型应保留相应路径或内容依赖。若预设对比的不确定范围仍宽，则保留未决状态，下一轮优先改善这一比较的精度；若强效应确已受到排除，可以把新增资源转向适应与材料变化的区分。不同版本由这些不同证据状态触发，不能用同一“无效”标签决定删除。
修订的程度还取决于失败针对哪种命题。一个逻辑推导若被有效反例击中，应撤回相应充分性声称；一个有限样本预测失败，则需要结合不确定性和事前门槛判断；一个制度方案未达目标，还须考虑实施是否真正发生。不能把实施不足自动用于保护方案，也不能把方案从未执行的部分计为经验失败。研究应同时保存干预实际到达哪里和结果发生什么，使机制与执行能够分别审查。
当多个结果方向不一致时，也不宜用多数票决定理论。三个描述指标支持、一个关键干预否定，证据权重未必是三比一，因为指标可能来自同一资料和同一误差源，而干预恰好针对核心通道。证据不是独立勾选项的数量，需要分析它们之间的依赖与证明职责。相同事件被不同图表重复展示，不能反复增加支持强度；真正新增的约束才改变可接受解释的范围。
38.7 三类研究怎样形成相互约束
味觉、历史经济资料与AI教育可以承担不同证据任务。味觉研究较适合细致控制刺激与路径，历史经济研究能够检验版本、制度和实时迁移，AI教育则把独立表现、协作与后续迁移连接起来。三者不必共享同一终点，也不应被要求同时支持同一种结论。它们的联合价值在于检验共同方法是否能够进入不同对象，并在各自限制下产生可继承知识。
E1味觉研究的优先产物可以是一个得到实际检验的辨别程序：用受限刺激路径、真实评分回显与材料检查，确认何种操作足以拆开若干解释。即使程序成功，也只批准它在这些材料、时段和报告任务中的使用。它可以把低干扰记录与对照设计交给其他研究者，但不能把末端评分的某条通道直接移植为制度运行的原因。若过程记录明显改变了味觉任务，则需要修订程序，并把这种记录代价纳入后续领域的设计预算。
E2边际消费倾向研究可以接着检验这套程序面对历史限制时如何工作。历史政策、资料修订与家庭处境无法全部重做，团队应先把当时可见资料与后来版本分开，再确定哪些对照事实上存在。若找不到能分开两种机制的历史安排，就把成果限定为对象重建或实时预测，明确留下的识别缺口。已有异质性模型若在同目标下已经足够，事件档案的新增价值可转向解释跨期比较资格与更新成本；它无需制造一个模型失败来证明历史记录值得保存。
E3 AI教育研究则可在前瞻安排中弥补部分历史缺口：预先保存工具版本、反馈时间和可见内容，将独立表现、协作表现与撤除工具后的延迟迁移分别计量。它继承E2的版本纪律，却必须重新处理训练本身会改变能力这一条件。若过程诊断只改善协作任务，后续教学可以保留协作收益，同时补做独立迁移；若增加解释记录干扰了学习，则应比较更轻的采样方案。研究批准的是某种能力任务和教学用途，而非抽象地宣布AI使人更强或更弱。
三类研究共享的不是具体变量，而是证据顺序：界定目标，重建事件，形成竞争预测，取得区分资料，再把结论回写到模型和用途。它们也共享负结果的责任。某一领域成功，不能抵消另一领域失败；某个领域无法进入，可能揭示程序的边界，而不是证明该领域不够成熟。跨域研究应保存差异，让统一性接受真实限制。
这种组合还可以帮助发现方法层面的改进。味觉研究中形成的低干扰记录经验，可能启发教育研究；经济资料的双时间轴，可能帮助AI系统保存模型与信息版本；教育中的协作单位区分，也可能提醒其他领域区分个人与复合系统。这样的迁移需要具体解释借用了什么、改变了什么。跨学科协作的成果不在于共用术语，而在于方法被重新组织后解决了新的困难。
38.8 实验的完成是下一轮判断的开始
一个实验的完成不能只以数据收集结束或论文写成为标志。结果需要进入可复核资料、模型版本和用途决定，才能改变后续知识。若实验削弱了某个机制，相关说明应更新；若发现了测量缺陷，工具和历史资料解释也可能需要调整；若结果只支持有限条件，推广范围应相应收缩。实验后果没有进入这些环节，研究便可能停留在文本上的成功。
回到本章的虚构实验，一次合格交付应说明本轮究竟关闭了哪个分歧。例如，材料检查把指定温度漂移限制在不足以解释效应的范围，路径操作产生可重复差异，回显比较仍因区间过宽而未决。下一位研究者据此可以沿用已合格的末端刺激与记录程序，把新增观测集中到回显比较；他也可以质疑温度限制，但须指出哪项校准需要重做。完成状态由这些可继承的约束组成，既不要求所有机制一次解决，也不让“还需研究”遮蔽已经取得的内容。
研究档案应把每次结论与其使用的数据版本连接，记录哪些资料后来被撤回、哪些结果因程序修正而改变。这样，下一轮研究继承的是可检查的证据关系，而不是一个脱离来源的结论名称。
实验还需要留下别人能够继续的问题。一个未解决的分歧，如果已经明确资料缺口和可区分条件，就不是空白失败；它可以减少后来研究者重复摸索的成本。相反，一篇声称完全解释却不公开过程的报告，可能给共同体留下很少可继承内容。知识的完成程度，应包括它使下一位研究者能够做什么，而不只是当前结论看起来多么完整。
这种继承要求把证据与修辞分开。理论语言可以表达新的视野，经验结论则需要保持与资料相称的时态和范围。形式例子标明为形式例子，模拟说明生成条件，探索结果保留探索身份，独立验证记录实际设计。不同材料并非价值高低的单一等级，而是承担不同证明责任。相互连接可以形成有力论证，相互冒充则会使整条链失去可信性。
研究完成还包括向参与者和实际使用者说明能够说明的结果。若某项记录没有改善任务，继续要求人们承担同样负担便需要新的理由；若某项安排造成明显不适或不公平，应在后续设计中修复。这里的规范责任不能从统计显著性中自动推出，却也不能与证据分离。参与者并非只有提供数据的角色，他们承受的后果本身就是研究安排的一部分。让结果改变研究者自己的操作，是反身性最具体的形式。
本章把第11至15章的方法推进为一次可以据结果分岔的研究：比较资格决定资料入场，交叉操作使候选模型分开，近邻模拟校准判别风险，执行记录保留偏离，模型版本把结果落实为下一步资源选择。三类优先研究分别承受可控实验、历史限制和学习迁移的检验。接下来，实验室内部已形成的约束怎样进入共同体，仍取决于发表者保留哪些内容、复现者继承哪个版本、错误被谁修复。第39章处理的正是这条继承链，不能由一次设计严谨的实验自行保证。