第15章 发生模型的比较与迁移
15.1 解释丰富并不自动成为解释优势
两个模型可以用完全不同的语言解释同一组资料。一个使用条件变量和动态参数，另一个使用发生条件和回写路径；如果它们在当前任务上给出相同结果，仅凭语言的丰富程度无法判断哪一个提供更多知识。理论可以帮助提出此前没有被问过的问题，但一旦声称改善了解释、预测或行动，就需要规定改善发生在哪个层次，并让竞争者面对同样的任务。
模型比较首先是任务比较。预测下一轮评分、解释某次评分的形成、估计干预效果和选择制度规则，需要不同评价。一个模型可以善于预测，却无法识别因果通道；另一个模型可能揭示机制，却因资料成本太高而不适合日常部署。若把所有优点合成一个模糊的“解释力”，研究者便容易在某项结果失败时转向另一项长处，使比较失去共同尺度。
任务还规定需要预测什么。点预测关心一个代表值，分布预测关心可能结果及其概率，排序关心对象之间的相对位置，决策则关心采取行动后的损失。均值预测准确的模型未必善于识别极端情况，排序稳定的指标也未必支持绝对差距判断。发生模型应说明自己增加的条件信息服务哪种任务，而不是把输出从一个数改为一张复杂图就宣布优越。
第12章的温度监测器可以把任务差异继续推进到模型选择。设模型甲预测下一时段的平均温度，模型乙利用近期轨迹预测超过阈值的持续时间。在缓慢调节任务中，甲可能以更低成本达到要求；在材料保护任务中，乙若能减少漏报，就可能更有价值。但两个任务应各自固定损失和检验资料，不能因乙在平均误差上落后就否认其警报用途，也不能因其识别过一次峰值就宣布全面优越。同一装置可以保留两个经过分别验证的模型，而不必选出一个适合所有用途的冠军。
公平比较也意味着重建竞争解释的强版本。异质性、适应、状态空间模型和制度反馈已经能够处理许多条件变化。把旧模型写成永远坚持一个无条件常数，再让任何具有情境变量的新模型取胜，并不能建立SDE的独立贡献。本书可以从最简基线开始，但最终对手应包括最有理由成功的既有模型。理论的增量在强比较中可能缩小，却也会因此变得真实而可继承。
发生模型的增量须在三个层次分别提出。对象重建改变被估量、事件同一性或比较资格，例如把混在一起的个人作答与人机协作重新划定为两个评价对象；设计辨别力使原先等价的解释在可执行安排下给出不同预期；经验机制则要求取得资料，支持某条具体通道及其条件。前两种贡献可以先于预测胜出成立，却不能代替第三种证据。对象重建后还要交代新旧目标如何对应：若仍声称更好预测同一结果，必须与同目标、同资源的强基线比较；若目标已经改变，则分别评价新任务的理由和表现，不能拿目标变化本身计算预测增益。
15.2 从基线到回写模型的竞争阶梯
一个有解释力的模型比较不应只设置两个极端：一边是没有条件的常数，另一边是包含所有可用信息的复杂系统。这样的胜负无法说明究竟哪种新增结构有用。更有建设性的做法是建立逐步扩展的模型阶梯，让每一步对应一个明确问题。阶梯不是规定真理必然位于最高层，而是帮助研究者定位改善来自哪里。
最简层可以是固定目标加测量误差。它说明在不引入情境差异时资料能够被解释到什么程度。下一层加入有根据的对象异质性和条件变化，检验组间差异是否已足够解释结构。再下一层加入既有适应、状态延续或动态更新，检验时间依赖是否需要目标回写。最后才加入明确的新回写通道，并要求它产生独立预测。每层应拥有适当复杂度，而不是故意让低层模型无法学习明显关系。
例如某种评分随重复次数下降。固定模型失败以后，加入个体差异仍不能解释同一人内部的下降；加入随时间变化的疲劳状态可能已经充分预测。此时再加入“上一轮评分改变下一轮期待”的通道，只有在信息展示等设计中产生额外区分，才获得独立支持。若两种机制在自然轨迹上等价，比较应进入可区分干预，而不是继续在同一数据上争论哪种语言更深刻。
阶梯还应分离信息与模型形式。一个模型使用期待、路径和历史，另一个只使用当前刺激，前者获胜可能只是因为信息更多。要判断新增结构的价值，可以让两类模型使用同一信息，比较不同组织方式；要判断新增记录的价值，可以固定模型类，逐步开放字段。两种比较共同说明，收益究竟来自记录、函数灵活性、更新规则还是其组合。
模型选择也受到调参预算影响。复杂模型若获得大量尝试机会，而基线只运行一次，最终差异包含搜索资源的不平等。研究应尽量保持可比的调参规则，或至少公开各自使用的资源。预处理、变量筛选和早停规则都是模型的一部分，不能把它们隐藏在“数据准备”中，使新模型额外享有看过测试资料的机会。公平并不要求所有模型形式相同，而要求比较不通过未披露的优势预先决定。
阶梯比较最终可能停在中间层。若疲劳状态已经解释重复评分的下降，下一项有价值的比较是：增加展示历史以后，是否改善新展示安排下的预测，而非继续降低旧轨迹误差。若没有改善，可以保留动态模型，并把信息回写列为当前未获支持的候选；若只有新增记录起作用而函数形式没有优势，则把贡献归到信息。这样的中间结论具体规定了应继承什么。阶梯是一套贡献分解，层次高低本身不表示理论先进程度。
15.3 新增信息的理想收益与实际代价
读数事件主张保留更多与任务有关的条件，但“更多信息一定更好”需要精确定义。在一个理想化的平方损失预测问题中，如果可以知道真实条件分布，并且所有变量具有所需有限矩，那么增加信息不会提高最优预测风险。这个结论说明信息可能具有价值，却不能直接保证有限资料中的具体模型一定受益。将理想界限与实际估计分开，才能正确评价事件档案。
设结果为Y，原信息为X，新增记录为Z。只使用X时，平方损失下的最佳预测是Y在X条件下的数学期望；使用X与Z时，则是更细条件下的期望。这里的期望算子表示数学期望，应与SDE中的特征纠缠E区分。两个最优风险的差，等于两种条件预测差异平方的平均。
证明来自一个直接分解。把只使用原信息的预测误差写为完整信息下的误差，加上两种预测之间的差。展开平方以后，交叉项的期望为零，因为在完整信息条件下，结果减去其条件期望的平均为零，而两种预测之差是这些信息的函数。于是剩下非负平方项。该证明没有假定新增记录来自主体、互动或任何特定理论，因而信息增益本身不能证明SDE的独占性。
如果新增记录不改变条件期望，右侧风险差便为零。它仍可能改善分布尾部或其他任务，但对当前平方损失下的均值预测没有理想增益。这个结论有助于约束无限记录冲动：变量具有哲学意义，不意味着它对每项预测都有必要；字段可以在某个任务中无用，在另一个任务中重要。任务与信息的关系需要实际检验。
现实模型并不知道真实条件期望。增加变量可能引入估计误差、过拟合和缺失处理负担，记录本身还可能改变过程。即使理想风险降低，取得信息的成本也可能超过收益。因此应区分不可约的不确定性、模型近似误差、有限样本估计误差和采集代价。一个档案在理论上包含更多信息，却因样本不足无法有效使用，并不矛盾。
这条分解还需要经过有限样本学习才能转成实际选择。可以固定训练资料规模与评估任务，分别记录少字段和多字段模型的测试损失，再观察新增记录的取得成本。如果多字段只在罕见高损失情境中有价值，就须单独报告该条件，不能让总体均值抹去收益；若改善随训练样本减少而消失，则其使用范围应包含最低资料条件。按需采集还需在结果出现前定义触发条件，否则会以未来结果决定是否取得当前信息。理想增益提供方向，实际增益及其取得时点才决定字段能否进入长期系统。
15.4 拟合 数据外检验与机制判断
模型在训练资料上表现良好，说明它能够表达已经看到的关系，却不能自动说明这些关系可以重复。数据被用于选择变量、调整形式和决定阈值以后，最终拟合已经包含选择过程。继续用同一资料评价模型，容易把偶然结构当作能力。独立检验的作用，是让模型面对尚未参与自身形成的结果，从而约束这种选择自由。
资料分割必须与研究问题匹配。若同一个人的相邻记录同时进入训练与测试，模型可能利用个人身份和近邻状态，得到很好的测试表现，却未必能够迁移到新个体。若未来资料的信息进入了特征构造，时间预测也会被人为简化。按个体、会话、机构或时间分割，各自对应不同外推目标，不能把一次随机拆分的成功说成所有迁移都已通过。
模型复杂度的评价与外部预测也应分开。Schwarz提出的准则在相应模型与抽样前提下对似然拟合加入参数维度惩罚。[24] 常用写法由最大似然项与样本量相关的复杂度项组成。它是在特定框架内组织模型比较的工具，不是独立测试集损失，也不是某个因果机制成立的证书。把准则改善两点写成新本体论被证实，远远超过它承担的任务。
外部检验同样不能只看一个平均误差。一个模型可能总体准确，却在某类条件下持续失准；也可能平均误差略大，却对重大错误更保守。评价应包括与用途相连的分层表现和不确定性校准。若模型宣称某个范围具有较高覆盖概率，就应检查实际结果是否与宣称相称。准确性与诚实表达不确定性共同决定模型可被怎样使用。
机制判断需要更进一步。一个灵活预测器可以通过多种替代关联获得成功，而不揭示目标通道。若要证明某个回写机制，仍需第14章所讨论的时间、干预和竞争解释。预测增益可以支持模型值得保留，却不能替代因果辨识；反过来，一个因果通道得到识别，也不保证在每种预测任务上都有显著优势。两种成果应分别报告，以免彼此借用权威。
当外部检验失败，研究者应保存失败的具体形态。是所有条件都偏离，还是特定群体失准；是均值错误，还是不确定性过窄；是模型形式问题，还是输入资料质量下降。这样的失败记录能够指导修订。只报告一个总体评分，会把有方向的失配重新压成无解释的残差。模型比较本身也需要事件化，让评估结果能够返回自己的产生条件。
15.5 历史样本中的迁移与信息时点
第11章已经区分发生时间与可见时间；历史模型比较要进一步把这一区分写成检验协议。在每个预测起点，训练集、变量定义和可用版本都应固定下来，随后只评价当时实际能够生成的预测。若某个输入要到结果出现后才修订，就不能把修订值无标记地放回原起点。原版本预测与修订资料下的重算可以并列：前者回答当时能做什么，后者帮助定位资料修订造成多少差异。两项结果分别保存，回测才不会把后见之明登记为模型能力。
实时档案需要同时保存对象发生的时期和资料公开的时期。某项经济活动属于第一季度，初值可能在第二季度发布，后续又多次修订。评估某个历史决定时，应尽量使用决定当时能够取得的版本。ALFRED的官方说明提供了历史版本与当时可用信息的组织方式，可以作为这种设计的数据基础；拥有该渠道不等于已经完成有效回测。[25]
滚动检验是一种自然安排。模型在一个时间点只使用此前资料训练，对后续窗口预测；随后窗口向前移动，记录表现怎样变化。每一轮允许的更新规则应预先说明，不能在看到失败以后临时决定哪次重训属于模型、哪次重训不算。若系统本来就具有持续学习，更新能力可以成为被评价的部分，但必须把更新所需资料与时间成本计入。
历史迁移还需要区分资料修订与世界改变。一个参数在不同版本中变化，可能是对过去认识的修订；一个参数在不同年代变化，则可能反映对象或制度改变。两者可以同时出现，却应沿不同时间轴分析。把版本变化直接当作对象漂移，会夸大世界的不稳定；把真实时期差异全部视为统计误差，又会错过发生条件的变化。
滚动窗口还应处理更新和评分之间的时间差。设想一个模型每轮取得上轮已公布结果后更新，而另一个按固定参数运行；比较时须让二者面对相同的结果公布节奏，记录更新完成前的等待成本。若新结果延迟，更新模型就应依照事先规则使用旧状态或暂缓输出，而不是在回测中假定新标签即时存在。窗口中的缺口与不可见资料同样属于任务。只有把这些现实限制纳入协议，才能判断持续学习的收益来自更新规则，还是来自理想化的信息便利。
历史研究最有价值的结果，往往不是找到一个永远正确的参数，而是说明哪些关系在条件改变后仍然保留，哪些需要更新，以及更新依据在当时是否可见。这样的结果直接服务于模型治理：什么时候继续使用，什么时候降低信任，什么时候需要重新定义目标。发生模型的历史厚度，应体现在这些可操作区分上，而不是体现在事后叙事包含多少背景。
15.6 多分布研究中的稳定结构
迁移可以发生在人群之间、机构之间、时间之间，也可以发生在不同任务和工具之间。把所有变化统称为环境变化，会遮住模型究竟需要适应什么。某些迁移只是输入构成改变，给定条件下的结果关系仍然稳定；另一些迁移改变了结果生成关系；还有一些直接改变被估量和评价目的。不同变化需要不同策略，不能用一种重新加权或重训操作包办。
设想一个评分模型在两个机构使用。第二机构的对象构成不同，但同样条件下的响应关系保持一致，适当调整构成可能恢复总体预测。若第二机构的操作规则改变了条件与结果之间的关系，仅调整构成就不够。若第二机构用分数决定完全不同的事项，问题甚至超出预测关系，涉及用途效度。事件记录能够帮助区分这三层，但只有资料和设计支持时才能真正识别。
多分布比较不应只追求所有场景表现相同。某些差异正是模型正确反映条件变化的结果。一个能够预测不同条件下分布怎样改变的模型，比一个输出始终稳定却持续错误的模型更有知识。但稳定结构仍然重要：它可能是更新规律、条件关系、转换方式或误差范围。发生学要寻找的是恰当层次的不变量，而不是把一切稳定都看作对象被压缩后的残余。
可以在多个场景中同时考察中心、尺度、响应方向和分布分裂，观察哪些变化由同一条件关系组织。若模型只有在每个场景单独重新拟合后才成功，它提供的迁移内容可能很弱；若少量可测条件能够预测新场景的变化，则具有更强增量。这里的“少量”不只是参数个数，还包括取得条件的成本和是否需要事后知道结果。一个依赖未来标签的适应过程不能被称为即时迁移。
验证稳定结构可以采用逐个留出场景的比较。研究者在若干机构上确定模型结构，再把一个未参与结构选择的机构作为迁移目标，分别评价完全沿用、只更新指定参数和重新估计。三种安排使用目标资料的数量须明确。若局部更新以很少新资料达到重估水平，便取得了可继承结构的证据；若仍需大幅改变函数或重新定义结果，原迁移声称应收缩。这个比较并不要求各机构分布相同，它检验的是事先指定哪些关系值得保留。
多分布研究也提供反例资源。一个在原场景成立的机制，在另一场景缺失，可能揭示必要条件；一个原以为关键的字段在多个场景都没有增益，可能应从常规记录中删除。迁移失败不只是理论的损失，也可以成为识别机制边界的材料。前提是失败被保留，并且新解释在新的资料中再次接受检验，不能无限使用同一批例外来修饰理论。
迁移还可以是局部的，而不必在全盘成功与完全失败之间二选一。一个模型的测量部分可能保持稳定，行动规则却随制度改变；某些个体差异可以共享估计，另一些必须在新场景重新校准。把模型拆成有明确职责的部分，可以研究哪些部分值得继承。这样的拆分需要机制根据，不能仅在结果出来以后把成功部分称为核心、失败部分称为外围。继承范围应在新资料到来前尽可能说明。
新场景资料较少时，完全沿用旧模型与完全重新估计之间也存在中间选择。研究者可以允许一部分参数调整，并用原场景知识约束其合理范围。但约束越强，越可能把旧偏差带入新场景；约束越弱，则越依赖有限新样本。比较这种权衡能够使“历史如何进入现在”成为实际建模问题，而不只是哲学描述。历史可以提供资源，也可能形成惯性，两种作用都须接受新任务的检验。
迁移失败的程度也应与行动联系。短期误差略增可能仍在用途允许范围内，某种罕见但方向一致的错误却可能要求暂停使用。平均表现不能替代严重失败的分析，单次严重失败也不必推翻全部用途。研究者应同时报告总体表现、关键条件和不可接受后果，使模型的保留、缩域与停用具有可讨论的依据。
15.7 干预后的预测比事后拟合要求更多
干预改变了系统的发生条件，因此对干预后结果的预测，是检验模型机制内容的重要机会。一个依靠稳定关联的模型，在干预后可能失效；一个正确描述某些更新通道的模型，可能保留更多预测能力。但这不是保证，因果模型也可能遗漏其他通道，干预还可能改变目标或实施方式。所谓机制模型应在具体干预集合中接受比较，而不能凭名称享有迁移特权。
设想教育系统依据错误类型提供不同反馈。原数据中，反馈形式与学生状态同时变化，预测器可能借助这种关联表现良好。一旦研究者改变反馈分配，原关联就不再成立。若模型描述了反馈怎样影响后续策略，便可能预测新安排下的结果；若只是把反馈标签当作学生类型的替代，它就可能失败。这种干预提供了区分解释的机会，前提是实施和结果记录足够清楚。
干预后的预测需要保存三个不能相互替代的成绩。第一项是在看见新结果前冻结模型所作的预测，检验旧知识能直接承担多少改变；第二项是在预定少量新资料下完成指定更新的预测，检验调整规则是否有效；第三项是充分取得新资料后重新建模的结果，说明当前任务能够达到的参照水平。三者应使用各自独立的评价资料。若只展示第三项，就无法知道原模型究竟继承了什么；若只允许第一项，又会排除本来以适应为功能的系统。
反事实问题还要求说明干预是否可实行。把一个变量数值改掉而保持其他关系不变，未必对应现实操作。例如直接指定一个人的期待，同时假设表达、经验和行动都不变，可能没有明确实现方式。模型可以使用这种抽象研究逻辑后果，但现实结论需要连接到具体操作。发生条件相互规定，正意味着干预常常不是孤立地旋转一个旋钮。
此外，干预成功可能使原来用于辨识的关系消失。若某个错误反馈环被纠正，后续残差结构不再出现，这可能是机制解释得到支持的结果，而非理论失去对象。研究者需要事前说明这种消失的预期，并检查是否存在其他导致消失的变化。反过来，若干预只改变了记录而没有改变实际结果，漂亮的新指标也不能被当作修复成功。
干预后预测使模型不仅说明已经发生的结果，还要在改变条件时承担可能出错的判断。这种承担并不要求所有研究都立即部署重大干预。可以从低风险、可逆的小范围操作开始，逐步扩大证据。每一步都比较收益、损失和恢复条件，使理论的创造性通过可检验的安排进入世界，而不是停留在对既有资料的重新叙述。
15.8 模型选择也是一种可修订的制度
实际使用中，模型不是一次比较后永久获胜。资料会变化，任务会改变，维护资源也会减少。一个原先复杂而有效的模型可能变得难以更新，一个简单模型可能在新条件下重新足够。模型治理因此需要把适用证据、更新触发与退出规则一起保存。选择模型不是给理论授予终身地位，而是在当前任务和条件下作出可解释的决定。
成本应进入这种决定，但不能只按运行速度计算。采集敏感资料的代价、解释结果的难度、错误发生后的修复能力和对使用者的负担，都影响模型价值。一个略微提高平均精度却显著增加不可复核决策的系统，未必更适合公共用途；一个精度相当但能定位失败原因的模型，也可能具有重要优势。价值判断需要明确，不能藏在技术评分背后。
这种选择可以落实为可追踪的决定。对监测器，研究者先说明在规定输入范围内，两个模型分别漏掉什么、误报什么及需要多少资料；使用方再依据材料损伤与停机代价选择用途。如果提高灵敏度需要更多复测，复测负担也应进入同一决定。几个月后用途改变，可以回到原权衡重新选择，无须宣布旧模型从未有效。这里保存的不只是最佳分数，还包括为何这一误差结构在当时足够，以及哪些条件变化会使原选择失去理由。
发生模型本身应接受同样治理。若十字段档案中某些记录长期没有收益，可以简化；若新增回写通道不能改善干预判断，应缩限机制声称；若一个成熟既有模型已经充分处理任务，应保留它。另一方面，当制度不断遭遇可重复的条件失配，却拒绝增加必要信息或修改用途，简洁也会变成逃避。方法的经济性与认识的充分性需要一起检验。
第11至15章由此形成分工明确的工作链：事件档案给出结果身份，装置分析解释稳定操作如何形成，数学判据区分不同限制，因果辨识确定可改变的通道，模型比较决定哪些表达值得继承。每一环都向后一环交付具体条件，同时保留返回修订的入口。一个模型可以在预测任务上被采用而机制仍未定，也可以提供可靠机制却暂不适合部署；把这两种位置写清楚，是本编相对于笼统“解释力”判断取得的实质成果。
生命材料会使这套分工面对更强的历史要求：同一评分可能来自不同感知过程，同一细胞状态可能保留不同承接能力，同一稳定输出也可能依赖不断更新的内部组织。味觉、细胞、神经与恢复研究各有成熟方法，需要按其观察条件建立具体模型。进入这些领域时可继承的是已明确的判据与比较责任；哪些状态、通道和稳定关系实际成立，仍须让材料决定。