← 专著首页目录专著栏目

附录

附二 结果距离 d 的构造规范

本规范给出 d 的构造要求,并在每一条后标明首跑的实际执行与偏离。

一、六条构造要求

  1. 层选取。 在每个模型上取预先指定的相对深度位置(如总层数的 25%、50%、75%、100%),不按绝对层号,以保证跨规模可比。

首跑执行:按此执行,四个相对深度,向上取整。

  1. 对称性消去。 先做神经元置换对齐(权重匹配或激活匹配),再计算表征相似度;缩放对称通过归一化消去。

首跑执行:采用对置换、正交变换与各向同性缩放本身就不变的相似度度量,因而不另做显式对齐。并记一条工程教训:既然度量已有这些不变性,就不应再加一层对齐——那不会更干净,只会引入新的自由参数。

  1. 表征距离。 在同一批冻结探针输入上取激活,计算对齐后的相似度距离,多层取平均。

首跑执行:按此执行。并记一条改进项:本跑只保留了四层平均,未保留逐层读数,因而深度剖面不可考(第六十二章第六节)。下一跑必须保留逐层读数。

  1. 行为距离。 在冻结的分布外探针集合上比较输出分布,取对称散度。

首跑执行:取各探针末位置的下一词元分布之间的对称散度。并记一条限制:只取末位置一个词元,因而”行为”被窄化为”单步预测”(第六十三章第七节)。下一跑应在单步之外加测至少一种多步行为。

  1. 合成。 d 取表征距离与行为距离的预先指定加权和,权重在接触数据前冻结。

此条作废。 理由见第五十五章第四条硬规定与第六十四章第四节:合成会把两个方向相反的读数按一个无理由的权重抹平,从而替作者做出裁决,且裁决不可见。

改为:两通道分别报告、分别对照各自的判负条件、分别出结论;两者不一致时结论写”未能分辨”。

  1. 噪声基线。 同种子、同数据次序、仅硬件数值非确定性造成的重跑之间的 d 分布,作为零点。

此条是正确的,但首跑没有执行。

首跑实际使用:同一训练轨迹内相邻检查点之间的距离(代理,因算力所限)。

后果:该代理跨规模不可比——它测到的是训练在该规模该时刻的推进速率,而速率随规模变化。且”相邻”所含的间隔本身是一个自由参数。详见第六十五章。

下一跑必须执行:改用同种子重训,或同一轨迹内多对等距检查点距离分布的下界估计。

二、三条使用规定

规定一:报告分母。 凡使用任何归一化,把分子、分母、比值三者分别列出。这一条零成本,而它能把一整类隐形错误变成可见的(第五十章第四节)。

规定二:保留逐对读数。 不只报告均值与标准差。首跑未保留,因而最大规模上那个异常大的标准差无法进一步分析。

规定三:不得用任务分数。 分数只能作为附属读数报告,用以回答”这些模型是否可比”这一前提性问题,不进入 d(第五十五章第一条)。


《可判性的到来——发现还是发生?》· 王德生 著 · 德麦国际专著第 124 号 · ISBN 979-8-90690-092-0