设一次对话式学习中,AI 实际代走了步骤集合 A′ ⊆ A。学生因而没有独立生成 A′ 中的任何一步。
考试所测的是 M 中步骤的独立重演能力。由 M ≈ A,A′ 的绝大部分落在 M 内。于是:
被代走的,恰恰是被考的;没被代走的,恰恰也考不了。
结论不是”AI 的帮助不够多”,而是:
在既有考试形态下,AI 赋能的深度与考试分数的增量,由同一个量的两侧决定。代走得越彻底,学生在考点上的独立重演练习就越少;代走得越少,赋能就越名不副实。
这就是本书所说的结构性互斥。它比第一编的单位错位更强:单位错位说的是”读数取错了地方”,尚可通过改考试来补救;互斥说的是”即使改了考试,被测能力与被赋能能力仍然是此消彼长的两侧”。
从同构定理还可以推出一个自我指涉的后果。
一个学习产品要证明自己有效,最通行的做法是做对照实验、比分数。但要比分数,实验双方必须共用一套答案键;要有答案键,被测的那一段判定就必须已经前置。因此:
凡是能用分数证明其有效的提速,都发生在判定已经前置的区段上。
换言之,“被证明有效”与”开辟了新的认知航道”是互斥的两种属性。一个真正让学生走到从未有人判定过的地方去的教学方式,恰恰无法用现行考试证明自己有效,因为那里没有答案键。
这条推论解释了一个长期让人困惑的现象:教育技术的效果研究总是在低层次认知目标上给出漂亮的效应量,在高阶思维上给出微弱或不一致的结果,而这一格局四十年未变,换了几代技术也没变。通常的解释是”高阶思维难测量”。同构定理给的解释更硬:不是难测,是可测与可代走是同一个集合,而高阶思维之所以叫高阶,正是因为它处在这个集合之外。