第35章

第三十五章 怎样知道真的升维了?

一 从动人的解释,走向可能失败的判断

一个研究者以前只能处理三个例子,现在能够处理三百个例子,这是不是升维?答案不能只由数量决定。如果新增例子只是沿着原有分类继续堆积,变化首先是处理规模。如果其中的异常迫使研究者改变分类,发现原来不同的问题共享某种机制,并据此提出新的可检验问题,那么我们才开始看见活动结构的改变。评价必须区分前者提供的条件与后者实际发生的认识。

这一区分也不能变成对数量增长的轻视。有些问题只有在材料达到一定范围后才可能被有效识别。若一种疾病极少出现,一种工程故障只在特殊组合下发生,扩大观察范围本身就可能有重大价值。但它是否使某个参与者获得了新的能力,仍需要另外考察。系统的覆盖范围、研究的知识价值和个人的学习变化,可以相互支持,却不应被压成一个结论。

本书所说的升维,至少应当在一种明确关系上留下证据:原来不能有效开展的活动,现在能够开展;原来无法辨认的差异,现在能够进入问题;原来只能逐项应付的对象,现在能够被一种新的组织方式处理。这些变化必须说明条件,不能只宣布“认知更高了”。所谓更高不是一个人的等级,而是相对于某个活动结构增加了新的组织可能。

因此,评估开始之前,应当先写下原来活动的边界。研究者究竟受限于材料搜集、证明构造、概念区分,还是合作条件?哪些任务做不了,哪些任务做得很慢,哪些任务实际上从未被提出?若起点没有被描述,任何后来的成功都可以被说成跨越,任何常规进步都可能被重新包装为革命。记录起点不是为了证明过去落后,而是为了让变化拥有可比较的对象。

同样需要写清目标活动。一个学生希望掌握线性代数的基本概念,与一个课题组希望研究时变网络中的一致性问题,并不承担同一种教育承诺。前者的个人概念掌握可能是重要目标,后者则同时涉及问题构造、数学论证与协作检验。不能因为两者都使用生成式系统,就给他们安排同一张“有没有真正思考”的测量表。

前一章的例子提供了一个可分析的起点。假如小林最初只会问“算下去是不是趋于平均”,后来能够区分不变量与收敛性,能够发现固定矩阵证明不能直接覆盖时变矩阵,并能组织反例检查,那么变化就不是多写了几行结论。她直接面对的对象发生了变化:从一个数列结果,进入条件、证明机制及其适用范围之间的关系。这是一种可以被具体检查的候选升维。

但不能仅凭她在已讲解的例子上表现良好,就宣布能力稳定。她可能记住了故事中的几个转折,却尚不能在新的问题中辨认同类差异。评价需要给出相邻而不相同的任务,例如把平均保持改为另一线性量保持,把固定联系改为间歇联系,让她判断哪些已有依据还能调用。变化应当保留目标结构,同时避免只是换掉数字的机械复现。

这里有一个难处:真正的新问题未必存在预先写好的标准答案。若只评价答案是否与出题者一致,就可能把研究能力再次压回已知路线。对开放任务,可以评价问题是否清楚、假设是否被区分、论证是否与主张相称、失败是否改变后续安排,而不是要求参与者必须作出某个指定发现。这些标准不保证发现伟大成果,却能够排除空泛包装。

同时,评估者也必须公开自己的判断边界。一个陌生概念可能只是改名,也可能包含新的关系;一次失败可能暴露能力不足,也可能说明研究者主动选择了更有挑战的问题。需要比较的不是失败次数,而是失败怎样进入后续认识。脱离任务难度和探索范围,任何“错误率”都可能误伤真正的探索,或奖励永远不离开安全区的活动。

这使评价具有双重任务:既要让没有内容的升维宣言接受检验,也不能用只能识别旧成绩的工具否定真实变化。最困难之处不在增加指标,而在使证据与主张保持对应。关于生成新问题的主张,应当拿出新问题及其形成过程;关于持续能力的主张,应当拿出跨情境表现;关于工具可靠的主张,应当拿出与任务相关的检验,而不是互相借用信用。

因此,本章不提供一个把所有研究者排成一列的升维总分。它提出一种可组合的评估方式:先说明变化类型,再决定必要证据,最后明确哪些结果将降低我们对原主张的信心。只有允许“不足以证明”“仅有局部改善”“出现明确损失”等结论,升维才能成为研究对象,而不是一种只能得到赞同的称号。

二 同时观察个人、复合体与迁移后的活动

教育评估容易落入两个镜像错误。一个错误是只观察工具撤走后的个人,另一个错误是只观察工具支持下的漂亮产出。前者可能漏掉真实复合能力,后者可能漏掉参与者没有成长的事实。更合适的设计,应当让不同观察分别回答不同问题,而不是争夺唯一真实的资格。

个人层面的观察,可以检查已经明确列入培养目标的概念与行动。例如,学生是否能够分清假设与结论,是否能够解释一个反例为什么足以否定全称命题,是否能够发现定义中的明显矛盾。这里要求的是具体能力,不是证明整个研究系统都已经住进他的脑内。某项能力究竟必须即时内化到何种程度,应由任务需要说明。

复合体层面的观察,则应提供与实际研究相近的条件。允许适当工具、资料和协作,并观察参与者如何让它们形成有效活动。能否选择合适的问题表述,能否处理工具之间不一致的条件,能否把错误输出转化为新的检查,都是可能的证据。评估的不是提示词是否漂亮,而是互动是否持续改变了研究的有效性。

两种观察可以产生不一致的结果。某人闭卷推演很强,却在多工具研究中不断混淆版本;另一个人在复合研究中能够有效组织证据,却对某个必须即时识别的基础条件反应迟钝。这种不一致不是评估失败,而是培养设计需要面对的信息。把两项结果简单平均,反而可能隐藏各自需要修复的地方。

迁移评估又增加了第三个问题:这项能力依赖的是某个题目、某套熟悉界面,还是一种可以在新条件下重新组织起来的活动?迁移不是要求抛弃所有原有支持。可以保留工具但改变任务,也可以保留任务类型但更换工具,还可以改变资料表达方式。每一种变化检验不同依赖,应当分别安排,不能一次移除全部条件后把失败全部归给学习者。

例如,更换平台时若旧平台的材料无法导出,研究中断可能首先说明基础条件被破坏,而不说明个人没有能力。若材料完整可用、任务条件相近,参与者仍只能机械等待原界面的特定按钮,才更有理由怀疑其形成的是界面熟练,而不是可迁移的研究能力。失败归因必须同时检查个人、任务与支撑组织。

延迟观察同样重要。即时任务中的成功,可能依赖刚刚听过的解释。过一段时间重新面对相邻问题,可以帮助辨认某些认识是否获得稳定。间隔多长、是否允许复习、工具如何提供,应根据培养目标设计,而不是挑选最容易使某一组失败的条件。对于正在形成的新能力,合理支持不应被偷偷取消。

研究者还需要观察主动性的变化,但不能把主动性简化为人是否第一个提出问题。系统提出一个反例后,参与者能够追踪它、修改任务、组织新检验,同样可能构成主动参与。相反,要求系统生成几十个问题,再任选一个包装成自己的方向,并不自动产生问题意识。需要观察的是参与者是否对活动的后续走向形成了实质影响。

对这种影响的评估,也不应要求每一次介入都提升成绩。探索中的错误修改可以成为学习条件,只要它随后进入检验和修正。若制度只记录成功干预,参与者会倾向于隐藏真正的试探。研究能力的成长,恰恰可能表现为能够公开承认某次选择造成了损失,并说明下次将怎样改变选择条件。

还有一个常被遗漏的指标,是参与者能否减少不必要的活动。升维不总表现为流程更复杂。有人发现一个看似困难的子任务根本不属于当前问题,从而省去大量计算;有人用更准确的定义排除一组无效争论。这类进展可能降低可见产量,却提高研究的组织质量。仅用产出数量衡量,就会把最有价值的删减当成退步。

因此,可靠的评估应保留一份多维记录,而不是急于形成单一排名。个人掌握、复合表现、跨任务迁移、条件改变后的修正以及资源消耗,都可以呈现不同方向的变化。制度最终怎样作出资格决定,属于需要公开讨论的规范选择,不能藏在一个没有解释权重的总分背后。

三 三种培养安排的可比较试验

现在可以提出一项具体研究方案,但须明确:以下是尚待实施的设计,不是本书已经完成的实验。选择一类有足够基础材料、又允许产生开放变式的数学任务,邀请起点相近且自愿参加的学习者,比较三种培养安排。研究的目标不是证明本书必然正确,而是区分即时产出、个人掌握与新复合能力之间的关系。

第一种安排以已有个人训练方式为主,保留必要的讲授、练习与反馈。第二种安排允许生成式工具直接帮助完成任务,主要追求结果效率,但不故意设计成一个不合理的弱对照。第三种安排围绕明确的封装边界、来源检验、变式任务和问题重构组织互动。三组都应得到合乎伦理的基本教学支持,不能为了制造差异而故意让某组长期遭受已知不利条件。

研究开始之前,需要写明各组实际上获得什么。所谓传统训练可能包含计算器、教材和同伴讨论,所谓直接使用系统也可能包含主动学习,所谓封装升维安排则可能只是多得了教师关注。若这些区别不被记录,最后即使第三组表现更好,也无法知道改进来自理论设计、额外时间还是更好的指导。对照名称本身不提供因果解释。

因此,应尽可能使总学习时间、指导时长、可用资料及计算资源保持可比较,并记录无法等同的部分。若新安排本来需要更多维护成本,这种成本就是实际效果的一部分,不应该被藏起来。可以同时报告在同等时间下的表现,以及达到某个目标所需的总资源,让读者辨认收益是否值得其代价。

分组方式也要与活动单位相匹配。若学生之间会密切交流,逐人随机分组可能造成大量相互影响;按小组分配更能保持安排差异,却需要在分析中考虑同组成员不是相互独立的样本。不能把同一个团队生成的多个答案当成许多独立研究者,从而制造看似精确的结论。具体样本量应由预期效应、组内关系和资源条件事先计算,本书不凭空指定一个具有神奇效力的人数。

评价材料应当预先包含几类任务。第一类检查列明的个人基础目标;第二类在允许工具的条件下解决新的研究任务;第三类改变关键假设,检查迁移与失效辨认;第四类要求在面对反例后重组问题。若只安排第三种训练中反复练过的任务,就不是在检验迁移,而是在奖励训练内容与考试内容的重合。

评分者在可行范围内不应知道材料来自哪一种安排。开放任务的评价需要多个相互独立的判断,并把分歧作为信息保留。可以先给出明确标准,例如问题是否可辨认、证据是否支持结论、条件变化是否被处理,再讨论具体成果。不能以“读起来更像高维思考”作为主要依据,否则本书最需要避免的模糊权威会进入研究本身。

除了成绩,还应记录关键互动过程,但以最少必要信息为原则。研究者可以保留被接受与被否定的主要版本、一次重要的反例以及随后的修改,不必搜集私人生活内容或全部无关对话。参加者应知道什么被记录、谁能看到、是否可以退出。研究方案不能以证明主体性为名,取消参与者对自身材料的选择。

学习收益还可能伴随不同损失。第三组也许更擅长问题重构,却在某个必须即时掌握的基础目标上落后;第二组也许即时产出最大,但延迟迁移较弱;第一组也许局部推演扎实,却不善于组织多个支持机制。此处只是说明可能结果,不是预告实验事实。分析必须完整呈现,而不是挑选一个最有利维度宣布谁胜出。

如果某组退出较多,也不能只比较留下的人。退出可能与负担、挫折、平台门槛或学习安排有关,排除他们可能把方案的真实问题删掉。应区分最初分配的效果与实际持续参与者的表现,并明确缺失信息带来的不确定性。没有测到不等于没有发生,缺少证据也不能被填成支持理论的结果。

关于不确定性,应报告效应的范围、样本局限与不同分析选择的敏感性,而不是只公布是否达到某个统计阈值。一个平均优势可能很小,或者只在某类起点的参与者中出现。即使随机比较支持某个培养方案,也不能立即推出其背后的每个理论概念都被证明。方案有效与解释独有,需要进一步区分。

已有关于生成式助手的教学研究,已经提醒我们即时练习表现与移除工具后的学习结果可能分离。[10] 本书提出的新研究不应回避这项警示,也不能只重复相同测量而忽略实际复合活动。需要增加的问题是:在何种安排下,个人掌握与工具支持的新活动能够相互促进;在何种安排下,两者发生冲突;这种冲突是否可以通过改变训练和封装边界得到修复。

四 怎样让理论真正承担检验风险

一项方案比较还不足以说明升维究竟怎样发生。假设第三种安排表现更好,我们仍需追问关键机制。是来源检查减少了错误,还是变式练习增强了迁移?是参与者获得更多讨论,还是工具使他们能够比较原来无法同时处理的对象?只有把这些可能解释分开,封装理论才能从宏大叙述进入具体研究。

可以通过分阶段比较某些组成部分,但不能把复杂互动想成拆掉一个按钮就保持其余一切不变。有些机制只有组合起来才发挥作用。研究需要记录干预如何改变了活动,而不仅记载某个功能是否开启。一个看似没有效果的组件,可能在另一种条件下成为必要支撑;反过来,一个受到赞誉的组件,也可能并非真正原因。

过程证据可以围绕关键转折建立。原有问题在哪里出现矛盾,哪个反馈使参与者改变假设,新的表示怎样让某个反例变得可见,重新组织后哪些活动不再必要。这些证据不必构造完美线性的创造故事。相反,能够保留未解决冲突和反复修改,才更接近研究的实际发生。漂亮回忆录不能替代当时留下的有效线索。

同时,应安排对理论不友好的任务。有些领域缺少可靠验证,工具输出难以快速核对,封装升维安排可能增加风险;有些初学阶段需要建立个人直接掌握的关键辨认,过早委托可能破坏后续能力。这些情况不是需要从样本中剔除的麻烦,而是界定适用范围的核心材料。理论的边界必须由问题决定,不能由宣传需要决定。

评价还应检查封装是否把复杂性转嫁给别人。一个团队获得更快产出,可能依赖另一团队大量无偿清理数据或维护系统。若只观察使用端,便会把转移成本误认成总效率提升。研究可以选择一个明确边界核算成本,但须说明边界以外仍有哪些工作未被计入。文明层面的改进不能仅由某一位使用者感觉轻松来证明。

社会价值也不能被单纯生产力替代。某种安排也许降低成本,却让低资源参与者更难进入;也许提高结果数量,却使个人材料无法迁移。是否接受这种交换,是规范问题。实验能够提供有关后果的证据,不能自动替社会决定何种后果最重要。本书主张扩大层级进入机会,这是需要公开辩护的价值选择,不是一个从统计表中自然长出的结论。

对SDE框架而言,还存在更加严格的检验:它是否提供了传统学习理论、协作研究或模块化设计没有明确揭示的增量?若使用者在不采用SDE术语的情况下,同样能够识别任务边界、组织反馈并产生同等效果,那么我们不能把全部收益都归于新名词。需要说明新增的是哪一种问题识别、过程组织或可预期差异,而非重新命名已经有效的实践。

这不会使理论失去价值。一个统一框架可以帮助原本隔离的研究彼此连接,可以让制度失认的问题进入讨论,也可以改进教学设计的语言。但这些价值应当按其性质说明。解释性整合、可操作工具与独特因果发现,是不同层次的贡献。只有不急于把它们合成最高成就,理论才可能稳固地积累自己的根据。

因此,真正的研究报告应允许写出这样的结论:一种封装安排提高了复合任务表现,但尚未证明个人迁移改善;某项旧训练在特定起点上仍不可替代;某次所谓升维主要来自额外资源;某些封装导致新的依赖。这样的结果不是文明讨论的失败,而是使讨论从立场竞赛转为建设条件的开始。

至此,教育与科研制度的重建获得了一条可执行方向:不把旧形式永远保护起来,也不把新工具直接认作进步,而是让不同组织方式在明确目标下接受相称的比较。标准可以改变,但改变需要理由;新能力可以被承认,但承认需要证据。只有这样,升维才既不是旧资格的俘虏,也不是新宣传的装饰。

评价升维需要同时承认收益与损失,区分方案有效、机制获得支持以及理论具有独特增量。没有这种区分,旧资格可能被新宣传替代,研究仍然无法检验自己。即使一项方案在限定条件下表现良好,社会问题也没有因此结束:谁能获得工具、指导和持续进入的资源?文明拥有的能力与多数人的实际能力仍可能分离。封装升级能否成为普遍的出发条件,而不是另一道门槛,取决于平台与公共组织怎样回应这种分离。