若用于教学的AI同时独自评价学生的创造力与批判力,系统可能偏好自己熟悉的表达方式,或把与训练模板相似的答案评为优秀。本书不预设所有AI评分都无效,而要求评分依据、稳定性和潜在偏向单独检验。主要结局应使用经培训、尽量盲于组别的评审,并通过多任务、多评审和明确评分规则降低单次印象的影响。
评分首先区分内容与呈现。语法、文采、篇幅和术语使用可以作为作品描述,却不能替代概念关系与推论依据。对语言表达困难的学生,可允许口头说明、关系图或简短结构化回答,但各组规则必须一致。若一种测量主要奖励写作速度,研究就不应把它命名为一般思想创造力。
本书建议从三个方面评价思想创造表现:是否提出不只是原有建议改写的新关系;这种关系是否回应任务中的真实困难;是否能够说明其理由、边界或检验方式。评分可以采用零至四级的行为锚定,但它是待验证的研究量表,不是已经建立的”创新智商”量表,更不能直接替代其他既定评价体系。
例如,零级表现可以是只复制既有结论;中间等级可以是合理组合已有解释并说明适用条件;较高等级则需要重构一个关键关系或问题,并展示它改变了后续解释或检验。没有必要把所有维度机械相加。一个极为新奇却与任务无关的回答,不应仅凭新奇性抵消无效;一个正确但完全重复材料的回答,也不应被当作高度原创。
评分者应保留分歧理由,并用独立样本检验量表是否稳定。高分标准不能在看到AI组作品后临时制定。研究还应比较个人内部进步与群体之间的有效差异,区分学习者首次理解的创新和专业领域意义上的原创,避免以过高标准否定学习,也避免以过低标准宣布理论突破。
对具有确定可验证标签的题目,可以计算正确接受率和正确拒绝率,并报告两者平均的平衡准确率。这样可以避免总是接受或总是拒绝的策略在某种题目比例下获得虚高成绩。对于证据不足的材料,另行评价学生是否恰当暂缓,并说明需要补充什么信息。不能把开放判断强行塞入二元真假标签。
判断校准可以要求学生报告对结论成立的置信程度,并在有确定标签的题目上使用概率误差指标。例如Brier分数为预测概率与结果标签之差的平方平均,较低表示该预测集合的概率误差较小。它不是批判力的全部,也不能用于给没有确定结果的价值问题贴上客观分数。其价值在于区分”答对了但完全不会辨认不确定性”与”能够适度表达把握”。
理由质量还应通过证据变化测试。研究者先呈现一个结论,再提供新增证据,观察学生是否在应改判时改判、在无关措辞改变时保持判断。这里评价的不是任何修订都加分,而是修订是否与证据相关。一个不断跟随系统最新语气改变立场的学生,可能修订很多,却没有表现出更好的批判校准。
以下数据完全为教学构造,不是实验结果。某课程中,自愿选择AI练习的四十名学生,前测平均八十二分、后测九十分;未选择者四十名,前测六十分、后测七十二分。AI提供三段解释:第一段认为后测更高证明AI有效;第二段认为两组都提高所以AI教学已经成功;第三段认为高分作品更多证明创造力增长。三段语言可以同样流畅,但共享了未经证明的归属前提。
学生的任务不是机械选出其中一个,而是指出材料不能支持哪些结论、还能支持哪些描述、需要怎样补充设计。合格回答应认识到自愿选择带来组间可比性问题,前测水平与进步幅度也不能自动识别因果,既有分数并未直接测量创造与批判。学生也不能仅因AI组进步八分、对照进步十二分,就反向宣布AI造成损害。
随后提供一个平行版本:材料明确随机分组,前测可比,测量针对预定能力,并给出具有足够精度的延迟效应区间。学生应当根据证据增强而适度提高接受程度。这个配对结构防止”永远说不能证明”成为高分模板,要求学习者同时会识别不足与承认相对充分的证据。
创造任务可以进一步要求学生把原问题改写成可检验形式,例如分别比较即时支援、个人保持与换用重组。评分看改写是否产生新的可观察后果,不看新题目是否宏大。一个简洁而能够决定下一步研究的题目,可以比一段抽象的文明宣言更具有任务价值。
给出猜想:“对所有非负整数n,n²+n+41都是素数。”材料展示n取零至五时的六个正例,并附上一段声称由此完成归纳证明的AI论证。学生可以使用计算器,不必手工完成大量运算。他需要判断有限正例是否足以支持全称结论,并寻找能够区分猜想与事实的检验。
n=40时表达式为1681,即41²,构成反例。更进一步,学生可以注意到当n满足特定模41的关系时,表达式能够被41整除,从而把一个孤立反例发展为结构性解释。这个例子显示,关键展开并不要求重走每一个数值步骤,却要求知道为什么一个反例能够否定原全称命题。
与之配对的有效论证是”任意整数n,n²+n为偶数”,理由在于相邻整数中必有一个偶数。学生应当接受这个证明,而不是因为它同样来自AI就质疑到底。两个任务共同测量终点判断所依靠的理由,而不奖励单一怀疑习惯。创造部分则可要求提出一个经修正、有检验价值的新问题,并说明它与原问题的差别。
在开放探究任务中,可以让学生比较三种解释课堂参与下降的模型:材料难度、任务意义和同伴互动。材料随后提供一种改变,例如参与量下降但独立提问质量上升。学生需要判断原指标是否仍足以表达教育目标,而不是立刻宣布所有模型无效。重新定义目的地必须说明旧判准漏掉了什么,新判准又带来什么代价。
这类任务没有唯一的最佳方案,因此评审应依据理由、约束响应与可检验性,而不是是否提出教师预想的第四种模型。保留原目标也可以得到高评价,前提是学生能够回应新证据。真正要避免的是两种表面创造:为了显得独立而无条件改题,以及为了显得稳健而无条件维持原题。
每次任务只记录少量关键选择:学生最初如何判断,哪一条证据触发变化,保留了什么,下一次准备先检查什么。不要求逐秒报告内在思考,也不把冗长的自我解释当作诚实程度。记录的功能是为后续迁移提供可核查连接,而不是制造另一份可以被AI代写的反思作业。
所谓撤用保持率若定义为训练组撤用后表现与同一时点对照表现之比,它就不是”这个人保留了百分之多少能力”。比值还会受到计分原点影响:同样的组间差,给所有分数加上常数后,比值就会改变。因此主分析宜采用基线调整差异、效应量与置信区间,比率至多作为清楚注明定义的辅助描述,不能成为能力归属的唯一依据。
量表在进入正式研究前,还应检验评分一致性、平行题可比性、对语言风格的敏感程度,以及在不同学科背景中的解释是否稳定。如果评分者无法区分重复和有效重构,或所谓高阶指标只是既有成绩的另一种表达,就应先修订测量。没有可靠观测,精密的统计模型也无法使能力增长从成品中自动显现。
实验结果尚未产生,因此下面讨论的是解释规则,而不是对未来数据的预测。第一种可能是,常规AI组只在当次作品上优于常规无AI组,在延迟判断与迁移任务上没有达到预定的有意义增益。若估计足够精确,这一结果支持”表现增益尚未转化为所测个人能力增益”;若估计不精确,则只能承认证据不足,不能把模糊结果包装成成功证伪。
第二种可能是,专门训练在有无AI时都有效,而两者之间没有足以具有教育意义的额外差异。此时,改善更适合归于所实施的训练,而不能独占性地归于AI。AI仍可能节省教师时间或扩大获得反馈的机会,但这些需要另外测量。某项技术在能力增益上不优于对照,并不等于它在一切教育目标上没有价值。
第三种可能是,AI与专门训练结合,在新任务和延迟测量中持续优于同样接受训练但没有AI的群体。这将支持该处理条件下的额外学习效应。本书必须接受这一结果,并进一步查明效果来自何种反馈、材料和互动安排。如果坚持把任何正向结果都重新命名为”工具效应”,就会让理论失去被反驳的可能,背离本书要求的对称检验。
第四种可能是,当次表现改善但延迟表现较差,或者某些学生改善而另一些学生受损。这时需要区分平均效应、效应分布与事先设定的异质性分析。不能从一个平均值推出每个人的命运,也不能事后不断切分小组直到发现符合立场的结果。学生既有知识、任务难度与使用方式都可以作为竞争性解释,但不能在缺少证据时被当作已经证实的原因。
这一反对意见有合理部分。教育不应要求一个人脱离所有工具重复文明已经积累的能力,也不应把独立完成全部步骤设为唯一的思想标准。本书的回应是,系统表现与个人学习回答不同问题。如果课程目标只是完成一个集体项目,系统层面的评价可以占据主要位置;如果同时声称学生学会了判断、创造与迁移,就需要补充相应证据。
所谓个人评价也不是把学生从语言、知识和社会关系中抽离。它是对资源条件作出有限约束,以便检验训练是否改变了这个人在新互动中的作用。换用条件尤其重要:学生可以携带自己的记录、调用允许的资源,但不能只依赖原系统恰好预先保存的答案。由此检验的是重新组织能力,而不是一种没有任何外部支撑的纯粹心灵。
如果一个技术系统在某类封闭任务中达到可接受的可靠性,教育确实可以减少重复性检查,把时间转向其他目标。本书没有把永不信任技术作为前提。但可靠性必须针对任务范围说明:正确计算、正确解释与值得追求,是不同问题。即使条件推理完全可靠,输入条件是否适合当前问题、评价目标是否代表有关人的需要,仍不能仅由计算正确性决定。
这里也不应浪漫化人的判断。人可能误判目的,AI也可能帮助发现被忽略的约束。教育的任务不是赋予人一个永远正确的地位,而是让共同判断具有可以申明、检验和修订的理由。倘若未来系统使某些现有测量失去区分力,应更新任务与判准,而不能为了维持人的特殊性而不断移动成功标准。
即使学生学会了关键展开、问题回写与工具换用,也不能立刻宣布SDE解释获得独占性支持。额外练习、及时反馈、知识增长、任务熟悉和教师期待,都可能解释观察到的改善。因此,研究需要比较具有相近练习量和反馈质量的条件,并事先说明SDE提出的结构性分析究竟增加了哪些可以区别的预测。
若所谓回写训练与普通的反馈后再练习在过程和结果上均无可辨别差异,就不宜为了新术语而声称发现了新机制。相反,如果相同信息和练习量下,对关键判断条件的重构能够更好地预测陌生任务中的调整,才值得进一步开展有针对性的机制实验。理论价值不在于把所有结果重新命名,而在于使原来难以区分的情形变得可区分。