本章全部是预注册体:设计写在前面,预测写死,跑完之后不许改。跑没跑过,如实写——本书的这三个实验,一个都没有跑。
预注册的意思是:实验开始之前,把设计、读数、预测、作废条件一次写清并固定下来。跑完之后若结果不合预期,改的是命题,不是预测。这是本书对自己最硬的一条约束,因为一本讲发生的书最容易的作弊方式,就是跑完之后重新解释自己原来想说什么。
三个实验,各查一件事:甲查大众化的机制(复合体与签收),乙查课堂的典范(剧场与讲堂),丙查承重命题(材料与主体同质)。
设计。 二乘二。
第一个因子是谁做:一臂是 AI 独做后交给人签收——模型独自出一件作品,人读完、签名;另一臂是人—AI 复合做——人先交出自己的一端(他的处境、他的问题、他从自己领域带来的材料),模型再供另两端。
第二个因子是有没有闸门:一臂做完直接算数;另一臂做完过一遍四道检查,只有过了出界检查的才算数。
招 N 个从未受过理念训练的人,M 周,每周做一件;另招一组受过训练的人——学过哲学或数学的——不用 AI 做对照。所有人测 τ、ω、α、g,另记双占率。
写死的预测。
P1 复合做的 τ 显著高于签收的 τ,且差距不小于两倍。理由:签收没有过界的动作,τ 应当趋零。
P2 有闸门的组 ω 和 g 更高,产量更低。闸门筛掉的是签收和逆纹,留下的作品回写更深、材料更干净,但件数少。
P3 AI 独做的作品,α 与 τ 绑定:没有传导的作品几乎没有回访。人不会被自己没认领的东西拉回去。
P4 复合做的作品里,ω 与 g 正相关——材料被尊重的作品回写更深。这是第九章承重命题的可检验后果。
P5 从未受过训练的人用 AI 做,τ 与受过训练的人不用 AI 做相当。这是大众化命题的直接检验:缝纫机进了家门之后,母亲做的衣服和裁缝做的一样能穿。
P6 E 密的人(处境具体、关系多、有非做不可的理由)做出的作品,τ 与 ω 高于 E 薄的人。这是第六章"E 是乘数"的检验。
设计。 同一门课,同一位教师,同一学期,三个班随机分。
讲堂班:照旧,讲授加两千字作业。
剧场班:照第二十七章的分镜。
无舞伴班:剧场分镜,但去掉对话者,学生只与同学撞。
三班期末考同一份第五段试卷:交出一件你本学期做的作品。另各测下场率 τ_c、ω、α、g、χ,以及剧场占比(非讲授时间的比例)。
写死的预测。
Q1 剧场班 τ_c 显著高于讲堂班;讲堂班定义上没有出题这一段,故比的是第五段试卷上能交出"一件自己的作品"的比例,剧场班不低于两倍。
Q2 剧场班 ω 高于讲堂班,且差距集中在题主——群碰里被打过的那句"因为"的主人,ω 高于同桌其他人。作品回写做它的人,比回写看它的人深。
Q3 无舞伴班 χ 显著低于剧场班;同学之间同维重复多于换维。这一条查的是第十五章的舞伴命题。
Q4 剧场班的 g 与 ω 正相关。
Q5 第五段试卷成绩与 τ_c 正相关,与前四段的默写成绩不相关或负相关。会背的人不一定下过场。
设计。 同一批人,各做三件作品:一件理念作品(塑一个概念或做一次撞),一件造物作品(做一道新菜的实物、做一件小木器),一件生活作品(养一个新习惯)。三件作品的顺序在人之间随机,避免次序效应。
测三件各自的回写率 ω,以及回写的时距——从作品做成到本人别处的想法出现改动,隔了多久。
写死的预测。
R1 理念作品的 ω 高于另两件,且高得明显。
R2 三者的回写时距分三级:理念作品当场到一周,生活作品以月计,造物作品以年计。第九章第十一节立的三个等级。
R3 逆纹的理念作品(借来的材料条件明确未满足)同样发生回写,其 ω 不低于顺纹作品——这是第九章第十二节的推论,也是本书最不愿看到但必须承认的一条:坏作品也直接写进做它的人。
甲实验若 P1 不成立——签收与复合做的 τ 无差别——第四章、第六章、第十二章撤回:人的传导不是必要的,AI 独写的东西也能过界。
甲实验若 P5 不成立——没训练的人用 AI 远不如受训的人不用 AI——大众化命题作废,第三章、第六章撤回,本书退回"理念艺术仍是专利"。
乙实验若 Q1 不成立——讲堂班与剧场班在第五段试卷上无差别——下场命题作废,第二十七、三十章撤回,剧场退回"一种更热闹的讲堂"。
乙实验若 Q3 不成立——无舞伴班与剧场班的 χ 无差别——舞伴命题作废,第十五章第三节撤回:稀缺的从来不是舞伴,是别的什么。
丙实验若 R1 不成立——三门艺术的 ω 无差别——第九章的承重墙塌,本书退回"理念艺术是一种艺术",第三十二章至三十六章的经济学推论一并撤回。
五条对着本书的五处承重。第三十九章把它们和其余作废条件汇成一张表。
预注册要诚实,难处也要写。
样本:三个实验都需要几十到上百人,M 周到一学期。乙实验最容易做——一位老师一学期就能跑,第三十一章给了路线;甲实验要一个有包房的地方;丙实验最难,因为造物作品和生活作品的完成时间差别很大。
盲:三个实验都很难对参与者设盲——他们知道自己在哪一臂。能做到的是对量的人设盲:读概念草图、判纹理、评作品的人,不知道这一件来自哪一臂。本书建议至少做到这一层。
窗口:τ 和 α 都依赖窗口,窗口太短会把慢的人误判为没出界。零结果纪律在这里是硬约束:读零先查窗口。
量具本身未验:ω 的概念草图法、χ 的换维判定,都还没有信度检验。两个不同的人读同一段录像,换维的判定一致不一致?这件事本身要先做一次小实验。本书如实写明:量具未验,读数的绝对值不可比,只可在同一实验内比较。
若只能做一个,做乙。
理由三条。它最便宜——一位老师、一学期、三个班,不需要新建任何东西。它查的是本书最容易被证伪的一处——剧场典范是全书唯一一个有现成对照物(讲堂)的主张。它的结果最有用——无论正反,一位老师都会知道自己那堂课一周后留下了什么。
第三十一章第十节给了比乙实验更小的一步:一位老师这学期挑一堂课,只改最后十五分钟,做传导,一周后抽查五个人。那不是实验,是一次探路;探路的结果能决定值不值得做乙。
本章最后重申一条,因为它管着上面所有的预测。
统计上没有发现,只能说明还没有发生,不能说明将来不会发生。上面任何一条读零,先查三件事:窗口够不够长(传导是慢的,一道菜可能三个月后才做);样本够不够(稀疏事件在小样本上常常读零);量具灵不灵(ω 和 χ 的量法还没验)。三件都排除之后,才谈作废。
零结果有三种来源:没有发生,还没发生,没量到。只有第一种才作废本书。把这三种混成一种,是实证里最常见的错,也是本书最不愿犯的错——因为本书讲的正是"发生",而发生是慢的。
三个实验都大,都要几十上百人。但有四件小验,一个人一个月就能做,而且各自查本书的一处承重。
回写的小验:自己做一件概念作品,做之前画一张自己常用的二十个概念的草图,做完一周后再画一张。两张差多少?做一件造物作品(一道新菜、一件小木器)重复一次。两次的差异若差不多,第九章的承重墙对这个人就不成立。一个人做一次,说明不了什么;十个人各做一次,就是一份有意思的数据。
回访的小验:做完一件作品,把它放在一个自己不会天天看见的地方,一个月不提醒自己。到期看:这一个月里有没有主动想起过它、回去改过它。这一验只需要一个人和一个月。
供材的小验:同一个题,分两次撞。第一次让机器给"最相关"的材料,第二次让它给三样你从没听说过的领域的材料。两次撞出来的东西,哪一次是你自己也说不出的?这一验查的是第二十三章的供材规矩。
两格的小验:做十件作品,其中五件自己手写认领与改做法,五件让机器先给三个候选自己挑一个。一周后查:哪一组做到了。这一验查的是第二十三章的硬闸,而且是本书最容易做、也最容易推翻本书的一验。
四件小验的价值在于:它们把"要不要相信这本书"这个问题,从读者对作者的信任,换成了读者对自己一个月数据的信任。
预注册的最后一件事,是先说清结果出来之后怎么处理,否则"跑完再说"会变成"跑完再解释"。
结果与预测一致:记录下来,写清楚样本、窗口、量法,不夸大——一次一致不证明命题成立,只说明它这一次没有被推翻。
结果与预测不一致:按第三十九章的表撤回相应章节,在作品页的勘误栏里写明依哪一条撤回。撤回的章节不删,标注撤回理由。
结果不清楚(差异不显著但方向对,或者量具本身出了问题):记为未检验,不记为支持也不记为推翻。这一类最多,也最容易被写成"初步支持"——本书不许自己这样写。
三种处理都要在同一处公开:一份实验只公开一半的记录,比不公开更坏。
承重句 三个预注册实验各查一件事:甲查复合体与签收(六条预测)、乙查课堂典范(五条预测)、丙查材料与主体同质(三条预测);五处承重各有对应的推翻路径;若只能做一个,做乙——最便宜、最容易被证伪、结果最有用。
分离线 相对以案例与体验为证据的教育与创新类主张:他们以成功案例立论,本书以预注册的写死预测立论,并预先写明哪一条不成立就撤回哪一章。可反驳处:若预注册对这类主张并不比案例更能防止事后解释(同样的人在两种体制下改口率相同),预注册的优势作废。
作废条件 本章自身的作废条件是:若三个实验中任何一个在执行时被发现其设计无法区分所要区分的东西(例如甲实验的两臂在实际操作中不可分离),该实验作废,相应命题退回未检验状态,而不是被证实。
留下的一件东西 一条纪律:把预测写在前面。任何一个说法,先问它预先写死过什么,以及什么样的结果会让它撤回。写不出来的,它不是一个可以被检验的说法。