属性纠缠与科研新典范 / 第33章

全书目录PDF 第309页学习包与研生问对
本章目录

第33章 未决问题与创造的条件组织

33.1 未完成并不自动产生创造

设想一个实验出现了异常结果,研究者提出三种解释,却因为没有经费继续检验而把问题搁置。十年后,资料仍在,后来者却不知道缺少什么证据,也不知道新仪器是否改变了研究条件。这个未完成问题没有因此积累认识力量。本章用“未决问题的组织”指称让它能够重新进入研究的关系:保留候选为何尚未裁决,连接已知证据和未尝试路径,并说明什么变化足以启动下一步。这种组织的价值取决于关系是否可用,悬置时间与档案体量均不能充当其量度。

创造也不能简单定义为保留更多可能性。一个系统每轮列出十种互不相关的解释,可能只是扩大了语言空间,却没有增加可检验的差异。研究中的可能性需要与对象、条件和证据相联系。它至少应说明某种解释为什么仍然成立,在哪些观察下会受到支持,又在哪些观察下应当放弃。没有这些约束,多假说只会使任何结果都能被事后解释。

未决问题与模糊回答不同。模糊回答可能回避承诺,让读者无法知道如何检验;未决问题则可以非常精确,例如尚不能区分两个机制,因为现有测量只观察到它们共同预测的结果。清楚表达这种限制,本身就是认识进展。它指出知识的边界在哪里,并把下一步实验从一般搜集资料转为针对性的区分。

创造的发生也不必总由异常触发。新的仪器、概念、材料或社会需要,可能使过去没有意义的问题变得可问。一个被保存的旧分歧,可以因新的测量方法而重新获得辨别力;一种原本只在局部有效的技术,可以与另一领域的问题发生联系。未决状态的价值因此是关系性的:它取决于问题与可用路径之间的组织,而不在问题自身拥有某种神秘能量。

若把尚未实现的研究可能比作“势能”,其含义限于问题与可用行动之间的准备关系,并非物理能量。准备程度可以分别考察:候选机制是否已分清,关键资料是否可取得,重新开启的触发条件是否明确,以及拟议检验能否改变当前判断。这些维度未必同步。一条路线可能理论上区分鲜明却缺少材料,另一条路线材料齐全却尚无有辨别力的操作;两者需要不同补充,不能由一个假说总数或创新总分代表。

SDE框架在此关注的是,新显露如何打破已有区分,新的差异路径如何改变特征纠缠,以及这种改变如何使原来不可见的问题出现。创造不是凭空增加一个答案,而可能是重组何者算作证据、何者能够比较以及何种差异值得保留。这样的重组仍需接受事实约束,不能因为具有原创性便免于正确性和用途的检验。

33.2 多假说保留的最小结构

构造一个科研数据处理争议:同一批材料测试曲线经同名流程处理,两位成员却得到不同的分组。原始记录尚未齐全,团队暂时保留预处理版本不同、一方沿用了旧任务的分组阈值、边界曲线的数值扰动三项解释。这是本章用于分析未决问题组织的设想,不是经验报告。候选登记首先要说明各解释涉及哪个处理节点、依赖哪些未核对材料,以及哪些变化会改变其地位。只有解释名称的列表,无法告诉接手者为什么尚未裁决。

预处理版本解释指向中间数据和变换记录,阈值继承解释指向运行配置,数值扰动解释指向结果对小变化的敏感性。三项可能共同起作用,也可能只是两位成员在描述同一缺失环节。档案需要把共享前提列出:他们是否真的使用同一原始材料,“同名流程”是否对应同一版本。只有这些身份先得到核对,后来的证据才有明确落点。保留多项解释的目的,是把尚未完成的核查分开,使新材料能更新相应候选。

每个假说需要一个稳定但可修订的身份。身份可以由核心机制、适用条件和关键预测界定,而非只由一句简短标题确定。若新证据迫使假说修改,应记录修改发生在哪里。否则一个解释可以不断改变细节以适配任何结果,却仍保留原名称,造成它似乎一直正确的错觉。修订是研究的正常部分,但修订本身应成为历史中的事件。

假说还需要证据状态。直接观察、间接支持、与预测一致以及尚无反证,不能写成同一种“已证实”。尤其是没有发现某种差异,可能来自样本不足或测量不敏感,不必然表示机制不存在。系统应保留研究能区分多大差异的能力范围。未决状态并非认识失败,有时正是对现有辨别力的准确描述。

不同假说之间的联系也值得记录。有的共享一个测量假设,有的依赖同一来源,有的只是同一机制的不同表述。若不识别这些依赖,系统可能把五个相互转述的观点当作五份独立支持。多假说管理应减少这种虚假的丰富性,使真正不同的预测获得位置。保留的是有认识差异的路线,而非语言上看似多样的说法。

最终,一个未决问题应指向可行动的缺口:需要哪种新证据、能否获得、代价如何,以及暂时无法获得时应怎样限制结论。这样的组织让悬置具有方向。研究者可以明确说,当前应继续使用一个较保守的工作模型,同时保留两个机制解释等待后续检验。行动上的暂时选择与理论上的最终裁决可以分开,不必为了继续工作而假装争议已经消失。

还应避免把互不相容的前提同时当作成立。保留多个解释,是保留它们作为候选的资格,不是断言它们都真。系统可以在不同假说下分别推导预测,再比较哪些结论对所有候选都稳健,哪些依赖特定前提。这种条件化推理能够支持暂时行动:即使原因尚未完全确定,也可能找到在多种机制下都值得执行的低成本检查。它使未决状态不必导致研究停顿,同时避免过早选择一个未经充分支持的故事。

33.3 搜索分支与科学假说的区别

语言模型可以在一次任务中展开多个候选推理分支。Tree of Thoughts研究通过探索和评价中间文本状态,组织候选路径的搜索。[68] 这为科研候选生成提供了可借鉴的工程部件。把一个分支提升为持续维护的假说,还需要额外工作:确定外部对象、绑定证据来源、保存尚未裁决的原因,并在新材料到达时更新其地位。一次推断中的搜索选择与跨轮证据维护承担不同任务,二者的接合比候选数量本身更值得研究。

在一个拼图任务中,分支可以通过明确规则判断是否可行;在科学问题中,假说的价值往往取决于尚未获得的数据。一个当前看似较弱的解释,可能因为能预测新现象而值得保留;一个在已有资料上拟合良好的解释,也可能缺少独立检验。若直接把语言模型自己的评分当作假说的证据,就把生成与验证合并在同一个判断来源中。

因此,科研系统可以使用分支搜索来产生候选,却需要在外部证据层面重新组织候选。每条路线应区分推导是否有效、事实前提是否可靠和经验预测是否得到支持。模型能够检查逻辑一致性,但现实前提仍可能错误;检索能够找到支持文字,但文字可能只是在重复未检验的猜想。科学假说的维护需要这些不同证明责任彼此连接。

跨轮维护还要求容纳暂时不活跃的路线。一次搜索通常在预算用尽后选择结果,其余分支可能被丢弃;科学研究则可能因仪器限制暂时搁置某个解释,几年后重新进入。这里需要保存的是重新进入所需的信息,而非全部搜索轨迹。核心矛盾、关键预测和中止原因,比每一次语言生成更有价值。选择性历史能够支持长期研究,也避免记录量淹没问题。

多模型讨论同样不自动带来独立性。若多个模型共享相似训练资料、检索同一批来源并采用相同评价标准,它们的共识可能来自共同偏差。增加发言者数量与增加独立证据不同。真正有用的分工可以让不同角色承担不同检验,例如一方检查来源,一方寻找反例,一方分析测量假设;但这些角色仍需以材料和方法上的差异支撑,而不是仅改变语气。

分支结束时,可以追问哪些内容值得跨轮留下。用于措辞比较的临时分支,在答案确定后通常可以压缩;因缺少运行配置而无法裁决的机制分支,则应保留缺口及其关联材料。两者都含有显露、路径和特征之间的组织,差别在于它们是否仍能改变后续研究。由此,六路径提供的不同进入次序应落实为重新进入的线索,三原理所追踪的张力则落实为候选状态的更新理由。档案保存的单位是尚有认识作用的关系。

33.4 新问题怎样从旧矛盾中出现

创新有时发生在发现原问题遗漏了自己的目标。数据处理争议最初询问哪个分组结果正确,核对后却发现两位成员分别希望识别材料来源与比较使用性能。同一条曲线可能在前一用途下应归为一类,在后一用途下应被分开。问题由“找到唯一正确分组”改成“哪些特征足以支持哪一种比较”。原有曲线和计算没有被取消,改变的是共同对象及分组理由。保留早期争议的用途记录,使这次改写能说明自己来自何处,也让后续研究知道仍有哪些技术错误尚待排除。

这种改写可以从S与D的张力进入。一个结果在不同路径下反复变化,而原模型只允许固定结果,研究者便需要检查结果定义与路径的关系。也可以从D与E的张力进入:已有分类无法支持新的实验区分,迫使研究者提出新的显露方式。还可以从S与E的张力进入:某个稳定观察与已有关系结构不相容,促使新的差异序列被设计出来。三种追问都需要具体材料,不是任何矛盾都自动对应深层创新。

重要的是保留改写前后的联系。新问题若完全遗忘旧问题,就难以说明它解决了什么困难;若只换术语而保持全部操作不变,也未必构成实质推进。研究者应指出哪些旧结果仍被接受,哪些关系被重新解释,以及新框架增加了什么可检验承诺。这样的比较让创新能够被讨论,而不是依赖读者对新语言的直觉偏好。

人工智能可以参与问题改写,尤其在跨资料比较、发现定义差异和生成替代测量上提供帮助。但模型的流畅性可能使改写显得比实际更深刻。评价不能只看新问题是否新颖,还应问它是否有清楚对象、是否能获得相关证据、是否区分了真正不同的解释,以及解决它会改变何种认识或实践。一个优美但无法承受任何结果的问题,尚未成为成熟的科研问题。

人也可能因为长期训练而固守熟悉问题,机器则可能因为缺少领域约束而提出不可行建议。二者的差异可以成为协作资源:人指出材料与概念的限制,系统不断追问这些限制中哪些是现实必需、哪些只是惯例。但这种协作需要尊重专业证据,不能把违反常识本身当作创造。真正的突破常常既改变一部分约束,又更严格地承担另一部分约束。

新问题出现后,还需要一个稳定阶段。概念必须被解释,测量必须被组织,竞争假说必须被展开。若系统始终追求下一次改写,就无法积累证据。创造与稳定因此是同一过程中的不同任务:前者打开新的区别,后者使区别能够被他人识别和检验。发生学的雄心应包括这种成熟工作,而不只赞美最初的灵感。

问题改写还可能来自测量之外的参与者。实验使用者、被研究群体或设备维护者,可能指出研究团队没有记录的条件。这些意见不因来自非专家便自动错误,也不因贴近实践便自动正确。需要将其转化为可讨论的具体差异:哪项操作发生变化,谁在何种条件下看到何种结果,现有设计是否允许该结果进入。创造性的开放包括对证据来源的开放,但仍要求清楚说明材料怎样支持主张。

33.5 为保留与裁决配置资源

每条未决路线都需要维护成本。它占用注意、检索、实验机会和团队讨论时间。保留全部假说既不可行,也可能妨碍重要问题推进。因此需要一种有理由的资源配置:哪些路线继续活跃,哪些暂时归档,哪些已经有充分理由关闭。这里不存在一个适用于所有领域的统一阈值,选择取决于错误代价、证据获取成本及问题的重要性。

可以把下一步行动的价值理解为它预期能够改变多少与决策相关的不确定性,同时考虑成本和潜在损害。这是一项分析原则,不是已经得到验证的通用评分公式。某个便宜实验若能区分两种关键机制,可能比大量重复已有结果更值得做;某个昂贵实验即使信息丰富,也可能因为当前用途有限而应被推迟。研究资源的配置需要把认识收益与现实约束一起说明。

还要区分关闭假说与停止投入。一个解释可能尚未被推翻,但因为缺少可行检验而暂时不再投入;另一个解释可能已经与可靠证据冲突,应明确降低其地位。二者若都写成“放弃”,未来研究者便无法知道是证据裁决还是资源限制。归档理由保留了重新开启的条件,也防止历史被整理成只有胜者和错误者的简单叙事。

持续保留少量异议路线,可以防止主流解释过早垄断资源,但异议也应承担最低证据责任。不能仅凭它不同于多数就获得无限支持。较合理的要求是指出具体未解现象、可检验差异或现有解释的限制。这样既为新方向留下空间,又不把全部争议都等价处理。开放研究需要可进入的标准,也需要可退出的理由。

资源配置还影响系统如何表现创造性。如果奖励更多假说,系统可能生成大量低价值分支;如果奖励快速完成,它可能过早收束;如果奖励被专家认可,它可能趋向熟悉理论。评价制度应同时检查候选的差异性、后续可检验性和实际证据贡献,并保留对失败探索的合理记录。没有一种单一分数能够完全代表创造,指标只能辅助具体判断。

在团队中,路线维护需要负责者和复查触发点。上述版本解释可以等待原始配置取得,目标差异问题则可等待新的用途说明;二者不必按相同周期进入会议。触发条件满足后,也应先核查问题是否仍重要,再恢复投入,以免任何新材料都使旧路线重新活跃。若负责人离开,应交接候选状态与缺口;无法交接时可以降低维护级别,明确可能遗漏的后果。这种有结构的等待使长期问题不依赖持续占用注意,也让保留成本可见。

33.6 反例如何成为创造的材料

反例的第一项功能是限制主张,而不是装饰论证。若一个系统声称结构化记忆总能改善科研,某些任务中的负迁移就必须使主张收缩。收缩并不等于理论失败到一无所有;它可能揭示记忆只有在任务关系稳定、检索准确或更新规则适当时才有效。反例把原来过宽的命题转化为有条件的机制问题,这本身可以产生新的研究方向。

但反例也不能被无限吸收为“复杂性”。如果每次不符合预测都被解释为尚未识别的纠缠,理论便不会承担风险。需要事先说明哪些结果会削弱特定机制,哪些条件变化属于模型已经允许的范围。对于SDE研究,尤其应防止将全部现象重新描述为三个字母便宣称解释成功。创造需要新的区分,解释则需要证明这些区分产生了可检验增量。

在数据处理设想中,若运行配置证明双方采用相同的当前阈值,而非一方沿用旧阈值,该项解释就失去支持;它不应继续以“其他历史影响”改名留在原地。若核对版本后仍有差异,版本解释受到限制,尚存的数值敏感性也没有因此自动成为答案。每次更新应记下被排除的是哪一前提、哪些问题仍然开放,以及新增材料是否足以让某条路线停止投入。反例的作用表现为候选资格发生可追踪的变化。

若进一步发现两次分组服务于不同用途,原来的结果冲突便需要分流:一部分属于计算路径是否一致,另一部分属于何种相似性值得保留。系统应建立相互关联的两个问题,分别迁移仍然适用的证据。直接把旧条目判为已解决,会丢失尚未核查的处理误差;把它原封不动保留,又会让后来者继续寻找并不存在的唯一分组。对象修订要求重组证据的归属,使旧争议的一部分结束,另一部分以更精确的问题继续。

人工智能可以帮助系统搜寻反例、检查术语变化和追踪来源,但也可能生成不存在的反例或错读限制条件。反例管理因此应像正面证据一样要求来源核对。虚构反例可以用于逻辑测试,却必须明确标注;真实经验反例需要可检验材料。将二者混合,会让研究在貌似严谨的对抗中失去事实基础。

一旦反例得到确认,系统应更新相关结论和后续行动,而不只是把它存入“局限性”栏目。若反例影响核心预测,就应调整研究设计;若只限定适用范围,就应在传播结果时明确范围。创造性的反例处理,是让失败真正改变知识组织。它既需要愿意承认错误,也需要保留足够结构,使错误能够指向下一项有意义的工作。

反例的保存还需要防止选择性遗忘。研究者可能详细记录支持新框架的异常,却把不利于新框架的稳定结果视为普通情况而略去。如果本书主张某种回写结构重要,那么没有回写或回写不影响结果的情形同样有研究价值。它们帮助确定机制何时可以忽略,也为较简单模型保留合理领域。创造性研究并不要求每次都发现复杂关系,而要求根据证据决定何种复杂性值得承担。

33.7 美的判断与可交流的可能性

研究者有时会说一个解释很美,一个问题有潜力,或一条路线值得继续。这类判断可能先于完整证据,却不应被简单视为非理性。它们可以表达对简洁、统一、生成力或问题空间的初步把握。但这些词同时也容易掩盖偏好。若“美”成为拒绝检验的理由,它便失去科研价值;若完全排除这种预先判断,研究又难以在证据尚不充分时分配探索资源。

本书把美作为某种可能性组织的解释对应,而非物理属性与伦理价值之间的等式。在AI研究中,更适合追问一个候选为何被认为有潜力:它是否用较少假设连接原来分散的现象,是否产生新的可检验预测,是否揭示现有问题的共同限制。把这些理由说清,可以让直觉进入共同讨论,同时允许它在经验面前被修订。

一个解释的简洁也可能来自遗漏。若模型删去了难以处理的群体差异,形式上会更整齐,却可能降低实际解释力。统一性同样需要代价核算:把不同领域的问题都称为不收敛,可能启发比较,也可能抹去统计、动力学和测量层面的根本差异。美的判断应与保存了哪些重要区别相联系,而非只追求语言和形式的整齐。

人工智能可以生成多种表述,帮助研究者看到同一问题的不同结构,但这也增加了被修辞吸引的风险。评价候选概念时,可以暂时移除漂亮名称,只保留定义、预测与例子,检查它是否仍然具有区分力。也可以要求用一个反例说明适用边界,用一项可执行研究说明潜在贡献。若去掉修辞后没有剩余内容,就应降低对其创造性的评价。

不同研究传统可能对值得追求的可能性有不同判断。数学结构的统一、实验现象的丰富和社会问题的迫切性,都可能构成合理理由。它们不一定能够换算成同一尺度。人机系统应帮助显露这些评价依据,而不是假装一个自动评分可以完成全部取舍。能够比较理由的结构,比一个神秘的“创新分数”更适合组织跨学科合作。

因此,美的研究价值可以保持为一种可交流、可受约束的先导判断。它允许在结论尚未确定时选择值得投入的路线,却必须接受后续证据与成本的检验。未决空间的质量,不在于它永远不被确定,而在于它能够孕育有根据的新确定,同时保留那些尚未得到充分裁决的差异。

对潜力的判断还应允许事后学习。某条被认为优美的路线后来没有产生可检验证据,可以反过来检查最初判断依赖什么:是过分看重形式统一,忽略了测量难度,还是低估了现实成本。这种复查不应以最后成败机械否定最初选择,因为合理探索也会失败;它应比较当时可得信息与实际判断。长期积累这样的记录,能够使团队逐渐改善对值得探索之事的辨别,而不把创造完全交给不可交流的天赋。

33.8 从问题档案到创造性研究制度

为了让上述分析进入实践,可以设想一种问题档案。每个条目记录当前问题、竞争解释、关键证据、已尝试路径、中止理由和重新开启条件。它不要求统一所有学科的内容,而要求说明问题为何仍值得保留。档案的单位是能够继续推进的认识缺口,不是论文标题或聊天片段。这样,过去的探索可以成为后来研究者真正可用的起点。

问题档案不应成为新的行政负担。若填写成本高于研究收益,研究者会用模板化语言应付。较好的做法是在重要决策节点留下简短而具体的记录,并由系统帮助连接已有材料。自动摘要可以降低成本,但关键解释仍需核对。尤其是中止原因与证据状态,不能由模型根据最终结果事后猜测。档案应保存真实的不确定性,而非制造一条看似合理的成功叙事。

组织层面可以定期从档案中选择少量问题,检视是否因新工具或新资料而获得推进机会。选择应兼顾重要性、可行性与路线多样性,并公开为什么暂时不投入其他问题。这样的制度让未完成工作得到有限而真实的延续,避免研究价值只由是否已经形成完整成果决定。但它也必须允许清理:长期缺少可说明内容的条目可以关闭,并保留简要理由。

对于AI系统,问题档案可以成为与普通记忆库不同的研究对象。普通记忆偏向回答“过去发生了什么”,问题档案还要回答“未来什么变化会重要”。检索因此可以由新证据触发:当某项技术出现,系统查找此前因相同限制而中止的路线;当某个结果被推翻,系统查找依赖它的未决解释。这样的连接若能改善真实研究表现,才构成关于创造条件的工程证据。

这项设想尚待第35章的对照研究检验。其独立贡献应体现在两类损失减少:新条件已满足却没有重开有价值路线,以及条件未改变却反复投入已经无望的路线。普通资料检索和标准任务清单同样可以保存历史,应作为实质比较对象。评估需记录问题维护是否改变了后续选择,并把填写、核对与误触发的成本计入。如果档案只是更完整地重述既有判断,却没有改善这些选择,就应压缩结构,保留确有用途的字段。

未决问题的组织由此取得一种有限而明确的创造作用:它让暂时无法裁决的差异保存身份,在条件变化时获得再次行动的入口,并允许证据使一部分路线真正结束。问题档案的价值需要由这些转换来承担。候选经维护而重新进入研究后,还会遇到另一项责任:新材料究竟支持了哪一个主张,何时足以形成可使用的知识,何时仍应维持未决状态。第34章围绕这种证据地位的转换展开人机判断。

参考资料

按全书首次引用顺序编号。来源说明标明研究的支持范围;进一步解释与研究设计由正文承担论证。

[68] Yao, S.; Yu, D.; Zhao, J.; et al. · 2023 · Tree of Thoughts: Deliberate Problem Solving with Large Language Models

https://arxiv.org/abs/2305.10601

原始论文;支持候选推理分支的探索与评价;不等同跨轮科学假说管理。