SDE · AI越强,人就越弱吗?
第二编

第十章 AI:哪些认知过程正在成为可调用单位?

王德生 著 · 本章正文4,543汉字 · 打开第73页

本章小节

一、不要先把“人工智能”当成一个完整能力

“人工智能可以写作”这句话过于宽大。写作可以指生成一个句子、整理材料、比较论点、建立结构、核对出处、回应读者,也可以指一个人通过表达重新理解自己的经历。某个系统能够承担其中若干过程,并不自动意味着全部过程都已被同样可靠地封装。讨论需要先把活动展开,才能知道实际变化发生在哪里。

同样,“人工智能不会真正思考”也可能把许多不同问题压在一起。它究竟是指某种输出不可靠,还是指系统没有统一主观体验,或者指它不能独立承担某项社会承诺?这些命题需要不同证据。若用一个总标签全部拒绝,就无法辨认哪些功能事实上已经由工具承接,也无法准确指出哪里仍然不足。

本书采用的起点是功能与活动的具体分析。一个过程能够在什么输入、目标与检验条件下被调用,结果进入哪种后续活动,失败怎样显露?这些问题不要求我们先解决全部心灵哲学争论。无论对机器意识持何立场,都仍然需要评价一个资料核对流程是否真实有效。

因此,认知封装不是把“思维”这个整体一次性装进机器。它可以从许多不同颗粒开始,也可以在新的组织中扩大。我们既不预先规定封装必然止于某层,也不把一次演示当作所有层都已实现。研究应当沿着具体过程前进,而不是围绕一个未经分解的词语反复表态。

二、生成一个候选结果,与形成可靠能力之间还有距离

设想一个系统根据几段材料提出三种解释。候选解释的出现,可以对研究有用,因为它们提供了可以比较的路径。但三种解释并不因此都获得了材料支持。候选生成与解释成立是不同过程。若使用者把前者直接当作后者,问题不是工具参与了思考,而是活动中的证据环节没有被承接。

这种区别也适用于计划。一个系统可以提出完整日程,却不知道某些参与者无法按时出现;可以生成研究方案,却没有核实资料是否存在。候选结构可以帮助暴露缺失条件,但不能代替缺失条件本身。输出越完整,越需要知道完整的是表达形式,还是实际实现已经得到支持。

因此,一种有用封装可能只承诺提供可供讨论的候选,而不承诺直接交付正确决策。只要边界清楚,这并不是失败的封装。反而是把有限能力包装成无限承诺,才容易制造错误托付。功能范围的诚实说明,使使用者可以把它放进合适的活动层级。

认知工具的价值也不必全由最终答案衡量。有时它帮助我们发现原问题不清楚,或者让一个隐藏假设暴露出来。这样的作用仍需通过实际互动辨认,不能只看输出的篇幅或肯定语气。工具参与的可以是问题发生,而不只是既定问题的答案生产。

三、问题本身也可以在互动中改变

设想社区工作者最初问的是怎样让活动室报名人数增加。经过比较,他发现真正的问题也许不是宣传不足,而是开放时段与居民生活不匹配。系统的建议、居民的反对与试行结果共同改变了问题。此时,不能把人永远描述为预先给定目标的主体,把机器永远描述为执行既定目标的手段。

目标的改变不一定由某一方独立完成。它可能在材料、提问、反馈与行动之间逐渐发生。承认这一点,可以让我们更准确地分析创造;也需要更认真地检查引导。问题是谁的,不应只由最初输入者决定,还要看哪些经历与约束进入了后续形成。

但目标共同形成不等于任何改变都合理。系统可能把问题引向容易生成答案的方向,组织也可能只接受符合既定指标的目标。若当事人的真实需要在过程中被持续排除,所谓互动就可能只是形式。我们应当检查问题如何改变,而不能仅凭发生过多轮对话就宣称主体充分参与。

由此,人的出路不宜被固定为“保留提问权”。提问能力本身可以变化,也可以获得工具支持。更重要的是影响自身活动的问题能否被理解、讨论与修订,以及相关参与者是否有真实回应空间。主体性不由一句最初的指令永久担保。

四、把外部材料接进生成过程

检索增强生成研究提供了一个具体技术例子:模型的生成可以与外部检索材料结合,而不只依赖模型参数中的信息。[13]这说明某些认知工作能够由不同实现机制共同承担。我们不据此推断所有带检索功能的系统都准确,只把它作为区分生成、材料访问与证据使用的一个入口。

检索到材料,与正确使用材料,仍然是两件事。材料可能不相关,片段可能被误解,也可能存在相互冲突的版本。一个结果附有出处,不等于出处支持了每个重要断言。封装要真正承接核验,便需要让断言与依据之间的关系可被检查,而不只是装饰性地列出若干来源。

这也改变了调用颗粒。使用者可以不逐项执行检索与整理,却需要在合适层级了解材料范围、关键限制及未解决争议。对于低风险草稿,这种检查可以较轻;对于需要公开承担的结论,证据要求会更高。不同用途不应共享一套不加区分的信任标准。

我们可以把成熟方向表述为:让更多内部工作得到可靠承接,同时让重要依据更容易返回。封装与可追查性不必相互对立。一个系统若只能通过遮住来源来显得简单,就没有真正解决知识工作中的复杂性,只是把复杂性转化为使用者无法看见的风险。

五、同一个模型,可以进入完全不同的能力安排

把模型当作全部能力,会忽略它周围的材料、工具、流程与使用条件。设想同样的生成系统,一种安排只让它自由回答,另一种安排为它提供明确材料并设置相应检查。两者可能产生不同结果。差别不一定来自模型本身,而可能来自整个复合组织。

因此,评价某个模型的测试成绩,与评价一项真实工作能否完成,不能互相替代。测试需要明确任务与条件,实际部署还涉及输入变化、执行权限和后续使用。一个模型在某类问题上表现很好,并不证明它已经适合所有相邻任务;一个具体工作流失败,也不能直接证明模型在其他安排中没有价值。

这不是给技术留下无限辩护空间。工作流声称能做什么,就应当在相应条件下接受检验。不能失败时说只是组织问题,成功时又把全部成绩归给模型。相同的分析边界必须同时用于正面与负面评价,才能知道哪里应当改进。

用户也不必因为无法理解模型全部内部机制就完全不能判断。可以通过适当测试、来源检查与可靠支持评价限定功能。只是这些方法能支持多大范围的托付,需要被说明。功能信任与对内部机理的完全理解并不是同一要求,二者在不同问题中各有作用。

六、概率性的输出,也可以形成有边界的稳定

稳定不必意味着每次输出逐字相同。某些活动本来允许多种合适结果,例如为同一材料提出不同结构。我们应当观察的是结果是否持续落在可接受范围,以及不确定性是否得到适当处理。把稳定误解为完全一致,会排除许多有用的开放活动;把开放误解为无需标准,又会取消可靠性。

设想一个流程的任务是生成几种可供讨论的标题。结果不同并不妨碍它有用;若任务是核对一组明确日期,错误与多样性就不能混为一谈。相同模型进入不同任务,稳定性的含义可能不同。评价应当围绕承诺功能,而不是只看输出风格。

稳定还可以由复合机制获得。某个生成环节并非始终正确,但后续检验能识别并阻止不合格结果进入使用,那么整体仍可能在限定范围内可靠。这里的可能性需要实际验证,不能由“有检查步骤”这几个字担保。尤其要观察检查与生成是否共享同样的盲点。

由此,能力封装不是对单个模型完美性的要求,而是对整个功能实现承担的要求。我们不需要等待某个无所不能、永不犯错的系统才允许任何托付,也不能因不存在完美便降低所有任务标准。合适的信任范围需要在具体活动中建立。

七、检验也可以封装,但不能只剩检验的表演

若每次使用人工智能都要求调用者从头独立完成全部任务,许多托付便没有真正发生。检验可以采用不同方式,有些检查比重新完成任务更直接,有些可以由其他工具或专业支持承担。关键不是检查者一定要是孤立自然人,而是证据是否足以支持当前承诺。

例如,核对某项引文是否存在,可以返回原始材料的位置;检查某段程序是否满足明确要求,可以结合测试与其他适当方法。我们不在这里保证这些检查覆盖所有错误,只说明验证不是只有“我亲自重做一遍”一种形式。不同问题需要不同证据结构。

检验一旦成为封装对象,也需要说明边界。一个自动检查可以发现某类格式错误,不代表它能确认论证有效;一个测试集可以覆盖部分条件,不代表所有未来情境都相同。把局部检查包装成总体正确性证明,会使验证本身成为新的误导来源。

因此,成熟封装应当包括对验证作用的准确说明。验证既不能被神化,也不能被无限个人化。它应当在合适层级承担可靠性,使使用者有理由减少重复工作,同时知道什么仍然没有获得支持。这种安排比保留一个象征性的最后确认按钮更有实质内容。

八、从自动执行到持续行动,需要更明确的边界

一个系统只生成草稿,与能够直接修改资料、发送消息或执行外部操作,具有不同影响范围。即使它们使用相似的语言接口,后果也不能按同一标准评价。能力从建议进入行动,封装边界就需要包含权限、停止条件与异常处理,而不只包含输出质量。

设想一个活动安排系统可以提出候选时间,也可以直接向参与者发送邀请。前者的错误可能在讨论中被发现,后者则已经改变了他人的安排。这个差别并不证明自动发送永远不应发生,而是说明必须知道系统被允许做什么,依据什么判断可以执行,以及执行失败后怎样修正。

更大的行动颗粒可能减少繁琐操作,也可能扩大一次误解的后果。若一个含糊目标被自动展开成许多外部行动,错误就不再只是屏幕上的一段文字。封装的扩大必须与相应约束和反馈共同发展,不能只用动作数量减少来评价进步。

美国国家标准与技术研究院二〇二四年发布的NIST AI 600-1,是生成式人工智能风险管理的跨领域参考文件,属于其自愿使用的风险管理框架配套资料。[14]它支持将风险考虑纳入设计、使用与评价,而不是只在成品之后提醒用户谨慎。引用这份文件,不等于任何具体系统获得了可靠性认证,也不等于本书提供了所在地法律要求。

九、认知重组并不是今天才被提出

恩格尔巴特一九六二年的框架已经把人、语言、人工物、方法与训练组织为相互作用的能力系统,并明确区分系统智力与自然人原生智力。[6]因此,本书不能把所有使用“增强”一词的理论都当作固定主体论。真正的批判对象,是没有重新说明能力承担者的那种解释。

皮亚一九八五年的研究已把“重组”而非单纯“放大”置于计算机与心理机能的关系之中。[7]诺曼随后又明确说明,从系统与从个人看同一人工物,会得到不同的能力描述。[1]因而,本书的立论不能停在“工具不是只让人更快”这一步;这一步有清楚的先行工作,后文应在此基础上继续推进。

本书拟推进的是一个相互连接的研究计划:追踪功能机制如何取得可调用单位的地位,辨认这种单位怎样进入下一轮组织,再解释系统边界与自我评价的错位为何可能增添焦虑。广度、高度、颗粒度在这里承担描述变化的工作;主体性的定义亏损则提出一种待检验的归属机制。把它们连接起来,是本书的建构,而不是这几句话出现便已证实的新定律。

与既有理论的差别,最终需要通过同一案例中的解释增量来判断。若系统视角已经完整解释某个现象,就不必强加新的术语;若封装的形成史、调用颗粒的变化或评价边界的错位提供了新增区分,才有理由保留相应概念。理论的命名应当随解释工作取得位置,而不能反过来要求经验为名称让路。

十、能力可以继续扩展,但未来不是已经完成的事实

本书没有理由预先规定认知封装只能到某个层级。新的生成、检验与组织方式可能继续出现,今天需要较多个人介入的过程也可能在未来获得更稳定承接。承认这种开放性,不等于预测所有困难必然被解决,更不等于保证每个人自动受益。

反焦虑也不应依靠永久能力上限。假如人的价值必须由“系统永远不会做某件事”担保,每次进展都会使安全感重新动摇。我们更应当把能力可能性、现实可托付范围与人的基本价值分开。这样,即使技术边界改变,价值立场也不必随之不断后退。

现实研究仍然需要认真比较能力进展。开放未来不是拒绝证据,而是拒绝把当前证据扩张成全部终局。某项新结果可以改变对某类任务的判断,却不能单独决定社会安排应当怎样、人的生活应当追求什么。这些问题需要其他论证与共同选择。

因此,面对发展,我们可以既允许惊讶,也保持尺度。新的封装值得研究,真实风险值得处理,个人不必每次都把自我价值押在技术是否继续进步上。这种关系比一味自信或一味恐惧更能承受未来变化。

十一、第二编的结论:主体不是能力变化之外的不动点

从刀具到交通,从记录到程序,再到人工智能参与的开放过程,我们看到的不是一个不变自然人不断获得更多内部存量。实现机制、活动组织与参与方式都可能改变。工具并非只是站在外面递给人一份能力,它参与了能够做什么的发生。

但承认复合也不能省去个人。人的经历、学习、目的与处境仍然需要解释,只是不再被当作全部能力的唯一容器。下一编将把这一点理论化:怎样从具体互动中识别能力承担者,怎样界定封装整体,以及复合主体怎样在反馈中形成而不是靠名词相加成立。

AI案例与先行研究共同把问题引向机制:功能怎样成为可调用单位,单位怎样进入新的组织,能力又怎样在其中发生。第三编据此建立封装与复合主体的分析边界,使这些词能够解释具体活动,而不只为技术更换名称。