KSC3:从结构分布内化到 AI 跨代进化——DSI 与 ES–DSI 机制

摘要

KSC 将智能活动抽象为知识(Knowledge, K)、结构生成(Structure, S)与约束保持(Constraint, C)三个基本变量。既有 KSC 工作将 K 描述为当前任务可调用的知识与已固化结构,但仍留下一个更深的问题:对于生成模型而言,这些结构究竟以什么方式进入 K,并在后续 S 中发挥作用? 本文提出结构分布内化(Distributional Structural Internalization, DSI)作为对 K 的进一步解释。对于结构性知识,模型能力并不适合被简单理解为“知道/不知道”的二元状态。面对特定问题时,多种已有问题表示、关系和解决结构可能以不同的初始倾向参与后续生成。DSI 特别关注能够跨表面实例迁移的问题解决结构:训练环境中这类结构的统计分布如何转化为模型面对新但结构相关的问题时的生成倾向,使 S 的初始候选结构分布已经具有不同权重。它因此不是“模型学习训练分布”的一般性改名,而是对结构经验分布如何形成可迁移的初始结构倾向这一功能关系的抽象。本文不主张 DSI 所依赖的底层训练现象是首次发现;已有关于 distributional memorization、数据混合比例、程序性知识以及知识存储与提取的研究,分别提供了相邻经验基础。本文的工作是将这些现象置于 KSC 中,对 K 的结构性作用作统一抽象。 在 DSI 基础上,本文进一步提出 ES–DSI 跨代结构进化机制。AI 与人类持续产生新的候选结构,工程环境、现实反馈与人类社会对这些结构实施外部选择(External Selection, ES)。选择并不只是留下或删除某个结果,而会通过采用、复制、传播和长期存续,重新加权不同结构在未来数据与知识环境中的相对分布。只有其中进入后续 AI 可访问的数据、被实际纳入训练并获得有效暴露的结构,才有机会通过 DSI 内化为新的参数化 K。于是,前代 S 中低概率、需要大量搜索才能获得的成功结构,在满足传播与有效训练暴露条件时,可能在后代模型中成为更高概率的初始候选。 这一循环可以概括为: K_t → (S_t, C_t) → New Structures → ES → Reweighted Structural Distribution → 可访问性 → 有效训练暴露 → DSI → K_{t+1} → (S_{t+1}, C_{t+1}) ES 与 DSI 分别构成这一机制的外部与内部环节:ES 改变世界中哪些结构更常存在,DSI 改变模型面对问题时哪些结构更容易被生成。 二者之间还需要两个传递条件:被选择结构必须进入后续 AI 可访问的数据,并在实际训练中获得有效暴露。软件工程中 AI 已进入多类结构生成活动,同时具有较强的执行验证和高频人类选择,且解决结构可以随代码的可执行实现被保存,因此可作为观察 ES–DSI 的候选领域。 模型训练者可以选择哪些数据进入训练集,并调整不同数据的混合比例,但数据选择权不等于结构创造权。现实生产与知识生态能够持续产生、验证和积累具有迁移价值的新结构经验;专家策划、受控实验、高质量合成数据和私有工程环境也可以形成有效积累。对于通用模型,公共数字环境中的分布式外部选择可能提供单一训练者难以独立复现的规模、多样性和长期现实反馈,但它相对于其他结构来源的贡献仍是一个需要比较检验的经验问题。 本文进一步提出可观察、可检验并具有潜在量化空间的经验路径,包括候选结构的采用与存续比例、传播范围、训练暴露、初始结构分布变化和跨代任务表现等。本文区分“存在差异化保留”与“这种保留对能力累积具有正向作用”:ES 本身并不保证更高质量结构胜出,只有当现实选择与可复用结构质量之间形成足够稳定的正相关,并且胜出结构能够进入后续 AI 的可访问环境时,ES–DSI 才构成正向能力累积机制。这一开放生态继承链条可以同时承载人类结构与 AI 生成结构;其中由 AI 或人机协作产生、并在后代 AI 中形成增量影响的部分,才构成本文所关注的 AI 跨代自反馈分量。本文不主张 ES–DSI 已被证明是当前 AI 能力增长的主导来源,但提出一个可检验的长期假说:随着 AI 生成结构在数字世界中新产生结构中的占比持续提高,ES–DSI 可能成为 AI 跨代能力增长的重要驱动机制之一。