连接之躯，符号之魂：人工神经网络中隐性代数结构的因果涌现

连接之躯符号之魂人工神经网络中隐性代数结构的因果涌现耶鲁大学Yale University、约翰斯·霍普金斯大学Johns Hopkins University、纽约大学New York University和微软研究院Microsoft Research联合发表名为《The Emergent Symbolic Structure of Artificial Neural Networks》的论文这篇文章通过对不同规模的神经网络及其内部机制的研究探讨了人工智能系统如何在基于连续向量的运算中实现传统认知科学所定义的符号结构。研究人员利用名为DISCOVER的分析方法证明了包括大语言模型LLMs在内的多种模型其内部表示都可以被数学上的张量积表示TPRs精确近似。通过在算术、逻辑、代码和语言等典型符号领域进行实验研究发现这些模型在处理信息时实际上是隐性地将填充物元素与角色位置/结构结合在一起。这种近似方法不仅在多种架构和任务中表现出极高的准确性还允许研究人员通过精确干预模型内部表示来引导其行为。总之该研究为调和现代人工智能的向量本质与人类智能的符号逻辑提供了一个关键的科学视角。该论文通过创新的解释方法探讨了人工智能领域的经典谜题——绑定问题Binding Problem即神经网络如何仅通过连续向量来表示和处理复杂的、结构化的符号信息。核心观点涌现符号结构假设Emergent Symbolic Structure Hypothesis 尽管人工神经网络包括大语言模型的显式表示是连续的高维向量但它们的内部特征在深层中隐式地实现了符号结构。模型通过无监督地学习在内部自发收敛出了一套类似于认知科学中张量积表示Tensor Product Representations, TPRs的数学框架。多架构与大规模的通用性 这种隐式符号结构的形成具有高度的普适性。它不仅存在于简单任务训练的多层感知机MLP、循环神经网络GRU中也广泛存在于标准 Transformer和瓶颈 TransformerBottleneck Transformer中。更重要的是它在大规模、通过自然语言数据训练的 7 个主流开源大语言模型LLM中同样自发涌现。因果行为控制与功能等价 利用DISCOVER方法研究者可以用一个完全透明、可解释的闭式 TPR 代数方程来逼近并替代神经网络中的黑盒向量表示。实验证明替代后模型的行为几乎不发生改变并且通过对该 TPR 方程的符号级编辑成分手术能因果地、精准地操控神经网络的输出行为。系统性的变量绑定 神经网络中的位置角色Roles和具体词汇填充物Fillers并不是以孤立、原子的“概念对”形式存储的例如“cat-as-subject”而是采用了系统性的绑定机制。这使得 DISCOVER 能够完美泛化到其在训练期间从未见过的“新填充物-新角色”组合。科学哲学上的极限主义Limitivism 在认知科学中“消去主义”完全用连接主义替代符号和“实现主义”认为大脑只是符号系统的硬件实现的长期争论中本论文支持极限主义观点。即神经网络在极限状态下逼近精确的符号系统但在实际运行中它们只是近似地、带有一定容错或噪声地实现了符号表达这让模型兼具了符号的系统性与连续特征的统计模糊性。关键数据与实验结果论文设计了极其详尽的实验在字母列表处理、大语言模型上下文重构、以及大语言模型复杂符号计算三个层面上提供了坚实的数据支撑1. 字母列表操纵任务复制/逆序/交叉合并超高拟合准确率在对 MLP、GRU、Transformer 的特征向量逼近中双向位置角色方案Bidirectional Role Scheme表现最为优异。除了逆序瓶颈 Transformer 达到了最低的平均近似准确率97.3%外其余所有架构和任务的拟合精度都超过了 99%。无结构任务的对照当任务变为完全不依赖输入顺序的字母排序Alphabetical Sorting时模型退化为使用无结构的词袋Bag-of-words表示证明了结构编码是由任务的结构化需求驱动的。2. 大语言模型LLM句末句号向量解码研究人员分析了7 个 LLM包括 Gemma-3-27b, GPT-2-XL, GPT-OSS-20b, Pythia-12b, Qwen3-14b, OLMo-2-13B, Llama-3.1-8b在不同深度的句号 Token 向量对前面句子的编码能力主宾结构完美重构对于“主语-动词-宾语”SVO结构的句子用 DISCOVER 构建的 TPR 逼近向量喂入句号解码器在所有 LLM、所有层上均达到了100% 的完美解码准确率。“符号净化”效应Limitivism 的强力证据在复杂句子重构中使用 DISCOVER 的 TPR 逼近向量作为输入句号解码器输出的准确率竟然显著高于使用 LLM 原始激活向量。例如在 GPT-OSS 的中间层上给解码器原始 LLM 向量的还原准确率为71%而输入由 DISCOVER 纯化后的双向 TPR 向量时还原准确率飙升至96%。这表明大模型内部的确以 TPR 结构存储信息但夹杂了噪声而 DISCOVER 完美提取并去除了这些高维噪声。3. GPT-OSS 的 4 大符号领域与因果干预研究人员耗费了超过 3000 个 GPU 小时在 H100 和 H200 上对 GPT-OSS 展开了极其密集的剖析任务特异性表示的拟合在算术、三段论、代码执行、被动语态转换、时态变形和疑问句转换 6 大任务上任务特异性Task-specific (all)角色方案拟合精度最高其与 GPT-OSS 自身表现的差距最大仅为 2.36%算术任务中。成分手术Causal Interventions的高精确度横跨 6 个任务的31 种因果干预实验如通过修改向量直接在模型内部将3 6 * 8篡改为8 6 * 3平均行为控制准确率达到了90.3%。具体到某些任务算术干预准确率为97.8%在时态变形任务中移动句中的修饰成分其形容词移动准确率为98.0%介词短语移动准确率为89.2%关系从句移动准确率为95.8%。正则化对 OOD 泛化的绝对影响 在验证模型是否具有系统性的变量绑定时引入L2,1L2,1​ 正则化对提升未见过的“填充物-角色”组合泛化表现起到了决定性作用。例如在 Interleaving 任务的瓶颈 Transformer 中正则化使未见对的泛化准确率从54% 提升到了 97%在 Llama-3.1第16层的句子实验中正则化更是将准确率从0% 暴拉至 90%。https://arxiv.org/html/2608.29530v1