无声的思考潜在推理人工智能能否超越基于标记的模型？

人工智能模型和静默推理

所以，听着——人工智能模型现在可以在说出任何一个字之前先 思考。

不，真的。

我读了一篇新论文，它正在改变我们对人工智能推理的理解。

实际上，如果你一直在关注人工智能，你可能听说过思维链 (CoT) 推理。

在这种情况下，模型逐步分解问题并生成中间标记，然后再得出答案。

但是这种新方法呢？

它让模型在潜在空间中 静默 思考——没有词语，没有输出，只有纯粹的思考在幕后发生，在说出任何内容之前。

为什么这很重要

好的！！

让我们退一步。

现在我们已经看到大型语言模型 (LLMs) 在语言处理方面非常出色。

但一些专家认为它们实际上并没有 推理。

对此，最响亮的声音之一是？

Yann LeCun（Meta 的首席人工智能科学家）

他一直在说，真正的推理需要的不仅仅是操纵语言。

实际上，它需要规划、空间推理和超出语言所能描述的问题解决能力。

他甚至进一步表示，

如果你想要人类水平的智能，就放弃生成式人工智能的想法。

大胆，对吧？

好了，现在回到这篇引起我注意的新论文：

“利用潜在推理扩大测试时计算：递归深度方法”

这篇论文可能正是 LeCun 一直在要求的。

它引入了一种在内部进行深度思考的模型，并在输出任何单词之前完成这一过程。

因此，它不是像思维链 (CoT) 模型那样生成额外的标记，而是循环进行内部计算，并在发言之前尽可能多次地完善其推理。

好人！！

好的，但它是如何工作的？

这里是聪明的部分：

模型包含一个特殊的递归块。

把它想象成一个无限深的内部独白——修正和迭代思想，直到它足够自信生成答案。

这与传统模型不同，后者仅仅基于过去的单词预测下一个单词，而这个模型可以停下来，思考，提炼，然后_决定_说什么。

让我们可视化一下这种新方法与传统大型语言模型 (LLMs) 的比较：

由我创建

这种可视化表示显示了模型优势的重要性。这具有巨大的优势：

不需要特殊的训练数据 — 常规思维链 (CoT) 推理需要在长思维链上进行训练。这个模型不需要。

不需要巨大的上下文窗口 — 传统思维模型需要大的内存空间。这个模型不需要。

可以推理那些不容易用语言表达的事情 — 这可能是最大的胜利。一些类型的推理像空间理解、直觉或规划，不容易转化为语言。潜在推理解决了这个问题。

证明？它确实有效

研究人员构建了一个概念验证模型，具有35亿个参数和8000亿个训练标记。

你猜怎么着？

当被允许在回应之前“思考”更长时间时，它的表现优于现有模型。

他们发现了以下几点：

模型的性能在生成文本之前，在潜在空间中思考得越多，效果越好。
它并不是简单地通过问题，而是实际上_选择_何时更深入思考，何时快速生成答案。
一些问题，比如简单的数学模型，并不需要太多内部思考，而复杂的道德或逻辑推理则需要显著更长的时间。

这也不仅仅是理论。

证明在于基准测试：

随着递归深度在测试时的增加，模型的性能显著提高。
它通过利用高效的潜在推理，与参数显著更多的模型竞争。
它有效地平衡了计算使用，在复杂问题上花费更多精力，同时快速解决简单问题。

来自论文的一些技术见解

只是一点点，相信我！

这个模型的架构非常吸引人。

它引入了一个潜在递归块，而不是仅仅依赖于具有固定层的深度变换器，这个块可以动态迭代。

本质上，这意味着：

递归深度缩放： 该模型没有固定的层数——它在测试时循环进行内部计算，实际上根据需要加深自身。

计算效率： 它优化内部计算，而不是增加推理的标记生成，这在显著减少对大型上下文窗口的需求方面提供了帮助。

涌现行为： 该模型展示了有趣的特性，如自适应计算、自我推测解码，甚至用于数值推理的潜在空间_轨道_。

该模型在多个推理基准上进行了测试，如ARC、GSM8K和OpenBookQA，在这些测试中它表现出：

随着递归深度迭代的增加，准确性提高——直接证明了更深的内部推理导致了更好的性能。

与大型参数模型相比，效率更高，这意味着它以较少的参数实现了大型模型智能。

上下文依赖推理，模型根据任务复杂性动态决定“思考”的程度。

这对人工智能的未来意味着什么

这是一个重要的讨论点。

我觉得这种方法可能会从根本上改变我们开发人工智能模型的方式。

我们可以专注于让模型_更好地思考_，而不是仅仅将模型规模扩大（这既昂贵又低效）。

我认为最疯狂的部分是——这种潜在推理并不是取代思维链——而是_增强_它。

论文建议模型可以将这两种技术结合使用：首先在潜在空间中思考，然后用实际标记来完善他们的推理。

听起来很像人类解决问题的方式，对吧？

想象一下，一个能够查看棋盘并真正_思考_走棋的人工智能，或者一个能够分析法律案件并推理其影响而不是立即得出结论的模型。

这就是这项研究所指向的未来。

那么，这是否是让人工智能_真正_智能的缺失环节？我不知道！

时间会证明一切，但这看起来确实很有前景。

这些是您可以查看的资源，让我们给研究人员一些赞誉。

论文来源：https://arxiv.org/abs/2502.05171

该模型可在这个 https URL找到。

代码和数据配方可以在这个 https URL找到。