
DeepSeek R-1能否轻松破解这5个棘手AI谜题?惊艳表现背后有哪些秘密
每当一个新的语言模型向公众发布时,我总是有冲动用几个看似简单但棘手的问题来挑战它。这是我个人的习惯——就像是一种压力测试,看看这些模型在逻辑和推理方面的表现如何。
几天前,DeepSeek R-1 发布了,它立即因其开源特性和卓越的推理能力而成为全球轰动的焦点。
基准测试显示,它在某些方面可与 OpenAI 的 o1 和 Anthropic 的 Claude 3.5 Sonnet 等闭源模型相媲美,甚至更胜一筹。
在 DeepSeek R-1 的推理能力备受关注的情况下,让我们看看它如何解决这五个棘手的问题:
- 单词 strawberry 中有多少个字母 ‘r’?
- 给我 5 个名称中第三个字母是 A 的国家。
- 哪个更大,9.9 还是 9.11?
- 0.1 + 0.2 等于多少?
- 爱丽丝有四个兄弟,她还有一个姐妹。爱丽丝的兄弟有多少个姐妹?
让我们开始吧。
1. 在单词 strawberry 中有多少个字母 ‘r’?
当我在去年九月对 OpenAI 的 o1 模型进行 初步评估 时,我注意到像 GPT-4o 这样的模型无法正确回答。你可能会认为计算一个单词中的字母会对 AI 来说很简单,但显然不是。
所以,自然,我想看看 DeepSeek R-1 会如何处理这个问题。
好的,太好了。DeepSeek 找到了正确的答案——它在单词 “strawberry” 中找到了三个字母 ‘r’。简单吗?是的。但这仍然是检查模型是否在基本模式识别上出错的有用方法。
2. 给我5个名字中第三个字母是A的国家
这个问题有点趣味性,令人惊讶的是,许多模型对此都无法正确回答。例如,当我测试GPT-4o和o1的预览版本时,它们都给出了错误的答案。
“日本”这个词的第三个字母是‘p’,而不是‘a’。
我很好奇DeepSeek R-1是否也会出错。幸运的是,它没有出错。它毫不费力地正确列出了五个国家。
为了公平对待o1,我通过ChatGPT在o1模型的最新版本上重新测试了这个问题,这次它也成功提供了五个正确的答案。
3. 哪个更大,9.9 还是 9.11?
当 GPT-4 首次发布时,这种类型的问题在 AI 社区引起了很多混淆。你会认为数字之间的基本比较不会是个问题,但 GPT-4 在早期版本中对此感到困惑。
该模型对简单的数学感到困惑。尽管这个问题在 GPT-4o 发布时已经解决,但我想看看 DeepSeek 是否也没有与 GPT-4 相同的数学问题。
好吧,谢天谢地,它返回了一个正确的值。我也喜欢它给我提供的例子和对答案的详细解释。
4. 0.1 + 0.2 是多少?
你会惊讶于有多少人工智能模型在这个问题上出错。我记得在谷歌的 Gemini 模型发布不久后进行了测试,它给出了臭名昭著的答案:0.30000000000000004。这是一个经典的浮点精度错误的例子,发生在基于二进制的计算中。
为了保险起见,我用同样的问题测试了 DeepSeek R-1。幸运的是,它返回了预期的值:0.3\。
但是,为什么模型有时会对这样简单的数学问题给出奇怪的结果呢?这里有一个简要的解释:
当你将 0.1 和 0.2 相加时:
- 0.1 的二进制表示大约是 0.1000000000000000055511151231257827021181583404541015625\。
- 0.2 的二进制表示大约是 0.200000000000000011102230246171379939697265625\。
当这些值在二进制中相加时,结果并不完全等于十进制的 0.3。相反,转换回十进制会产生一个微小的舍入误差:0.30000000000000004.
5. 爱丽丝有四个兄弟,还有一个姐妹。爱丽丝的兄弟有多少个姐妹?
有些人可能会说这是一个简单的问题,但你会惊讶于 ChatGPT 给出的错误答案。自然,我很好奇 DeepSeek R-1 是否能答对。
幸运的是,它答对了。正确答案是每个爱丽丝的兄弟有两个姐妹:爱丽丝和她的另一个姐妹。我发现有趣的是 DeepSeek 是如何通过内部推理来解决这个问题的。
它将问题分解成几个步骤,建模家庭结构并验证每一种可能性。以下是它思考过程的片段:
有趣的是,这个模型在解释时变得如此详细。相比之下,GPT-4o 在测试中犯了错误,假设只有一个姐妹。
然而,具有推理能力的 o1 这个问题答对了。这提醒我们,如果问题需要深入思考,可以切换到像 o1 这样的推理模型。
在 AI 模型的早期测试中,很明显像这样的简单问题常常揭示出它们设计中的隐性问题。从数字错误、逻辑缺陷到模式识别差,这些问题突显了 AI 需要改进的领域。
最后的想法
DeepSeek R-1 在回答棘手问题方面表现出色。我真的很印象深刻。它展示了能够深入思考问题并清晰解释答案的能力。它的内部独白实际上很有趣,花时间逐步分析每个问题。这种推理能力在其他开源 AI 模型中是看不到的。
让我真正感到惊讶的是,DeepSeek 在这样一个低成本的开源项目中竟然如此强大。它并不完美,我并不是说它已经准备好取代像 o1 或 Claude 3.5 这样的模型。但根据这些结果,它绝对是一个严肃的竞争者。我可以想象 OpenAI、Google 和 Anthropic 的高管们现在有些紧张。