
O3-mini Vs Deepseek R1:Openai的新编码模式碾压竞争对手?
o3-mini 在 ChatGPT 中免费提供给 Plus 和 Pro 订阅用户
昨天,OpenAI 发布了 o3-mini 和 o3-mini-high,现在可以在 ChatGPT 和 API 中使用。
o3-mini 在高级推理方面表现快速,而 o3-mini-high 在编码和逻辑方面表现出色。
这里有个惊人的部分:o3-mini-high 在 LiveBench 上的编码平均分为 82.74。其他模型根本无法接近:
- o1 (69.69)
- claude 3.5 sonnet (67.13)
- deepseek-r1 (66.74)。
LiveBench
o3-mini-high 目前是编码的最佳模型。没错。
更好的消息是,即使是免费用户也可以在 ChatGPT 中尝试 o3-mini(选择 Reason 按钮)。Plus 和 Team 用户每天有 150 条消息的限制,而 Pro 用户可以无限制访问 o3-mini 和 o3-mini-high。
让我们探索一下如何使用 o3-mini 进行编码,并更仔细地看看它与其他模型的表现比较。
本文是我的新闻通讯 Artificial Corner 的一部分,在这里我用简单的英语谈论人工智能。
o3-mini 在编码中的应用案例
测试表明,o3-mini 在编码方面表现出色。在下面的示例中,您会看到许多用户能够通过一次性提示(和几次尝试)构建游戏和小应用。这是开始用代码构建一些东西的好机会!
首先,这是我通过 o3-mini 轻松创建的一个太空射击游戏,使用了 Python 代码。我只在提示中给出了一些指令,运行生成的代码,迅速得到了游戏。
一位 X 用户 使用 o3-mini 创建了一个简单的 Twitter 克隆。全部在 8 秒内完成!
另一位 X 用户 使用 o3-mini 和 DeepSeek 编写了一个 Python 程序,展示了一个球在旋转六边形内反弹的效果(重力测试)。这是他得到的结果。
就这样,还有许多其他 o3-mini 的示例展示了这个模型在编码方面的出色表现。但是,让我们来看看数字!
o3-mini 针对 STEM 推理进行了优化
OpenAI o1 模型仍然是他们更广泛的通用知识推理模型。也就是说,o3-mini 提供了一个针对科学、数学和编码的专业替代方案。此外,它减少了 o1-mini 的延迟。
以下是从 math evaluation 中找到的一些见解:
- 在低推理努力下,o3-mini 的性能与 o1-mini 相当。
- 在中等推理努力下,o3-mini 在数学、编码和科学方面与 o1 的表现相匹配,同时提供更快的响应。
- 在高推理努力下,o3-mini 超越了 o1。
然而,LiveBench 在数学方面显示出略有不同的表现。
至于编码,LiveBench 显示 o3-mini 在中等推理下优于其他模型(deepseek-r1、o1、claude-3.5-sonnet 等)。在高推理下,o3-mini 扩大了领先优势,在关键指标上实现了显著更强的表现。
在竞争代码中,OpenAI o3-mini 随着推理努力的增加,获得了逐渐更高的 Elo 分数。
下面的软件工程测试也是如此。