Deepseek 与光标中的 Claude：哪种 Llm 能消灭编码任务？

Rifx.Online
Large Language Models , Software Development , Best Practices
05 Mar, 2025

深度搜索 V3 和 R1 比较

深度搜索的两个模型，深度搜索 V3 和 R1 已经新添加到光标中。目前，许多开发者正在使用 Claude 3.5 Sonnet（最新版本，claude-3-5-sonnet-20241022）作为他们在光标中的主要大语言模型（包括我自己），所以我想测试这些模型，看看它们在实践中的比较如何。

深度搜索

如果你还没听说过，深度搜索是一家中国的人工智能初创公司，这周在新闻中引起了广泛关注，因为它刚刚开源了其深度搜索 R1 模型，该模型在与开放人工智能的 o1 相比时表现出竞争力的指标，这当然不是一项小成就。其与编码相关的基准测试显示，它在大多数情况下应该优于 Claude 3.5 Sonnet 和 GPT-4o，这令人期待。光标一如既往地迅速添加新模型，因此让我们深入进行实际比较！

深度搜索的 R1 和 V3 基准测试与开放人工智能的 o1 和 o1-mini (由深度搜索发布)

任务

我们将测试每个模型的聊天和作曲家，并将结果与 Claude 3.5 Sonnet 进行比较。请注意，代理模式目前仅适用于人类中心主义模型和 GPT-4o，因此我们暂时无法测试代理模式。

聊天

聊天任务是告诉我如何在 Next.js 应用中正确地将服务器操作添加到对话框中。这是确切的提示：

我该如何实现一个服务器操作并将其正确传递给这个对话框？

我还明确提供了引用我拥有的对话组件文件的上下文。

深度搜索 R1

让我们从深度搜索 R1 模型开始，因为这是目前备受关注的模型。使用 R1 时，你会立即注意到两件事：

在流式输出方面速度相对较慢
在响应开始时生成一个较大的 <think> 块

如果这个 <think> 块能够真正改善响应，我其实并不介意它，尽管它相当大。然而，流式输出缓慢的问题在于这个大的起始块，使得真正的响应需要花费相当多的时间才能到达。我相信通过设置光标规则来跳过这个块是可以解决的，但我只是测试默认行为。

在输出方面，它表现得还不错，但主要问题是它建议我安装 next-safe-action/hooks 来解决问题，但在响应中并没有实际使用它。即使使用了，我认为对于这个简单的问题，安装一个包有点过于复杂。

R1 对这个提示的块

深度搜索 V3

深度搜索 V3 表现得相当不错，特别推荐我使用 useFormStatus，这是一个 React 19 的特性。很高兴看到它显然是在一些比较新的代码库上进行过训练。话虽如此，它直接在客户端组件中使用了创建的服务器操作，如果你对 Next.js 不熟悉，这将是无法工作的。不过，回应并要求修订，或者再次设置光标规则并不是疯狂的事情。

值得注意的是，深度搜索 V3 在流式输出方面也相当慢，但由于它在开始时没有 <think> 块，最终情况并没有 R1 那么糟糕。

V3 响应的示例

Claude 3.5 Sonnet

Claude 3.5 Sonnet 是响应速度最快的，即使在“慢请求模式”下（当您超过每月500个高级请求时）。它没有包含更近期的 React 特性，如 useFormStatus，而且它实际上也存在与深度搜索 V3 相同的问题，即它在客户端组件中直接使用了创建的服务器操作。然而，它的实现方式更接近真实解决方案，只需要在服务器操作中添加 use server。

Sample of Sonnet’s response

作曲家

对于作曲家任务，我给模型提供了一个 CircleCI 配置文件，该文件用于部署一个具有简单 React 前端和 Node.js 后端的全栈应用程序。工作流程中有几个步骤可以成功部署全栈，并在 Cypress 中运行 E2E 测试。

我给模型提供了以下提示（将 CircleCI 配置文件作为明确的上下文）：

我想看看模型能做两件事：

移除与前端部署相关的所有部分
识别出 E2E 测试不再需要，因为现在只有后端，并移除相关步骤

深度搜索 R1

我原本希望深度搜索 R1 在处理几个片段的作曲家任务中能够表现得更好，因为它在开始时有那个 <think> 块。然而，它的表现并没有我预期的那么好。它错过了一些我认为与前端部署明显相关的地方（例如，提到构建 webapp）。它确实正确地判断出 deploy-netlify 步骤不再需要，这很好。

然而，R1 确实删除了与后端部署明显相关的步骤（例如，命名为 deploy_production_api）。不幸的是，R1 也没有意识到 E2E 测试不再需要。

深度搜索 V3

深度搜索 V3 做得更好了一些，并且没有遗漏掉一些R1遗漏的部分，但也遗漏了一些R1正确识别的部分，特别是保留了 deploy-netlify 步骤。V3没有移除任何后端部署步骤，这很好，尽管也没有识别出E2E测试不再需要。

Claude 3.5 Sonnet

Claude 3.5 Sonnet, old trusty, did in fact perform the best. Sonnet removed the most commands related to frontend deployment, but like V3, did miss the deploy-netlify steps. Sonnet also did not remove any backend deployment steps.

The real gold model though is that Sonnet was able to figure out that the E2E tests were no longer needed since now there’s just a backend, and correctly removed everything related to them, including the caching of Cypress binaries!