How to Run deepseek Locally for Free: The Ultimate Guide to Avoiding AI Costs and Protecting Data Privacy

Rifx.Online
Large Language Models , AI Applications , AI Research
08 Mar, 2025

优势：

无 API 费用 — DeepSeek 是开源的，这意味着您可以使用它，而无需担心订阅费用。虽然 API 选项是可用的。
数据隐私 — 您的数据保留在您的本地机器上，确保机密性和安全性。
尖端技术 — 基于前沿模型构建，DeepSeek 提供顶级的推理能力。
无需互联网 — 通过 ollama 服务器，DeepSeek 可以在本地运行，无需互联网连接。

我与 LLM 的旅程以及我为何转向 DeepSeek

当我开始了解大型语言模型 (LLM) 时，我最初尝试了 Llama，因为它易于使用且完全免费。这是一个很好的起点，但我很快就遇到了它的局限性，与更先进的 前沿模型 相比。想要更好的性能，我决定尝试 OpenAI 的模型 — 结果发现，即使是基本的实验也需要 最低 5 美元的存款。更糟糕的是，当我使用 DALL·E 进行图像生成时，我的余额消耗得 太快了，迫使我限制我的试验以节省成本。

其他高性能模型，如 Anthropic 的 Claude，也有类似的问题，这使得在不担心费用的情况下探索 AI 变得困难。

就在那时，DeepSeek 改变了一切。凭借 零成本 和 数据不出我的机器，我终于可以自由地进行实验了。我已经开始将我的项目转移到 DeepSeek，在本指南中，我将向您展示如何做同样的事情！

DeepSeek 简介

想象一下，您拥有一个完全在您的计算机上运行的强大 AI 助手，而无需担心数据泄露或高昂的 API 费用。这就是 DeepSeek 提供的。它代表了下一代推理模型，实现了与 OpenAI 的 o1 模型相当的性能。

DeepSeek-R1 系列由六个从原始 DeepSeek-R1 提炼而来的密集模型组成。这些模型基于 Llama 和 Qwen 架构，并且根据它们训练的参数数量而大小不同：

1. 5B（15 亿个参数）
7B（70 亿个参数）
8B（80 亿个参数）
14B（140 亿个参数）
32B（320 亿个参数）
70B（700 亿个参数）
671B（6710 亿个参数）

每个模型都提供不同级别的复杂性和计算需求，允许用户选择最适合他们需求的模型。无论您是运行简单任务还是繁重的推理，都有一个适合您的 DeepSeek 模型。

在本地运行 DeepSeek

要在您的本地机器上运行 DeepSeek，请按照以下步骤操作：

步骤 1：下载并安装 Ollama

访问 Ollama 的官方网站，并下载适合您的操作系统的安装程序（Windows、macOS 或 Linux）。
下载完成后，双击该文件并按照设置说明进行安装。

💡 将 Ollama 想象成在本地为您的 AI 模型提供动力的引擎！

步骤 2：在 Windows 上运行 Ollama

打开 PowerShell（在 Windows 搜索栏中搜索“PowerShell”并打开它）。

步骤 3：拉取 DeepSeek 模型

要拉取 DeepSeek 模型，请在 PowerShell 中运行以下命令：

ollama pull deepseek-r1

拉取 DeepSeek 后，您可以通过简单地调用来使用它

ollama run deepseek-r1

如果您想要特定版本，请使用冒号，然后指定您选择的版本。

ollama run deepseek-r1:1.5b

瞧️！您已经运行了 DeepSeek。您可以根据需要与之交互。

例如，我提示该模型扮演数学导师的角色。注意，它在响应之前如何显示其推理。这种推理和分解复杂问题的能力使该模型非常强大。

🔹 想节省资源吗？试试 1.5B 版本！需要顶级性能吗？选择 70B 版本！

步骤 4：在 IDE 中使用 DeepSeek

现在我们已经在终端中运行了 DeepSeek，让我们看看如何在集成开发环境（IDE）中使用它，例如 Jupyter Notebook。

安装 Ollama 库：

pip install ollama

如果使用 Jupyter Notebook，可以使用魔术命令：

!pip install ollama

导入库：

import ollama

通过访问 http://localhost:11434/ 检查 Ollama 是否正在运行。您应该会看到一条消息，表明 Ollama 正在运行。如果 Ollama 未运行，请在 PowerShell 中手动输入以下命令来启动它：

ollama serve

或者，在 Jupyter Notebook 中：

!ollama serve

🛠 提示：如果某些内容无法正常工作，请使用 ollama serve 重新启动 Ollama 并重试！

要检查模型是否已正确加载，请在 powershell 中运行：

ollama pull deepseek-r1

!ollama pull deepseek-r1

指定要使用的模型。您可以使用 deepseek API 或利用 ollama。由于本教程的目的是展示如何免费使用这个前沿模型，我们将坚持使用后者。

将所有内容放在一起，以下是如何使用 ollama 提示模型。

MODEL = "deepseek-r1:1.5b"

system_prompt= "You are a maths tutor you teach without displaying your reasoning."
user_prompt= "What is the volume of cylinder with height of 7cm"

message = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": user_prompt}
    ]

response = ollama.chat(model=MODEL, messages=message)

response = response['message']['content']
display(Markdown(response))

以下是模型的响应方式

Alright, so I need to find the volume of a cylinder. The problem says that the height is 7 cm. Hmm, okay. Let me think about how to approach this.
First, I remember that the formula for the volume of a cylinder involves the area of its base multiplied by its height. The base of a cylinder is a circle, so the area should be calculated using the radius or diameter. Since we're given the height but not the radius, I wonder if there's any information missing here. Is the diameter provided? No, it just mentions the height.

Wait, maybe I can recall the formula again. It goes like this: Volume = π

结论

我在本地运行它时遇到的主要缺点是它的响应时间慢，尽管它在 16GB RAM 和 i7 处理器上运行了最小的 1.5b 蒸馏大小。另一个问题是，在没有显示推理的情况下无法获得响应。在示例系统提示中，尽管指示 DeepSeek 不要显示其推理，但它仍然这样做。话虽如此，DeepSeek 是一个令人兴奋的突破。对 AI 模型最大的批评之一是它们的功能就像一个黑匣子，这使得很难理解它们的决策过程。DeepSeek 通过暴露其推理来改变这一点，使我们能够更有信心地评估其准确性。

虽然它并不完美，但潜力是巨大的——我很高兴继续探索它的能力。如果您渴望在不破产的情况下在本地运行 AI 模型，DeepSeek 绝对值得一试！