51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Deepseek R1本地运行完整部署教程

如果你也想拥抱DeepSeek,那么从此AI这种高大上概念,你也能轻松玩转。如果能将DeepSeek部署在你自己电脑里面,那么就可以训练自己的专属AI资料库。

今天我们就来看看,怎么在本地部署DeepSeek,适用于Mac、Windows 还是 Linux。按照步骤简单,适合初学者。

一、什么是DeepSeek

DeepSeek R1 ,是一个开源 AI 模型,可与 OpenAI 的 o1 和 Claude 3.5 Sonnet 等顶级模型相媲美,尤其是在数学、编程和推理等任务方面。他是一个免费的、私密的,并且可以在自己的硬件上离线运行。

DeepSeek R1 其版本范围从轻量级的 1.5B 参数模型到强大的 70B 参数版本。从技术上讲,该模型是 Qwen 7B 架构的精简版本,这意味着它在保持强大性能的同时,还针对效率进行了优化。

DeepSeek真正的亮点是可与一些最好的商业模型相媲美,但完全开源,可以在本地运行,可以不依赖云服务器,可以完全控制你的数据。

二、为什么要在本地运行?

在本地运行 AI 模型具有以下优势:

隐私:你的数据保留在你的机器上 --- --- 不存在共享敏感信息的风险;

成本: DeepSeek R1 可免费使用,无需订阅费或使用费;

控制:无需外部依赖即可进行微调和实验。

三、硬件要求

部署DeepSeek对电脑硬件有要求,以下是收集的信息:

四、安装步骤

步骤1、安装Ollama

为了在本地运行 DeepSeek R1,我们将使用Ollama,这是一种专门为用户在自己的电脑上运行 AI 模型而设计的工具。

Ollama官网:https://ollama.com/download

安装后,Ollama 提供了一种直接从终端提取和运行模型的简便方法。

步骤2、拉取 DeepSeek R1 模型

Ollama 支持 DeepSeek R1 的多个版本。模型越大越智能,但所需的 GPU 也越大。

具体有以下版本:

1.5B(最小)

8B

14B

32B

70B(最大、最智能)

选择版本时,请根据自己硬件条件来安装

本教程就安装一个基础级的,各位根据自己实际情况部署。

ollama部署的都是量化版本。因此对显存的要求大幅降低,一般来说,8G显存可以部署8B级别模型;24G显存可以刚好适配到32B的模型。

如果你只有集显也想试试,可以试试下载lm-studio软件。软件内也内置了模型下载,对新手更加友好。

运行 1.5B或者7B 模型

首先,打开你的终端:

MAC使用 command + space(空格),输入terminal 打开终端;

WIN使用Win + R,在运行对话框中输入"cmd";或者Win + X,选择"Windows PowerShell"或"命令提示符"来打开终端窗口。

运行以下指令:

ollama run deepseek-r1:1.5b

此命令会提取 1.5B 模型并将其设置为本地运行。

如果报错,可以使用以下指令:

ollama run deepseek-r1

这个指令默认下载的是7B大小的模型。

步骤 3、安装聊天框

上面步骤完成,说明你已经在自己电脑部署好了DeepSeek,可以通过终端与 DeepSeek R1 进行交互,但如果想要一个更流畅的交互体验,可以使用 GUI。

一般使用Chatbox与本地模型集成,这是一个免费且注重隐私的桌面客户端。

安装完成后,在选择配置API模型那里选择"Ollama API";

将 API 主机设置为:http://127.0.0.1:11434

选择 DeepSeek R1 作为活动模型

保存

赞(1)
未经允许不得转载:工具盒子 » Deepseek R1本地运行完整部署教程