如果你也想拥抱DeepSeek,那么从此AI这种高大上概念,你也能轻松玩转。如果能将DeepSeek部署在你自己电脑里面,那么就可以训练自己的专属AI资料库。
今天我们就来看看,怎么在本地部署DeepSeek,适用于Mac、Windows 还是 Linux。按照步骤简单,适合初学者。
一、什么是DeepSeek
DeepSeek R1 ,是一个开源 AI 模型,可与 OpenAI 的 o1 和 Claude 3.5 Sonnet 等顶级模型相媲美,尤其是在数学、编程和推理等任务方面。他是一个免费的、私密的,并且可以在自己的硬件上离线运行。
DeepSeek R1 其版本范围从轻量级的 1.5B 参数模型到强大的 70B 参数版本。从技术上讲,该模型是 Qwen 7B 架构的精简版本,这意味着它在保持强大性能的同时,还针对效率进行了优化。
DeepSeek真正的亮点是可与一些最好的商业模型相媲美,但完全开源,可以在本地运行,可以不依赖云服务器,可以完全控制你的数据。
二、为什么要在本地运行?
在本地运行 AI 模型具有以下优势:
隐私:你的数据保留在你的机器上 --- --- 不存在共享敏感信息的风险;
成本: DeepSeek R1 可免费使用,无需订阅费或使用费;
控制:无需外部依赖即可进行微调和实验。
三、硬件要求
部署DeepSeek对电脑硬件有要求,以下是收集的信息:
四、安装步骤
步骤1、安装Ollama
为了在本地运行 DeepSeek R1,我们将使用Ollama,这是一种专门为用户在自己的电脑上运行 AI 模型而设计的工具。
Ollama官网:https://ollama.com/download
安装后,Ollama 提供了一种直接从终端提取和运行模型的简便方法。
步骤2、拉取 DeepSeek R1 模型
Ollama 支持 DeepSeek R1 的多个版本。模型越大越智能,但所需的 GPU 也越大。
具体有以下版本:
1.5B(最小)
8B
14B
32B
70B(最大、最智能)
选择版本时,请根据自己硬件条件来安装
本教程就安装一个基础级的,各位根据自己实际情况部署。
ollama部署的都是量化版本。因此对显存的要求大幅降低,一般来说,8G显存可以部署8B级别模型;24G显存可以刚好适配到32B的模型。
如果你只有集显也想试试,可以试试下载lm-studio软件。软件内也内置了模型下载,对新手更加友好。
运行 1.5B或者7B 模型
首先,打开你的终端:
MAC使用 command + space(空格),输入terminal 打开终端;
WIN使用Win + R,在运行对话框中输入"cmd";或者Win + X,选择"Windows PowerShell"或"命令提示符"来打开终端窗口。
运行以下指令:
ollama run deepseek-r1:1.5b
此命令会提取 1.5B 模型并将其设置为本地运行。
如果报错,可以使用以下指令:
ollama run deepseek-r1
这个指令默认下载的是7B大小的模型。
步骤 3、安装聊天框
上面步骤完成,说明你已经在自己电脑部署好了DeepSeek,可以通过终端与 DeepSeek R1 进行交互,但如果想要一个更流畅的交互体验,可以使用 GUI。
一般使用Chatbox与本地模型集成,这是一个免费且注重隐私的桌面客户端。
安装完成后,在选择配置API模型那里选择"Ollama API";
将 API 主机设置为:http://127.0.0.1:11434
选择 DeepSeek R1 作为活动模型
保存