linux使用docker部署ollama {#linux%E4%BD%BF%E7%94%A8docker%E9%83%A8%E7%BD%B2ollama}

什么是ollama，可以看作管理AI模型的一个命令行工具

ollama -h 可以查看帮助，可以进行删减，下载启动等操作

这里主要使用DOCKER部署ollama，这样即可兼容windows 苹果 Linux 系统

这里我主要介绍在Linux 系统下部署

1. 首先是安装 docker 和 docker-compose {#1.-%E9%A6%96%E5%85%88%E6%98%AF%E5%AE%89%E8%A3%85-docker-%E5%92%8C-docker-compose}

sudo apt install docker.io
sudo apt-get install docker-compose
sudo usermod -aG docker $USER
sudo systemctl daemon-reload
sudo systemctl restart docker

2. 配置国内 docker 镜像源 {#2.-%E9%85%8D%E7%BD%AE%E5%9B%BD%E5%86%85-docker-%E9%95%9C%E5%83%8F%E6%BA%90}

修改/etc/docker/daemon.json，增加或者修改以下配置：
sudo su
vim /etc/docker/daemon.json
`{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://docker.m.daocloud.io",
"https://ghcr.io",
"https://mirror.baidubce.com",
"https://docker.nju.edu.cn"
]
}`

3. 配置好以后重启docker {#3.-%E9%85%8D%E7%BD%AE%E5%A5%BD%E4%BB%A5%E5%90%8E%E9%87%8D%E5%90%AFdocker}

sudo systemctl daemon-reload
sudo systemctl restart docker

4. 这里主要是体验为主，所以主要介绍 CPU模式 {#4.-%E8%BF%99%E9%87%8C%E4%B8%BB%E8%A6%81%E6%98%AF%E4%BD%93%E9%AA%8C%E4%B8%BA%E4%B8%BB%EF%BC%8C%E6%89%80%E4%BB%A5%E4%B8%BB%E8%A6%81%E4%BB%8B%E7%BB%8D-cpu%E6%A8%A1%E5%BC%8F}

4.1 下载 https://ollama.com

4.2 模型仓库： https://ollama.com/library

4.3 仅CPU 模式

拉取镜像并保存，创建容器，$HOME/ollama是保存模型的路径

docker run -d -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

4.4 下面写一个脚本来启动容器 ollamaRUN.sh

#!/bin/bash
#容器的名字
MHZX_NAME='ollama'
#检查启动的容器中是否包行ollama
MHZX_PS_NAME=`docker ps | grep "${MHZX_NAME}" | awk '{print $NF}'`
#判断${MHZX_NAME}是否等于${MHZX_PS_NAME}，如果不相等说明容器ollama没有启动
if [[ ! X${MHZX_NAME} = X${MHZX_PS_NAME} ]];then
  #启动容器
  docker start ${MHZX_NAME}
  sleep 2
  #进入容器
  docker exec -it ${MHZX_NAME} /bin/bash
else
  #进入容器
  docker exec -it ${MHZX_NAME} /bin/bash
fi

5. 进入容器后安装启动 模型 {#5.-%E8%BF%9B%E5%85%A5%E5%AE%B9%E5%99%A8%E5%90%8E%E5%AE%89%E8%A3%85%E5%90%AF%E5%8A%A8-%E6%A8%A1%E5%9E%8B}

这里介绍通义千问 可以在，模型仓库： https://ollama.com/library

ollama run qwen:4b

ollama run openchat:7b-v3.5-1210-q3_K_L

这样就可以启动了

6. open-webui,由于在本地始终无法完成部署，这里就掠过提供一些帮主

6.1 open-webui 是ollama的wen 图形接口应用

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

【开启open-webui：一键集成ollama，打造革命性GPT体验！】 https://www.bilibili.com/video/BV1wZ42117xY/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed

【ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建】 https://www.bilibili.com/video/BV1Ex421Q723/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed

【轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI】 https://www.bilibili.com/video/BV1ux4y1Q7zN/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed