ollama

Ollama 是一个开源的大型语言模型服务，提供了类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。

注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。 模型列表： https://ollama.com/library

1、创建专属桥接网络 {#1%E3%80%81%E5%88%9B%E5%BB%BA%E4%B8%93%E5%B1%9E%E6%A1%A5%E6%8E%A5%E7%BD%91%E7%BB%9C}

若已创建，可跳过此步骤。 https://www.hcjike.com/archives/tMUqkbKb

2、部署项目 {#2%E3%80%81%E9%83%A8%E7%BD%B2%E9%A1%B9%E7%9B%AE}

2.1、创建项目 {#2.1%E3%80%81%E5%88%9B%E5%BB%BA%E9%A1%B9%E7%9B%AE}

2.2、Compose配置 {#2.2%E3%80%81compose%E9%85%8D%E7%BD%AE}

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - 11434:11434
    networks:
      - app_network
    tty: true
    devices:
      - /dev/dri:/dev/dri
    volumes:
      - ./data:/root/.ollama
networks:
  app_network:
    external: true

3、部署模型 {#3%E3%80%81%E9%83%A8%E7%BD%B2%E6%A8%A1%E5%9E%8B}

3.1、新增终端连接 {#3.1%E3%80%81%E6%96%B0%E5%A2%9E%E7%BB%88%E7%AB%AF%E8%BF%9E%E6%8E%A5}

3.2、部署DeepSeek-R1模型 {#3.2%E3%80%81%E9%83%A8%E7%BD%B2deepseek-r1%E6%A8%A1%E5%9E%8B}

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

在终端界面中执行指令以开始下载相应模型，并等待下载完成。

DX4600设备，建议考虑采用1.5B模型进行体验尝试。