Docker Compose 方式快速部署Ollama 本地部署大模型

0.环境说明：

①Ollama介绍：

Ollama是一款开源、轻量级的本地大模型运行工具，支持跨平台一键部署，让用户无需编程经验也能在个人电脑上安全、高效地运行和管理主流AI模型，有效保障数据隐私 。

当前流行模型一览：

①配置要求:

1.Docker Compose 方式安装ollama

配置docker-compose文件：

mkdir ollama #建立存放目录
vi docker-compose.yml #编辑docker-compose文件

写入以下内容：

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"       # 标准端口
    volumes:
      - ./ollama_data:/root/.ollama  # 模型持久化存储
      - /etc/localtime:/etc/localtime:ro  # 时区同步
    environment:
      - OLLAMA_HOST=0.0.0.0       # 允许外部访问
      - OLLAMA_KEEP_ALIVE=24h     # 模型驻留时间
      - OLLAMA_NUM_PARALLEL=4     # 并行请求数
      - OLLAMA_FLASH_ATTENTION=true
    deploy:
      resources:
        limits:                # 硬性限制（必须满足）
          cpus: "4"          # 最多使用4个CPU核心（如50%）
          memory: 3000M         # 最大内存3000MB
        reservations:          # 软性预留（最低保障）
          cpus: "2"         # 至少分配2个CPU核心
          memory: 2048M         # 至少预留2048MB内存
    restart: unless-stopped
    networks:
      - llm_network

networks:
  llm_network:
    driver: bridge

保存后启动容器

docker-compose up -d

2.拉取模型到本地

①进入容器，拉取模型：

进入容器

docker exec -it ollama bash

拉取模型，这里举个几个例子，实际情况可以根据配置自行选择

ollama pull gemma3:4b
ollama pull qwen2.5-coder:1.5b
ollama pull deepseek-r1:1.5b
ollama pull llama3.2:latest

②检验模型：

检验模型是否拉取成功，容器内执行：

ollama list

测试模型

# 测试 deepseek 模型
curl -X POST http://your-ip:11434/api/generate \
  -d '{"model": "deepseek-r1:1.5b", "prompt": "Hello", "stream": false}'

这里的“your-ip”可以使用宿主机IP或者ollama容器IP

返回结果参考：

3.模型调用本地硬件

①驱动安装

使用模型调用本地宿主机v100显卡，可以先看看这篇文章

②修改docker compose 配置文件：

nano docker-compose.yml #编辑docker-compose文件

参考:

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"       # 标准端口
      - "21434:11434"       # 外部21434 -> 容器11434（让外部多一个端口可用）
    volumes:
      - ./ollama_data:/root/.ollama  # 模型持久化存储
      - /etc/localtime:/etc/localtime:ro  # 时区同步
    environment:
      - OLLAMA_HOST=0.0.0.0       # 允许外部访问
      - OLLAMA_KEEP_ALIVE=10m     # 模型驻留时间
      - OLLAMA_NUM_PARALLEL=4     # 允许同时处理 4 个请求
      - OLLAMA_FLASH_ATTENTION=true # 强行开启闪光注意力机制，大幅降低长文本时的显存占用并提升速度
      - OLLAMA_MAX_LOADED_MODELS=2 # 🚀 关键：允许常驻 2 个不同的大模型（如 Qwen + Llama）
    deploy:
      resources:
        limits:                # 硬性限制（必须满足）
          cpus: "18"          # 最多使用18个CPU核心
          memory: 40G         # 最大内存40G
        reservations:          # 软性预留（最低保障）
          cpus: "0.5"         # 至少分配0.5个CPU核心
          memory: 2G        # 至少预留2G内存
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped
    networks:
      - llm_network

networks:
  llm_network:
    driver: bridge

4.其它

①模型配置要求：

②Docker Compose 部署openclaw并接入本地模型的方式：