OllamaをDocker Composeで起動する方法｜GPUパススルー・マルチサービス構成・環境変数管理で開発環境を整備する手順

この記事のポイント

・deploy.resources.reservations.devicesブロックでNVIDIA GPUをコンテナへ割り当てる
・named volumeでモデルデータを永続化し、コンテナ削除後もモデルが消えない設計にする
・Open WebUI・Nginxをdepends_onとnetworkでOllamaに紐付けて一括起動できる
・healthcheckとrestart: alwaysで障害時の自動復旧を仕組みとして組み込める

# Dockerバージョン確認
$ docker --version
Docker version 26.1.4, build 5650f9b

# Docker Composeバージョン確認（プラグイン形式）
$ docker compose version
Docker Compose version v2.27.1

# GPGキーとリポジトリを追加
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# インストール
$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit

# DockerランタイムへNVIDIAを登録してデーモンを再起動
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

# コンテナ内でGPUが見えるか動作確認
$ docker run --rm --gpus all nvidia/cuda:12.0-base-ubuntu22.04 nvidia-smi

# 作業ディレクトリを作成して移動
$ mkdir ~/ollama-compose && cd ~/ollama-compose

# compose.ymlを新規作成
$ vim compose.yml

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0

volumes:
  ollama_data:

# バックグラウンドで起動
$ docker compose up -d

# コンテナのログを確認
$ docker compose logs -f ollama

# APIが応答するか確認（modelsが空配列なら正常）
$ curl http://localhost:11434/api/tags
{"models":[]}

# モデルをダウンロード（コンテナ内でollamaコマンドを実行）
$ docker compose exec ollama ollama pull llama3.3:8b-instruct-q4_K_M

# 推論テスト
$ docker compose exec ollama ollama run llama3.3:8b-instruct-q4_K_M "Linuxとは何か一言で"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0
    networks:
      - llm_net
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s

  webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    volumes:
      - webui_data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    networks:
      - llm_net
    depends_on:
      ollama:
        condition: service_healthy

networks:
  llm_net:

volumes:
  ollama_data:
  webui_data:

# Nginx設定ディレクトリを作成
$ mkdir -p nginx/conf.d

# Nginx設定ファイルを作成
$ cat > nginx/conf.d/ollama.conf << 'EOF'
server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://webui:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_read_timeout 300s;
    }

    location /api/ {
        proxy_pass http://ollama:11434;
        proxy_set_header Host $host;
        proxy_read_timeout 300s;
    }
}
EOF

  nginx:
    image: nginx:alpine
    container_name: nginx
    restart: always
    ports:
      - "80:80"
    volumes:
      - ./nginx/conf.d:/etc/nginx/conf.d:ro
    networks:
      - llm_net
    depends_on:
      - webui

# 全サービスを一括起動
$ docker compose up -d

# 各コンテナのステータスを確認
$ docker compose ps
NAME          IMAGE                                STATUS
nginx         nginx:alpine                         Up
open-webui    ghcr.io/open-webui/open-webui:main  Up
ollama        ollama/ollama:latest                 Up (healthy)

# ブラウザで http://サーバーIP/ にアクセスしてOpen WebUIが表示されることを確認

# .env ファイル（compose.ymlと同じディレクトリに配置）
WEBUI_PORT=3000
NGINX_PORT=80
WEBUI_SECRET_KEY=your-secret-key-here

services:
  webui:
    ports:
      - "${WEBUI_PORT}:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}

  nginx:
    ports:
      - "${NGINX_PORT}:80"

# .envに追記
OLLAMA_MODELS_PATH=/mnt/nvme/ollama

# compose.ymlのollamaサービスvolumesを変更
services:
  ollama:
    volumes:
      - ${OLLAMA_MODELS_PATH}:/root/.ollama

# volumesブロックのollama_data定義は削除してよい

services:
  ollama:
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s      # チェック間隔（デフォルト30s）
      timeout: 10s       # タイムアウト（デフォルト30s）
      retries: 3         # 失敗許容回数（デフォルト3）
      start_period: 40s  # 起動後の猶予期間（この間の失敗はretriesに含まれない）

# Dockerデーモンを再起動してからGPUが見えるか確認
$ sudo systemctl restart docker
$ docker run --rm --gpus all nvidia/cuda:12.0-base-ubuntu22.04 nvidia-smi

# nvidia-container-toolkitがインストールされているか確認
$ dpkg -l | grep nvidia-container-toolkit
ii  nvidia-container-toolkit  1.15.0-1  ...

# 競合プロセスを確認
$ sudo ss -tlnp | grep 11434
LISTEN  0  4096  0.0.0.0:11434  0.0.0.0:*  users:(("ollama",pid=1234,fd=7))

# OllamaのsystemdサービスをDockerと競合しないよう停止・無効化
$ sudo systemctl stop ollama
$ sudo systemctl disable ollama

# その後 docker compose up -d を再実行
$ docker compose up -d

# 誤った設定（localhostはOpen WebUIコンテナ自身を指す）
# OLLAMA_BASE_URL=http://localhost:11434  ← NG

# 正しい設定（サービス名で指定する）
OLLAMA_BASE_URL=http://ollama:11434

# コンテナ内からollamaコンテナへの疎通確認
$ docker compose exec webui curl -f http://ollama:11434/api/tags
{"models":[...]}

OllamaのDocker運用をハンズオンで体験する

この記事で解説したDocker Composeによるコンテナ構成・GPUパススルー・マルチサービス連携は、読むだけでは習得しにくい部分が多い。実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。