OllamaをDockerコンテナで運用する方法｜docker-compose.ymlとGPU設定で本番環境に安定デプロイする

この記事のポイント

・docker-compose.ymlとNVIDIA Container Toolkitで再現性のある運用環境を構築できる
・GPUパススルー・ヘルスチェック・環境変数の外部化で本番品質の構成に仕上げる手順を解説
・Open WebUIをcomposeに同梱することでチーム共有UIをワンコマンドで起動できる
・よくあるコンテナ間通信エラーとGPU認識エラーの対処法をまとめて紹介

# Dockerのバージョン確認
$ docker --version
Docker version 26.1.4, build 5650f9b

# docker compose plugin（V2）の確認
$ docker compose version
Docker Compose version v2.27.1

# docker compose plugin（V2）の追加インストール
$ sudo apt update
$ sudo apt install -y docker-compose-plugin

# 一般ユーザーでdockerコマンドを使えるようにグループ追加
$ sudo usermod -aG docker $USER

# グループ変更を反映（再ログインが必要）
$ newgrp docker

# NVIDIA Container Toolkitのリポジトリ追加
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

$ sudo apt update && sudo apt install -y nvidia-container-toolkit

# Dockerランタイムへの登録
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

# 動作確認（コンテナ内でnvidia-smiが正常に動けばOK）
$ docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

# 作業ディレクトリを作成
$ mkdir -p ~/ollama-docker/{models,webui-data}
$ cd ~/ollama-docker

# ディレクトリ構成の確認
$ ls -la
drwxr-xr-x  4 ubuntu ubuntu 4096 Jun 28 10:00 .
drwxr-xr-x 12 ubuntu ubuntu 4096 Jun 28 10:00 ..
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 models
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 webui-data

# ~/ollama-docker/docker-compose.yml（最小構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# コンテナをバックグラウンドで起動
$ docker compose up -d

# 起動確認（STATUSがUpになればOK）
$ docker compose ps
NAME      IMAGE                    COMMAND               SERVICE   CREATED         STATUS         PORTS
ollama    ollama/ollama:latest     "/bin/ollama serve"   ollama    5 seconds ago   Up 4 seconds   0.0.0.0:11434->11434/tcp

# モデルの取得（コンテナ内でollama pullを実行）
$ docker exec -it ollama ollama pull llama3.3:8b-instruct-q4_0

# テスト推論（APIが正常に応答するか確認）
$ curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.3:8b-instruct-q4_0","prompt":"こんにちは","stream":false}'

# ~/ollama-docker/.env
OLLAMA_HOST=0.0.0.0
OLLAMA_MAX_LOADED_MODELS=2
OLLAMA_NUM_PARALLEL=4
OLLAMA_KEEP_ALIVE=30m

# docker-compose.yml（環境変数追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_NUM_PARALLEL=${OLLAMA_NUM_PARALLEL:-2}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（ヘルスチェック追加・最終版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（Ollama + Open WebUI完成構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - ./webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      ollama:
        condition: service_healthy

# 全サービスをまとめて起動
$ docker compose up -d

# 全サービスのステータス確認
$ docker compose ps
NAME          IMAGE                                    STATUS
ollama        ollama/ollama:latest                     Up (healthy)
open-webui    ghcr.io/open-webui/open-webui:main      Up

# Open WebUIのポートでアクセスできるか確認
$ curl -s -o /dev/null -w "%{http_code}" http://localhost:3000/
200

# 全サービスのログをリアルタイムで確認
$ docker compose logs -f

# Ollamaのログのみ確認（推論状況・エラーはここで把握）
$ docker compose logs -f ollama

# 過去100行のみ表示
$ docker compose logs --tail=100 ollama

# タイムスタンプ付きで表示
$ docker compose logs -f --timestamps ollama

# 新しいモデルを追加取得
$ docker exec -it ollama ollama pull mistral:7b-instruct-q8_0

# 現在取得済みのモデル一覧（SIZE列でストレージ使用量を確認）
$ docker exec -it ollama ollama list
NAME                              ID              SIZE    MODIFIED
llama3.3:8b-instruct-q4_0        abc123def456    4.9 GB  2 days ago
mistral:7b-instruct-q8_0         def456abc789    7.7 GB  1 minute ago

# 不要なモデルの削除（ストレージ解放）
$ docker exec -it ollama ollama rm phi-4:latest

# Ollamaイメージ自体を最新版にアップデート
$ docker compose pull ollama
$ docker compose up -d ollama

# composeファイルをgitで管理（.envはgitignoreに追加する）
$ git init
$ echo ".env" >> .gitignore
$ git add docker-compose.yml .gitignore
$ git commit -m "initial ollama docker setup"

# モデルデータを別サーバーへrsyncで転送（大容量のため時間がかかる）
$ rsync -avz --progress ./models/ user@new-server:~/ollama-docker/models/

# 移行先でcomposeを起動するだけで環境が復元される
# （モデルを再ダウンロードする必要がない）

Docker＋OllamaのGPU構築を2日間のハンズオンで体験する

この記事で解説したdocker-compose構成やNVIDIA Container Toolkitの設定、Open WebUI連携を、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。