OllamaをDockerコンテナで運用する方法｜docker-compose.ymlとGPU設定で本番環境に安定デプロイする

この記事のポイント

・docker-compose.ymlとNVIDIA Container Toolkitで再現性のある運用環境を構築できる
・GPUパススルー・ヘルスチェック・環境変数の外部化で本番品質の構成に仕上げる手順を解説
・profilesキーで特定サービスを選択起動し、COMPOSE_PROFILES変数で環境ごとに制御できる
・docker-compose.override.ymlで開発・本番設定を分離し、本番への誤設定混入を防ぐ方法も紹介
・--env-fileオプションで本番用の.envを明示指定し環境変数を切り替える手順を解説
・compose.ci.ymlと--abort-on-container-exitでCIテスト実行を自動化する手順も解説
・マージルールの落とし穴（配列は追加マージ・マッピングはキー単位上書き）を理解して設定混入を防ぐ
・deploy.resources.limitsでCPU／メモリを制限し、ホスト全体の安定性を守る方法も紹介
・docker statsで実消費量を把握してから制限値を設定する手順を解説
・Open WebUIをcomposeに同梱することでチーム共有UIをワンコマンドで起動できる

# Dockerのバージョン確認
$ docker --version
Docker version 26.1.4, build 5650f9b

# docker compose plugin（V2）の確認
$ docker compose version
Docker Compose version v2.27.1

# docker compose plugin（V2）の追加インストール
$ sudo apt update
$ sudo apt install -y docker-compose-plugin

# 一般ユーザーでdockerコマンドを使えるようにグループ追加
$ sudo usermod -aG docker $USER

# グループ変更を反映（再ログインが必要）
$ newgrp docker

# NVIDIA Container Toolkitのリポジトリ追加
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey   | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list   | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g'   | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

$ sudo apt update && sudo apt install -y nvidia-container-toolkit

# Dockerランタイムへの登録
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

# 動作確認（コンテナ内でnvidia-smiが正常に動けばOK）
$ docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

# 作業ディレクトリを作成
$ mkdir -p ~/ollama-docker/{models,webui-data}
$ cd ~/ollama-docker

# ディレクトリ構成の確認
$ ls -la
drwxr-xr-x  4 ubuntu ubuntu 4096 Jun 28 10:00 .
drwxr-xr-x 12 ubuntu ubuntu 4096 Jun 28 10:00 ..
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 models
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 webui-data

# ~/ollama-docker/docker-compose.yml（最小構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# コンテナをバックグラウンドで起動
$ docker compose up -d

# 起動確認（STATUSがUpになればOK）
$ docker compose ps
NAME      IMAGE                    COMMAND               SERVICE   CREATED         STATUS         PORTS
ollama    ollama/ollama:latest     "/bin/ollama serve"   ollama    5 seconds ago   Up 4 seconds   0.0.0.0:11434->11434/tcp

# モデルの取得（コンテナ内でollama pullを実行）
$ docker exec -it ollama ollama pull llama3.3:8b-instruct-q4_0

# テスト推論（APIが正常に応答するか確認）
$ curl http://localhost:11434/api/generate   -d '{"model":"llama3.3:8b-instruct-q4_0","prompt":"こんにちは","stream":false}'

# ~/ollama-docker/.env
OLLAMA_HOST=0.0.0.0
OLLAMA_MAX_LOADED_MODELS=2
OLLAMA_NUM_PARALLEL=4
OLLAMA_KEEP_ALIVE=30m

# docker-compose.yml（環境変数追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_NUM_PARALLEL=${OLLAMA_NUM_PARALLEL:-2}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（ヘルスチェック追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（リソース制限追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# 推奨ディレクトリ構成
~/ollama-docker/
├── docker-compose.yml            # ベース設定（全環境共通）
├── docker-compose.override.yml   # 開発用追加設定（docker compose upで自動マージ）
├── compose.prod.yml              # 本番用設定（-fで明示指定）
├── compose.ci.yml                # CI用設定（-fで明示指定）
├── .env                          # 環境変数（.gitignoreに追加必須）
├── .env.example                  # .envの雛形（gitにコミットする）
└── .env.prod                     # 本番用環境変数（本番サーバーのみに配置）

# docker-compose.override.yml（開発環境専用の設定。本番には含めない）
services:
  ollama:
    environment:
      - OLLAMA_DEBUG=1              # デバッグログを有効化（開発時のみ）
      - OLLAMA_KEEP_ALIVE=5m        # VRAMを早めに解放して他の作業と共存させる
    ports:
      - "11434:11434"               # 開発機からAPIを直接叩けるようにホスト公開
    deploy:
      resources:
        limits:
          cpus: '2.00'              # 開発機なので本番より緩い上限
          memory: 8G

# 本番デプロイ（override.ymlを読ませない）
$ docker compose -f docker-compose.yml -f compose.prod.yml up -d

# mergeされた最終設定を事前確認（デプロイ前の必須チェック）
$ docker compose -f docker-compose.yml -f compose.prod.yml config | grep -A10 environment

# 開発環境での起動（override.ymlが自動適用される）
$ docker compose up -d

# 本番用の.envファイルを明示指定して起動する
$ docker compose --env-file .env.prod -f docker-compose.yml -f compose.prod.yml up -d

# .env.prodの例（本番サーバーのみに配置・gitignoreに追加する）
OLLAMA_HOST=0.0.0.0
OLLAMA_MAX_LOADED_MODELS=3
OLLAMA_NUM_PARALLEL=8
OLLAMA_KEEP_ALIVE=60m

# docker-compose.yml（profiles付きモニタリングサービスを追加した例）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama

  # 監視時だけ起動するサービスの例（GPUメトリクス収集）
  dcgm-exporter:
    image: nvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.0-ubuntu22.04
    profiles:
      - monitoring
    ports:
      - "9400:9400"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# 通常起動（dcgm-exporterは起動しない）
$ docker compose up -d

$ docker compose ps
NAME      IMAGE                  STATUS
ollama    ollama/ollama:latest   Up (healthy)

# monitoringプロファイルを指定してGPUメトリクス収集も起動
$ docker compose --profile monitoring up -d

$ docker compose --profile monitoring ps
NAME              IMAGE                                              STATUS
ollama            ollama/ollama:latest                               Up (healthy)
dcgm-exporter     nvcr.io/nvidia/k8s/dcgm-exporter:...              Up

# .env（監視環境用）
COMPOSE_PROFILES=monitoring

# .envが読み込まれた状態では通常どおりdocker compose up -dを実行するだけでOK
$ docker compose up -d

# 本番環境の.envではCOMPOSE_PROFILESを書かないか空にする
# COMPOSE_PROFILES=

# 複数プロファイルを同時に有効にする場合はカンマ区切り
# COMPOSE_PROFILES=monitoring,debug

# プロファイルなしで起動されるサービスを確認
$ docker compose config --services
ollama
open-webui

# monitoringプロファイル指定時に追加されるサービスを確認
$ docker compose --profile monitoring config --services
ollama
open-webui
dcgm-exporter

# compose.ci.yml（CI環境専用設定）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-ci
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=5m       # CIでは早めに解放して次のジョブに備える
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# CI実行（いずれかのコンテナが終了した時点で他も停止する）
$ docker compose -f docker-compose.yml -f compose.ci.yml up --abort-on-container-exit

# GitHub Actionsからの呼び出し例（.github/workflows/test.yml）
# - name: Run tests
#   run: |
#     docker compose -f docker-compose.yml -f compose.ci.yml up #       --abort-on-container-exit #       --exit-code-from ollama

# デプロイ前の設定検証（CI/CDパイプラインに組み込む）
# 合成が成功すれば終了コード0を返す（YAML構文エラーや変数欠落は非0で止まる）
$ docker compose -f docker-compose.yml -f compose.ci.yml config --quiet

# docker-compose.yml（ベース）
services:
  ollama:
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m

# docker-compose.override.yml（開発用）
services:
  ollama:
    environment:
      - OLLAMA_KEEP_ALIVE=5m     # 上書き（10mをここで置き換える）
      - OLLAMA_DEBUG=1           # 追加（ベースにはないキー）

# docker compose configで確認したマージ結果
services:
  ollama:
    environment:
      OLLAMA_HOST: 0.0.0.0          # ベースの値がそのまま残る
      OLLAMA_KEEP_ALIVE: 5m         # override.ymlの値で上書きされた
      OLLAMA_DEBUG: "1"             # override.ymlで追加された

# docker-compose.yml（ベース）
services:
  ollama:
    ports:
      - "11434:11434"

# docker-compose.override.yml（開発用 ── 別ポートを追加しようとした）
services:
  ollama:
    ports:
      - "11435:11434"     # 追加マージ（置き換えではない！）

# マージ結果（docker compose configで確認）
services:
  ollama:
    ports:
      - "11434:11434"    # ベースの設定がそのまま残る
      - "11435:11434"    # override.ymlで追加された
      # 両方のポートが公開された状態になる

# docker-compose.yml（ベース ── portsではなくexposeのみ記述）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    expose:
      - "11434"    # コンテナ間通信のみ（ホストへは公開しない）
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.override.yml（開発環境 ── ポートを追加）
services:
  ollama:
    ports:
      - "11434:11434"    # 開発機から直接アクセスするためにホスト公開

# compose.prod.yml（本番 ── ポートをリバースプロキシ経由にする場合は不要）
services:
  ollama:
    ports:
      - "127.0.0.1:11434:11434"    # ループバックのみ（Nginx等から内部転送）

# docker-compose.yml（Ollama + Open WebUI完成構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - ./webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      ollama:
        condition: service_healthy

# 全サービスをまとめて起動
$ docker compose up -d

# 全サービスのステータス確認
$ docker compose ps
NAME          IMAGE                                    STATUS
ollama        ollama/ollama:latest                     Up (healthy)
open-webui    ghcr.io/open-webui/open-webui:main      Up

# Open WebUIのポートでアクセスできるか確認
$ curl -s -o /dev/null -w "%{http_code}" http://localhost:3000/
200

# 全サービスのログをリアルタイムで確認
$ docker compose logs -f

# Ollamaのログのみ確認（推論状況・エラーはここで把握）
$ docker compose logs -f ollama

# 過去100行のみ表示
$ docker compose logs --tail=100 ollama

# タイムスタンプ付きで表示
$ docker compose logs -f --timestamps ollama

# 新しいモデルを追加取得
$ docker exec -it ollama ollama pull mistral:7b-instruct-q8_0

# 現在取得済みのモデル一覧（SIZE列でストレージ使用量を確認）
$ docker exec -it ollama ollama list
NAME                              ID              SIZE    MODIFIED
llama3.3:8b-instruct-q4_0        abc123def456    4.9 GB  2 days ago
mistral:7b-instruct-q8_0         def456abc789    7.7 GB  1 minute ago

# 不要なモデルの削除（ストレージ解放）
$ docker exec -it ollama ollama rm phi-4:latest

# Ollamaイメージ自体を最新版にアップデート
$ docker compose pull ollama
$ docker compose up -d ollama

# composeファイルをgitで管理（.envはgitignoreに追加する）
$ git init
$ echo ".env" >> .gitignore
$ git add docker-compose.yml .gitignore
$ git commit -m "initial ollama docker setup"

# モデルデータを別サーバーへrsyncで転送（大容量のため時間がかかる）
$ rsync -avz --progress ./models/ user@new-server:~/ollama-docker/models/

# 移行先でcomposeを起動するだけで環境が復元される
# （モデルを再ダウンロードする必要がない）

# 全コンテナのリソース使用量をリアルタイム表示
$ docker stats

# 実行結果（例）
CONTAINER ID   NAME          CPU %   MEM USAGE / LIMIT     MEM %   NET I/O        BLOCK I/O
a1b2c3d4e5f6   ollama        12.5%   6.8GiB / 16.0GiB     42.5%   8.2kB / 2.1kB  42MB / 120MB
7890abcdef12   open-webui    0.80%   128.3MiB / 16.0GiB    0.8%   1.2kB / 0.8kB  0B / 4.1MB

# 1回だけ出力して終了（シェルスクリプトや定期確認に便利）
$ docker stats --no-stream

# OOM Killerで落ちたか確認する
$ docker inspect ollama --format '{{.State.OOMKilled}} {{.State.ExitCode}}'

# OOM Killedの場合の出力
true 137
# OOMKilled=true、ExitCode=137（SIGKILL）はメモリ上限超過を意味する

# ホスト側のOOMログも確認する
$ dmesg | grep -i 'oom\|killed'

# コンテナを停止・削除してから再起動する（確実な方法）
$ docker compose down
$ docker compose up -d

# --force-recreateで強制的にコンテナを再作成する（ボリュームは保持される）
$ docker compose up -d --force-recreate

# 反映されているかどうかはdocker compose configで事前確認できる
$ docker compose config | grep -A5 environment

# プロファイルなしで起動されるサービスを確認
$ docker compose config --services

# monitoringプロファイル指定時に起動されるサービスを確認
$ docker compose --profile monitoring config --services

# COMPOSE_PROFILESが意図しない値になっていないか確認する
$ echo $COMPOSE_PROFILES
$ cat .env | grep COMPOSE_PROFILES

Docker＋OllamaのGPU構築を2日間のハンズオンで体験する

この記事で解説したdocker-compose構成やNVIDIA Container Toolkitの設定、Open WebUI連携を、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。