OllamaをDockerコンテナで運用する方法｜docker-compose.ymlとGPU設定で本番環境に安定デプロイする

この記事のポイント

・docker-compose.ymlとNVIDIA Container Toolkitで再現性のある運用環境を構築できる
・GPUパススルー・ヘルスチェック・環境変数の外部化で本番品質の構成に仕上げる手順を解説
・profilesキーで特定サービスを選択起動し、COMPOSE_PROFILES変数で環境ごとに制御できる
・docker-compose.override.ymlで開発・本番設定を分離し、本番への誤設定混入を防ぐ方法も紹介
・environmentはマッピング形式（KEY: VALUE）で書くと上書きが確実に機能する
・command・entrypointはスカラー値として完全置換されるためoverride.ymlでの制御が容易
・override.ymlで新規ボリュームを追加するとき、トップレベルのvolumes:セクションも同時に必要
・--env-fileオプションで本番用の.envを明示指定し環境変数を切り替える手順を解説
・compose.ci.ymlと--abort-on-container-exitでCIテスト実行を自動化する手順も解説
・マージルールの落とし穴（配列は追加マージ・マッピングはキー単位上書き）を理解して設定混入を防ぐ
・deploy.resources.limitsでCPU／メモリを制限し、ホスト全体の安定性を守る方法も紹介
・docker statsで実消費量を把握してから制限値を設定する手順を解説
・Open WebUIをcomposeに同梱することでチーム共有UIをワンコマンドで起動できる
・COMPOSE_FILE環境変数で-fオプションと同等のファイルセットを指定でき、CI/CDパイプラインで活用できる
・dev/stg/prod3環境のファイル構成パターンとそれぞれの起動コマンドを解説
・docker statsはリアルタイム確認に便利だが、履歴保存・アラート通知・複数コンテナ比較には不十分
・cAdvisor・Prometheus・Grafanaをcomposeのmonitoringプロファイルに追加し、Ollamaの使用状況を時系列で把握できる
・dcgm-exporterとPrometheusを組み合わせるとGPU（VRAM使用率）も時系列データとして蓄積できる

# Dockerのバージョン確認
$ docker --version
Docker version 26.1.4, build 5650f9b

# docker compose plugin（V2）の確認
$ docker compose version
Docker Compose version v2.27.1

# docker compose plugin（V2）の追加インストール
$ sudo apt update
$ sudo apt install -y docker-compose-plugin

# 一般ユーザーでdockerコマンドを使えるようにグループ追加
$ sudo usermod -aG docker $USER

# グループ変更を反映（再ログインが必要）
$ newgrp docker

# NVIDIA Container Toolkitのリポジトリ追加
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey   | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list   | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g'   | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

$ sudo apt update && sudo apt install -y nvidia-container-toolkit

# Dockerランタイムへの登録
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

# 動作確認（コンテナ内でnvidia-smiが正常に動けばOK）
$ docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

# 作業ディレクトリを作成
$ mkdir -p ~/ollama-docker/{models,webui-data}
$ cd ~/ollama-docker

# ディレクトリ構成の確認
$ ls -la
drwxr-xr-x  4 ubuntu ubuntu 4096 Jun 28 10:00 .
drwxr-xr-x 12 ubuntu ubuntu 4096 Jun 28 10:00 ..
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 models
drwxr-xr-x  2 ubuntu ubuntu 4096 Jun 28 10:00 webui-data

# ~/ollama-docker/docker-compose.yml（最小構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# コンテナをバックグラウンドで起動
$ docker compose up -d

# 起動確認（STATUSがUpになればOK）
$ docker compose ps
NAME      IMAGE                    COMMAND               SERVICE   CREATED         STATUS         PORTS
ollama    ollama/ollama:latest     "/bin/ollama serve"   ollama    5 seconds ago   Up 4 seconds   0.0.0.0:11434->11434/tcp

# モデルの取得（コンテナ内でollama pullを実行）
$ docker exec -it ollama ollama pull llama3.3:8b-instruct-q4_0

# テスト推論（APIが正常に応答するか確認）
$ curl http://localhost:11434/api/generate   -d '{"model":"llama3.3:8b-instruct-q4_0","prompt":"こんにちは","stream":false}'

# ~/ollama-docker/.env
OLLAMA_HOST=0.0.0.0
OLLAMA_MAX_LOADED_MODELS=2
OLLAMA_NUM_PARALLEL=4
OLLAMA_KEEP_ALIVE=30m

# docker-compose.yml（環境変数追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_NUM_PARALLEL=${OLLAMA_NUM_PARALLEL:-2}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（ヘルスチェック追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.yml（リソース制限追加版）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# 推奨ディレクトリ構成
~/ollama-docker/
├── docker-compose.yml            # ベース設定（全環境共通）
├── docker-compose.override.yml   # 開発用追加設定（docker compose upで自動マージ）
├── compose.prod.yml              # 本番用設定（-fで明示指定）
├── compose.stg.yml               # ステージング用設定（-fで明示指定）
├── compose.ci.yml                # CI用設定（-fで明示指定）
├── .env                          # 環境変数（.gitignoreに追加必須）
├── .env.example                  # .envの雛形（gitにコミットする）
└── .env.prod                     # 本番用環境変数（本番サーバーのみに配置）

# docker-compose.override.yml（開発環境専用の設定。本番には含めない）
services:
  ollama:
    environment:
      - OLLAMA_DEBUG=1              # デバッグログを有効化（開発時のみ）
      - OLLAMA_KEEP_ALIVE=5m        # VRAMを早めに解放して他の作業と共存させる
    ports:
      - "11434:11434"               # 開発機からAPIを直接叩けるようにホスト公開
    deploy:
      resources:
        limits:
          cpus: '2.00'              # 開発機なので本番より緩い上限
          memory: 8G

# 本番デプロイ（override.ymlを読ませない）
$ docker compose -f docker-compose.yml -f compose.prod.yml up -d

# mergeされた最終設定を事前確認（デプロイ前の必須チェック）
$ docker compose -f docker-compose.yml -f compose.prod.yml config | grep -A10 environment

# 開発環境での起動（override.ymlが自動適用される）
$ docker compose up -d

# 本番用の.envファイルを明示指定して起動する
$ docker compose --env-file .env.prod -f docker-compose.yml -f compose.prod.yml up -d

# .env.prodの例（本番サーバーのみに配置・gitignoreに追加する）
OLLAMA_HOST=0.0.0.0
OLLAMA_MAX_LOADED_MODELS=3
OLLAMA_NUM_PARALLEL=8
OLLAMA_KEEP_ALIVE=60m

# COMPOSE_FILE変数を使った本番起動の例（CI/CDパイプライン等で使用）
export COMPOSE_FILE="docker-compose.yml:compose.prod.yml"
docker compose up -d

# 環境変数を解除するときは unset
unset COMPOSE_FILE

# 開発環境（override.ymlが自動適用）
$ docker compose up -d

# ステージング環境（明示指定）
$ docker compose -f docker-compose.yml -f compose.stg.yml up -d

# 本番環境（明示指定）
$ docker compose -f docker-compose.yml -f compose.prod.yml up -d

# 本番環境（環境変数も本番用に切り替える）
$ docker compose --env-file .env.prod -f docker-compose.yml -f compose.prod.yml up -d

# docker-compose.yml（profiles付きモニタリングサービスを追加した例）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./models:/root/.ollama

  # 監視時だけ起動するサービスの例（GPUメトリクス収集）
  dcgm-exporter:
    image: nvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.0-ubuntu22.04
    profiles:
      - monitoring
    ports:
      - "9400:9400"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# 通常起動（dcgm-exporterは起動しない）
$ docker compose up -d

$ docker compose ps
NAME      IMAGE                  STATUS
ollama    ollama/ollama:latest   Up (healthy)

# monitoringプロファイルを指定してGPUメトリクス収集も起動
$ docker compose --profile monitoring up -d

$ docker compose --profile monitoring ps
NAME              IMAGE                                              STATUS
ollama            ollama/ollama:latest                               Up (healthy)
dcgm-exporter     nvcr.io/nvidia/k8s/dcgm-exporter:...              Up

# .env（監視環境用）
COMPOSE_PROFILES=monitoring

# .envが読み込まれた状態では通常どおりdocker compose up -dを実行するだけでOK
$ docker compose up -d

# 本番環境の.envではCOMPOSE_PROFILESを書かないか空にする
# COMPOSE_PROFILES=

# 複数プロファイルを同時に有効にする場合はカンマ区切り
# COMPOSE_PROFILES=monitoring,debug

# プロファイルなしで起動されるサービスを確認
$ docker compose config --services
ollama
open-webui

# monitoringプロファイル指定時に追加されるサービスを確認
$ docker compose --profile monitoring config --services
ollama
open-webui
dcgm-exporter

# compose.ci.yml（CI環境専用設定）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-ci
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=5m       # CIでは早めに解放して次のジョブに備える
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# CI実行（いずれかのコンテナが終了した時点で他も停止する）
$ docker compose -f docker-compose.yml -f compose.ci.yml up --abort-on-container-exit

# GitHub Actionsからの呼び出し例（.github/workflows/test.yml）
# - name: Run tests
#   run: |
#     docker compose -f docker-compose.yml -f compose.ci.yml up \
#       --abort-on-container-exit \
#       --exit-code-from ollama

# run --rmで一時コンテナを実行後に削除する（pytestなど単発テストに便利）
# docker compose -f docker-compose.yml -f compose.ci.yml run --rm ollama ollama list
# down -v で匿名ボリュームも含めてクリーンアップする
# docker compose -f docker-compose.yml -f compose.ci.yml down -v

# デプロイ前の設定検証（CI/CDパイプラインに組み込む）
# 合成が成功すれば終了コード0を返す（YAML構文エラーや変数欠落は非0で止まる）
$ docker compose -f docker-compose.yml -f compose.ci.yml config --quiet

# docker-compose.yml（ベース）
services:
  ollama:
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m

# docker-compose.override.yml（開発用）
services:
  ollama:
    environment:
      - OLLAMA_KEEP_ALIVE=5m     # 上書き（10mをここで置き換える）
      - OLLAMA_DEBUG=1           # 追加（ベースにはないキー）

# docker compose configで確認したマージ結果
services:
  ollama:
    environment:
      OLLAMA_HOST: 0.0.0.0          # ベースの値がそのまま残る
      OLLAMA_KEEP_ALIVE: 5m         # override.ymlの値で上書きされた
      OLLAMA_DEBUG: "1"             # override.ymlで追加された

# 推奨（マッピング形式）— 同じキーはoverride側が確実に上書き
# docker-compose.override.yml
services:
  ollama:
    environment:
      OLLAMA_KEEP_ALIVE: 5m
      OLLAMA_DEBUG: "1"

# 注意が必要（リスト形式）— 同じキーがベースとoverride両方に残る可能性あり
# docker-compose.override.yml
services:
  ollama:
    environment:
      - OLLAMA_KEEP_ALIVE=5m
      - OLLAMA_DEBUG=1

# docker-compose.yml（ベース）
services:
  ollama:
    ports:
      - "11434:11434"

# docker-compose.override.yml（開発用 ── 別ポートを追加しようとした）
services:
  ollama:
    ports:
      - "11435:11434"     # 追加マージ（置き換えではない！）

# マージ結果（docker compose configで確認）
services:
  ollama:
    ports:
      - "11434:11434"    # ベースの設定がそのまま残る
      - "11435:11434"    # override.ymlで追加された
      # 両方のポートが公開された状態になる

# docker-compose.yml（ベース ── portsではなくexposeのみ記述）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    expose:
      - "11434"    # コンテナ間通信のみ（ホストへは公開しない）
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-0.0.0.0}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

# docker-compose.override.yml（開発環境 ── ポートを追加）
services:
  ollama:
    ports:
      - "11434:11434"    # 開発機から直接アクセスするためにホスト公開

# compose.prod.yml（本番 ── ポートをリバースプロキシ経由にする場合は不要）
services:
  ollama:
    ports:
      - "127.0.0.1:11434:11434"    # ループバックのみ（Nginx等から内部転送）

# docker-compose.yml（ベース）
services:
  ollama:
    image: ollama/ollama:latest
    command: serve    # 通常起動コマンド

# docker-compose.override.yml（CI専用）
services:
  ollama:
    command: serve --verbose    # ベースのserveを完全に置き換える（追加マージにはならない）

# マージ結果（docker compose configで確認）
services:
  ollama:
    command: serve --verbose    # override側の値のみが有効

# docker-compose.override.yml（開発環境専用キャッシュボリュームを追加する例）
services:
  ollama:
    volumes:
      - dev_cache:/tmp/ollama-cache    # 開発時のみ使うキャッシュボリューム

# トップレベルのvolumes:セクションも同時に必要（ないとエラーになる）
volumes:
  dev_cache:

# docker-compose.yml（Ollama + Open WebUI完成構成）
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./models:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-1}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:-10m}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    deploy:
      resources:
        limits:
          cpus: '4.00'
          memory: 16G
        reservations:
          cpus: '1.00'
          memory: 4G
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - ./webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      ollama:
        condition: service_healthy

# 全サービスをまとめて起動
$ docker compose up -d

# 全サービスのステータス確認
$ docker compose ps
NAME          IMAGE                                    STATUS
ollama        ollama/ollama:latest                     Up (healthy)
open-webui    ghcr.io/open-webui/open-webui:main      Up

# Open WebUIのポートでアクセスできるか確認
$ curl -s -o /dev/null -w "%{http_code}" http://localhost:3000/
200

# 全サービスのログをリアルタイムで確認
$ docker compose logs -f

# Ollamaのログのみ確認（推論状況・エラーはここで把握）
$ docker compose logs -f ollama

# 過去100行のみ表示
$ docker compose logs --tail=100 ollama

# タイムスタンプ付きで表示
$ docker compose logs -f --timestamps ollama

# 新しいモデルを追加取得
$ docker exec -it ollama ollama pull mistral:7b-instruct-q8_0

# 現在取得済みのモデル一覧（SIZE列でストレージ使用量を確認）
$ docker exec -it ollama ollama list
NAME                              ID              SIZE    MODIFIED
llama3.3:8b-instruct-q4_0        abc123def456    4.9 GB  2 days ago
mistral:7b-instruct-q8_0         def456abc789    7.7 GB  1 minute ago

# 不要なモデルの削除（ストレージ解放）
$ docker exec -it ollama ollama rm phi-4:latest

# Ollamaイメージ自体を最新版にアップデート
$ docker compose pull ollama
$ docker compose up -d ollama

# composeファイルをgitで管理（.envはgitignoreに追加する）
$ git init
$ echo ".env" >> .gitignore
$ git add docker-compose.yml .gitignore
$ git commit -m "initial ollama docker setup"

# モデルデータを別サーバーへrsyncで転送（大容量のため時間がかかる）
$ rsync -avz --progress ./models/ user@new-server:~/ollama-docker/models/

# 移行先でcomposeを起動するだけで環境が復元される
# （モデルを再ダウンロードする必要がない）

# 全コンテナのリソース使用量をリアルタイム表示
$ docker stats

# 出力例（環境により異なります）
CONTAINER ID   NAME          CPU %   MEM USAGE / LIMIT     MEM %   NET I/O        BLOCK I/O
a1b2c3d4e5f6   ollama        12.5%   6.8GiB / 16.0GiB     42.5%   8.2kB / 2.1kB  42MB / 120MB
7890abcdef12   open-webui    0.80%   128.3MiB / 16.0GiB    0.8%   1.2kB / 0.8kB  0B / 4.1MB

# 1回だけ出力して終了（シェルスクリプトや定期確認に便利）
$ docker stats --no-stream

# Prometheusの設定ファイル用サブディレクトリを作成
$ mkdir -p ~/ollama-docker/prometheus

# prometheus/prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['cadvisor:8080']
  # dcgm-exporterも同じmonitoringプロファイルで起動している場合は追記する
  # - job_name: 'dcgm-exporter'
  #   static_configs:
  #     - targets: ['dcgm-exporter:9400']

# docker-compose.yml（monitoringプロファイルの監視スタックを追加）
services:
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.47.2
    container_name: cadvisor
    profiles:
      - monitoring
    privileged: true
    ports:
      - "8080:8080"
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
      - /dev/disk/:/dev/disk:ro
    restart: unless-stopped

  prometheus:
    image: prom/prometheus:v2.48.0
    container_name: prometheus
    profiles:
      - monitoring
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.retention.time=30d'
    depends_on:
      - cadvisor
    restart: unless-stopped

  grafana:
    image: grafana/grafana:10.2.0
    container_name: grafana
    profiles:
      - monitoring
    ports:
      - "3001:3000"
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=changeme
    volumes:
      - grafana_data:/var/lib/grafana
    depends_on:
      - prometheus
    restart: unless-stopped

# 既存のvolumes:セクションに追記する
volumes:
  prometheus_data:
  grafana_data:

# 監視スタックをmonitoringプロファイルで起動する
$ docker compose --profile monitoring up -d

# 全サービスのステータス確認（出力例。環境により異なります）
$ docker compose --profile monitoring ps
NAME          IMAGE                                 STATUS
ollama        ollama/ollama:latest                  Up (healthy)
open-webui    ghcr.io/open-webui/open-webui:main   Up
cadvisor      gcr.io/cadvisor/cadvisor:v0.47.2     Up
prometheus    prom/prometheus:v2.48.0               Up
grafana       grafana/grafana:10.2.0                Up

# アクセスURL
# http://ホストIP:8080  - cAdvisor UI
# http://ホストIP:9090  - Prometheus UI
# http://ホストIP:3001  - Grafana UI（ログイン: admin / changeme）

# 監視スタックだけ停止する場合
$ docker compose --profile monitoring stop cadvisor prometheus grafana

# Ollamaコンテナのみ（5分間のCPU使用率平均）
rate(container_cpu_usage_seconds_total{name="ollama"}[5m])

# Ollamaコンテナのメモリ使用量（バイト）
container_memory_usage_bytes{name="ollama"}

# Ollamaコンテナのネットワーク受信量（5分平均）
rate(container_network_receive_bytes_total{name="ollama"}[5m])

# 全コンテナのCPU傾向比較（{name!=""}でルートcgroupエントリを除外）
rate(container_cpu_usage_seconds_total{name!=""}[5m])

# ディスク使用量の確認
$ df -h

# 出力例（環境により異なります）
Filesystem      Size  Used Avail Use%  Mounted on
/dev/sda1       1.8T  297G  1.4T  18%  /mnt/hdd
/dev/mmcblk0p2  113G   59G   50G  55%  /

# モデルデータのサイズ確認
$ du -sh ~/ollama-docker/models

# 不要なモデルの削除
$ docker exec -it ollama ollama rm phi-4:latest

# ホストのメモリ状況確認
$ free -h

# 出力例（環境により異なります）
               total        used        free      shared  buff/cache   available
Mem:           7.8Gi       1.7Gi       141Mi       324Ki       6.1Gi       6.1Gi
Swap:          4.0Gi       791Mi       3.2Gi

# OOM Killerで落ちたか確認する
$ docker inspect ollama --format '{{.State.OOMKilled}} {{.State.ExitCode}}'

# OOM Killedの場合の出力
true 137
# OOMKilled=true、ExitCode=137（SIGKILL）はメモリ上限超過を意味する

# ホスト側のOOMログも確認する
$ dmesg | grep -i 'oom\|killed'

# コンテナを停止・削除してから再起動する（確実な方法）
$ docker compose down
$ docker compose up -d

# --force-recreateで強制的にコンテナを再作成する（ボリュームは保持される）
$ docker compose up -d --force-recreate

# 反映されているかどうかはdocker compose configで事前確認できる
$ docker compose config | grep -A5 environment

# プロファイルなしで起動されるサービスを確認
$ docker compose config --services

# monitoringプロファイル指定時に起動されるサービスを確認
$ docker compose --profile monitoring config --services

# COMPOSE_PROFILESが意図しない値になっていないか確認する
$ echo $COMPOSE_PROFILES
$ cat .env | grep COMPOSE_PROFILES

# COMPOSE_FILE変数の確認
$ echo $COMPOSE_FILE

# 変数が設定されていれば解除してから再起動
$ unset COMPOSE_FILE
$ docker compose up -d

# override.ymlが正しく適用されているか確認
$ docker compose config | grep OLLAMA_DEBUG

# cAdvisorのエラーログを確認する
$ docker compose --profile monitoring logs cadvisor

Docker＋OllamaのGPU構築を2日間のハンズオンで体験する

この記事で解説したdocker-compose構成やNVIDIA Container Toolkitの設定、Open WebUI連携を、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。

＜PR＞手元に置いて学びを深める1冊

Docker実践ガイド 第3版（古賀 政純 著）

docker-compose.ymlの構成管理・GPU設定・リソース制限・本番デプロイまで体系的に学べる実践書。まず無料メルマガで学ぶのが第一歩、手元に1冊置いて運用スキルをさらに深めてほしい。