OllamaをDocker Composeでマルチサービス構成にデプロイする方法｜Open WebUI・NginxをYAMLで一元管理してチーム運用を安定化させる

この記事のポイント

・Ollamaのhealthcheckとcondition: service_healthyでOpen WebUIの起動順を確実に制御できる
・networks.backend.internal: trueでOllamaを外部ネットワークから構成レベルで隔離できる
・GPUパススルーにはnvidia-container-toolkitとdaemon.jsonのランタイム設定が前提条件になる
・docker-compose.ymlをGitで管理すれば別サーバーでも完全再現できる環境になる

$ docker --version
Docker version 27.3.1, build ce12230

$ docker compose version
Docker Compose version v2.29.7

$ nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 550.120       Driver Version: 550.120   CUDA Version: 12.4     |
|...（省略）...

$ dpkg -l | grep nvidia-container-toolkit
ii  nvidia-container-toolkit   1.17.2-1   amd64

$ sudo apt install -y nvidia-container-toolkit
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

$ mkdir -p ~/ollama-compose/nginx
$ cd ~/ollama-compose

# ~/ollama-compose/docker-compose.yml
services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  ollama_models:

$ docker compose up -d ollama
$ curl http://localhost:11434/api/tags
{"models":[]}

services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    volumes:
      - ollama_models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 5
      start_period: 60s

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    restart: unless-stopped
    depends_on:
      ollama:
        condition: service_healthy
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open_webui_data:/app/backend/data
    ports:
      - "3000:8080"

volumes:
  ollama_models:
  open_webui_data:

$ docker compose up -d
$ docker compose ps
NAME                          IMAGE                              STATUS
ollama-compose-ollama-1       ollama/ollama:latest               Up (healthy)
ollama-compose-open-webui-1   ghcr.io/open-webui/open-webui     Up

# ~/ollama-compose/nginx/nginx.conf
upstream open_webui {
    server open-webui:8080;
}

server {
    listen 80;
    server_name _;

    client_max_body_size 100M;

    location / {
        proxy_pass         http://open_webui;
        proxy_set_header   Host              $host;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_set_header   X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $scheme;

        # WebSocket対応（チャット通信に必須）
        proxy_http_version 1.1;
        proxy_set_header   Upgrade    $http_upgrade;
        proxy_set_header   Connection "upgrade";

        proxy_read_timeout    300s;
        proxy_connect_timeout  75s;
    }
}

  nginx:
    image: nginx:stable-alpine
    restart: unless-stopped
    depends_on:
      - open-webui
    ports:
      - "80:80"
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/conf.d/default.conf:ro

services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    volumes:
      - ollama_models:/root/.ollama
    networks:
      - backend
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 5
      start_period: 60s

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    restart: unless-stopped
    depends_on:
      ollama:
        condition: service_healthy
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open_webui_data:/app/backend/data
    networks:
      - backend
      - frontend

  nginx:
    image: nginx:stable-alpine
    restart: unless-stopped
    depends_on:
      - open-webui
    ports:
      - "80:80"
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/conf.d/default.conf:ro
    networks:
      - frontend

networks:
  backend:
    internal: true
  frontend:

volumes:
  ollama_models:
  open_webui_data:

# nginx設定の構文チェック
$ docker compose exec nginx nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

# nginxだけ再起動（他サービスは停止しない）
$ docker compose restart nginx

$ cat /etc/docker/daemon.json
{
  "runtimes": {
    "nvidia": {
      "args": [],
      "path": "nvidia-container-runtime"
    }
  }
}

$ docker compose exec open-webui curl http://ollama:11434/api/tags
{"models":[...]}

ローカルLLMのCompose本番構成を2日間で体験する

Docker ComposeでOllama・Open WebUI・Nginxをまとめて管理し、チームで安定稼働するローカルLLM環境を一から構築する。そのプロセスを実機で体験してみたい方は多いはずだ。実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。