OllamaをPodmanコンテナで動かす方法｜Rocky Linux/RHELへのDockerなし導入とOpen WebUI連携手順

この記事のポイント

・PodmanはDockerなしでOllamaをRocky Linux/RHELに動かせるRed Hat標準のコンテナエンジン
・dnf install podman 1コマンドでインストール可能・追加リポジトリ不要
・Podmanネットワーク機能でOllamaとOpen WebUIをコンテナ間で安全に接続できる
・podman generate systemd とloginctl lingerでサーバー再起動後の自動起動を実現する

$ sudo dnf install -y podman
Complete!

$ podman --version
podman version 4.9.4

$ sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
INFO[0001] Generated CDI spec with 1 device(s)

# verify registered device IDs
$ nvidia-ctk cdi list
nvidia.com/gpu=0
nvidia.com/gpu=all

$ podman run -d \
  --name ollama \
  -p 11434:11434 \
  -v ~/.ollama:/root/.ollama:z \
  ollama/ollama:latest

9f3b2a1c4e7d8f05...（コンテナIDが表示される）

$ podman exec -it ollama ollama pull mistral:7b-instruct-q4_0
pulling manifest
pulling 45f5a88d8... 100% ▕████████████████▏ 4.1 GB
success

$ curl -s http://localhost:11434/api/tags | python3 -m json.tool | head -4
{
    "models": [
        {
            "name": "mistral:7b-instruct-q4_0",

$ podman network create llm-net

$ podman run -d \
  --name ollama --network llm-net \
  -p 11434:11434 -v ~/.ollama:/root/.ollama:z \
  ollama/ollama:latest

$ podman run -d \
  --name open-webui --network llm-net \
  -p 3000:8080 -e OLLAMA_BASE_URL=http://ollama:11434 \
  -v open-webui-data:/app/backend/data:z \
  ghcr.io/open-webui/open-webui:main

$ mkdir -p ~/.config/systemd/user

$ podman generate systemd --new --name ollama \
  --files --restart-policy always \
  --output-directory ~/.config/systemd/user
/home/linuxuser/.config/systemd/user/container-ollama.service

$ podman generate systemd --new --name open-webui \
  --files --restart-policy always \
  --output-directory ~/.config/systemd/user
/home/linuxuser/.config/systemd/user/container-open-webui.service

$ systemctl --user daemon-reload
$ systemctl --user enable --now container-ollama.service
Created symlink ~/.config/systemd/user/default.target.wants/container-ollama.service

$ systemctl --user enable --now container-open-webui.service
Created symlink ~/.config/systemd/user/default.target.wants/container-open-webui.service

$ systemctl --user status container-ollama.service
* container-ollama.service - Podman container-ollama.service
     Active: active (running) since Mon 2026-09-15 09:20:33 JST

$ sudo loginctl enable-linger $USER

$ loginctl show-user $USER | grep Linger
Linger=yes

ローカルLLMをRHEL環境で2日間のハンズオンで動かす

Podman・Docker・systemdを使ったOllamaの実機セットアップを体系的に学びたい方向けに、「ローカルAIマスターセミナー」を開催しています。
実機GPU環境でOllamaのインストールからAPI活用・チーム向け公開まで手を動かしながら習得できます。少人数（最大8名）ZOOMハンズオン形式で実施しています。