OllamaをWatchdogスクリプトで自動復旧させる方法｜bashとcronで異常検知・自動再起動・アラート通知を実装する手順

この記事のポイント

・curl --max-timeでAPIタイムアウトを検出し、プロセス死活だけでなく応答不能状態も復旧する
・systemctl restart / docker restartを自動判定付きで実行し、復旧確認まで自動で行う
・Slackウェブフックとlogrotateの二重設定で24時間無人運用に対応する
・再起動回数を記録してフラッピング検出と管理者エスカレーションを実装する

# Watchdogスクリプト用ディレクトリを作成する
$ sudo mkdir -p /opt/ollama-watchdog
$ sudo chown $(whoami):$(whoami) /opt/ollama-watchdog
$ ls -la /opt/ollama-watchdog/
total 8
drwxr-xr-x 2 ubuntu ubuntu 4096 Nov  4 10:00 .
drwxr-xr-x 8 root   root   4096 Nov  4 10:00 ..

#!/bin/bash
# /opt/ollama-watchdog/ollama-watchdog.sh

OLLAMA_HOST="http://localhost:11434"
LOG_FILE="/var/log/ollama-watchdog.log"
RESTART_COUNT_FILE="/tmp/ollama-restart-count"
LOCK_FILE="/tmp/ollama-watchdog.lock"
MAX_RESTARTS=3
RESTART_WINDOW=3600

log() {
    echo "$(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"
}

check_health() {
    local http_code
    http_code=$(curl -s --max-time 10 -o /tmp/ollama-health-response \
        -w "%{http_code}" "${OLLAMA_HOST}/api/tags" 2>/dev/null)

    if [ "$http_code" != "200" ]; then
        log "WARN: API returned HTTP ${http_code} (expected 200)"
        return 1
    fi

    if ! python3 -c "import json,sys; json.load(sys.stdin)" \
        < /tmp/ollama-health-response 2>/dev/null; then
        log "WARN: API response is not valid JSON"
        return 1
    fi

    return 0
}

# curlでOllama APIの応答を直接確認する
$ curl -s --max-time 10 -w "\nHTTP_STATUS: %{http_code}\n" \
    http://localhost:11434/api/tags
{"models":[{"name":"llama3.3:8b-instruct-q4_K_M","model":"llama3.3:8b-instruct-q4_K_M","modified_at":"...","size":4920753664}]}
HTTP_STATUS: 200

# 管理方式の判定（ollama-watchdog.shに追記する）
detect_manager() {
    if systemctl is-active --quiet ollama 2>/dev/null; then
        echo "systemd"
    elif docker inspect ollama --format '{{.State.Status}}' \
        2>/dev/null | grep -q "running"; then
        echo "docker"
    else
        echo "unknown"
    fi
}

restart_ollama() {
    local manager
    manager=$(detect_manager)
    log "INFO: Detected manager: ${manager}"

    case "$manager" in
        systemd)
            log "INFO: Restarting via systemctl..."
            sudo systemctl restart ollama
            ;;
        docker)
            log "INFO: Restarting via docker restart..."
            docker restart ollama
            ;;
        *)
            log "ERROR: Cannot detect Ollama manager. Manual intervention required."
            return 1
            ;;
    esac
}

# 起動完了待機ロジック（60秒タイムアウト・5秒間隔で確認）
wait_for_recovery() {
    local max_wait=60
    local elapsed=0
    local interval=5

    log "INFO: Waiting for Ollama to become healthy (max ${max_wait}s)..."

    while [ $elapsed -lt $max_wait ]; do
        sleep $interval
        elapsed=$((elapsed + interval))
        if check_health; then
            log "INFO: Recovery confirmed after ${elapsed}s"
            return 0
        fi
        log "INFO: Still waiting... (${elapsed}s elapsed)"
    done

    log "ERROR: Recovery failed after ${max_wait}s"
    return 1
}

# /etc/sudoers.d/ollama-watchdogをvisudoで作成する
$ sudo visudo -f /etc/sudoers.d/ollama-watchdog

# 以下を追加する（usernameは実際の実行ユーザー名に変える）
username ALL=(root) NOPASSWD: /usr/bin/systemctl restart ollama
username ALL=(root) NOPASSWD: /usr/bin/touch /var/log/ollama-watchdog.log
username ALL=(root) NOPASSWD: /usr/bin/chmod 644 /var/log/ollama-watchdog.log

# Slack通知関数（ollama-watchdog.shに追記する）
SLACK_WEBHOOK_URL="${SLACK_WEBHOOK_URL:-}"

send_slack_notification() {
    local message="$1"
    local color="${2:-danger}"

    [ -z "$SLACK_WEBHOOK_URL" ] && return 0

    local payload
    payload=$(printf '{"attachments":[{"color":"%s","text":"%s","footer":"Ollama Watchdog @ %s"}]}' \
        "$color" "$message" "$(hostname)")

    curl -s -X POST -H 'Content-type: application/json' \
        --data "$payload" "$SLACK_WEBHOOK_URL" > /dev/null
}

# フラッピング検出ロジック
check_flapping() {
    local now
    now=$(date +%s)
    local count=0
    local last_reset=$now

    if [ -f "$RESTART_COUNT_FILE" ]; then
        last_reset=$(awk '{print $1}' "$RESTART_COUNT_FILE")
        count=$(awk '{print $2}' "$RESTART_COUNT_FILE")

        # ウィンドウ（1時間）をリセットする
        if [ $((now - last_reset)) -gt $RESTART_WINDOW ]; then
            count=0
            last_reset=$now
        fi
    fi

    local new_count=$((count + 1))
    echo "$last_reset $new_count" > "$RESTART_COUNT_FILE"

    if [ $new_count -gt $MAX_RESTARTS ]; then
        log "CRITICAL: Restart count ${new_count} exceeded ${MAX_RESTARTS} in ${RESTART_WINDOW}s"
        send_slack_notification \
            "CRITICAL: Ollama restart loop on $(hostname). Manual intervention required." \
            "danger"
        return 1
    fi

    return 0
}

# Slackウェブフックの動作確認（URLは実際のものに差し替える）
$ curl -s -X POST -H 'Content-type: application/json' \
    --data '{"text":"Watchdog test from '"$(hostname)"'"}' \
    "https://hooks.slack.com/services/XXXXX/YYYYY/ZZZZZ"
ok

# メイン処理（ollama-watchdog.shの末尾に追記する）
main() {
    # 多重実行防止ロック
    if [ -f "$LOCK_FILE" ]; then
        local pid
        pid=$(cat "$LOCK_FILE")
        if kill -0 "$pid" 2>/dev/null; then
            log "INFO: Another watchdog (PID ${pid}) is running. Exiting."
            exit 0
        fi
    fi
    echo $$ > "$LOCK_FILE"
    trap "rm -f $LOCK_FILE" EXIT

    sudo touch "$LOG_FILE" 2>/dev/null
    sudo chmod 644 "$LOG_FILE" 2>/dev/null

    if check_health; then
        log "INFO: Ollama is healthy. No action required."
        exit 0
    fi

    log "WARN: Ollama health check failed. Starting recovery process."
    send_slack_notification \
        "WARNING: Ollama health check failed on $(hostname). Attempting restart..." \
        "warning"

    if ! check_flapping; then
        log "ERROR: Flapping detected. Skipping restart."
        exit 1
    fi

    if restart_ollama && wait_for_recovery; then
        log "INFO: Ollama recovery successful."
        send_slack_notification \
            "OK: Ollama recovered successfully on $(hostname)." \
            "good"
        exit 0
    else
        log "ERROR: Recovery failed. Manual intervention required."
        send_slack_notification \
            "CRITICAL: Ollama recovery FAILED on $(hostname). Manual intervention required." \
            "danger"
        exit 1
    fi
}

main "$@"

# 実行権限を付与して動作確認する
$ chmod +x /opt/ollama-watchdog/ollama-watchdog.sh

# 手動実行でヘルスチェックを通す（Ollamaが稼働中）
$ /opt/ollama-watchdog/ollama-watchdog.sh
2026-11-04 10:05:00 INFO: Ollama is healthy. No action required.

# crontabを編集する（Ollamaを実行するユーザーで実施する）
$ crontab -e

# 5分ごとにWatchdogを実行する設定を追加する
*/5 * * * * SLACK_WEBHOOK_URL='https://hooks.slack.com/services/XXX/YYY/ZZZ' \
    /opt/ollama-watchdog/ollama-watchdog.sh >> /var/log/ollama-watchdog-cron.log 2>&1

# 設定確認
$ crontab -l
*/5 * * * * SLACK_WEBHOOK_URL='https://hooks.slack.com/services/...' \
    /opt/ollama-watchdog/ollama-watchdog.sh >> /var/log/ollama-watchdog-cron.log 2>&1

# ロックファイルが残っている場合は削除する
$ ls -la /tmp/ollama-watchdog.lock
-rw-r--r-- 1 ubuntu ubuntu 5 Nov  4 10:00 /tmp/ollama-watchdog.lock

$ cat /tmp/ollama-watchdog.lock
12345

# そのPIDが存在しないなら削除して良い
$ kill -0 12345 2>/dev/null || echo "PID not running, safe to remove"
PID not running, safe to remove
$ rm /tmp/ollama-watchdog.lock

# /etc/logrotate.d/ollama-watchdog に設定する
$ sudo tee /etc/logrotate.d/ollama-watchdog << 'CONF'
/var/log/ollama-watchdog.log {
    weekly
    rotate 4
    compress
    missingok
    notifempty
    create 644 root root
}
CONF

# logrotateの設定テスト（--debug でdry-run確認）
$ sudo logrotate --debug /etc/logrotate.d/ollama-watchdog
reading config file /etc/logrotate.d/ollama-watchdog
Allocating hash table...
...

OllamaのLinux本番運用スキルを2日間のハンズオンで習得する

WatchdogスクリプトからGPU環境でのOllama本番デプロイまで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。