シェルスクリプトのretry設計｜コマンド失敗時の自動再試行とタイムアウト制御の実装パターン

この記事のポイント

・while ループ＋$? でコマンドの失敗を検知し、自動で再試行できる
・最大試行回数・待機時間・指数バックオフの3軸で retry を設計する
・timeout コマンドで無限待ちを防ぎ、retry の内側に組み込む
・trap と組み合わせて中断時にもクリーンアップが走る設計にする

# 終了コードの確認例
$ curl https://192.0.2.1/api/status
curl: (7) Failed to connect to 192.0.2.1 port 443: Connection refused
$ echo $?
7

$ ls /tmp/work.txt
ls: cannot access '/tmp/work.txt': No such file or directory
$ echo $?
2

#!/bin/bash

MAX_RETRY=3
RETRY_WAIT=5
SUCCESS=0

for i in $(seq 1 $MAX_RETRY); do
    curl -sf https://192.0.2.1/api/status
    if [ $? -eq 0 ]; then
        SUCCESS=1
        echo "成功（試行 $i 回目）"
        break
    fi
    echo "失敗（試行 $i 回目）。${RETRY_WAIT}秒後に再試行します..."
    sleep $RETRY_WAIT
done

if [ $SUCCESS -ne 1 ]; then
    echo "ERROR: ${MAX_RETRY}回試行したが成功しなかった" >&2
    exit 1
fi

失敗（試行 1 回目）。5秒後に再試行します...
失敗（試行 2 回目）。5秒後に再試行します...
成功（試行 3 回目）

#!/bin/bash
# retry関数: 指定コマンドを最大 MAX_RETRY 回実行する
# 使い方: retry <コマンド> [引数...]

MAX_RETRY=${MAX_RETRY:-3}
RETRY_WAIT=${RETRY_WAIT:-5}

retry() {
    local attempt=1
    until "$@"; do
        if [ $attempt -ge $MAX_RETRY ]; then
            echo "ERROR: '$*' は ${MAX_RETRY}回試行したが成功しなかった" >&2
            return 1
        fi
        echo "WARN: '$*' 失敗（試行 ${attempt}/${MAX_RETRY}）。${RETRY_WAIT}秒後に再試行..."
        attempt=$((attempt + 1))
        sleep $RETRY_WAIT
    done
}

# 呼び出し例
retry curl -sf https://192.0.2.1/api/status
retry rsync -az /data/ backup@192.0.2.10:/backup/

#!/bin/bash
# 指数バックオフ付きretry関数
# 待機時間: 1回目→2秒、2回目→4秒、3回目→8秒（MAX_WAITで上限設定）

MAX_RETRY=${MAX_RETRY:-5}
BASE_WAIT=${BASE_WAIT:-2}
MAX_WAIT=${MAX_WAIT:-60}

retry_backoff() {
    local attempt=1
    local wait_time=$BASE_WAIT

    until "$@"; do
        if [ $attempt -ge $MAX_RETRY ]; then
            echo "ERROR: '$*' は ${MAX_RETRY}回試行したが成功しなかった" >&2
            return 1
        fi
        echo "WARN: '$*' 失敗（試行 ${attempt}/${MAX_RETRY}）。${wait_time}秒待機..."
        sleep $wait_time
        attempt=$((attempt + 1))
        wait_time=$((wait_time * 2))
        if [ $wait_time -gt $MAX_WAIT ]; then
            wait_time=$MAX_WAIT
        fi
    done
}

retry_backoff curl -sf https://192.0.2.1/api/status

WARN: 'curl -sf https://192.0.2.1/api/status' 失敗（試行 1/5）。2秒待機...
WARN: 'curl -sf https://192.0.2.1/api/status' 失敗（試行 2/5）。4秒待機...
WARN: 'curl -sf https://192.0.2.1/api/status' 失敗（試行 3/5）。8秒待機...
# 4回目で成功

# timeoutの基本: 10秒以内にcurlが完了しなければ強制終了
$ timeout 10 curl -sf https://192.0.2.1/api/status
$ echo $?
124
# タイムアウトした場合の終了コードは 124

#!/bin/bash
# retry + timeout の組み合わせ
# 1回あたりのタイムアウト: 10秒、最大3回試行

MAX_RETRY=3
RETRY_WAIT=5
CMD_TIMEOUT=10

retry_with_timeout() {
    local attempt=1
    until timeout "$CMD_TIMEOUT" "$@"; do
        local exit_code=$?
        if [ $exit_code -eq 124 ]; then
            echo "WARN: '$*' タイムアウト（${CMD_TIMEOUT}秒）（試行 ${attempt}/${MAX_RETRY}）"
        else
            echo "WARN: '$*' 失敗（終了コード ${exit_code}）（試行 ${attempt}/${MAX_RETRY}）"
        fi
        if [ $attempt -ge $MAX_RETRY ]; then
            echo "ERROR: ${MAX_RETRY}回試行したが成功しなかった" >&2
            return 1
        fi
        attempt=$((attempt + 1))
        sleep $RETRY_WAIT
    done
}

retry_with_timeout curl -sf https://192.0.2.1/api/status

#!/bin/bash
# HTTPステータスコードまで検証するcurl retry

retry_curl() {
    local url=$1
    local attempt=1
    local wait_time=2

    while [ $attempt -le 5 ]; do
        local response
        response=$(curl -sf -w "
%{http_code}" "$url" 2>/dev/null)
        local curl_exit=$?
        local http_code
        http_code=$(echo "$response" | tail -1)
        local body
        body=$(echo "$response" | sed '$d')

        if [ $curl_exit -eq 0 ] && [ "$http_code" -eq 200 ]; then
            echo "$body"
            return 0
        fi

        echo "WARN: curl失敗（試行 ${attempt}/5）HTTP=${http_code} exit=${curl_exit}。${wait_time}秒待機..." >&2
        sleep $wait_time
        wait_time=$((wait_time * 2))
        attempt=$((attempt + 1))
    done
    echo "ERROR: APIコールが5回失敗した: $url" >&2
    return 1
}

retry_curl "https://api.example.com/v1/status"

#!/bin/bash
# PostgreSQL（5432番ポート）が開くまで待つ

WAIT_HOST="127.0.0.1"
WAIT_PORT=5432
MAX_RETRY=30
RETRY_WAIT=2

echo "PostgreSQLの起動を待っています..."
for i in $(seq 1 $MAX_RETRY); do
    if nc -z "$WAIT_HOST" "$WAIT_PORT" 2>/dev/null; then
        echo "ポート ${WAIT_PORT} が開きました（${i}回目で成功）"
        break
    fi
    if [ $i -eq $MAX_RETRY ]; then
        echo "ERROR: ${MAX_RETRY}回試行したがポート${WAIT_PORT}が開かなかった" >&2
        exit 1
    fi
    echo "待機中... （${i}/${MAX_RETRY}）"
    sleep $RETRY_WAIT
done

PostgreSQLの起動を待っています...
待機中... （1/30）
待機中... （2/30）
待機中... （3/30）
ポート 5432 が開きました（4回目で成功）

#!/bin/bash
# rsync の転送を最大3回retry
# --partial: 途中まで転送したファイルを保持（再開のため）
# --timeout=30: rsync自体のI/Oタイムアウト

MAX_RETRY=3
SRC="/data/backup/"
DST="backup@192.0.2.10:/backup/$(date +%Y%m%d)/"

for i in $(seq 1 $MAX_RETRY); do
    rsync -az --partial --timeout=30 "$SRC" "$DST"
    if [ $? -eq 0 ]; then
        echo "rsync 完了（試行 ${i}回目）"
        exit 0
    fi
    echo "WARN: rsync 失敗（試行 ${i}/${MAX_RETRY}）"
    [ $i -lt $MAX_RETRY ] && sleep 10
done

echo "ERROR: rsync が${MAX_RETRY}回失敗した" >&2
exit 1

#!/bin/bash
# trapとretryの組み合わせ
# 中断時（SIGINT/SIGTERM/EXIT）に一時ファイルを削除する

TMPFILE=$(mktemp /tmp/retry_work.XXXXXX)

cleanup() {
    echo "クリーンアップ中..."
    rm -f "$TMPFILE"
}
trap cleanup EXIT SIGINT SIGTERM

MAX_RETRY=3
RETRY_WAIT=5

for i in $(seq 1 $MAX_RETRY); do
    curl -sf https://192.0.2.1/api/data -o "$TMPFILE"
    if [ $? -eq 0 ]; then
        echo "取得完了。処理を続行します..."
        cp "$TMPFILE" /var/data/latest.json
        break
    fi
    echo "WARN: 取得失敗（試行 ${i}/${MAX_RETRY}）。${RETRY_WAIT}秒後に再試行..."
    sleep $RETRY_WAIT
done
# EXIT トラップにより cleanup() が自動で呼ばれる

# set -e 環境での対処: || true でエラーを一時的に無効化する
set -euo pipefail

retry() {
    local attempt=1
    # || true により set -e の即時終了を回避する
    until "$@" || false; do
        [ $attempt -ge "${MAX_RETRY:-3}" ] && return 1
        attempt=$((attempt + 1))
        sleep "${RETRY_WAIT:-5}"
    done
}

# -f なし: HTTPエラーでも exit 0 → retryが機能しない
curl -s https://192.0.2.1/api/status

# -f あり: HTTPエラーで exit 22 → retryが動く
curl -sf https://192.0.2.1/api/status