シェルスクリプトの並列処理設計｜&とwaitでバックグラウンドジョブを管理する方法

この記事のポイント

・コマンド末尾に & を付けるとバックグラウンド実行になり、waitで全完了を待てる
・$! で直前の子プロセスのPIDを取得し、個別にwait/killで管理できる
・最大同時実行数はカウンタ変数と wait -n（bash 4.3以降）の組み合わせで制御できる
・並列書き込みの競合にはflockを、子プロセスのエラー検出には wait $pid の戻り値を使う

#!/bin/bash
# 通常の逐次実行（10秒かかる）
sleep 5
sleep 5

# バックグラウンド実行（約5秒で終わる）
sleep 5 &
sleep 5 &
wait
echo "両方の sleep が完了した"

$ sleep 5 &
[1] 14823
$ sleep 5 &
[2] 14827
$ jobs
[1]-  Running                 sleep 5 &
[2]+  Running                 sleep 5 &

#!/bin/bash
# 3つのコマンドを並列実行して全完了を待つ
rsync -a /data/dir1/ backup01:/backup/dir1/ &
rsync -a /data/dir2/ backup01:/backup/dir2/ &
rsync -a /data/dir3/ backup01:/backup/dir3/ &
wait
echo "全バックアップ完了: $(date)"

#!/bin/bash
PIDS=()

rsync -a /data/dir1/ backup01:/backup/dir1/ &
PIDS+=($!)   # PIDをPIDS配列に追加

rsync -a /data/dir2/ backup01:/backup/dir2/ &
PIDS+=($!)

rsync -a /data/dir3/ backup01:/backup/dir3/ &
PIDS+=($!)

# 個別に終了ステータスを取得する
for PID in "${PIDS[@]}"; do
    wait "$PID"
    echo "PID $PID: 終了ステータス $?"
done

#!/bin/bash
set -euo pipefail

SERVERS=(web01.example.com web02.example.com db01.example.com)
PIDS=()

echo "=== 並列ヘルスチェック開始: $(date) ==="

for SERVER in "${SERVERS[@]}"; do
    ssh -o ConnectTimeout=10 "${SERVER}" "hostname && uptime" &
    PIDS+=($!)
done

# 全サーバーの完了を待つ
echo "--- 出力を待機中 ---"
wait
echo "=== 全サーバーの確認完了 ==="

=== 並列ヘルスチェック開始: Thu Jul 31 10:14:22 JST 2026 ===
--- 出力を待機中 ---
web02.example.com
 10:14:23 up 42 days,  3:15,  1 user,  load average: 0.12, 0.08, 0.05
web01.example.com
 10:14:23 up 156 days, 12:33,  2 users,  load average: 0.05, 0.03, 0.01
db01.example.com
 10:14:24 up 89 days,  7:41,  1 user,  load average: 0.33, 0.28, 0.25
=== 全サーバーの確認完了 ===

#!/bin/bash
# ログファイルを並列で圧縮してアーカイブディレクトリへ移動する
LOGDIR="/var/log/app"
ARCHDIR="/backup/logs/$(date +%Y%m)"
mkdir -p "${ARCHDIR}"

PIDS=()
for LOGFILE in "${LOGDIR}"/*.log; do
    [[ -f "${LOGFILE}" ]] || continue
    (
        gzip -c "${LOGFILE}" > "${ARCHDIR}/$(basename "${LOGFILE}").gz"             && rm -f "${LOGFILE}"
    ) &
    PIDS+=($!)
done

# 全ファイルの処理完了を待ち、失敗をカウントする
FAILED=0
for PID in "${PIDS[@]}"; do
    wait "${PID}" || FAILED=$((FAILED + 1))
done

if [[ $FAILED -gt 0 ]]; then
    echo "ERROR: ${FAILED}件のファイルで圧縮に失敗しました" >&2
    exit 1
fi
echo "全ログファイルの圧縮完了: ${ARCHDIR}"

#!/bin/bash
set -euo pipefail

MAX_PARALLEL=5   # 最大同時実行数
PIDS=()

process_file() {
    local FILE="$1"
    # ここにファイルの処理を記述する
    gzip -k "${FILE}"
    echo "処理完了: ${FILE}"
}

for FILE in /data/files/*.csv; do
    [[ -f "${FILE}" ]] || continue

    # 実行中のジョブ数がMAX_PARALLELに達したら1つ完了するまで待つ
    if [[ ${#PIDS[@]} -ge $MAX_PARALLEL ]]; then
        wait -n 2>/dev/null || true   # bash 4.3以降: 任意の1子プロセスを待つ
        # 終了したPIDをPIDS配列から削除する
        NEW_PIDS=()
        for PID in "${PIDS[@]}"; do
            kill -0 "${PID}" 2>/dev/null && NEW_PIDS+=("${PID}")
        done
        PIDS=("${NEW_PIDS[@]}")
    fi

    process_file "${FILE}" &
    PIDS+=($!)
done

# 残りの全ジョブを待つ
wait
echo "全ファイルの処理完了"

$ bash --version
GNU bash, バージョン 5.1.8(1)-release (x86_64-redhat-linux-gnu)

# wait -n が使えるかどうかの確認方法
$ bash -c 'sleep 0 & wait -n; echo $?'
0

#!/bin/bash
LOGFILE="/var/log/parallel-result.log"
LOCKFILE="/var/lock/parallel-result.lock"

write_result() {
    local SERVER="$1"
    local RESULT="$2"
    # flockでロックを取得してから書き込む（タイムアウト: 10秒）
    flock --timeout 10 "${LOCKFILE}"         bash -c "echo "[$(date '+%Y-%m-%d %H:%M:%S')] ${SERVER}: ${RESULT}" >> "${LOGFILE}""
}

SERVERS=(web01 web02 web03 app01 app02)
for SERVER in "${SERVERS[@]}"; do
    (
        RESULT=$(ssh "${SERVER}" "uptime" 2>&1)
        write_result "${SERVER}" "${RESULT}"
    ) &
done
wait

#!/bin/bash
SERVERS=(web01.example.com web02.example.com db01.example.com app01.example.com)
declare -A SERVER_PIDS   # 連想配列でサーバー名とPIDを対応させる

for SERVER in "${SERVERS[@]}"; do
    ssh -o ConnectTimeout=10 "${SERVER}" "systemctl is-active nginx" &
    SERVER_PIDS["${SERVER}"]=$!
done

FAILED_SERVERS=()
for SERVER in "${SERVERS[@]}"; do
    PID="${SERVER_PIDS[$SERVER]}"
    if wait "${PID}"; then
        echo "OK: ${SERVER} - nginx 起動中"
    else
        echo "ERROR: ${SERVER} - nginx が停止または応答なし" >&2
        FAILED_SERVERS+=("${SERVER}")
    fi
done

if [[ ${#FAILED_SERVERS[@]} -gt 0 ]]; then
    echo "要対応サーバー: ${FAILED_SERVERS[*]}" >&2
    exit 1
fi
echo "全サーバーの nginx 正常稼働を確認"

OK: web01.example.com - nginx 起動中
OK: web02.example.com - nginx 起動中
ERROR: db01.example.com - nginx が停止または応答なし
OK: app01.example.com - nginx 起動中
要対応サーバー: db01.example.com

#!/bin/bash
MAX_PARALLEL=5

# 実行中のジョブ数を返す関数
count_jobs() {
    jobs -p | wc -l
}

for FILE in /data/files/*.csv; do
    [[ -f "${FILE}" ]] || continue

    # 実行中ジョブ数がMAXに達したら100msごとに確認する
    while [[ $(count_jobs) -ge $MAX_PARALLEL ]]; do
        sleep 0.1
    done

    gzip -k "${FILE}" &
done

wait
echo "全処理完了"

#!/bin/bash
SERVERS=(web01.example.com web02.example.com db01.example.com)
PIDS=()

for SERVER in "${SERVERS[@]}"; do
    # timeout: コマンド全体に30秒の上限を設ける
    # SSH: 接続確立に最大10秒
    timeout 30 ssh         -o ConnectTimeout=10         -o BatchMode=yes         "${SERVER}" "df -h /" &
    PIDS+=($!)
done

FAILED=0
for i in "${!PIDS[@]}"; do
    PID="${PIDS[$i]}"
    SERVER="${SERVERS[$i]}"
    wait "${PID}"
    STATUS=$?
    if [[ $STATUS -eq 124 ]]; then
        echo "TIMEOUT: ${SERVER} - 30秒で応答なし" >&2
        FAILED=$((FAILED + 1))
    elif [[ $STATUS -ne 0 ]]; then
        echo "ERROR: ${SERVER} - 終了ステータス ${STATUS}" >&2
        FAILED=$((FAILED + 1))
    fi
done

[[ $FAILED -eq 0 ]] && echo "全サーバー正常" || exit 1