GNU parallelコマンドでシェルスクリプトの並列処理を設計する方法｜xargsより高機能な並列実行とジョブ制御の実践

この記事のポイント

・GNU parallelは--jobsでジョブ数を制御し、xargs -Pより直感的に並列数を管理できる
・--halt now,fail=1で1件でも失敗したら全ジョブを即停止できる
・--joblongで各ジョブの終了コード・実行時間をCSV形式でファイルに保存できる
・--will-citeで確認プロンプトを抑制してcronから無人実行できる

# RHEL 9 / CentOS Stream 9 / Rocky Linux 9
$ sudo dnf install parallel

# Ubuntu 24.04 LTS / Debian
$ sudo apt install parallel

# バージョン確認
$ parallel --version
# 出力例（環境により異なります）
# GNU parallel 20231122

# 基本構文: parallel [オプション] コマンド ::: 引数1 引数2 ...
parallel echo ::: A B C
# 出力例（順不同・環境により異なります）
# A
# B
# C

# {}（中括弧）が引数の置換文字
parallel echo "Processing: {}" ::: A B C
# Processing: A
# Processing: B
# Processing: C

# 同時に4ジョブまで実行
parallel --jobs 4 'gzip -9 {}' ::: /var/log/app/2024-*.log

# CPUコア数の50%以下に制限（例: 8コアなら最大4ジョブ）
parallel --jobs 50% 'gzip -9 {}' ::: /var/log/app/2024-*.log

# ファイルから引数リストを読み込む（:::: でファイル指定）
find /var/log/app -name "*.log" -mtime +7 > /tmp/targets.txt
parallel --jobs 4 'gzip -9 {}' :::: /tmp/targets.txt

# --halt now,fail=1: 1件でも失敗したら実行中のジョブも即SIGTERM
parallel --halt now,fail=1          'rsync -a {} backup01:/backup/'          ::: /data/db /data/files /data/media

# --halt soon,fail=1: 実行中のジョブは最後まで待ってから停止（より安全）
parallel --halt soon,fail=1          'rsync -a {} backup01:/backup/'          ::: /data/db /data/files /data/media

JOBLOG="/var/log/parallel-compress-$(date +%Y%m%d).log"

parallel --jobs 4          --halt soon,fail=1          --joblog "$JOBLOG"          'gzip -9 {}' ::: /var/log/app/2024-*.log

# ログの形式（タブ区切り）
# Seq  Host  Starttime  JobRuntime  Send  Receive  Exitval  Signal  Command
# 1    :     1700000000.000  1.234  0  0  0  0  gzip -9 /var/log/app/2024-01-01.log

# 失敗ジョブだけを抽出（Exitval != 0）
awk 'NR>1 && $7 != 0 { print $9, "exit:", $7 }' "$JOBLOG"

# NG: cronから実行すると確認プロンプトで止まる
parallel --jobs 4 'gzip {}' ::: *.log

# OK: --will-cite でプロンプトを抑制
parallel --will-cite --jobs 4 'gzip {}' ::: *.log

# または: ~/.parallel/will-cite ファイルを作成しておく（恒久設定）
mkdir -p ~/.parallel
touch ~/.parallel/will-cite

#!/bin/bash
set -euo pipefail

LOG_DIR="/var/log/app"
ARCHIVE_DIR="/backup/logs"
JOBLOG="/var/log/parallel-compress-$(date +%Y%m%d).log"
MAX_JOBS=4
DAYS_OLD=7

# 7日以上前のログを圧縮対象リストに追加
find "$LOG_DIR" -name "*.log" -mtime +"$DAYS_OLD" > /tmp/compress_targets.txt

# 対象ファイルが0件なら終了
if [ ! -s /tmp/compress_targets.txt ]; then
    echo "対象ファイルなし"
    exit 0
fi

echo "圧縮対象: $(wc -l < /tmp/compress_targets.txt) 件"

# GNU parallel で並列圧縮 + アーカイブディレクトリへ移動
parallel --will-cite          --jobs "$MAX_JOBS"          --halt soon,fail=1          --joblog "$JOBLOG"          --progress          'gzip -9 {} && mv {}.gz '"$ARCHIVE_DIR"'/'          :::: /tmp/compress_targets.txt

echo "完了。ログ: $JOBLOG"

# このメッセージが標準エラーに出て確認を求められる
# Academic tradition requires you to cite works you base your activities on.

# 対処法1: スクリプトに --will-cite を付ける（推奨）
parallel --will-cite --jobs 4 ...

# 対処法2: ~/.parallel/will-cite ファイルを作成（恒久設定）
mkdir -p ~/.parallel && touch ~/.parallel/will-cite

# --line-buffer: 1行単位でバッファリング。行の混在を最小化
parallel --line-buffer --jobs 4 'echo "job {}: done"' ::: 1 2 3 4

# --group（デフォルト動作）: ジョブが完了するまで出力を保持して一括出力
# 出力は混在しないが、ジョブが長時間かかると表示が遅延する
parallel --group --jobs 4 'long-running-cmd {}' ::: A B C