killできないプロセスとゾンビプロセスの調査・対処｜Dステート・defunctの見分け方と安全な解消手順

この記事のポイント

・ゾンビ（defunct/Z）は「終了済みの残骸」でシグナルを受け取れない
・Dステートは「カーネルI/O待ちで割り込み不可」のため kill が効かない
・ゾンビ解消には kill ではなく「親プロセスへの SIGCHLD か親の終了」が正解
・DステートはNFS・ストレージのI/O根本原因を取り除かないと解消しない

# ゾンビプロセスのみを抽出する
$ ps -eo pid,ppid,stat,comm | grep ' Z'

  PID  PPID STAT COMMAND
 3412  3401 Z    php-fpm
 3419  3401 Z    php-fpm
 4892  4880 Z    worker.py

$ ps aux | awk '$8 ~ /Z/'

USER         PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
www-data    3412  0.0  0.0      0     0 ?        Z    10:23   0:00 [php-fpm] <defunct>
www-data    3419  0.0  0.0      0     0 ?        Z    10:24   0:00 [php-fpm] <defunct>
appuser     4892  0.0  0.0      0     0 ?        Z    11:05   0:00 [worker.py] <defunct>

# ゾンビの親PIDを取り出す
$ ps -eo pid,ppid,stat,comm | awk '$3 ~ /Z/ {print $2}' | sort -u
3401
4880

# 親プロセスの詳細を確認する
$ ps -p 3401 -o pid,ppid,stat,comm,cmd
  PID  PPID STAT COMMAND CMD
 3401     1 S    php-fpm  php-fpm: master process (/etc/php-fpm.conf)

$ cat /proc/3412/status
Name:	php-fpm
State:	Z (zombie)
Tgid:	3412
Pid:	3412
PPid:	3401
...
VmPeak:	       0 kB
VmSize:	       0 kB

# 現在のゾンビ数を確認する
$ ps -eo stat | grep -c '^Z'
127

# pid_max の上限を確認する
$ cat /proc/sys/kernel/pid_max
32768

# Dステートプロセスの一覧を確認する
$ ps -eo pid,ppid,stat,comm | grep ' D'

  PID  PPID STAT COMMAND
  891     2 D    kworker/u4:2
 2244  2230 D    python3
 5512  5500 D    rsync

# 待機しているカーネル関数を確認する（NFS の場合の例）
$ cat /proc/2244/wchan
nfs_file_read

# rsync がブロックしている場合の例
$ cat /proc/5512/wchan
nfs_lock_inode_wait

# ディスクI/O待ちの場合の例
$ cat /proc/891/wchan
io_schedule

# カーネルスタックを確認する（root権限が必要）
$ sudo cat /proc/2244/stack
[<0>] nfs_file_read+0x72/0xe0 [nfs]
[<0>] new_sync_read+0x12d/0x1c0
[<0>] vfs_read+0xa4/0x1a0
[<0>] ksys_read+0x5f/0xe0
[<0>] do_syscall_64+0x3b/0x90
[<0>] entry_SYSCALL_64_after_hwframe+0x72/0xdc

$ dmesg | tail -30
[1234567.890] nfs: server 192.168.10.50 not responding, timed out
[1234580.123] nfs: server 192.168.10.50 not responding, still trying
[1234621.456] INFO: task python3:2244 blocked for more than 120 seconds.
[1234621.457]       Not tainted 5.14.0-427.13.1.el9_4.x86_64 #1
[1234621.458] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

# Dステートプロセスのオープンファイルを確認する
$ sudo lsof -p 2244

COMMAND  PID     USER   FD   TYPE DEVICE      SIZE/OFF     NODE NAME
python3 2244  appuser  cwd    DIR   0,46           4096   123456 /mnt/nfs_share
python3 2244  appuser    0u   CHR  136,0           0t0        3 /dev/pts/0
python3 2244  appuser    1u   CHR  136,0           0t0        3 /dev/pts/0
python3 2244  appuser    4r   REG   0,46   1073741824   789012 /mnt/nfs_share/data/large_file.bin

# 親PIDに SIGCHLD を送る（PPID=3401 の場合）
$ kill -CHLD 3401

# または数値シグナルで指定する
$ kill -17 3401

# 送信後にゾンビが消えたか確認する
$ ps -eo pid,ppid,stat,comm | grep ' Z'
（何も表示されなければ回収成功）

# 親プロセスを穏やかに終了させる（SIGTERM）
$ kill 3401

# 数秒待ってゾンビが消えたか確認する
$ ps -eo pid,ppid,stat,comm | grep ' Z'

# SIGTERM で終了しない場合は SIGKILL（サービスの場合は systemctl で管理する方が安全）
$ kill -9 3401

# php-fpm サービスを再起動する（これでゾンビも一緒に解消される）
$ sudo systemctl restart php-fpm

# 再起動後の確認
$ ps -eo pid,ppid,stat,comm | grep ' Z'
（ゾンビが消えていることを確認）

# PPIDが1のゾンビを確認する
$ ps -eo pid,ppid,stat,comm | awk '$3 ~ /Z/ && $2 == 1 {print}'

# systemd に孤児プロセス回収を促す（SIGCHLD を PID 1 に送る）
$ sudo kill -CHLD 1

# NFS マウント一覧を確認する
$ mount | grep nfs
192.168.10.50:/export/data on /mnt/nfs_share type nfs (rw,relatime,...)

# NFS サーバーへの疎通を確認する
$ ping -c 3 192.168.10.50
# または
$ showmount -e 192.168.10.50

# 強制アンマウント（-l は lazy unmount、-f は force）
$ sudo umount -l -f /mnt/nfs_share

# アンマウント後のプロセス状態確認
$ ps -eo pid,ppid,stat,comm | grep ' D'
（Dステートが解消されていれば何も表示されない）

# ストレージのI/Oエラーを確認する
$ dmesg | grep -E 'I/O error|ata[0-9]+|blk_update_request'

[1234567.890] blk_update_request: I/O error, dev sdb, sector 1048576
[1234568.012] ata2.00: exception Emask 0x0 SAct 0xf00 SErr 0x0 action 0x6
[1234568.014] ata2.00: irq_stat 0x40000008

# iostat でデバイスのI/O状況を確認する
$ iostat -x 1 3

# 通常の再起動（シャットダウンプロセスを経由）
$ sudo systemctl reboot

# シャットダウンプロセスが Dステートで詰まった場合は magic SysRq を使う
# （/proc/sys/kernel/sysrq が 1 の場合のみ有効）
$ echo 1 | sudo tee /proc/sys/kernel/sysrq
$ echo b | sudo tee /proc/sysrq-trigger
# ※ echo b は即時リブート（ファイルシステムの同期なし）。最終手段として使う

# ゾンビとDステートを一発で確認するコマンド
$ ps -eo pid,ppid,stat,comm | awk '$3 ~ /^[ZD]/'

  PID  PPID STAT COMMAND
  891     2 D    kworker/u4:2
 2244  2230 D    python3
 3412  3401 Z    php-fpm

# /etc/fstab での NFS soft マウントの設定例
# 192.168.10.50:/export/data /mnt/nfs_share nfs soft,timeo=30,retrans=3,_netdev 0 0

# コマンドラインでのマウント例
$ sudo mount -o soft,timeo=30,retrans=3 192.168.10.50:/export/data /mnt/nfs_share

# 現在の hung task タイムアウト値を確認する
$ cat /proc/sys/kernel/hung_task_timeout_secs
120

# 検知を早める場合（本番環境では慎重に）
$ echo 60 | sudo tee /proc/sys/kernel/hung_task_timeout_secs

# 永続化する場合は /etc/sysctl.d/99-hung-task.conf に記述する
# kernel.hung_task_timeout_secs = 60

#!/bin/bash
# プロセス異常状態の監視スクリプト（cron で 5 分ごとに実行）
ZOMBIE_COUNT=$(ps -eo stat | grep -c '^Z')
DSTATE_COUNT=$(ps -eo stat | grep -c '^D')

if [ "$ZOMBIE_COUNT" -gt 10 ]; then
    logger -t proc-monitor "WARNING: Zombie count is ${ZOMBIE_COUNT}"
fi
if [ "$DSTATE_COUNT" -gt 5 ]; then
    logger -t proc-monitor "CRITICAL: D-state count is ${DSTATE_COUNT}"
    # カーネルメッセージを記録する
    dmesg | tail -20 | logger -t proc-monitor
fi