カーネルパニックの調査とkdump設定｜vmcore採取からcrashコマンドによる初動解析まで

この記事のポイント

・kdumpはkexecで第2カーネルを起動しvmcoreを保存するLinux標準機能
・crashkernel=パラメータとkexec-toolsのインストールで有効化できる
・crashコマンドのbt/log/sysでパニック原因とスタックを特定できる
・本番投入前にsysrq+cでテストクラッシュし動作確認を済ませること

dmesg | grep -E 'panic|Oops|BUG|Call Trace|RIP:|RSP:' | head -50

# /var/log/journal を作成してpersistentモードに切り替える
mkdir -p /var/log/journal
systemd-tmpfiles --create --prefix /var/log/journal
systemctl restart systemd-journald
# 再起動後に前回ブートのパニックログを参照
journalctl -b -1 | grep -E 'panic|Oops|BUG|Call Trace'

# /etc/default/grub — GRUB_CMDLINE_LINUX に追記
# console=tty0 の前に console=ttyS0,115200n8 を追加する例:
# GRUB_CMDLINE_LINUX="... console=tty0 console=ttyS0,115200n8"

# UEFI環境でのgrub.cfg再生成
grub2-mkconfig -o /boot/grub2/grub.cfg

# メモリ容量に応じた自動割り当て（RHEL 9推奨値）
# crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M

# autoに任せる（RHEL 8以降で利用可能）
crashkernel=auto

# RHEL 9 / Rocky Linux 9
dnf install -y kexec-tools
systemctl enable --now kdump

# 現在のカーネルパラメータを確認
cat /proc/cmdline

# crashkernelが含まれていない場合、grubに追記
vi /etc/default/grub
# GRUB_CMDLINE_LINUX の末尾に crashkernel=auto を追加

# UEFI環境でのgrub.cfg再生成
grub2-mkconfig -o /boot/grub2/grub.cfg

# BIOS（MBR）環境の場合は以下のパスになることがある
# grub2-mkconfig -o /boot/grub2/grub.cfg  ← 同じパスで可

# crashkernelが含まれていることを確認
cat /proc/cmdline | grep crashkernel
# 出力例: ... crashkernel=auto ...

# kdumpサービスの状態確認
systemctl status kdump
# Active: active (exited)  ← これが正常状態

# /etc/kdump.conf （主要設定項目）

# vmcoreの保存先（デフォルト: /var/crash）
path /var/crash

# makedumpfile: 圧縮とフィルタリング
# -l: LZO圧縮  --message-level 1: 最小限のメッセージ
# -d 31: ゼロページ・キャッシュ・空きページ・ユーザーデータ・HugePage除外
core_collector makedumpfile -l --message-level 1 -d 31

# NFS保存の例（オプション）
# nfs 192.168.1.10:/export/kdump
# ssh user@192.168.1.10

systemctl restart kdump
systemctl status kdump

df -h /var/crash

# sysrqを有効化
echo 1 > /proc/sys/kernel/sysrq

# 強制クラッシュ（実行直後にSSH接続は切れる）
echo c > /proc/sysrq-trigger

# 保存先ディレクトリの確認
ls -lh /var/crash/
# 出力例:
# drwxr-x--- 2 root root 4.0K Jul 25 10:23 127.0.0.1-2026-07-25-10:23:14/

ls -lh /var/crash/127.0.0.1-2026-07-25-10:23:14/
# 出力例:
# -rw------- 1 root root 312M Jul 25 10:23 vmcore
# -rw-r--r-- 1 root root 1.6K Jul 25 10:23 vmcore-dmesg.txt

cat /var/crash/127.0.0.1-2026-07-25-10:23:14/vmcore-dmesg.txt | tail -50

# crashコマンド本体
dnf install -y crash

# カーネルデバッグシンボル（uname -r と完全一致するものが必要）
dnf install -y kernel-debuginfo-$(uname -r)

crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux       /var/crash/127.0.0.1-2026-07-25-10:23:14/vmcore

crash> sys
      NODENAME: rocky9.localdomain
       RELEASE: 5.14.0-362.8.1.el9_3.x86_64
       VERSION: #1 SMP PREEMPT_DYNAMIC ...
       MACHINE: x86_64  (2800 Mhz)
        MEMORY: 8 GB
         PANIC: "sysrq: Trigger a crash"
           PID: 1234
       COMMAND: "bash"
          DATE: Fri Jul 25 10:23:10 2026
        UPTIME: 00:05:14

# リングバッファ全体を表示
crash> log

# 直前の30行に絞る（BUG: や Kernel panic - の行を探す）
crash> log | tail -30

crash> bt
PID: 0      TASK: ffffffff826183c0  CPU: 0   COMMAND: "swapper/0"
 #0 [fffffe0000008e40] machine_kexec at ffffffff810665cf
 #1 [fffffe0000008ea0] __crash_kexec at ffffffff81120001
 #2 [fffffe0000008f68] panic at ffffffff8118a5b7
 #3 [fffffe0000008ff0] sysrq_handle_crash at ffffffff81a2fe34

# 特定PIDのbt
crash> bt 1234

# 全タスクのbtを一括表示（大規模サーバーでは時間がかかる）
crash> bt -a

# カレントタスクのvm情報
crash> vm

# 特定プロセスのvm情報
crash> vm 1234

# 全プロセス一覧
crash> ps

# 実行中（RU状態）のプロセスを絞る
crash> ps | grep RU

crash> quit

BUG: kernel NULL pointer dereference, address: 0000000000000000

watchdog: BUG: soft lockup - CPU#0 stuck for 22s!
Kernel panic - not syncing: hung_task: blocked tasks

kernel BUG at fs/ext4/inode.c:1234!

Kernel panic - not syncing: stack-protector: Kernel stack is corrupted