Linuxのロードアベレージを確認・理解する方法｜uptimeとwの出力と高負荷時の原因特定

# uptimeコマンドを実行
$ uptime
 10:42:35 up 15 days,  3:21,  2 users,  load average: 0.52, 0.48, 0.41

# 出力の読み方:
# 10:42:35     - 現在時刻
# up 15 days, 3:21 - 稼働時間（15日3時間21分）
# 2 users      - ログイン中のユーザー数
# load average: 0.52, 0.48, 0.41  - 1分・5分・15分のロードアベレージ

$ w
 10:42:35 up 15 days,  3:21,  2 users,  load average: 0.52, 0.48, 0.41
USER     TTY        LOGIN@   IDLE JCPU   PCPU WHAT
pakira   pts/0     09:30    0.00s  0.05s  0.01s w
admin    pts/1     10:20    5:00   0.02s  0.01s -bash

$ cat /proc/loadavg
0.52 0.48 0.41 2/458 18923

# 書式: 1分平均 5分平均 15分平均 実行中/全プロセス数 最新PID
# 2/458  → 現在実行中（Running/D状態）のプロセスが2、全プロセスが458
# 18923  → 最後に作成されたプロセスのPID

#!/bin/bash
# ロードアベレージを5分ごとに記録するスクリプト
LOG=/var/log/loadavg.log
while true; do
    echo "$(date '+%Y-%m-%d %H:%M:%S') $(cat /proc/loadavg)" >> $LOG
    sleep 300
done

# または cron で記録する（/etc/cron.d/loadavg に記述）
# */5 * * * * root echo "$(date '+%Y-%m-%d %H:%M:%S') $(cat /proc/loadavg)" >> /var/log/loadavg.log

# nproc コマンドで論理コア数を確認
$ nproc
4

# lscpu で詳細確認
$ lscpu | grep -E "^CPU(s)|^Thread|^Core|^Socket"
CPU(s):                4
Thread(s) per core:    2
Core(s) per socket:    2
Socket(s):             1
# → 物理コア 2、ハイパースレッディングで論理コア 4

# top コマンド起動（q で終了）
$ top

top - 10:42:35 up 15 days,  3:21,  2 users,  load average: 3.52, 2.48, 1.41
Tasks: 458 total,   3 running, 455 sleeping,   0 stopped,   0 zombie
%Cpu(s): 78.5 us,  5.2 sy,  0.0 ni, 14.0 id,  2.3 wa,  0.0 hi,  0.0 si
MiB Mem :   7832.0 total,   1200.4 free,   4500.2 used,   2131.4 buff/cache
MiB Swap:   2048.0 total,   1500.0 free,    548.0 used.   3100.0 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
18923 apache    20   0  480000  80000  12000 R  95.3   1.0   5:23.45 httpd
18930 mysql     20   0 2000000 500000  20000 R  82.1   6.4  10:15.33 mysqld

# %CPU が高いプロセスを特定
# wa (I/O wait) の値が高い場合はディスクI/Oが原因

# 1秒ごとに5回表示
$ vmstat 1 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  2 560000  50000  30000 200000    0    5   100   500 1200 2300 75  5 18  2  0
 2  1 560000  48000  30000 200000    0    0    50   300 1100 2100 70  4 22  4  0
 ...

# r  = 実行待ちプロセス数（ロードアベレージに近い数字）
# b  = D状態（I/O待ち）のプロセス数
# wa = I/O wait（高い場合はディスクI/Oがボトルネック）
# si/so = スワップイン/アウト（値があればメモリ不足）

# sysstat パッケージが必要
$ sudo dnf install -y sysstat   # RHEL/Rocky Linux
$ sudo apt install -y sysstat   # Ubuntu

# 1秒ごとに5回表示
$ iostat -dx 1 5
Device            r/s     w/s    rkB/s    wkB/s   rrqm/s   wrqm/s  %util
nvme0n1          50.0   200.0   1600.0   8000.0      0.0      5.0   85.3
sdb               0.5    10.0     20.0    400.0      0.0      0.0    5.2

# %util が高いデバイスがI/Oボトルネック
# rkB/s, wkB/s でどちらが主原因か判断

# D状態のプロセスを確認
$ ps aux | awk '$8 == "D" {print}'
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
mysql    18930  8.2  6.4 2000000 500000 ?      D    09:00   10:15 mysqld

# 上記のように mysqld が D状態なら、DBのディスクI/Oが原因
# iostat で対象デバイスの %util を確認
$ iostat -dx 1 3 | grep -v "^$\|^Device"
nvme0n1  50.0  500.0  1600.0  20000.0  0.0  20.0  99.5

# sar コマンドで過去のロードアベレージ推移を確認（sysstatが必要）
$ sar -q 1 10
Linux 5.14.0-427.16.1.el9_4.x86_64

10:30:00          runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15   blocked
10:30:01                0       458      0.52      0.48      0.41         0
10:30:02                3       460      0.75      0.50      0.42         2
10:30:03                8       465      1.80      0.72      0.45         5

# 急上昇の直前に何が起きたかをログで調査
$ sudo journalctl --since "10 minutes ago" | grep -iE "error|warn|oom|kill"

# ゾンビプロセスを確認
$ ps aux | awk '$8 == "Z" {print}'

# ゾンビの親プロセスを特定して再起動
$ ps -ef | awk '$8 == "Z" {print $3}' | sort -u | xargs ps -p