Prometheusでサーバーメトリクスを監視する方法｜node_exporterのインストールからAlertmanagerまで

この記事のポイント

・PrometheusはPull型の監視ツールで、定期的にターゲットからメトリクスを取得して時系列DBに保存する
・Node ExporterをサーバーにインストールするだけでCPU・メモリ・ディスクI/Oを自動収集できる
・prometheus.ymlのscrape_intervalとtargetsを設定し、promtoolで構文チェックしてから適用する
・Alertmanagerと組み合わせることで、閾値超過時のメール通知が自動化できる

# PrometheusおよびNode Exporter用の専用ユーザーを作成
sudo useradd -M -s /sbin/nologin -r prometheus
sudo useradd -M -s /sbin/nologin -r node_exporter

# 設定ファイル用ディレクトリ・データ保存用ディレクトリを作成
sudo mkdir -p /etc/prometheus /var/lib/prometheus

# 所有者をprometheusユーザーに変更
sudo chown prometheus:prometheus /etc/prometheus /var/lib/prometheus

# バイナリをダウンロード（最新版はhttps://github.com/prometheus/prometheus/releasesで確認）
cd /tmp
curl -LO https://github.com/prometheus/prometheus/releases/download/v2.54.0/prometheus-2.54.0.linux-amd64.tar.gz

# アーカイブを展開
tar xzf prometheus-2.54.0.linux-amd64.tar.gz
cd prometheus-2.54.0.linux-amd64

# バイナリを/usr/local/binに配置
sudo cp prometheus promtool /usr/local/bin/
sudo chown prometheus:prometheus /usr/local/bin/prometheus /usr/local/bin/promtool

# デフォルトの設定ファイルとコンソールを配置
sudo cp -r consoles/ console_libraries/ /etc/prometheus/
sudo cp prometheus.yml /etc/prometheus/
sudo chown -R prometheus:prometheus /etc/prometheus/

$ prometheus --version
prometheus, version 2.54.0 (branch: HEAD, revision: abcdef123456)
  build user:       root@buildhost
  build date:       20260601-10:00:00
  go version:       go1.22.3
  platform:         linux/amd64

sudo vi /etc/systemd/system/prometheus.service

[Unit]
Description=Prometheus Monitoring System
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/bin/prometheus   --config.file=/etc/prometheus/prometheus.yml   --storage.tsdb.path=/var/lib/prometheus/data   --storage.tsdb.retention.time=15d   --web.listen-address=0.0.0.0:9090
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now prometheus
sudo systemctl status prometheus

* prometheus.service - Prometheus Monitoring System
     Loaded: loaded (/etc/systemd/system/prometheus.service; enabled; preset: disabled)
     Active: active (running) since Fri 2026-07-04 10:23:45 JST; 3s ago
   Main PID: 12345 (prometheus)
      Tasks: 9 (limit: 23170)
     Memory: 38.2M
        CPU: 1.102s
     CGroup: /system.slice/prometheus.service
             └─12345 /usr/local/bin/prometheus --config.file=/etc/prometheus/prometheus.yml

cd /tmp
curl -LO https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzf node_exporter-1.8.2.linux-amd64.tar.gz
sudo cp node_exporter-1.8.2.linux-amd64/node_exporter /usr/local/bin/
sudo chown node_exporter:node_exporter /usr/local/bin/node_exporter

sudo vi /etc/systemd/system/node_exporter.service

[Unit]
Description=Node Exporter
After=network.target

[Service]
Type=simple
User=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter

# 動作確認：/metricsエンドポイントにアクセスしてメトリクスが取得できるか確認
curl -s http://localhost:9100/metrics | head -20

# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 2.7e-05
go_gc_duration_seconds{quantile="0.25"} 3.5e-05
go_gc_duration_seconds{quantile="0.5"} 5.2e-05
go_gc_duration_seconds{quantile="0.75"} 9.4e-05
go_gc_duration_seconds{quantile="1"} 0.000312
# HELP node_cpu_seconds_total Seconds the CPUs spent in each mode.
# TYPE node_cpu_seconds_total counter
node_cpu_seconds_total{cpu="0",mode="idle"} 12456.78
node_cpu_seconds_total{cpu="0",mode="iowait"} 23.45
node_cpu_seconds_total{cpu="0",mode="system"} 123.67
node_cpu_seconds_total{cpu="0",mode="user"} 234.89

global:
  scrape_interval: 15s      # メトリクスを収集する間隔（デフォルト: 1分）
  evaluation_interval: 15s  # アラートルールを評価する間隔

alerting:
  alertmanagers:
    - static_configs:
        - targets: []  # Alertmanagerのアドレス（後で設定）

rule_files: []  # アラートルールファイルのパス

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

sudo vi /etc/prometheus/prometheus.yml

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: "node"
    static_configs:
      - targets: ["localhost:9100"]
        labels:
          alias: "web-server-01"  # 複数台管理時に識別しやすくなる

# 設定ファイルの構文チェック（エラーがあれば詳細が表示される）
promtool check config /etc/prometheus/prometheus.yml

Checking /etc/prometheus/prometheus.yml
  SUCCESS: /etc/prometheus/prometheus.yml is valid prometheus config file syntax

# 設定を反映（SIGHUPを送ることで再起動なしに設定を再読み込みできる）
sudo systemctl reload-or-restart prometheus

# curlでPrometheus本体の稼働状態を確認
curl -s http://localhost:9090/-/healthy

# 出力:
Prometheus Server is Healthy.

# ターゲットの状態確認（UP/DOWNが分かる）
curl -s http://localhost:9090/api/v1/targets | python3 -m json.tool | grep health

# Prometheusのポート（9090）を開放
sudo firewall-cmd --permanent --add-port=9090/tcp

# Node Exporterのポート（9100）を開放
sudo firewall-cmd --permanent --add-port=9100/tcp

# Alertmanagerのポート（9093）を開放
sudo firewall-cmd --permanent --add-port=9093/tcp

# 設定を反映
sudo firewall-cmd --reload

# 開放済みポートの確認
sudo firewall-cmd --list-ports

9090/tcp 9093/tcp 9100/tcp

cd /tmp
curl -LO https://github.com/prometheus/alertmanager/releases/download/v0.28.0/alertmanager-0.28.0.linux-amd64.tar.gz
tar xzf alertmanager-0.28.0.linux-amd64.tar.gz
sudo cp alertmanager-0.28.0.linux-amd64/alertmanager /usr/local/bin/
sudo mkdir -p /etc/alertmanager /var/lib/alertmanager

sudo vi /etc/alertmanager/alertmanager.yml

global:
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.com'

route:
  receiver: 'default'

receivers:
  - name: 'default'
    email_configs:
      - to: 'admin@example.com'

sudo vi /etc/systemd/system/alertmanager.service

[Unit]
Description=Prometheus Alertmanager
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/bin/alertmanager   --config.file=/etc/alertmanager/alertmanager.yml   --storage.path=/var/lib/alertmanager
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now alertmanager
sudo systemctl status alertmanager

sudo vi /etc/prometheus/alert_rules.yml

groups:
  - name: server_alerts
    rules:
      - alert: HighCPUUsage
        expr: 100 - (avg by(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 90
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "CPU使用率が90%を超えています"

      - alert: HighMemoryUsage
        expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100 > 85
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "メモリ使用率が85%を超えています"

      - alert: DiskSpaceLow
        expr: (1 - node_filesystem_avail_bytes{fstype!="tmpfs"} / node_filesystem_size_bytes) * 100 > 80
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "ディスク使用率が80%を超えています"

# /etc/prometheus/prometheus.yml を以下のように更新する
rule_files:
  - "alert_rules.yml"

alerting:
  alertmanagers:
    - static_configs:
        - targets: ["localhost:9093"]

# アラートルールの構文チェック
promtool check rules /etc/prometheus/alert_rules.yml

Checking /etc/prometheus/alert_rules.yml
  SUCCESS: 3 rules found

sudo systemctl reload-or-restart prometheus

# サービスログでエラー内容を確認
sudo journalctl -u prometheus -n 50 --no-pager

# よくある原因1: 設定ファイルが存在しない
ls -la /etc/prometheus/prometheus.yml

# よくある原因2: ディレクトリの所有者がprometheusになっていない
ls -la /var/lib/prometheus/

# 修正
sudo chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus

# Node ExporterへのHTTPアクセスを確認（PrometheusサーバーのPCからテスト）
curl -s http://192.168.1.10:9100/metrics | head -5

# SELinuxのDENYログを確認
sudo ausearch -m avc -ts recent

# 必要に応じてポートのSELinuxコンテキストを設定
sudo semanage port -a -t http_port_t -p tcp 9090
sudo semanage port -a -t http_port_t -p tcp 9100