Linuxサーバーの「怪しい兆候」を見逃さないエンジニアが持っている観察眼｜20年以上の経験から伝える違和感を掴む技術

「監視ツールにアラートが出ていないのに、なぜかあの先輩は障害の前に気づいている——どうして分かるんだろう」

こんな場面を見たことはありませんか？その差は知識量ではなく、日々の「観察眼」の差です。

この記事では、20年以上Linuxサーバーの運用に携わってきた経験から、障害の予兆を捉えるための観察眼と、日々の運用で身につけるべき「違和感を掴む技術」をお伝えします。

「何もないのに嫌な予感がする」は技術ではなく経験だ

私がSEとして現場に出るようになった2001年、最初に配属されたプロジェクトの先輩から言われた言葉があります。

「サーバーは毎朝挨拶しに行け。ログを見るんじゃない、サーバーが正常な顔をしているかどうかを確認しに行くんだ」

当時の私には意味がよくわかりませんでした。ログを見るんじゃないなら何を見るのか、と。

でも20年以上たった今、この言葉の意味がよくわかります。

サーバーは「正常ですよ」というフリをしながら、静かに壊れていきます。監視ツールがアラートを上げるより前に、経験のある人間の目には「なんか変だ」という信号が届くことがある。その信号をキャッチできるかどうかが、観察眼の差です。

セミナーで3,100名以上を指導してきた中で、「障害の予兆を掴んだことがある」と言えるエンジニアは、実際にどんなことを見ているのかを整理してみました。

怪しい兆候を見逃しやすい3つのパターン

1. レスポンスが「遅い」ではなく「ばらついている」

サーバーのレスポンスが遅い、という状態は誰でも気づきます。問題は「たまに遅い」「時々引っかかる」というばらつきです。

私が現場で何度も見てきたパターンがあります。平均レスポンスタイムは正常範囲内なのに、ある特定の時間帯だけ突然跳ね上がる。あるいは、同じ処理なのに10回中2回だけ遅い。

こういうばらつきは、多くの場合「何かが競合している」サインです。ディスクのI/Oが詰まり始めているとか、接続プールが埋まりかけているとか、バックグラウンドのcronジョブが予想より時間を食っているとか。

averageだけを見ていると見逃します。標準偏差やパーセンタイル（95th、99th）まで目が届くようになると、見える世界が変わります。

私が現場でよく使う確認手順はこうです。
最速と最遅の差が10倍以上あるなら、何かが起きているシグナルです。

2. ディスク使用率が「増えている」ではなく「増え方が変わった」

ディスク使用量が増えているのは正常なことです。ログが積まれたり、データが蓄積されたりするのは当然。

怪しいのは「増え方のペースが変わったとき」です。

たとえば、普段は1日あたり100MB程度しか増えないサーバーで、ある日突然1GBずつ増え始めた。こういう変化は、単純な「ディスク残量アラート」では拾えません。残量が80%になって初めてアラートが出ますが、そのときにはもう原因の特定が大変になっていることが多い。

私が現場でやっていたのは、cronで毎日dfの出力をファイルに書き出し、前日との差分を見る、という単純な仕組みです。
このスクリプトを使っていたことで、あるとき「/var/log が昨日比で800MB増えた」という変化に朝一で気づき、調べたらバグのあるアプリケーションがデバッグログを垂れ流していた、という障害を未然に防いだことがあります。

3. プロセス数が「多い」ではなく「同じプロセスが複数起動している」

`ps aux` でプロセス一覧を見たとき、「なんか数が多い気がする」という感覚を持てるかどうか。

特に注意が必要なのは、同じ名前のプロセスが複数走っている状況です。1つだけ走っているはずのデーモンが3つ起動していたり、cronで起動するシェルスクリプトが前回の実行が終わらないまま次の起動が走っていたり。

私が現役SE時代に経験した実際のインシデントです。本番のApacheが突然リクエストを処理しなくなった。ログには何も残っていない。調べたら、MaxClientsを超えたプロセスが積み上がって、新規接続を受け付けられない状態になっていました。

その原因は、画像処理の重いバッチ処理がniceコマンドなしで走っていたため、CPUを専有してApacheの子プロセスがタイムアウト→再起動を繰り返し、プロセス数が膨れ上がったというものでした。

こういうケースを防ぐには、プロセス数の「正常な範囲」を事前に把握しておくことです。

観察眼は「記録」から生まれる

「違和感を掴む技術」と書きましたが、実は違和感とは「過去との比較」によってしか生まれません。

普段がどんな状態かを知らない人は、異常を異常と認識できません。これはLinuxに限らず、あらゆる運用の基本です。

私のセミナーでは、「サーバー観察ノートをつけなさい」と受講生に伝えています。難しいことではなく、毎朝確認したときのdf、ps、vmstatの結果をメモしておく、それだけです。

1ヶ月続けると、自分のサーバーの「普通」が頭に入ります。その「普通」との差分こそが、怪しい兆候の正体です。

たとえばこういう確認を毎朝の習慣にするといいです。
この5コマンドを毎朝見るだけで、半年後には「普通の状態」が身体に染み込みます。

「見ていない」と「気づいていない」は全然違う

受講生からよく聞かれる質問が「観察眼ってどうやって鍛えるんですか？」というものです。

私の答えはいつも同じです。「毎日見ること、そして記録すること」。

センスではありません。毎日コツコツ積み重ねた観察の記録が、違和感の解像度を高めていきます。

20年以上の運用経験の中で、「なんか変だ」という感覚で問題を早期発見できた瞬間は何十回もありました。でも振り返れば、それは全て「いつもと違う何かがある」という、記録に基づいた比較から来ていた。

コマンドの数を覚えることも大事ですが、毎日サーバーに向き合う習慣こそが、エンジニアとしての本当の地力になります。

「異常かどうかわからない」時のトラブルシュート手順

「これは異常なのか、それとも普通の状態なのか判断できない」——観察を始めたばかりの頃は誰でもこの壁にぶつかります。

そういうときは次の順序で確認してください。

・まずログのエラー行を確認する：`journalctl -p err --since "1 hour ago"` でERR以上が出ていれば明確な異常です
・次にリソース上限に達していないか見る：`df -h` でディスク90%超、`free -m` でSwap使用率50%超は要警戒
・プロセスが想定外に多くないか確認する：主要デーモンのプロセス数が普段の倍以上なら調査が必要です
・「昨日と何かが違うか」を自分に問う：数値が正常範囲でも「違和感がある」なら原因を一つひとつ潰していく

「異常かどうかわからない」という感覚自体が、観察眼が育ちつつあるサインです。迷ったら確認する、この習慣が観察眼をさらに鍛えます。

まとめ

Linuxサーバーの「怪しい兆候」を見逃さないための観察眼について、3つのパターンと習慣を紹介しました。

見るべきポイント	怪しいサイン	確認コマンド
レスポンスタイム	平均は正常でもばらつきが大きい	awk '{print $NF}' access.log | sort -n | tail -20
ディスク使用量	増え方のペースが急変した	df -h を毎日記録して差分確認
プロセス数	同じプロセスが想定より多く起動している	ps aux | awk '{print $11}' | sort | uniq -c | sort -rn
システム全体	「昨日と何かが違う」という感覚	毎朝5コマンドセットで記録を継続する

観察眼は天才的なセンスではなく、毎日の積み重ねから生まれます。「普通の状態」を知っている人だけが、異常を早期に発見できます。

この記事が、毎日のサーバー観察を習慣化するきっかけになれば幸いです。

よくある疑問：どこから観察を始めればいいか？

「何を見ればいいのかわからない」という方のために、観察の始め方をまとめます。

最初から全部やろうとすると続きません。まず1つだけ選んでください。

・ディスクから始める：`df -h` を毎日同じ時間に実行してメモする。1週間続けると増え方のパターンが見えてきます
・プロセスから始める：`ps aux | grep httpd | wc -l` の数を毎朝記録する。その数字が「普通」の状態です
・ログエラーから始める：`journalctl -p err --since "1 hour ago"` を習慣化する。エラーゼロが続く日常が「正常」のベースラインです

どれか1つを1ヶ月続けてください。気づくと「普通の状態」が体に染み込み、違和感を感じる感覚が育ってきます。

観察眼は特別な才能ではありません。始める人と始めない人の差だけです。

---

• 前のページへ：本番適用前に検証する習慣の身につけ方
• この記事の属するカテゴリ：Linux学習ガイドへ戻る