Elasticsearch用Dockerfileの設計と起動設定|メモリ制限とJVM設定の調整手順

運営:リナックスマスター.JP(代表 宮崎智広)
HOME > Linux技術 リナックスマスター.JP(Linuxマスター.JP) > Docker > Elasticsearch用Dockerfileの設計と起動設定|メモリ制限とJVM設定の調整手順
「DockerでElasticsearchを起動したら、すぐにコンテナが落ちてしまう」
「JVMのヒープサイズとDockerのメモリ制限を、どう組み合わせればいいか分からない」

Elasticsearchは全文検索やログ分析に広く使われるミドルウェアです。
Dockerで動かそうとすると、メモリ設定を誤った途端にOOMKillでコンテナが停止します。

この記事では、Rocky Linux 9・RHEL 9系を想定環境として、elasticsearch dockerfileの設計と起動設定の手順を解説します。
JVMヒープとコンテナメモリ制限の組み合わせ方、ulimitsの設定、起動後の確認手順をまとめます。

この記事のポイント

・elasticsearch dockerfileはJVMヒープ設定とセットで設計する
・Dockerのメモリ制限はJVMヒープの2倍以上を目安にする
・ulimitsのmemlock=-1とvm.max_map_countはセットで設定する
・起動確認はcurl localhost:9200でクラスター情報を取得する


「このままじゃマズい」と感じていませんか?
参考書を開く気力もない、同年代に取り残される不安——
でも安心してください。プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
姓・名・メールの3つだけ/30秒/解除は3秒 / 詳細はこちら

ElasticsearchをDockerで動かす前に知っておくべきこと

Elasticsearchは、起動時にJVMがヒープメモリを大量に確保します。
コンテナに割り当てたメモリが不足していると、起動直後にOOMKillでプロセスが強制終了されます。

Dockerで安定して動かすには、次の3つを理解しておく必要があります。

・JVMヒープサイズ: ElasticsearchのJVMが使うメモリの上限
・Dockerメモリ制限: コンテナ全体に割り当てるメモリの上限
・ulimitsのmemlock: Elasticsearchがメモリをロックするための設定

コンテナのメモリ制限はJVMヒープの2倍以上にするのが基本です。
たとえば、JVMヒープを1gに設定するなら、コンテナのメモリ制限は2g以上にします。

JVMヒープだけ大きくしても、コンテナのメモリ制限がそれ以下であればOOMKillが発生します。
この2つをセットで調整することが重要です。

Elasticsearch用Dockerfileの設計

Elasticsearchの公式コンテナイメージは、ElasticのDockerリポジトリから提供されています。
独自のJVM設定を組み込みたい場合は、Dockerfileを作成して独自イメージをビルドします。

1. ベースイメージの選択

公式イメージは`docker.elastic.co`から取得します。
DockerHubの`elasticsearch`イメージは古くなっているため、公式リポジトリを使ってください。

# Dockerfile FROM docker.elastic.co/elasticsearch/elasticsearch:8.17.0 # プラグインを追加する場合の例 # RUN elasticsearch-plugin install analysis-kuromoji # カスタムJVM設定ファイルをコピーする COPY custom-jvm.options /usr/share/elasticsearch/config/jvm.options.d/

プラグインを追加しない場合や、JVM設定をdocker composeの環境変数で渡す場合は、Dockerfileは不要です。
docker composeだけで設定する方法は、次のセクションで解説します。

2. JVM設定ファイルの作成とコピー

Elasticsearch 8系では、JVM設定を`/usr/share/elasticsearch/config/jvm.options.d/`に置いたファイルで管理します。
ヒープサイズを指定するファイルを作成して、Dockerfileでコンテナにコピーします。

# custom-jvm.options(ホスト側に作成するファイル) -Xms1g -Xmx1g

`-Xms`は最小ヒープサイズ、`-Xmx`は最大ヒープサイズです。
この2つを同じ値にすることで、JVMのヒープ拡張による遅延を防ぎます。

ヒープサイズはコンテナに割り当てたメモリの50%を上限の目安にしてください。
また、30gを超えると圧縮オブジェクトポインタが無効になり、パフォーマンスが下がることがあります。

3. 環境変数でJVMヒープを設定する

Dockerfileを使わずに環境変数でJVM設定を渡す方法もあります。
`ES_JAVA_OPTS`に`-Xms`と`-Xmx`を指定します。

# docker composeのenvironmentセクションでの指定例 environment: - ES_JAVA_OPTS=-Xms512m -Xmx512m

シンプルな開発環境では、この方法が手軽です。
一方、チームで管理する場合は、jvm.options.dにファイルを置く方法のほうが変更履歴を管理しやすくなります。

docker composeでElasticsearchを起動する設定

開発環境やステージング環境では、docker composeでElasticsearchを管理するのが一般的です。
コンテナのメモリ制限、ulimits、ボリュームの設定を含めたcompose.ymlの例を紹介します。

docker composeを使ったコンテナ構成の基礎については、Dockerコンテナ入門でも詳しく解説しています。

1. compose.ymlの全体構成

# compose.yml services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.17.0 environment: - discovery.type=single-node - xpack.security.enabled=false - ES_JAVA_OPTS=-Xms1g -Xmx1g ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 deploy: resources: limits: memory: 2g volumes: - esdata:/usr/share/elasticsearch/data ports: - "9200:9200" - "9300:9300" volumes: esdata:

`discovery.type=single-node`は、シングルノード構成でElasticsearchを起動するための設定です。
この設定がないと、クラスター構成を前提とした起動処理が実施され、タイムアウトで失敗します。

`xpack.security.enabled=false`は開発・検証環境向けの設定で、TLS認証を無効にします。
本番環境では必ず認証を有効にしてください。

2. ulimitsのmemlock設定

`ulimits.memlock`を`-1`に設定すると、Elasticsearchがメモリをロック(物理メモリに常駐)できるようになります。
メモリロックを有効にすると、スワップアウトによる突然の応答遅延を防ぎます。

この設定だけでは不十分で、ホスト側でも以下のカーネルパラメータの変更が必要です。

# ホストサーバーで実行する sudo sysctl -w vm.max_map_count=262144 # /etc/sysctl.confに追記して再起動後も有効にする echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf sudo sysctl -p

`vm.max_map_count`は、プロセスが使えるメモリマップ領域の最大数です。
Elasticsearchのデフォルト設定では、この値が低いと起動時にBootstrapチェックで失敗します。

3. コンテナメモリ制限とJVMヒープのバランス

`deploy.resources.limits.memory`でコンテナ全体のメモリ上限を設定します。
JVMヒープ以外にも、JVMのネイティブメモリやElasticsearch自体のキャッシュがメモリを消費します。

コンテナのメモリ制限はJVMヒープの2倍以上を目安にしてください。
JVMヒープ(-Xmx) コンテナメモリ制限の目安
512m 1g以上
1g 2g以上
2g 4g以上
4g 8g以上

コンテナ起動後の確認手順

docker composeでコンテナを起動した後は、ElasticsearchのHTTP APIにアクセスしてクラスター情報を取得してください。

# コンテナを起動する docker compose up -d # コンテナの起動状態を確認する docker compose ps # ElasticsearchのAPIでクラスター情報を取得する curl http://localhost:9200/

起動に成功した場合、次のような応答が返ります(環境により異なります)。

# 出力例(環境により異なります) { "name" : "es01", "cluster_name" : "docker-cluster", "version" : { "number" : "8.17.0" }, "tagline" : "You Know, for Search" }

`"tagline" : "You Know, for Search"`が表示されれば、Elasticsearchは正常に起動しています。

コンテナが起動しない場合は、まずdocker composeのログを確認してください。

# コンテナのログを確認する docker compose logs elasticsearch # リアルタイムでログを確認する docker compose logs -f elasticsearch

起動確認の際、ポート9200が開いているかをホスト側でも確認しておくと問題の切り分けに役立ちます。Linux ポート確認の全コマンドも参考にしてください。

よくあるエラーとその対処法

1. OOMKillでコンテナが停止する(終了コード137)

起動直後にコンテナが`Exited (137)`で停止する場合は、OOMKillが原因である可能性があります。
終了コード137は、LinuxのOOMキラーによる強制終了を意味します。

# コンテナの終了コードを確認する docker compose ps -a # OOMKillがホストのカーネルログに記録されているか確認する dmesg | grep -i "oom\|killed process"

対処法: `ES_JAVA_OPTS`の`-Xmx`を小さくするか、`deploy.resources.limits.memory`を大きくしてください。

2. max_map_countが低いというエラーが出る

起動ログに`max virtual memory areas vm.max_map_count [65530] is too low`が出る場合は、ホスト側のカーネルパラメータを変更する必要があります。

# ホストサーバーで実行する sudo sysctl -w vm.max_map_count=262144

再起動後も有効にするには、`/etc/sysctl.conf`に`vm.max_map_count=262144`を追記して`sudo sysctl -p`を実行してください。

3. Bootstrapチェックで複数のエラーが出る

起動ログに`[1]: max file descriptors [1024] for elasticsearch process is too low`などのBootstrapチェックエラーが出る場合は、`ulimits`の設定が反映されていない可能性があります。

compose.ymlの`ulimits`セクションが正しく記述されているか確認してください。
また、`discovery.type=single-node`が指定されていないと、クラスターモードのBootstrapチェックが実施され、より厳格な制約が適用されます。

本記事のまとめ

Elasticsearch用Dockerfileと起動設定のポイントをまとめます。
やりたいこと 設定方法
JVMヒープを指定する ES_JAVA_OPTS=-Xms1g -Xmx1gをenvironmentに設定する
カスタムJVM設定ファイルを使う DockerfileでCOPY *.options /usr/share/elasticsearch/config/jvm.options.d/を実行する
コンテナメモリを制限する deploy.resources.limits.memory: 2gをcompose.ymlに設定する
メモリロックを有効にする compose.ymlでulimits.memlock: soft: -1 hard: -1を設定する
vm.max_map_countを設定する sudo sysctl -w vm.max_map_count=262144をホストで実行する
起動を確認する curl http://localhost:9200/でクラスター情報を取得する
DockerでElasticsearchを安定稼働させるには、JVMヒープとコンテナメモリ制限のバランスが重要です。
コンテナのメモリ制限をJVMヒープの2倍以上に設定し、ホスト側の`vm.max_map_count`と`ulimits`もセットで対応してください。

起動直後にコンテナが落ちる場合は、`docker compose logs`でログを確認し、OOMKillか設定エラーかを切り分けてください。
現場で通用する安全なLinuxサーバー構築の「型」を体系的に身につけたい方へ、Dockerコンテナを使ったサーバー構築の基礎から応用まで体系的に学べるDockerコンテナ入門を用意しています。

Linuxサーバーの基礎から学び直したい方は、>>【初心者向けLinuxセミナー(2日間ハンズオン)】もご覧ください。

無料メルマガで学習を続ける

Linuxの実践スキルをメールで毎週お届け。
登録は30秒、解除もいつでも可。

登録無料・いつでも解除できます

暗記不要・1時間後にはサーバーが動く

3,100名以上が実践した「型」を無料で公開中

プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
その「型」を図解60Pにまとめた入門マニュアルを、完全無料でプレゼントしています。

姓・名・メールの3つだけ/30秒/解除は3秒 / 詳細はこちら

Linux無料マニュアル(図解60P) 名前とメールで30秒登録

運営

リナックスマスター.JP(代表 宮崎智広)

株式会社イーネットマーキュリーが運営するLinux教育サイトです。代表の宮崎智広は現役のLinuxサーバー管理者として20年以上の実務経験を持ち、累計3,100名以上のエンジニアを指導してきました。実践型のLinuxセミナーや無料マニュアルの配布を通じてLinux人材の育成に取り組んでいます。