OllamaとApache KafkaでLinux非同期LLMパイプラインを構築する方法|メッセージキューでリクエストの集中負荷を安定処理する手順

運営:リナックスマスター.JP(代表 宮崎智広)
HOME > Linux技術 リナックスマスター.JP(Linuxマスター.JP) > ローカルLLM > OllamaとApache KafkaでLinux非同期LLMパイプラインを構築する方法|メッセージキューでリクエストの集中負荷を安定処理する手順
「社内の複数サービスからOllamaにリクエストが集中すると、処理が詰まってタイムアウトが頻発する」
「バッチ処理と対話型リクエストが混在していて、お互いに干渉している」

そんな悩みを抱えるLinuxサーバー管理者は多いはずです。この記事では、Apache KafkaをメッセージキューとしてOllamaの前段に配置し、LLMリクエストを非同期で安定処理するパイプラインの構築手順を解説します。Ubuntu ServerへのKafkaインストールから、PythonのProducer/ConsumerコードによるOllama連携、動作確認まで順を追って説明します。

この記事のポイント

・KafkaトピックをOllamaへのリクエストバッファとして使い、同時接続数の超過によるタイムアウトを防げる
・kafka-pythonのKafkaConsumerでメッセージを受け取りOllamaのREST APIに転送する実装手順を解説する
・ConsumerGroupで複数のOllamaインスタンスにリクエストを分散でき、スループットを向上させられる
・KRaftモードでZookeeperなしのKafka 3.x系をUbuntu Serverにインストールする手順も含む


OllamaとApache KafkaでLinux非同期LLMパイプラインを構築する方法|メッセージキューでリクエストの集中負荷を安定処理する手順

「このままじゃマズい」と感じていませんか?
参考書を開く気力もない、同年代に取り残される不安——
でも安心してください。プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
姓・名・メールの3つだけ/30秒/解除は3秒 / 詳細はこちら

なぜKafkaとOllamaを組み合わせるのか

Ollamaはデフォルトで同時処理数に制限があります。複数のシステムがほぼ同時にAPIを呼び出すと、後から届いたリクエストはキューを超えて503や接続タイムアウトが発生します。

Kafkaを介することで、送信側はリクエストをKafkaトピックに積むだけで済みます。処理側(Consumer)がOllamaの処理能力に合わせて順番にリクエストを取り出すため、Ollamaへの同時アクセス数を制御できます。

典型的なケースでは、定期バッチ処理(ログの要約・ドキュメント分類)と、ユーザーの対話型リクエストが混在しています。KafkaではトピックとConsumerGroupを分けることで、バッチを低優先度にして対話型を優先させる構成も作れます。
社内へのローカルLLM導入の前提については、Ubuntu ServerでローカルLLMを構築する方法|Ollamaで機密データを外に出さず業務AIを動かす完全ガイドで詳しく解説しています。

Apache KafkaをUbuntu Serverにインストールする手順

この記事ではUbuntu Server 22.04 LTS以降を前提とします。RHELベースのディストリビューションでも基本的な手順は同じですが、パッケージ管理コマンドはapt/dnfで読み替えてください。Kafka 3.x系ではKRaftモードでZookeeperなしに動作させられます。シングルノード構成でインストールする前に、次の2点を確認してください。

1. OllamaとPythonが動作していること

Ollamaのセットアップが完了していることを前提とします。構築手順はUbuntu ServerでローカルLLMを構築する方法で詳しく説明しています。

# Ollamaが動作していることを確認する $ systemctl status ollama Active: active (running) # OllamaのAPIが応答することを確認する $ curl http://localhost:11434/api/tags {"models":[...]} # Python 3とpipが使えることを確認する $ python3 --version Python 3.10.12

2. Javaがインストールされていること

KafkaはJVM上で動作するため、Java 11以降が必要です。

# Java 17のインストール(Ubuntu) $ sudo apt update && sudo apt install openjdk-17-jre -y # バージョン確認 $ java -version openjdk version "17.0.x" 2024-xx-xx OpenJDK Runtime Environment ...

3. KafkaのアーカイブをダウンロードしてLinuxに展開する

# /opt 以下にKafkaを配置する(バージョンは公式サイトで最新の安定版を確認すること) $ cd /tmp $ wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz $ tar xzf kafka_2.13-3.7.1.tgz $ sudo mv kafka_2.13-3.7.1 /opt/kafka

4. KRaftモードの初期設定をする

# クラスターIDを生成する $ KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid) # ストレージを初期化する(KRaftモード) $ /opt/kafka/bin/kafka-storage.sh format \ -t "$KAFKA_CLUSTER_ID" \ -c /opt/kafka/config/kraft/server.properties Formatting /tmp/kraft-combined-logs with metadata.version 3.7-IV4.

5. Kafkaサービスをsystemdユニットとして登録して起動する

毎回手動で起動するのではなく、systemdで管理します。

# systemdユニットファイルを作成する $ sudo tee /etc/systemd/system/kafka.service << 'EOF' [Unit] Description=Apache Kafka After=network.target [Service] Type=simple User=root ExecStart=/opt/kafka/bin/kafka-server-start.sh \ /opt/kafka/config/kraft/server.properties ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-failure [Install] WantedBy=multi-user.target EOF $ sudo systemctl daemon-reload $ sudo systemctl enable --now kafka # 起動確認 $ systemctl status kafka Active: active (running)

LLMリクエスト用のKafkaトピックを設定する手順

OllamaへのリクエストをKafkaで管理するために2つのトピックを作ります。リクエスト受付用と処理結果返却用です。

1. リクエスト用と結果返却用のトピックを作成する

# リクエストを受け付けるトピック(パーティション数1・レプリカ数1) $ /opt/kafka/bin/kafka-topics.sh --create \ --topic ollama-requests \ --partitions 1 \ --replication-factor 1 \ --bootstrap-server localhost:9092 # 処理結果を返すトピック $ /opt/kafka/bin/kafka-topics.sh --create \ --topic ollama-results \ --partitions 1 \ --replication-factor 1 \ --bootstrap-server localhost:9092 # 作成されたトピックを確認する $ /opt/kafka/bin/kafka-topics.sh --list \ --bootstrap-server localhost:9092 ollama-requests ollama-results

2. メッセージの保持期間を設定する

LLMの推論結果はセキュリティ上、長期間保持しないのが原則です。保持期間を1時間に設定します。

# 保持期間を1時間(3600000ミリ秒)に設定する $ /opt/kafka/bin/kafka-configs.sh --alter \ --topic ollama-requests \ --add-config retention.ms=3600000 \ --bootstrap-server localhost:9092 Completed updating config for topic ollama-requests. $ /opt/kafka/bin/kafka-configs.sh --alter \ --topic ollama-results \ --add-config retention.ms=3600000 \ --bootstrap-server localhost:9092 Completed updating config for topic ollama-results.

KafkaコンシューマーでOllamaにリクエストを渡すPython実装

Consumer側のPythonスクリプトを作ります。KafkaからリクエストJSONを受け取り、OllamaのAPIに転送して結果をKafkaに書き戻します。

1. kafka-pythonライブラリをインストールする

$ pip3 install kafka-python requests Successfully installed kafka-python-2.0.2 requests-2.31.0

2. OllamaコンシューマースクリプトをLinuxサーバーに作成する

$ sudo mkdir -p /opt/ollama-kafka $ sudo tee /opt/ollama-kafka/consumer.py << 'EOF' from kafka import KafkaConsumer, KafkaProducer import requests import json KAFKA_SERVER = 'localhost:9092' REQUEST_TOPIC = 'ollama-requests' RESULT_TOPIC = 'ollama-results' OLLAMA_URL = 'http://localhost:11434/api/generate' consumer = KafkaConsumer( REQUEST_TOPIC, bootstrap_servers=[KAFKA_SERVER], group_id='ollama-workers', value_deserializer=lambda x: json.loads(x.decode('utf-8')) ) producer = KafkaProducer( bootstrap_servers=[KAFKA_SERVER], value_serializer=lambda v: json.dumps(v).encode('utf-8') ) print("Consumer開始。リクエストを待機中...") for message in consumer: data = message.value request_id = data.get('id', 'unknown') print(f"リクエスト受信: id={request_id}") try: response = requests.post( OLLAMA_URL, json={ 'model': data.get('model', 'llama3.3'), 'prompt': data.get('prompt', ''), 'stream': False }, timeout=120 ) result = response.json() producer.send(RESULT_TOPIC, { 'id': request_id, 'response': result.get('response', ''), 'status': 'ok' }) print(f"完了: id={request_id}") except Exception as e: producer.send(RESULT_TOPIC, { 'id': request_id, 'response': '', 'status': f'error: {str(e)}' }) print(f"エラー: id={request_id}: {e}") EOF

3. ConsumerをLinuxのsystemdサービスとして登録して起動する

$ sudo tee /etc/systemd/system/ollama-kafka-consumer.service << 'EOF' [Unit] Description=Ollama Kafka Consumer After=kafka.service ollama.service [Service] Type=simple ExecStart=python3 /opt/ollama-kafka/consumer.py Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF $ sudo systemctl daemon-reload $ sudo systemctl enable --now ollama-kafka-consumer # 動作確認 $ systemctl status ollama-kafka-consumer Active: active (running)

KafkaプロデューサーからLLMリクエストを送信する手順

Producer側のスクリプトでKafkaにリクエストを送り、結果を受け取るサンプルを作ります。

1. プロデューサースクリプトを作成して送信確認する

$ tee /opt/ollama-kafka/producer_test.py << 'EOF' from kafka import KafkaConsumer, KafkaProducer import json, uuid KAFKA_SERVER = 'localhost:9092' producer = KafkaProducer( bootstrap_servers=[KAFKA_SERVER], value_serializer=lambda v: json.dumps(v).encode('utf-8') ) # テストリクエストを送信する request_id = str(uuid.uuid4())[:8] producer.send('ollama-requests', { 'id': request_id, 'model': 'llama3.3', 'prompt': '「ローカルLLM」を一文で説明してください。' }) producer.flush() print(f"送信完了: id={request_id}") # 結果を受け取る(30秒タイムアウト) consumer = KafkaConsumer( 'ollama-results', bootstrap_servers=[KAFKA_SERVER], value_deserializer=lambda x: json.loads(x.decode('utf-8')), consumer_timeout_ms=30000 ) for message in consumer: result = message.value if result.get('id') == request_id: print(f"応答: {result.get('response')}") break EOF # 動作確認実行 $ python3 /opt/ollama-kafka/producer_test.py 送信完了: id=a1b2c3d4 応答: ローカルLLMとは、インターネットに接続せずに自社のLinuxサーバー上で動作させる大規模言語モデルです。

動作確認とメッセージの流れを確かめる手順

1. ConsumerGroupの消費状況を確認する

# ConsumerGroupの遅延(LAG)を確認する $ /opt/kafka/bin/kafka-consumer-groups.sh \ --group ollama-workers \ --describe \ --bootstrap-server localhost:9092 GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG ollama-workers ollama-requests 0 3 3 0

LAGが0であれば、ConsumerがリクエストをすべてOllamaに渡せています。LAGが増え続ける場合はConsumerを追加するか、Ollamaのモデルをより軽量なものに切り替えることを検討してください。モデルの選定についてはローカルLLMのモデルを比較する方法|Llama3.3・Mistral・Gemma・Phi-4をUbuntuで使い分けるポイントで詳しく説明しています。

2. Consumerのログをjournalctlでリアルタイム確認する

# Consumerサービスのログをリアルタイムで確認する $ journalctl -u ollama-kafka-consumer -f Nov 21 10:00:01 server01 python3[1234]: Consumer開始。リクエストを待機中... Nov 21 10:00:05 server01 python3[1234]: リクエスト受信: id=a1b2c3d4 Nov 21 10:00:08 server01 python3[1234]: 完了: id=a1b2c3d4

よくあるトラブルと対処法

1. KafkaConsumerがNoBrokersAvailableで接続できない場合

Kafkaが起動していないか、9092番ポートで待受していない場合に発生します。

# Kafkaサービスの状態を確認する $ systemctl status kafka # 9092番ポートで待受しているか確認する $ ss -tlnp | grep ':9092' # Kafkaのログを確認する $ journalctl -u kafka -n 50

起動に失敗している場合は、KRaftの初期化が完了しているかを確認します。kafka-storage.shのformatが完了していないと起動しません。

2. ConsumerがTimeoutErrorでOllamaに接続できない場合

requests.postのtimeoutを超えてもOllamaが応答しない場合です。モデルのロード中や、Ollamaが停止している場合が原因です。

# Ollamaの状態を確認する $ systemctl status ollama # Ollamaに直接アクセスして動作確認する $ curl http://localhost:11434/api/tags

timeout値(現在120秒)を延ばすか、ollama-kafka-consumer.serviceのAfter=にollama.serviceを追加してOllamaの起動を先行させてください。

3. Consumerスクリプトがjson.JSONDecodeErrorで落ちる場合

Kafkaのメッセージフォーマットが正しくない場合に発生します。

# コンソールでKafkaのメッセージを直接確認する $ /opt/kafka/bin/kafka-console-consumer.sh \ --topic ollama-requests \ --from-beginning \ --bootstrap-server localhost:9092

Producer側でjson.dumps()を通してからKafkaに送信していることを確認してください。

本番運用時の注意点

Kafka上を流れるリクエストにはプロンプトの内容が含まれます。機密データを扱う場合、Kafkaのデータをディスクに保存するlog.dirsは/opt/kafka/logsに設定されており、ファイルシステム側で適切なアクセス制御が必要です。

ConsumerGroupに複数のConsumerを追加してOllamaの並列処理を増やす場合は、Kafkaトピックのパーティション数もConsumer数と合わせて増やしてください。パーティション数よりConsumer数が多くても、余分なConsumerはアイドル状態になります。

Kafkaの認証(SASL/PLAIN)やSSL暗号化は、外部ネットワークからアクセスする場合に設定します。機密データの取り扱い方針については社内でChatGPTが使えないときの代替手段|機密データを守るローカルLLMという選択肢も参考にしてください。

本番環境では、Kafkaのログディレクトリのディスク容量を定期的に監視してください。

# Kafkaのログディレクトリのディスク使用量を確認する $ du -sh /opt/kafka/logs/ 120M /opt/kafka/logs/ # ディスク残量を確認する $ df -h /opt/kafka/logs/ Filesystem Size Used Avail Use% Mounted on /dev/sda1 50G 12G 38G 24% /

まとめ

この記事では、OllamaとApache Kafkaを連携させてLLMリクエストを非同期処理するパイプラインの構築手順を解説しました。
設定項目 コマンド・ファイル 目的
Kafkaインストール kafka-storage.sh format -t ... -c server.properties KRaftモードでZookeeperなしに起動する
トピック作成 kafka-topics.sh --create --topic ollama-requests リクエストキューを作成する
コンシューマー実装 /opt/ollama-kafka/consumer.py KafkaからOllamaへリクエストを転送する
サービス登録 /etc/systemd/system/ollama-kafka-consumer.service Consumerをsystemdで常時稼働させる
遅延確認 kafka-consumer-groups.sh --describe LAGでキューの詰まりを監視する
20年以上Linuxサーバーの運用に携わってきた経験から、LLMの処理キューを設計する際は「送る側と処理する側を分ける」設計が重要です。KafkaはそのためのLinux上の実績あるインフラです。ConsumerGroupのLAGで処理の詰まりを可視化できるため、ボトルネックの特定もしやすくなります。

OllamaのKafka連携から本番運用まで2日間のハンズオンで体験する

ローカルLLMの非同期処理設計からチームでの安定運用まで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数(最大8名)ZOOMハンズオン形式で実施しています。

>> ローカルAIマスターセミナーの詳細を確認する
ローカルLLMの構築・運用に関する関連記事もあわせて参考にしてください。

・Ubuntu ServerでローカルLLMを構築する方法|Ollamaで機密データを外に出さず業務AIを動かす完全ガイド
・社内でChatGPTが使えないときの代替手段|機密データを守るローカルLLMという選択肢
・ローカルLLMのモデルを比較する方法|Llama3.3・Mistral・Gemma・Phi-4をUbuntuで使い分けるポイント

無料メルマガで学習を続ける

Linuxの実践スキルをメールで毎週お届け。
登録は30秒、解除もいつでも可。

登録無料・いつでも解除できます

暗記不要・1時間後にはサーバーが動く

3,100名以上が実践した「型」を無料で公開中

プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
その「型」を図解60Pにまとめた入門マニュアルを、完全無料でプレゼントしています。

姓・名・メールの3つだけ/30秒/解除は3秒 / 詳細はこちら

Linux無料マニュアル(図解60P) 名前とメールで30秒登録

運営

リナックスマスター.JP(代表 宮崎智広)

株式会社イーネットマーキュリーが運営するLinux教育サイトです。代表の宮崎智広は現役のLinuxサーバー管理者として20年以上の実務経験を持ち、累計3,100名以上のエンジニアを指導してきました。実践型のLinuxセミナーや無料マニュアルの配布を通じてLinux人材の育成に取り組んでいます。