「バッチ処理と対話型リクエストが混在していて、お互いに干渉している」
そんな悩みを抱えるLinuxサーバー管理者は多いはずです。この記事では、Apache KafkaをメッセージキューとしてOllamaの前段に配置し、LLMリクエストを非同期で安定処理するパイプラインの構築手順を解説します。Ubuntu ServerへのKafkaインストールから、PythonのProducer/ConsumerコードによるOllama連携、動作確認まで順を追って説明します。
この記事のポイント
・KafkaトピックをOllamaへのリクエストバッファとして使い、同時接続数の超過によるタイムアウトを防げる
・kafka-pythonのKafkaConsumerでメッセージを受け取りOllamaのREST APIに転送する実装手順を解説する
・ConsumerGroupで複数のOllamaインスタンスにリクエストを分散でき、スループットを向上させられる
・KRaftモードでZookeeperなしのKafka 3.x系をUbuntu Serverにインストールする手順も含む
でも安心してください。プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
なぜKafkaとOllamaを組み合わせるのか
Ollamaはデフォルトで同時処理数に制限があります。複数のシステムがほぼ同時にAPIを呼び出すと、後から届いたリクエストはキューを超えて503や接続タイムアウトが発生します。Kafkaを介することで、送信側はリクエストをKafkaトピックに積むだけで済みます。処理側(Consumer)がOllamaの処理能力に合わせて順番にリクエストを取り出すため、Ollamaへの同時アクセス数を制御できます。
典型的なケースでは、定期バッチ処理(ログの要約・ドキュメント分類)と、ユーザーの対話型リクエストが混在しています。KafkaではトピックとConsumerGroupを分けることで、バッチを低優先度にして対話型を優先させる構成も作れます。
社内へのローカルLLM導入の前提については、Ubuntu ServerでローカルLLMを構築する方法|Ollamaで機密データを外に出さず業務AIを動かす完全ガイドで詳しく解説しています。
Apache KafkaをUbuntu Serverにインストールする手順
この記事ではUbuntu Server 22.04 LTS以降を前提とします。RHELベースのディストリビューションでも基本的な手順は同じですが、パッケージ管理コマンドはapt/dnfで読み替えてください。Kafka 3.x系ではKRaftモードでZookeeperなしに動作させられます。シングルノード構成でインストールする前に、次の2点を確認してください。1. OllamaとPythonが動作していること
Ollamaのセットアップが完了していることを前提とします。構築手順はUbuntu ServerでローカルLLMを構築する方法で詳しく説明しています。# Ollamaが動作していることを確認する $ systemctl status ollama Active: active (running) # OllamaのAPIが応答することを確認する $ curl http://localhost:11434/api/tags {"models":[...]} # Python 3とpipが使えることを確認する $ python3 --version Python 3.10.12
2. Javaがインストールされていること
KafkaはJVM上で動作するため、Java 11以降が必要です。# Java 17のインストール(Ubuntu) $ sudo apt update && sudo apt install openjdk-17-jre -y # バージョン確認 $ java -version openjdk version "17.0.x" 2024-xx-xx OpenJDK Runtime Environment ...
3. KafkaのアーカイブをダウンロードしてLinuxに展開する
# /opt 以下にKafkaを配置する(バージョンは公式サイトで最新の安定版を確認すること) $ cd /tmp $ wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz $ tar xzf kafka_2.13-3.7.1.tgz $ sudo mv kafka_2.13-3.7.1 /opt/kafka
4. KRaftモードの初期設定をする
# クラスターIDを生成する $ KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid) # ストレージを初期化する(KRaftモード) $ /opt/kafka/bin/kafka-storage.sh format \ -t "$KAFKA_CLUSTER_ID" \ -c /opt/kafka/config/kraft/server.properties Formatting /tmp/kraft-combined-logs with metadata.version 3.7-IV4.
5. Kafkaサービスをsystemdユニットとして登録して起動する
毎回手動で起動するのではなく、systemdで管理します。# systemdユニットファイルを作成する $ sudo tee /etc/systemd/system/kafka.service << 'EOF' [Unit] Description=Apache Kafka After=network.target [Service] Type=simple User=root ExecStart=/opt/kafka/bin/kafka-server-start.sh \ /opt/kafka/config/kraft/server.properties ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-failure [Install] WantedBy=multi-user.target EOF $ sudo systemctl daemon-reload $ sudo systemctl enable --now kafka # 起動確認 $ systemctl status kafka Active: active (running)
LLMリクエスト用のKafkaトピックを設定する手順
OllamaへのリクエストをKafkaで管理するために2つのトピックを作ります。リクエスト受付用と処理結果返却用です。1. リクエスト用と結果返却用のトピックを作成する
# リクエストを受け付けるトピック(パーティション数1・レプリカ数1) $ /opt/kafka/bin/kafka-topics.sh --create \ --topic ollama-requests \ --partitions 1 \ --replication-factor 1 \ --bootstrap-server localhost:9092 # 処理結果を返すトピック $ /opt/kafka/bin/kafka-topics.sh --create \ --topic ollama-results \ --partitions 1 \ --replication-factor 1 \ --bootstrap-server localhost:9092 # 作成されたトピックを確認する $ /opt/kafka/bin/kafka-topics.sh --list \ --bootstrap-server localhost:9092 ollama-requests ollama-results
2. メッセージの保持期間を設定する
LLMの推論結果はセキュリティ上、長期間保持しないのが原則です。保持期間を1時間に設定します。# 保持期間を1時間(3600000ミリ秒)に設定する $ /opt/kafka/bin/kafka-configs.sh --alter \ --topic ollama-requests \ --add-config retention.ms=3600000 \ --bootstrap-server localhost:9092 Completed updating config for topic ollama-requests. $ /opt/kafka/bin/kafka-configs.sh --alter \ --topic ollama-results \ --add-config retention.ms=3600000 \ --bootstrap-server localhost:9092 Completed updating config for topic ollama-results.
KafkaコンシューマーでOllamaにリクエストを渡すPython実装
Consumer側のPythonスクリプトを作ります。KafkaからリクエストJSONを受け取り、OllamaのAPIに転送して結果をKafkaに書き戻します。1. kafka-pythonライブラリをインストールする
$ pip3 install kafka-python requests Successfully installed kafka-python-2.0.2 requests-2.31.0
2. OllamaコンシューマースクリプトをLinuxサーバーに作成する
$ sudo mkdir -p /opt/ollama-kafka $ sudo tee /opt/ollama-kafka/consumer.py << 'EOF' from kafka import KafkaConsumer, KafkaProducer import requests import json KAFKA_SERVER = 'localhost:9092' REQUEST_TOPIC = 'ollama-requests' RESULT_TOPIC = 'ollama-results' OLLAMA_URL = 'http://localhost:11434/api/generate' consumer = KafkaConsumer( REQUEST_TOPIC, bootstrap_servers=[KAFKA_SERVER], group_id='ollama-workers', value_deserializer=lambda x: json.loads(x.decode('utf-8')) ) producer = KafkaProducer( bootstrap_servers=[KAFKA_SERVER], value_serializer=lambda v: json.dumps(v).encode('utf-8') ) print("Consumer開始。リクエストを待機中...") for message in consumer: data = message.value request_id = data.get('id', 'unknown') print(f"リクエスト受信: id={request_id}") try: response = requests.post( OLLAMA_URL, json={ 'model': data.get('model', 'llama3.3'), 'prompt': data.get('prompt', ''), 'stream': False }, timeout=120 ) result = response.json() producer.send(RESULT_TOPIC, { 'id': request_id, 'response': result.get('response', ''), 'status': 'ok' }) print(f"完了: id={request_id}") except Exception as e: producer.send(RESULT_TOPIC, { 'id': request_id, 'response': '', 'status': f'error: {str(e)}' }) print(f"エラー: id={request_id}: {e}") EOF
3. ConsumerをLinuxのsystemdサービスとして登録して起動する
$ sudo tee /etc/systemd/system/ollama-kafka-consumer.service << 'EOF' [Unit] Description=Ollama Kafka Consumer After=kafka.service ollama.service [Service] Type=simple ExecStart=python3 /opt/ollama-kafka/consumer.py Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF $ sudo systemctl daemon-reload $ sudo systemctl enable --now ollama-kafka-consumer # 動作確認 $ systemctl status ollama-kafka-consumer Active: active (running)
KafkaプロデューサーからLLMリクエストを送信する手順
Producer側のスクリプトでKafkaにリクエストを送り、結果を受け取るサンプルを作ります。1. プロデューサースクリプトを作成して送信確認する
$ tee /opt/ollama-kafka/producer_test.py << 'EOF' from kafka import KafkaConsumer, KafkaProducer import json, uuid KAFKA_SERVER = 'localhost:9092' producer = KafkaProducer( bootstrap_servers=[KAFKA_SERVER], value_serializer=lambda v: json.dumps(v).encode('utf-8') ) # テストリクエストを送信する request_id = str(uuid.uuid4())[:8] producer.send('ollama-requests', { 'id': request_id, 'model': 'llama3.3', 'prompt': '「ローカルLLM」を一文で説明してください。' }) producer.flush() print(f"送信完了: id={request_id}") # 結果を受け取る(30秒タイムアウト) consumer = KafkaConsumer( 'ollama-results', bootstrap_servers=[KAFKA_SERVER], value_deserializer=lambda x: json.loads(x.decode('utf-8')), consumer_timeout_ms=30000 ) for message in consumer: result = message.value if result.get('id') == request_id: print(f"応答: {result.get('response')}") break EOF # 動作確認実行 $ python3 /opt/ollama-kafka/producer_test.py 送信完了: id=a1b2c3d4 応答: ローカルLLMとは、インターネットに接続せずに自社のLinuxサーバー上で動作させる大規模言語モデルです。
動作確認とメッセージの流れを確かめる手順
1. ConsumerGroupの消費状況を確認する
# ConsumerGroupの遅延(LAG)を確認する $ /opt/kafka/bin/kafka-consumer-groups.sh \ --group ollama-workers \ --describe \ --bootstrap-server localhost:9092 GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG ollama-workers ollama-requests 0 3 3 0
2. Consumerのログをjournalctlでリアルタイム確認する
# Consumerサービスのログをリアルタイムで確認する $ journalctl -u ollama-kafka-consumer -f Nov 21 10:00:01 server01 python3[1234]: Consumer開始。リクエストを待機中... Nov 21 10:00:05 server01 python3[1234]: リクエスト受信: id=a1b2c3d4 Nov 21 10:00:08 server01 python3[1234]: 完了: id=a1b2c3d4
よくあるトラブルと対処法
1. KafkaConsumerがNoBrokersAvailableで接続できない場合
Kafkaが起動していないか、9092番ポートで待受していない場合に発生します。# Kafkaサービスの状態を確認する $ systemctl status kafka # 9092番ポートで待受しているか確認する $ ss -tlnp | grep ':9092' # Kafkaのログを確認する $ journalctl -u kafka -n 50
2. ConsumerがTimeoutErrorでOllamaに接続できない場合
requests.postのtimeoutを超えてもOllamaが応答しない場合です。モデルのロード中や、Ollamaが停止している場合が原因です。# Ollamaの状態を確認する $ systemctl status ollama # Ollamaに直接アクセスして動作確認する $ curl http://localhost:11434/api/tags
3. Consumerスクリプトがjson.JSONDecodeErrorで落ちる場合
Kafkaのメッセージフォーマットが正しくない場合に発生します。# コンソールでKafkaのメッセージを直接確認する $ /opt/kafka/bin/kafka-console-consumer.sh \ --topic ollama-requests \ --from-beginning \ --bootstrap-server localhost:9092
本番運用時の注意点
Kafka上を流れるリクエストにはプロンプトの内容が含まれます。機密データを扱う場合、Kafkaのデータをディスクに保存するlog.dirsは/opt/kafka/logsに設定されており、ファイルシステム側で適切なアクセス制御が必要です。ConsumerGroupに複数のConsumerを追加してOllamaの並列処理を増やす場合は、Kafkaトピックのパーティション数もConsumer数と合わせて増やしてください。パーティション数よりConsumer数が多くても、余分なConsumerはアイドル状態になります。
Kafkaの認証(SASL/PLAIN)やSSL暗号化は、外部ネットワークからアクセスする場合に設定します。機密データの取り扱い方針については社内でChatGPTが使えないときの代替手段|機密データを守るローカルLLMという選択肢も参考にしてください。
本番環境では、Kafkaのログディレクトリのディスク容量を定期的に監視してください。
# Kafkaのログディレクトリのディスク使用量を確認する $ du -sh /opt/kafka/logs/ 120M /opt/kafka/logs/ # ディスク残量を確認する $ df -h /opt/kafka/logs/ Filesystem Size Used Avail Use% Mounted on /dev/sda1 50G 12G 38G 24% /
まとめ
この記事では、OllamaとApache Kafkaを連携させてLLMリクエストを非同期処理するパイプラインの構築手順を解説しました。| 設定項目 | コマンド・ファイル | 目的 |
|---|---|---|
| Kafkaインストール | kafka-storage.sh format -t ... -c server.properties | KRaftモードでZookeeperなしに起動する |
| トピック作成 | kafka-topics.sh --create --topic ollama-requests | リクエストキューを作成する |
| コンシューマー実装 | /opt/ollama-kafka/consumer.py | KafkaからOllamaへリクエストを転送する |
| サービス登録 | /etc/systemd/system/ollama-kafka-consumer.service | Consumerをsystemdで常時稼働させる |
| 遅延確認 | kafka-consumer-groups.sh --describe | LAGでキューの詰まりを監視する |
OllamaのKafka連携から本番運用まで2日間のハンズオンで体験する
ローカルLLMの非同期処理設計からチームでの安定運用まで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数(最大8名)ZOOMハンズオン形式で実施しています。
・Ubuntu ServerでローカルLLMを構築する方法|Ollamaで機密データを外に出さず業務AIを動かす完全ガイド
・社内でChatGPTが使えないときの代替手段|機密データを守るローカルLLMという選択肢
・ローカルLLMのモデルを比較する方法|Llama3.3・Mistral・Gemma・Phi-4をUbuntuで使い分けるポイント
3,100名以上が実践した「型」を無料で公開中
プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
その「型」を図解60Pにまとめた入門マニュアルを、完全無料でプレゼントしています。
姓・名・メールの3つだけ/30秒/解除は3秒 / 詳細はこちら
- 前のページへ:OllamaでLinuxサーバーの設定ファイルを自動監査する方法|AIでsshd_configとnginx.confの危険な設定を検出する手順
- この記事の属するカテゴリ:ローカルLLMへ戻る

無料メルマガで学習を続ける
Linuxの実践スキルをメールで毎週お届け。
登録は30秒、解除もいつでも可。
登録無料・いつでも解除できます