OllamaとCeleryで非同期LLMタスクキューを構築する方法｜複数ユーザーのリクエストをワーカーで並列処理してサーバー負荷を制御する手順

この記事のポイント

・Celery+Redisでollamaリクエストを非同期タスクとしてキュー処理できる
・`worker_concurrency`でGPU/RAM容量に合わせた同時処理数を制御する
・systemdの`After=ollama.service`で起動順序を保証して本番運用に対応する
・バッチ処理とリアルタイム処理をキュー名で分離して優先度制御できる

# Python バージョン確認
$ python3 --version
Python 3.12.3
# Ollamaが稼働中か確認
$ systemctl status ollama | grep Active
   Active: active (running) since 2026-10-15 10:00:00 JST
# APIへの疎通確認
$ curl -s http://127.0.0.1:11434/api/tags | head -c 100
{"models":[{"name":"llama3.3:70b-instruct-q4_0","modified_at":"2026-10-01T12:00:00Z"...

$ sudo mkdir -p /opt/ollama-queue
$ sudo chown $USER:$USER /opt/ollama-queue
$ cd /opt/ollama-queue
# Python仮想環境を作成
$ python3 -m venv venv
$ source venv/bin/activate
(venv)$ pip install --upgrade pip

$ sudo apt update && sudo apt install -y redis-server
$ sudo systemctl enable redis-server
$ sudo systemctl start redis-server
# Redisの疎通確認
$ redis-cli ping
PONG
# バージョン確認
$ redis-server --version
Redis server v=7.0.15

(venv)$ pip install celery[redis] requests
# インストール確認
(venv)$ celery --version
celery v5.3.6 (emerald-rush)
(venv)$ python -c "import redis; print(redis.__version__)"
5.0.1

$ cat > /opt/ollama-queue/tasks.py << 'EOF'
import requests
from celery import Celery

# Redisをブローカー兼バックエンドに指定
app = Celery("ollama_queue",
             broker="redis://127.0.0.1:6379/0",
             backend="redis://127.0.0.1:6379/1")

app.conf.update(
    task_serializer="json",
    result_expires=3600,       # 結果を1時間保持
    worker_concurrency=2,      # 同時処理数（GPU/RAMに合わせて調整）
    task_acks_late=True,       # ワーカー死亡時のタスク再投入を有効化
)

@app.task(bind=True, max_retries=3)
def generate(self, model: str, prompt: str, options: dict = None):
    payload = {
        "model": model,
        "prompt": prompt,
        "stream": False,
        "options": options or {},
    }
    try:
        resp = requests.post(
            "http://127.0.0.1:11434/api/generate",
            json=payload,
            timeout=300,
        )
        resp.raise_for_status()
        return resp.json().get("response", "")
    except requests.RequestException as exc:
        raise self.retry(exc=exc, countdown=10)
EOF
echo "tasks.py created"

$ cat > /opt/ollama-queue/submit_task.py << 'EOF'
from tasks import generate

# タスクを非同期で投入（即座にタスクIDを返す）
result = generate.delay(
    model="llama3.3:70b-instruct-q4_0",
    prompt="LinuxのsystemdとSysVinitの違いを100字で説明してください",
)
print(f"Task ID: {result.id}")

# 結果を待機して取得（最大300秒）
response = result.get(timeout=300)
print(f"Response: {response}")
EOF
echo "submit_task.py created"

$ cd /opt/ollama-queue && source venv/bin/activate
# ワーカーをフォアグラウンドで起動（Ctrl+Cで停止）
(venv)$ celery -A tasks worker --loglevel=info --concurrency=2
[config]
.> app:         ollama_queue:0x7f1234567890
.> transport:   redis://127.0.0.1:6379/0
.> results:     redis://127.0.0.1:6379/1
.> concurrency: 2 (prefork)
[tasks]
  . tasks.generate

[2026-10-15 12:00:00,000: INFO/MainProcess] Connected to redis://127.0.0.1:6379/0
[2026-10-15 12:00:00,100: INFO/MainProcess] celery@hostname ready.

# 別ターミナルで実行
$ cd /opt/ollama-queue && source venv/bin/activate
(venv)$ python submit_task.py
Task ID: a1b2c3d4-e5f6-7890-abcd-ef1234567890
Response: systemdはLinuxカーネル起動後に最初に実行されるPID1のシステム初期化デーモンで...

$ sudo tee /etc/systemd/system/ollama-celery.service << 'EOF'
[Unit]
Description=Celery Worker for Ollama Queue
After=network.target redis-server.service ollama.service
Requires=redis-server.service

[Service]
Type=forking
User=ubuntu
Group=ubuntu
WorkingDirectory=/opt/ollama-queue
ExecStart=/opt/ollama-queue/venv/bin/celery \
  -A tasks worker \
  --loglevel=info \
  --concurrency=2 \
  --logfile=/var/log/ollama-celery.log \
  --pidfile=/var/run/ollama-celery.pid \
  --detach
ExecStop=/bin/kill -TERM $MAINPID
Restart=on-failure
RestartSec=10s

[Install]
WantedBy=multi-user.target
EOF
echo "service file created"

$ sudo touch /var/log/ollama-celery.log
$ sudo chown ubuntu:ubuntu /var/log/ollama-celery.log
$ sudo systemctl daemon-reload
$ sudo systemctl enable ollama-celery
$ sudo systemctl start ollama-celery
# ステータス確認
$ systemctl status ollama-celery | grep Active
   Active: active (running) since 2026-10-15 12:00:00 JST

# Celeryワーカーに実際にpingを送って確認
$ cd /opt/ollama-queue && source venv/bin/activate
(venv)$ celery -A tasks inspect ping
-> celery@hostname: OK
    pong

# キューの状態を確認
(venv)$ celery -A tasks inspect active_queues
-> celery@hostname: OK
    * exchange=celery(direct) key=celery

# Redisの起動確認
$ systemctl status redis-server | grep Active
   Active: active (running)

# ポートのリッスン確認
$ ss -tlnp | grep 6379
LISTEN  0  511  127.0.0.1:6379  0.0.0.0:*  users:(("redis-server",...))

# Celeryから接続確認
$ cd /opt/ollama-queue && source venv/bin/activate
(venv)$ celery -A tasks inspect ping
-> celery@hostname: OK
    pong

# 仮想環境を有効化してから実行する
$ cd /opt/ollama-queue && source venv/bin/activate
(venv)$ python -c "import tasks; print(tasks)"

# tasks.py の timeout を延長する
# 変更前: timeout=300
# 変更後: timeout=600
$ sed -i 's/timeout=300/timeout=600/' /opt/ollama-queue/tasks.py
$ sudo systemctl restart ollama-celery

# tasks.py の worker_concurrency を確認・変更
$ grep worker_concurrency /opt/ollama-queue/tasks.py
    worker_concurrency=2,
# 変更後はサービスを再起動する
$ sudo systemctl restart ollama-celery

# エラーログを確認
$ sudo journalctl -u ollama-celery -n 30 --no-pager
# 実行ユーザーを確認
$ whoami
ubuntu
# PIDファイルのディレクトリ権限を確認
$ ls -la /var/run/ | grep ollama

ローカルLLMのチーム運用を2日間のハンズオンで体験する

Celeryによるキュー管理やsystemdの本番設定など、実機GPU環境でチームサーバー構成を手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。