Ollamaをcurlとwrkで負荷テストして本番スペックを決める方法｜トークン毎秒・同時接続数・GPU使用率を実測してインフラを設計する手順

この記事のポイント

・curlの-wオプションでTTFT・総レスポンスタイムを1コマンドで計測できる
・wrkの-cオプションで並列接続数を上げながらスループット上限を特定できる
・Pythonのasyncioで同時接続を段階的に増やし、エラーが出始めるラインをつかめる
・GPU VRAM使用率と応答速度の相関を見るとスペック判断の根拠が明確になる

$ cat > /tmp/curl-format.txt <<'EOF'
time_namelookup:  %{time_namelookup}\n
time_connect:     %{time_connect}\n
time_starttransfer: %{time_starttransfer}\n
time_total:       %{time_total}\n
EOF

$ curl -s -o /dev/null -w "@/tmp/curl-format.txt" \
  -X POST http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.3:8b-instruct-q4_0","prompt":"Linuxのtopコマンドの使い方を50字以内で説明してください","stream":false}'
time_namelookup:  0.000031
time_connect:     0.000060
time_starttransfer: 3.241890
time_total:       3.242100

$ for i in $(seq 1 10); do
    curl -s -o /dev/null -w "%{time_total}\n" \
      -X POST http://localhost:11434/api/generate \
      -H "Content-Type: application/json" \
      -d '{"model":"llama3.3:8b-instruct-q4_0","prompt":"Linuxのtopコマンドの使い方を50字以内で説明してください","stream":false}'
  done | sort -n | awk 'NR==5 || NR==6 {sum+=$1; count++} END {print "median:", sum/count, "sec"}'
median: 3.287 sec

$ sudo apt install wrk -y
$ wrk --version
wrk 4.1.0 [epoll] Copyright (C) 2012 Will Glozer

$ cat > /tmp/ollama-wrk.lua <<'EOF'
wrk.method = "POST"
wrk.headers["Content-Type"] = "application/json"
wrk.body = '{"model":"llama3.3:8b-instruct-q4_0","prompt":"Linuxのtopコマンドの使い方を50字以内で説明してください","stream":false}'
EOF

$ for c in 1 2 4 8; do
    echo "=== concurrency: $c ==="
    wrk -t2 -c${c} -d30s -T120s -s /tmp/ollama-wrk.lua \
      http://localhost:11434/api/generate 2>&1 | grep -E "Requests|errors|Socket"
  done
=== concurrency: 1 ===
Requests/sec:  0.30
=== concurrency: 2 ===
Requests/sec:  0.27
=== concurrency: 4 ===
Requests/sec:  0.14
=== concurrency: 8 ===
Requests/sec:  0.09  Socket errors: connect 0, read 6, write 0, timeout 4

$ cat > /tmp/ollama_load_test.py <<'EOF'
import asyncio, aiohttp, time, statistics

CONCURRENCY = 4   # ここを変えながらテスト
URL = "http://localhost:11434/api/generate"
PAYLOAD = {
    "model": "llama3.3:8b-instruct-q4_0",
    "prompt": "Linuxのtopコマンドを50字以内で説明してください",
    "stream": False
}

async def request(session, sem, results):
    async with sem:
        t0 = time.time()
        try:
            async with session.post(
                URL, json=PAYLOAD,
                timeout=aiohttp.ClientTimeout(total=120)
            ) as r:
                await r.json()
                results.append(("ok", time.time() - t0))
        except Exception:
            results.append(("err", time.time() - t0))

async def main():
    sem = asyncio.Semaphore(CONCURRENCY)
    results = []
    async with aiohttp.ClientSession() as session:
        await asyncio.gather(
            *[request(session, sem, results) for _ in range(CONCURRENCY * 3)]
        )
    ok = [t for s, t in results if s == "ok"]
    err = [t for s, t in results if s == "err"]
    print(f"CONCURRENCY={CONCURRENCY}  OK:{len(ok)}  ERR:{len(err)}")
    if ok:
        print(f"avg={statistics.mean(ok):.2f}s  median={statistics.median(ok):.2f}s  max={max(ok):.2f}s")

asyncio.run(main())
EOF
$ pip install aiohttp -q
$ python3 /tmp/ollama_load_test.py
CONCURRENCY=4  OK:12  ERR:0
avg=6.83s  median=6.71s  max=8.42s

# 別ターミナルで実行（テスト終了後にCtrl+Cで停止）
$ nvidia-smi \
    --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used,memory.free \
    --format=csv,noheader -l 1 > /tmp/gpu_log.csv

# テスト後に平均値を集計
$ awk -F', ' '{gsub(/ %/,"",$2); gsub(/ %/,"",$3); sum_gpu+=$2; sum_mem+=$3; count++}
              END {printf "avg GPU util: %.1f%%  avg MEM util: %.1f%%\n", sum_gpu/count, sum_mem/count}' \
  /tmp/gpu_log.csv
avg GPU util: 87.3%  avg MEM util: 94.1%

# -T120s を省略するとタイムアウトだらけになる（NG例）
$ wrk -t2 -c4 -d30s -s /tmp/ollama-wrk.lua http://localhost:11434/api/generate
# 正しい書き方
$ wrk -t2 -c4 -d30s -T120s -s /tmp/ollama-wrk.lua http://localhost:11434/api/generate

Ollamaの負荷テストと本番スペック設計を2日間のハンズオンで体験する

curlとwrkの計測からGPUボトルネックの特定まで、実機で手を動かしながら習得するのが最短ルートだ。実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。