OllamaにLiteLLMプロキシを導入する方法｜チームメンバーへのAPIキー発行とローカルLLM利用管理の実装手順

この記事のポイント

・pip install 'litellm[proxy]' でOllamaの前段にAPIゲートウェイを追加できる
・/key/generate でメンバーにバーチャルAPIキーを発行しモデルと予算を個別設定できる
・rpm_limitとmax_budgetでキー単位のレート制限と月額上限を実装できる
・base_urlをlocalhost:4000に変えるだけで既存のOpenAIクライアントコードがそのまま動く

# Ollamaの稼働状態とモデル一覧を確認する
$ curl -s http://localhost:11434/api/tags | python3 -m json.tool | head -12
{
    "models": [
        {
            "name": "llama3.3:70b-instruct-q4_0",
            "modified_at": "2026-06-01T10:00:00Z",
            "size": 42000000000
        },
        {
            "name": "mistral:7b-instruct-q8_0",
            "modified_at": "2026-06-01T09:00:00Z",
            "size": 7700000000
        }
    ]
}

# 仮想環境の作成と有効化
$ python3 -m venv /opt/litellm-env
$ source /opt/litellm-env/bin/activate

# LiteLLMプロキシのインストール（proxy extras必須）
(litellm-env) $ pip install 'litellm[proxy]'

# インストール後にバージョン確認
(litellm-env) $ litellm --version
LiteLLM: v1.44.x

# /etc/systemd/system/litellm.service を作成する
$ sudo tee /etc/systemd/system/litellm.service <<'EOF'
[Unit]
Description=LiteLLM Proxy Server
After=network.target ollama.service
Requires=ollama.service

[Service]
Type=simple
User=ubuntu
WorkingDirectory=/opt/litellm
ExecStart=/opt/litellm-env/bin/litellm --config /opt/litellm/config.yaml
Restart=always
RestartSec=5
Environment=LITELLM_MASTER_KEY=sk-master-your-strong-random-key-here

[Install]
WantedBy=multi-user.target
EOF

# 設定ディレクトリを作成してubuntuユーザーに所有権を付与する
$ sudo mkdir -p /opt/litellm
$ sudo chown ubuntu:ubuntu /opt/litellm

# /opt/litellm/config.yaml
model_list:
  - model_name: llama3.3-70b
    litellm_params:
      model: ollama/llama3.3:70b-instruct-q4_0
      api_base: http://localhost:11434

  - model_name: mistral-7b
    litellm_params:
      model: ollama/mistral:7b-instruct-q8_0
      api_base: http://localhost:11434

  - model_name: gemma3-27b
    litellm_params:
      model: ollama/gemma3:27b-instruct-q4_0
      api_base: http://localhost:11434

litellm_settings:
  request_timeout: 600
  num_retries: 2
  drop_params: true

general_settings:
  database_url: "sqlite:///./litellm.db"
  store_model_in_db: true

# サービスを有効化して起動する
$ sudo systemctl daemon-reload
$ sudo systemctl enable --now litellm

# 起動状態を確認する（active (running) になればOK）
$ sudo systemctl status litellm
* litellm.service - LiteLLM Proxy Server
     Loaded: loaded (/etc/systemd/system/litellm.service; enabled)
     Active: active (running) since Sun 2026-07-12 10:00:00 JST

# ヘルスチェックで4000番ポートの動作を確認する
$ curl -s http://localhost:4000/health
{"status":"healthy","litellm_status":"healthy"}

# メンバー「yamada」用のAPIキーを発行する
$ curl -s -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  -H "Content-Type: application/json" \
  -d '{
    "models": ["llama3.3-70b", "mistral-7b"],
    "max_budget": 5.0,
    "budget_duration": "30d",
    "metadata": {"user": "yamada", "team": "backend"}
  }' | python3 -m json.tool
{
    "key": "sk-v2-yamada-abcdef1234567890xxxx",
    "models": ["llama3.3-70b", "mistral-7b"],
    "max_budget": 5.0,
    "budget_duration": "30d",
    "metadata": {"user": "yamada", "team": "backend"}
}

# 7日間限定のAPIキーを発行する（外部委託メンバー向け）
$ curl -s -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  -H "Content-Type: application/json" \
  -d '{
    "models": ["mistral-7b"],
    "duration": "7d",
    "metadata": {"user": "contractor-abc", "purpose": "review-task"}
  }'

# 発行済みキーの一覧を取得する
$ curl -s http://localhost:4000/key/list \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  | python3 -m json.tool

# キーを即時失効させる（問題のあるメンバーのキーを停止する場合）
$ curl -s -X POST http://localhost:4000/key/delete \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  -H "Content-Type: application/json" \
  -d '{"keys": ["sk-v2-yamada-abcdef1234567890xxxx"]}'

# rpm_limitとtpm_limitを設定してキーを発行する
$ curl -s -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  -H "Content-Type: application/json" \
  -d '{
    "models": ["llama3.3-70b", "gemma3-27b"],
    "rpm_limit": 10,
    "tpm_limit": 50000,
    "max_budget": 20.0,
    "budget_duration": "30d",
    "metadata": {"user": "sasaki", "team": "data-science"}
  }'

# 発行済みキーのrpm_limitとmax_budgetを変更する
$ curl -s -X POST http://localhost:4000/key/update \
  -H "Authorization: Bearer sk-master-your-strong-random-key-here" \
  -H "Content-Type: application/json" \
  -d '{
    "key": "sk-v2-yamada-abcdef1234567890xxxx",
    "rpm_limit": 20,
    "max_budget": 10.0
  }'

from openai import OpenAI

# LiteLLMプロキシ経由でOllamaを呼び出す
client = OpenAI(
    base_url="http://localhost:4000",
    api_key="sk-v2-yamada-abcdef1234567890xxxx"  # 発行したバーチャルキー
)

response = client.chat.completions.create(
    model="llama3.3-70b",    # config.yaml の model_name
    messages=[{"role": "user", "content": "Linuxのinodeとは何ですか？"}]
)
print(response.choices[0].message.content)

# curlでLiteLLMプロキシ経由のリクエストを確認する
$ curl -s http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-v2-yamada-abcdef1234567890xxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-7b",
    "messages": [{"role":"user","content":"Hello"}]
  }' | python3 -m json.tool | head -15

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="http://localhost:4000",
    openai_api_key="sk-v2-yamada-abcdef1234567890xxxx",
    model="llama3.3-70b",
    temperature=0.1
)
response = llm.invoke("Pythonのvenvの使い方を教えてください")
print(response.content)

# .env ファイルで管理する（.gitignoreに追加すること）
OPENAI_BASE_URL=http://localhost:4000
OPENAI_API_KEY=sk-v2-yamada-abcdef1234567890xxxx

# Pythonコード側はそのまま
import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["OPENAI_BASE_URL"],
    api_key=os.environ["OPENAI_API_KEY"]
)

ローカルLLMのチームAPI管理を2日間で体験する

LiteLLMプロキシの設定からAPIキー管理・Pythonクライアント連携まで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。