OllamaのOpenAI互換APIを使う方法｜既存OpenAIコードをそのままローカルLLMに切り替える手順

この記事のポイント

・OllamaはOpenAI SDK互換の /v1/chat/completions エンドポイントを標準で提供している
・base_url・api_key（ダミー値）・モデル名の3点を変えるだけで既存OpenAIコードが動く
・Function CallingはLlama3.3・mistralで動作確認済み（Gemma 3は制限あり）
・外部公開時はOLLAMA_HOST=0.0.0.0:11434 の設定とNginx認証を組み合わせること

# ollama version check
$ ollama --version
ollama version is 0.3.14

$ ollama list
NAME                                    ID              SIZE    MODIFIED
llama3.3:70b-instruct-q4_0             a6eb4748fd29    42 GB   2 weeks ago
mistral:7b-instruct-q8_0              f974a74358d6    7.7 GB  3 weeks ago
gemma3:27b-instruct-q4_0             a2c9d9d8e37a    17 GB   1 week ago
nomic-embed-text:latest               0a109f422b47    274 MB  1 month ago

$ curl -s http://localhost:11434/v1/models | python3 -m json.tool | head -10
{
    "object": "list",
    "data": [
        {
            "id": "llama3.3:70b-instruct-q4_0",
            "object": "model",
            "created": 1720000000,
            "owned_by": "library"
        }
    ]
}

$ pip install openai

$ pip show openai | grep Version
Version: 1.40.0

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # ダミー値でよい（空文字は不可）
)

response = client.chat.completions.create(
    model="llama3.3:70b-instruct-q4_0",
    messages=[
        {"role": "system", "content": "あなたはLinuxサーバー管理の専門家です。"},
        {"role": "user", "content": "Ubuntuでディスク使用量を確認するコマンドを教えてください。"},
    ],
    temperature=0.7,
)
print(response.choices[0].message.content)

stream = client.chat.completions.create(
    model="llama3.3:70b-instruct-q4_0",
    messages=[
        {"role": "user", "content": "Nginxの設定ファイルの基本構造を説明してください。"}
    ],
    stream=True,
)
for chunk in stream:
    if chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()  # 最後に改行

$ curl -s http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.3:70b-instruct-q4_0",
    "messages": [
      {"role": "user", "content": "Linuxでプロセス一覧を表示するコマンドは？"}
    ]
  }' | python3 -m json.tool

{
  "id": "chatcmpl-794",
  "object": "chat.completion",
  "created": 1720000123,
  "model": "llama3.3:70b-instruct-q4_0",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "Linuxでプロセス一覧を表示するには ps コマンドを使います。\n$ ps aux"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 18,
    "completion_tokens": 42,
    "total_tokens": 60
  }
}

$ curl -N http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.3:70b-instruct-q4_0","messages":[{"role":"user","content":"Dockerの基本コマンドを3つ教えてください。"}],"stream":true}'

from openai import OpenAI

client = OpenAI(api_key="sk-xxxxxxxxxxxxxxxx")

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.5,
)
result = response.choices[0].message.content

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # ← 追加
    api_key="ollama",                       # ← 差し替え
)

response = client.chat.completions.create(
    model="llama3.3:70b-instruct-q4_0",    # ← モデル名を差し替え
    messages=[{"role": "user", "content": prompt}],
    temperature=0.5,
)
result = response.choices[0].message.content  # ← 変更なし

from openai import OpenAI
import json

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_server_status",
            "description": "指定したサーバーの稼働状況を返す",
            "parameters": {
                "type": "object",
                "properties": {
                    "hostname": {
                        "type": "string",
                        "description": "確認対象のホスト名またはIPアドレス"
                    },
                },
                "required": ["hostname"],
            },
        },
    }
]

response = client.chat.completions.create(
    model="llama3.3:70b-instruct-q4_0",
    messages=[
        {"role": "user", "content": "webserver01のステータスを確認してください"}
    ],
    tools=tools,
    tool_choice="auto",
)

message = response.choices[0].message

if message.tool_calls:
    for tool_call in message.tool_calls:
        func_name = tool_call.function.name
        func_args = json.loads(tool_call.function.arguments)
        print(f"呼び出し関数: {func_name}")
        print(f"引数: {func_args}")
        # 出力例:
        # 呼び出し関数: get_server_status
        # 引数: {'hostname': 'webserver01'}

# 実際の処理（サーバーへのping・状態確認など）を実行した結果
tool_result = {"status": "running", "uptime": "15 days", "load": "0.42"}

messages_with_result = [
    {"role": "user", "content": "webserver01のステータスを確認してください"},
    message,
    {
        "role": "tool",
        "tool_call_id": message.tool_calls[0].id,
        "content": json.dumps(tool_result, ensure_ascii=False),
    },
]

final_response = client.chat.completions.create(
    model="llama3.3:70b-instruct-q4_0",
    messages=messages_with_result,
)
print(final_response.choices[0].message.content)
# 出力例: webserver01は正常稼働中です。稼働時間は15日、現在の負荷は0.42です。

$ systemctl status ollama
○ ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled)
     Active: inactive (dead)

$ sudo systemctl start ollama
$ systemctl status ollama | grep Active
     Active: active (running)

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",
    timeout=300.0,  # デフォルト60秒→5分に延長
)

$ sudo systemctl edit ollama

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

$ sudo systemctl daemon-reload && sudo systemctl restart ollama
$ curl http://<サーバーIP>:11434/v1/models  # 外部から確認

OpenAI互換APIでローカルLLM連携を2日間のハンズオンで体験する

本記事で解説したOpenAI互換APIの実装から、Function Calling・RAG連携・既存システムへの組み込みまで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。