OllamaのAPIをNode.jsから呼び出す方法｜JavaScript・TypeScriptでローカルLLMをLinuxサーバーのWebアプリに組み込む手順

この記事のポイント

・Node.js 18以降の標準fetchでOllamaのREST APIを追加パッケージなしで呼び出せる
・TypeScriptの型定義でOllamaのリクエスト・レスポンスを型安全に扱う実装手順
・stream: trueとReadableStreamを組み合わせてLLMのリアルタイム出力を受け取る方法
・Express.jsのPOSTルートにOllamaを組み込み、WebアプリのAPIエンドポイントとして公開する

# sudo apt update && sudo apt install -y nodejs npm
# node --version
v20.18.0
# npm --version
10.8.2

# mkdir ollama-ts && cd ollama-ts
# npm init -y
# npm install --save-dev typescript tsx @types/node
# npx tsc --version
Version 5.6.3

{
  "compilerOptions": {
    "target": "ES2022",
    "module": "NodeNext",
    "moduleResolution": "NodeNext",
    "strict": true,
    "outDir": "dist"
  },
  "include": ["src/**/*"]
}

const res = await fetch('http://localhost:11434/api/tags');
const data = await res.json() as { models: Array<{ name: string }> };
for (const model of data.models) {
  console.log(model.name);
}

# npx tsx src/list-models.ts
llama3.3:70b-instruct-q4_0
phi4:14b-q4_0

const res = await fetch('http://localhost:11434/api/generate', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'llama3.3:70b-instruct-q4_0',
    prompt: 'Linuxのパーミッション設定を3行で教えてください',
    stream: false,
  }),
});
const data = await res.json() as { response: string; done: boolean };
console.log(data.response);

# npx tsx src/basic-generate.ts
Linuxのパーミッションは読み取り(r)・書き込み(w)・実行(x)の3種類で...

const res = await fetch('http://localhost:11434/api/chat', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'llama3.3:70b-instruct-q4_0',
    messages: [
      { role: 'user', content: 'crontabの書き方を教えてください' },
    ],
    stream: false,
  }),
});
const data = await res.json() as { message: { content: string }; done: boolean };
console.log(data.message.content);

export interface OllamaChatMessage {
  role: 'system' | 'user' | 'assistant';
  content: string;
}

export interface OllamaChatRequest {
  model: string;
  messages: OllamaChatMessage[];
  stream?: boolean;
  options?: {
    temperature?: number;
    num_ctx?: number;
  };
}

export interface OllamaChatResponse {
  model: string;
  message: OllamaChatMessage;
  done: boolean;
  total_duration?: number;
  eval_count?: number;
}

import type { OllamaChatRequest, OllamaChatResponse } from './ollama-types.js';

const BASE_URL = process.env.OLLAMA_HOST ?? 'http://localhost:11434';

export async function chat(request: OllamaChatRequest): Promise {
  const res = await fetch(`${BASE_URL}/api/chat`, {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({ ...request, stream: false }),
    signal: AbortSignal.timeout(120_000),
  });
  if (!res.ok) {
    throw new Error(`Ollama API error: ${res.status} ${res.statusText}`);
  }
  return res.json() as Promise;
}

# npx tsc --noEmit
# echo "型エラーなし"
型エラーなし

const res = await fetch('http://localhost:11434/api/chat', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'llama3.3:70b-instruct-q4_0',
    messages: [{ role: 'user', content: 'Linuxのcronを3行で説明してください' }],
    stream: true,
  }),
});

if (!res.body) throw new Error('Response body is null');
const reader = res.body.getReader();
const decoder = new TextDecoder('utf-8');

while (true) {
  const { done, value } = await reader.read();
  if (done) break;
  const lines = decoder.decode(value, { stream: true }).split('\n');
  for (const line of lines) {
    if (!line.trim()) continue;
    const chunk = JSON.parse(line) as { message?: { content: string }; done: boolean };
    if (chunk.message?.content) {
      process.stdout.write(chunk.message.content);
    }
  }
}
process.stdout.write('\n');

# npx tsx src/streaming.ts
Linuxのcronはタスクスケジューラです。
設定ファイルはcrontabコマンドで編集し...

# npm install express
# npm install --save-dev @types/express

import express from 'express';
import { chat } from './ollama-client.js';

const app = express();
app.use(express.json());

app.post('/api/chat', async (req, res) => {
  const { prompt, model } = req.body as { prompt: string; model?: string };
  if (!prompt) {
    res.status(400).json({ error: 'prompt is required' });
    return;
  }
  try {
    const result = await chat({
      model: model ?? 'llama3.3:70b-instruct-q4_0',
      messages: [{ role: 'user', content: prompt }],
    });
    res.json({ answer: result.message.content });
  } catch (err) {
    const message = err instanceof Error ? err.message : 'Unknown error';
    res.status(500).json({ error: message });
  }
});

const PORT = Number(process.env.PORT ?? 3000);
app.listen(PORT, () => console.log(`Server running on port ${PORT}`));

# npx tsx src/server.ts &
Server running on port 3000
# curl -s -X POST http://localhost:3000/api/chat \
  -H "Content-Type: application/json" \
  -d '{"prompt":"Linuxのcronを1行で説明して"}' | python3 -m json.tool
{
    "answer": "Linux の cron は、指定した時刻にコマンドを自動実行するスケジューラです。"
}

# cat .env
OLLAMA_HOST=http://10.0.0.100:11434
PORT=3000

try {
  const result = await chat({ model: 'llama3.3:70b-instruct-q4_0', messages });
  return result;
} catch (err) {
  if (err instanceof TypeError) {
    // ネットワーク到達不能（Ollamaがダウンしているなどのケースをここで処理する）
    console.error('Ollama に接続できません:', err.message);
  } else {
    // HTTPエラー（401, 404, 500 など）
    console.error('Ollama APIエラー:', err instanceof Error ? err.message : err);
  }
  throw err;
}

# systemctl status ollama
# curl http://localhost:11434/api/tags

// 誤り
import { chat } from './ollama-client';
// 正しい
import { chat } from './ollama-client.js';

OllamaのAPI活用からWebアプリ連携まで2日間のハンズオンで体験する

ローカルLLMの導入からREST API・チームWebアプリへの組み込みまで、実機GPU環境で手を動かして学びたい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。