OllamaとJupyterLabを連携させる方法｜ノートブック上でローカルLLMをPythonから対話利用してAI実験環境を構築する手順

この記事のポイント

・JupyterLabとOllamaはlocalhost:11434でそのまま連携できる
・ollama PythonパッケージのstreamオプションでCell内リアルタイム表示が実現できる
・会話履歴はPythonのリストで管理し、messagesに渡すだけで実装できる
・Embedding APIとnumpyのコサイン類似度でRAG前の挙動確認をノートブック上で完結できる

# Python バージョン確認
$ python3 --version
Python 3.12.3

# 仮想環境を作成して有効化
$ python3 -m venv ~/llm-notebook-env
$ source ~/llm-notebook-env/bin/activate

# プロンプトが変わったことを確認
(llm-notebook-env) $

(llm-notebook-env) $ pip install jupyterlab ollama requests numpy

# インストール後にバージョン確認
(llm-notebook-env) $ jupyter --version
Selected Jupyter core packages...
JupyterLab    : 4.2.5

# ローカルPCのターミナルで実行（SSH接続と同時にポート転送）
$ ssh -L 8888:localhost:8888 -L 11434:localhost:11434 user@your-server-ip

# サーバー側でJupyterLabを起動（ブラウザ自動起動なし・127.0.0.1バインド）
(llm-notebook-env) $ jupyter lab --no-browser --ip=127.0.0.1 --port=8888
[I 2026-07-30 10:00:00.000 ServerApp] Jupyter Server 2.14.2 is running at:
[I 2026-07-30 10:00:00.000 ServerApp] http://127.0.0.1:8888/lab?token=abc123...

import ollama

response = ollama.chat(
    model='llama3.3:70b-instruct-q4_0',
    messages=[
        {'role': 'user', 'content': 'Linuxのプロセス管理コマンドを3つ教えて'}
    ]
)
print(response['message']['content'])

import requests, json

payload = {
    "model": "llama3.3:70b-instruct-q4_0",
    "messages": [
        {"role": "user", "content": "Linuxのinotifyとは何か、一段落で説明して"}
    ],
    "stream": False
}
resp = requests.post("http://localhost:11434/api/chat", json=payload)
data = resp.json()
print(data["message"]["content"])

import ollama
from IPython.display import clear_output

full_text = ""

stream = ollama.chat(
    model='llama3.3:70b-instruct-q4_0',
    messages=[{'role': 'user', 'content': 'ssコマンドの基本的な使い方を説明して'}],
    stream=True
)

for chunk in stream:
    token = chunk['message']['content']
    full_text += token
    clear_output(wait=True)
    print(full_text, end='', flush=True)

print()  # 最後に改行

import requests, json

payload = {
    "model": "llama3.3:70b-instruct-q4_0",
    "messages": [{"role": "user", "content": "pingコマンドの使い方を教えて"}],
    "stream": True
}

with requests.post("http://localhost:11434/api/chat", json=payload, stream=True) as resp:
    for line in resp.iter_lines():
        if line:
            data = json.loads(line)
            token = data.get("message", {}).get("content", "")
            print(token, end='', flush=True)
print()

import ollama

messages = []

def chat(user_input: str, model: str = 'llama3.3:70b-instruct-q4_0') -> str:
    messages.append({'role': 'user', 'content': user_input})

    response = ollama.chat(model=model, messages=messages)
    assistant_msg = response['message']['content']

    messages.append({'role': 'assistant', 'content': assistant_msg})
    return assistant_msg

# 1ターン目
print(chat("Linuxのsystemctlとserviceコマンドの違いを教えて"))

# 2ターン目（前の文脈が引き継がれる）
print(chat("では、systemctlでサービスを再起動するコマンドは？"))

def reset_conversation():
    messages.clear()
    print(f"会話履歴をリセットしました（現在: {len(messages)}件）")

reset_conversation()
# 出力例:
# 会話履歴をリセットしました（現在: 0件）

messages = [
    {
        'role': 'system',
        'content': 'あなたはLinux専門のシニアインフラエンジニアです。'
                   '回答は必ず具体的なコマンド例を含め、簡潔かつ実用的に答えてください。'
    }
]

print(chat("sudoとsuの違いは何ですか？"))

import ollama
import numpy as np

def get_embedding(text: str) -> np.ndarray:
    resp = ollama.embeddings(model='nomic-embed-text', prompt=text)
    return np.array(resp['embedding'])

def cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))

# テスト用テキスト
texts = [
    "Linuxのファイル権限を変更する方法",
    "chmodコマンドでパーミッションを設定する手順",
    "Pythonで機械学習モデルを学習させる方法",
]

base_vec = get_embedding(texts[0])
for t in texts:
    vec = get_embedding(t)
    sim = cosine_similarity(base_vec, vec)
    print(f"類似度 {sim:.4f}: {t}")

類似度 1.0000: Linuxのファイル権限を変更する方法
類似度 0.8324: chmodコマンドでパーミッションを設定する手順
類似度 0.4105: Pythonで機械学習モデルを学習させる方法

# Ollamaサービスの状態を確認
$ systemctl status ollama
* ollama.service - Ollama Service
     Active: active (running) since 2026-07-30 10:00:00 JST

# ポート11434が開いているか確認
$ ss -tlnp | grep 11434
LISTEN 0 128 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=12345,...))

response = ollama.chat(
    model='llama3.3:70b-instruct-q4_0',
    messages=[{'role': 'user', 'content': '質問内容'}],
    options={'num_ctx': 2048}  # デフォルト4096 → 2048に削減
)

# tmuxセッションを作成してJupyterを起動
$ tmux new -s jupyter
(llm-notebook-env) $ jupyter lab --no-browser --ip=127.0.0.1 --port=8888

# SSH切断後に再接続してセッションへ戻る
$ tmux attach -t jupyter

(llm-notebook-env) $ pip install ipykernel
(llm-notebook-env) $ python -m ipykernel install --user --name=llm-env --display-name="LLM Notebook"
Installed kernelspec llm-env in /home/user/.local/share/jupyter/kernels/llm-env

JupyterLabとOllamaを使ったAI実験環境を2日間ハンズオンで体験する

ノートブックでのプロンプト実験からRAGパイプライン構築まで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。