OllamaとLlamaIndexを連携させる方法｜ローカルLLMにドキュメントインデックスと高精度RAGパイプラインを組み込む手順

この記事のポイント

・pip install llama-index-llms-ollama llama-index-embeddings-ollama の2パッケージでOllamaと接続できる
・SimpleDirectoryReaderでPDF・テキスト・Markdownを一括取り込み、VectorStoreIndexで検索可能にする
・SentenceSplitterのchunk_size（256～1024）とchunk_overlapを調整するとRAGの回答品質が大きく改善する
・StorageContextでインデックスをディスクに永続化し、再起動後も再Embedding不要にできる

# Ollamaサービスの状態確認
$ systemctl status ollama
* ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled)
     Active: active (running) since Sun 2026-07-19 09:00:00 JST; 1h 30min ago

# pull済みモデルの一覧確認
$ ollama list
NAME                                    ID              SIZE      MODIFIED
llama3.3:70b-instruct-q4_0            a1b2c3d4e5f6    42 GB     3 hours ago
nomic-embed-text:latest                b2c3d4e5f6a7    274 MB    3 hours ago

$ python3 -m venv ~/llamaindex-env
$ source ~/llamaindex-env/bin/activate
(llamaindex-env) $ python --version
Python 3.11.9

(llamaindex-env) $ pip install \
    llama-index \
    llama-index-llms-ollama \
    llama-index-embeddings-ollama \
    pypdf
# pypdfはPDF読み込み用。テキスト・Markdownのみであれば不要
(llamaindex-env) $ pip show llama-index | grep Version
Version: 0.12.3
(llamaindex-env) $ pip show llama-index-llms-ollama | grep Version
Version: 0.5.0

from llama_index.core import Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding

# LLMをOllamaに設定
Settings.llm = Ollama(
    model="llama3.3:70b-instruct-q4_0",
    base_url="http://localhost:11434",
    request_timeout=300.0,   # 大型モデルは最初のリクエストに時間がかかる
)

# Embeddingモデルも全てローカルで処理する
Settings.embed_model = OllamaEmbedding(
    model_name="nomic-embed-text",
    base_url="http://localhost:11434",
)

$ ollama pull nomic-embed-text
pulling manifest
pulling 970aa74c0a90...  100% ▕████████████████████▏ 274 MB
pulling c71d239df917...  100% ▕████████████████████▏  11 KB
verifying sha256 digest
writing manifest
success

# test_connection.py として保存して実行する
from llama_index.core import Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding

Settings.llm = Ollama(
    model="llama3.3:70b-instruct-q4_0",
    base_url="http://localhost:11434",
    request_timeout=300.0,
)
Settings.embed_model = OllamaEmbedding(
    model_name="nomic-embed-text",
    base_url="http://localhost:11434",
)

# LLMテスト
resp = Settings.llm.complete("Linuxでディスク使用量を確認するコマンドは?")
print("LLMテスト:", resp.text[:80])

# Embeddingテスト
emb = Settings.embed_model.get_text_embedding("テスト文字列")
print(f"Embeddingテスト: {len(emb)}次元のベクトルを取得")

$ python test_connection.py
LLMテスト: df コマンドを使います。df -h で人間が読みやすい形式で表示できます。
Embeddingテスト: 768次元のベクトルを取得

$ mkdir -p ~/llamaindex-docs/manual
$ ls ~/llamaindex-docs/manual/
server-setup-guide.pdf     network-policy.txt     operation-manual.md
security-checklist.pdf     incident-procedure.txt

from llama_index.core import SimpleDirectoryReader, VectorStoreIndex

# ドキュメントを一括読み込み（サブディレクトリも対象）
documents = SimpleDirectoryReader(
    "~/llamaindex-docs/manual",
    recursive=True,
).load_data()
print(f"読み込み完了: {len(documents)} ドキュメント")

# VectorStoreIndexを作成（Embeddingが自動実行される）
index = VectorStoreIndex.from_documents(
    documents,
    show_progress=True,
)
print("インデックス作成完了")

documents = SimpleDirectoryReader(
    "~/llamaindex-docs/manual",
    required_exts=[".pdf", ".txt", ".md"],   # 対象拡張子を限定
    exclude=["*_draft.md", "personal_*"],    # 除外パターン
    recursive=True,
).load_data()
print(f"フィルタ後: {len(documents)} ドキュメント")

# QueryEngineを作成
query_engine = index.as_query_engine(
    similarity_top_k=3,   # 検索して取得するチャンク数
)

# 質問する
response = query_engine.query("SSHのデフォルトポート番号はいくつで、変更手順はどこに書いていますか?")
print(response.response)

# どのドキュメントを参照したか確認する
print("\n--- 参照ソース ---")
for node in response.source_nodes:
    print(f"ファイル: {node.metadata.get('file_name', 'unknown')}")
    print(f"類似スコア: {node.score:.4f}")
    print(f"テキスト冒頭: {node.text[:80]}...")

query_engine = index.as_query_engine(
    similarity_top_k=3,
    streaming=True,
)
response = query_engine.query("インシデント対応の初動手順を教えてください")
response.print_response_stream()
# トークンを逐次出力しながら最後まで生成する

from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import VectorIndexRetriever
from llama_index.core.response_synthesizers import get_response_synthesizer

retriever = VectorIndexRetriever(
    index=index,
    similarity_top_k=5,
)
response_synthesizer = get_response_synthesizer(
    response_mode="tree_summarize",
    streaming=True,
)
query_engine = RetrieverQueryEngine(
    retriever=retriever,
    response_synthesizer=response_synthesizer,
)

from llama_index.core.node_parser import SentenceSplitter

# Settings経由でグローバルに設定する
Settings.text_splitter = SentenceSplitter(
    chunk_size=512,     # 1チャンクのトークン数
    chunk_overlap=64,   # 前後チャンクとの重複トークン数（コンテキスト連続性を保つ）
)

# 設定後に documents をインデックス化すると新しい設定が適用される
index = VectorStoreIndex.from_documents(documents, show_progress=True)

from llama_index.core.node_parser import SemanticSplitterNodeParser

splitter = SemanticSplitterNodeParser(
    buffer_size=1,
    breakpoint_percentile_threshold=95,
    embed_model=Settings.embed_model,
)

# Splitterを明示的に使ってノードに変換してからインデックス化
nodes = splitter.get_nodes_from_documents(documents)
index = VectorStoreIndex(nodes)

from llama_index.core import StorageContext, load_index_from_storage
import os

PERSIST_DIR = "./storage"

if not os.path.exists(PERSIST_DIR):
    # 初回: ドキュメントを読み込んでインデックスを作成し保存
    documents = SimpleDirectoryReader("~/llamaindex-docs/manual").load_data()
    index = VectorStoreIndex.from_documents(documents, show_progress=True)
    index.storage_context.persist(persist_dir=PERSIST_DIR)
    print("インデックスを保存しました")
else:
    # 2回目以降: 保存済みインデックスをロード（数秒で完了）
    storage_context = StorageContext.from_defaults(persist_dir=PERSIST_DIR)
    index = load_index_from_storage(storage_context)
    print("保存済みインデックスをロードしました")

# daily_update.py として保存してcronから実行する
from llama_index.core import SimpleDirectoryReader, StorageContext, load_index_from_storage
import os

PERSIST_DIR = "./storage"
UPDATE_DIR = os.path.expanduser("~/llamaindex-docs/updates")

# 既存インデックスをロード
storage_context = StorageContext.from_defaults(persist_dir=PERSIST_DIR)
index = load_index_from_storage(storage_context)

# 差分ドキュメントを追加
if os.path.exists(UPDATE_DIR) and os.listdir(UPDATE_DIR):
    new_docs = SimpleDirectoryReader(UPDATE_DIR).load_data()
    for doc in new_docs:
        index.insert(doc)
    print(f"{len(new_docs)} ドキュメントを追加しました")

# 更新後に再保存
index.storage_context.persist(persist_dir=PERSIST_DIR)
print("インデックスを更新・保存しました")

# cronに登録する例（毎日午前3時に実行）
$ crontab -e
0 3 * * * /home/ubuntu/llamaindex-env/bin/python /home/ubuntu/daily_update.py >> /var/log/llamaindex-update.log 2>&1
# 翌日以降のログ確認
$ tail -20 /var/log/llamaindex-update.log
3 ドキュメントを追加しました
インデックスを更新・保存しました

# エラー例
httpx.ReadTimeout: timed out reading response

# 対処: request_timeoutを延長する
Settings.llm = Ollama(
    model="llama3.3:70b-instruct-q4_0",
    base_url="http://localhost:11434",
    request_timeout=600.0,  # 10分に延長
)

# エラー例
ollama._types.ResponseError: model 'nomic-embed-text' not found, try pulling it first

# 対処: モデルをpullしてから再実行する
$ ollama pull nomic-embed-text
$ ollama list | grep nomic
nomic-embed-text:latest    b2c3d4e5f6a7    274 MB    5 minutes ago

import os
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex

doc_dir = os.path.expanduser("~/llamaindex-docs/manual")
files = [f for f in os.listdir(doc_dir) if os.path.isfile(os.path.join(doc_dir, f))]

BATCH_SIZE = 10
index = None

for i in range(0, len(files), BATCH_SIZE):
    batch_paths = [os.path.join(doc_dir, f) for f in files[i:i+BATCH_SIZE]]
    docs = SimpleDirectoryReader(input_files=batch_paths).load_data()
    if index is None:
        index = VectorStoreIndex.from_documents(docs)
    else:
        for doc in docs:
            index.insert(doc)
    print(f"バッチ {i//BATCH_SIZE + 1} 完了: {len(batch_paths)} ファイル処理")

index.storage_context.persist(persist_dir="./storage")

ローカルRAGをGPU実機で動かす2日間ハンズオンを体験する

OllamaとLlamaIndexの連携をGPUサーバー上で実際に動かしながら学びたい方向けに、「ローカルAIマスターセミナー」を開催しています。チャンク設定の調整やインデックス永続化も含め、実機で手を動かしながら習得できます。
少人数（最大8名）ZOOMハンズオン形式で実施しています。