OllamaとElasticsearchでハイブリッド検索RAGを構築する方法｜BM25とベクター検索を組み合わせてLinuxで精度の高い社内文書QAを実現する手順

この記事のポイント

・ElasticsearchはBM25と `dense_vector` を同一インデックスに共存させてハイブリッド検索を一本化できる
・OllamaのEmbedding API（`/api/embeddings`）で生成したベクターをそのままElasticsearchに格納する
・Elasticsearch 8系の `knn` クエリと `sub_searches` + `rrf` でスコア統合の実装コードが最小限に収まる
・ノートPCレベルのCPU専用環境でも `nomic-embed-text` + `llama3.3:8b-instruct-q4_0` の組み合わせで実用速度が出る

# GPGキーのインポート
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg
# リポジトリの追加
echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" \
  | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt update

sudo apt install -y elasticsearch
sudo systemctl daemon-reload
sudo systemctl enable --now elasticsearch

# systemdステータスの確認
systemctl status elasticsearch
# APIへのアクセス確認（パスワードは記録したものに置き換える）
curl -k -u elastic:YOUR_PASSWORD https://localhost:9200

# /etc/elasticsearch/elasticsearch.yml に追記（開発環境のみ）
xpack.security.enabled: false
xpack.security.http.ssl.enabled: false

curl -X PUT http://localhost:9200/docs \
  -H "Content-Type: application/json" \
  -d '{
    "mappings": {
      "properties": {
        "content": { "type": "text" },
        "title":   { "type": "text" },
        "embedding": {
          "type": "dense_vector",
          "dims": 768,
          "index": true,
          "similarity": "cosine"
        }
      }
    }
  }'

def split_into_chunks(text, max_chars=400):
    paragraphs = [p.strip() for p in text.split('\n\n') if p.strip()]
    chunks = []
    buf = ""
    for p in paragraphs:
        if len(buf) + len(p) > max_chars and buf:
            chunks.append(buf.strip())
            buf = p
        else:
            buf += "\n\n" + p if buf else p
    if buf:
        chunks.append(buf.strip())
    return chunks

import requests, json

OLLAMA = "http://localhost:11434"
ES     = "http://localhost:9200"
INDEX  = "docs"

def get_embedding(text):
    r = requests.post(f"{OLLAMA}/api/embeddings",
                      json={"model": "nomic-embed-text", "prompt": text})
    return r.json()["embedding"]

def index_document(doc_id, title, content):
    embedding = get_embedding(content)
    payload = {"title": title, "content": content, "embedding": embedding}
    requests.put(f"{ES}/{INDEX}/_doc/{doc_id}", json=payload,
                 headers={"Content-Type": "application/json"})

# 使用例
with open("manual.txt") as f:
    raw = f.read()

chunks = split_into_chunks(raw)
for i, chunk in enumerate(chunks):
    index_document(f"manual-{i}", "操作マニュアル", chunk)
    print(f"indexed {i+1}/{len(chunks)}")

def hybrid_search(query_text, top_k=5):
    query_vec = get_embedding(query_text)
    payload = {
        "sub_searches": [
            {
                "query": {
                    "multi_match": {
                        "query": query_text,
                        "fields": ["title^2", "content"]
                    }
                }
            },
            {
                "knn": {
                    "field": "embedding",
                    "query_vector": query_vec,
                    "k": top_k,
                    "num_candidates": 50
                }
            }
        ],
        "rank": {"rrf": {"window_size": 50, "rank_constant": 60}},
        "size": top_k,
        "_source": ["title", "content"]
    }
    r = requests.post(f"{ES}/{INDEX}/_search", json=payload,
                      headers={"Content-Type": "application/json"})
    hits = r.json()["hits"]["hits"]
    return [h["_source"] for h in hits]

def ask(question):
    docs = hybrid_search(question, top_k=4)
    context = "\n\n---\n\n".join(d["content"] for d in docs)
    prompt = f"""以下のコンテキストだけを根拠に質問に答えてください。
コンテキストに回答がない場合は「該当する情報がコンテキスト内に見つかりません」と答えてください。

【コンテキスト】
{context}

【質問】
{question}
"""
    r = requests.post(f"{OLLAMA}/api/generate",
                      json={"model": "llama3.3:8b-instruct-q4_0",
                            "prompt": prompt, "stream": False})
    return r.json()["response"]

# 実行例
answer = ask("バックアップの保持期間はどのくらいですか？")
print(answer)

# Ollamaのembeddingの実際の次元数を確認
python3 -c "
import requests
r = requests.post('http://localhost:11434/api/embeddings',
                  json={'model': 'nomic-embed-text', 'prompt': 'test'})
print('dims:', len(r.json()['embedding']))
"

curl http://localhost:9200 | grep number

sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-kuromoji
sudo systemctl restart elasticsearch

ローカルLLMを使ったRAGと検索基盤構築を2日間のハンズオンで体験する

ElasticsearchとOllamaを組み合わせたハイブリッド検索RAGを、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。