OllamaとQdrantでローカルベクター検索を構築する方法｜Rustベース高性能ベクターDBをUbuntuに導入してRAGを高速化する手順

この記事のポイント

・nomic-embed-textのEmbeddingとQdrantを組み合わせてローカルRAGを構築できる
・docker runコマンド1つでQdrantサービスを起動し、Python qdrant-clientでコレクションを作成する
・pgvectorと異なり専用ベクターDBのためドキュメント数が増えてもミリ秒レベルの検索速度を維持できる
・本番運用時はQdrant Web UIとREST APIでコレクション状態を監視・管理する

$ docker --version
Docker version 27.3.1, build ce12230

$ mkdir -p ~/qdrant/storage
$ docker run -d \
    --name qdrant \
    --restart unless-stopped \
    -p 6333:6333 \
    -p 6334:6334 \
    -v ~/qdrant/storage:/qdrant/storage \
    qdrant/qdrant:latest

$ curl -s http://localhost:6333/ | python3 -m json.tool
{
    "title": "qdrant - vector search engine",
    "version": "1.13.4",
    "commit": "..."
}

$ ollama pull nomic-embed-text
pulling manifest
pulling 970aa74c0a90... 100% ▕████████████████████▏ 274 MB
verifying sha256 digest
writing manifest
success

$ curl -s http://localhost:11434/api/embed \
    -d '{"model":"nomic-embed-text","input":"Ollamaのテスト文章です"}' \
    | python3 -c "import sys,json; d=json.load(sys.stdin); print(f'次元数: {len(d[\"embeddings\"][0])}')"
次元数: 768

$ pip install qdrant-client requests

# create_collection.py
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams

client = QdrantClient(host="localhost", port=6333)

client.create_collection(
    collection_name="local_docs",
    vectors_config=VectorParams(size=768, distance=Distance.COSINE),
)
print("コレクション作成完了")

$ python3 create_collection.py
コレクション作成完了

# ingest_docs.py
import requests
from qdrant_client import QdrantClient
from qdrant_client.models import PointStruct

def get_embedding(text: str) -> list:
    resp = requests.post(
        "http://localhost:11434/api/embed",
        json={"model": "nomic-embed-text", "input": text},
    )
    return resp.json()["embeddings"][0]

client = QdrantClient(host="localhost", port=6333)

documents = [
    {"id": 1, "text": "OllamaはローカルLLMの実行基盤であり、Linuxで手軽に動作する。"},
    {"id": 2, "text": "systemdサービスとして登録すると、サーバー再起動後も自動起動する。"},
    {"id": 3, "text": "nomic-embed-textは768次元のベクターを生成し、多言語テキストに対応する。"},
    {"id": 4, "text": "Qdrantはコサイン類似度でベクターを比較し、関連度の高い文書を返す。"},
    {"id": 5, "text": "RAGパイプラインは検索と生成を組み合わせてLLMの回答精度を高める手法だ。"},
]

points = [
    PointStruct(
        id=doc["id"],
        vector=get_embedding(doc["text"]),
        payload={"text": doc["text"]},
    )
    for doc in documents
]

client.upsert(collection_name="local_docs", points=points)
print(f"{len(points)} 件のドキュメントを登録しました")

$ python3 ingest_docs.py
5 件のドキュメントを登録しました

# search_docs.py
import requests
from qdrant_client import QdrantClient

def get_embedding(text: str) -> list:
    resp = requests.post(
        "http://localhost:11434/api/embed",
        json={"model": "nomic-embed-text", "input": text},
    )
    return resp.json()["embeddings"][0]

client = QdrantClient(host="localhost", port=6333)

query = "Ollamaを自動起動させる方法は？"
results = client.search(
    collection_name="local_docs",
    query_vector=get_embedding(query),
    limit=3,
)

for r in results:
    print(f"スコア: {r.score:.4f} | {r.payload['text']}")

$ python3 search_docs.py
スコア: 0.8721 | systemdサービスとして登録すると、サーバー再起動後も自動起動する。
スコア: 0.7033 | OllamaはローカルLLMの実行基盤であり、Linuxで手軽に動作する。
スコア: 0.6248 | nomic-embed-textは768次元のベクターを生成し、多言語テキストに対応する。

# rag_pipeline.py
import requests
from qdrant_client import QdrantClient

OLLAMA_BASE = "http://localhost:11434"
EMBED_MODEL = "nomic-embed-text"
LLM_MODEL   = "llama3.3:8b-instruct-q4_0"

def get_embedding(text: str) -> list:
    resp = requests.post(
        f"{OLLAMA_BASE}/api/embed",
        json={"model": EMBED_MODEL, "input": text},
    )
    return resp.json()["embeddings"][0]

def query_llm(prompt: str) -> str:
    resp = requests.post(
        f"{OLLAMA_BASE}/api/generate",
        json={"model": LLM_MODEL, "prompt": prompt, "stream": False},
    )
    return resp.json()["response"]

client = QdrantClient(host="localhost", port=6333)

question = "Ollamaを自動起動させる方法は？"

# Step1: 関連ドキュメントをQdrantで検索
results = client.search(
    collection_name="local_docs",
    query_vector=get_embedding(question),
    limit=3,
)
context = "\n".join(f"- {r.payload['text']}" for r in results)

# Step2: LLMにコンテキスト付きで回答を生成させる
prompt = f"""以下の参考情報に基づいて質問に答えてください。参考情報にない内容は「情報がありません」と答えてください。

【参考情報】
{context}

【質問】
{question}"""

print("=== 回答 ===")
print(query_llm(prompt))

$ python3 rag_pipeline.py
=== 回答 ===
Ollamaをサーバー再起動後も自動起動させるには、systemdサービスとして登録する方法が有効です。
/etc/systemd/system/ollama.service にサービスユニットファイルを作成し、
systemctl enable ollama コマンドで自動起動を有効化してください。

http://サーバーIPアドレス:6333/dashboard

$ curl -s http://localhost:6333/collections/local_docs | python3 -m json.tool
{
    "result": {
        "status": "green",
        "vectors_count": 5,
        "indexed_vectors_count": 5,
        "points_count": 5,
        "config": {
            "params": {
                "vectors": {
                    "size": 768,
                    "distance": "Cosine"
                }
            }
        }
    }
}

$ ss -tlnp | grep -E '6333|6334'

$ ollama --version
ollama version is 0.9.2

$ ollama pull mxbai-embed-large

ローカルRAGとOllamaを2日間のハンズオンで体験する

QdrantとOllamaの連携構築を手元の環境で試してみたい方、RAGパイプラインを実際に動かしながら理解したい方に最適なセミナーです。
実機GPU環境でEmbedding・ベクター検索・LLM回答生成を一気通貫で実装できます。実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。