OllamaとChromaDBでローカルベクターデータベースを構築する方法｜社内ドキュメントの意味検索基盤をLinuxサーバーに設定する手順

この記事のポイント

・nomic-embed-text をOllamaで動かすカスタムEmbedding関数でChromaDBと連携できる
・pip install chromadb 後、PersistentClientを使えばファイル永続化まで数十行で実装可能
・インジェスト→意味検索の一連の流れをPythonスクリプトのコピペで試せる
・コレクション管理・バックアップ・よくあるエラー対処法も網羅

# OllamaのEmbedding APIへcurlで確認する
$ curl http://localhost:11434/api/embeddings \
  -d '{"model": "nomic-embed-text", "prompt": "テスト"}'
{"embedding":[-0.01234, 0.06789, -0.02345, 0.03456, ...]}

# Embeddingモデルをローカルに取得する
$ ollama pull nomic-embed-text
pulling manifest
pulling 970aa74c0a90...  100% ████████  274 MB/274 MB
verifying sha256 digest
writing manifest
success

$ python3 --version
Python 3.11.9

$ pip3 --version
pip 24.0 from /usr/lib/python3/dist-packages/pip (python 3.11)

# 作業ディレクトリを作成して仮想環境を構築する
$ mkdir -p /opt/chromadb-project && cd /opt/chromadb-project
$ python3 -m venv venv
$ source venv/bin/activate
(venv) $

# ChromaDBとHTTPクライアントをインストールする
(venv) $ pip install chromadb httpx

Collecting chromadb
  Downloading chromadb-0.5.20-py3-none-any.whl (589 kB)
...
Successfully installed chromadb-0.5.20 httpx-0.27.2

(venv) $ python3 -c "import chromadb; print(chromadb.__version__)"
0.5.20

# /opt/chromadb-project/ollama_embed.py

import httpx

class OllamaEmbeddingFunction:
    def __init__(self, model="nomic-embed-text",
                 base_url="http://localhost:11434"):
        self.model = model
        self.base_url = base_url

    def __call__(self, input: list) -> list:
        embeddings = []
        for text in input:
            res = httpx.post(
                f"{self.base_url}/api/embeddings",
                json={"model": self.model, "prompt": text},
                timeout=30.0
            )
            res.raise_for_status()
            embeddings.append(res.json()["embedding"])
        return embeddings

(venv) $ python3 -c "
from ollama_embed import OllamaEmbeddingFunction
fn = OllamaEmbeddingFunction()
result = fn(['テスト文字列'])
print(f'次元数: {len(result[0])}')
print(f'先頭5値: {result[0][:5]}')
"
次元数: 768
先頭5値: [-0.01234, 0.06789, -0.02345, 0.03456, -0.05678]

# /opt/chromadb-project/ingest.py

import chromadb
from ollama_embed import OllamaEmbeddingFunction
import os, sys

def ingest_docs(doc_dir, collection_name="internal_docs"):
    embed_fn = OllamaEmbeddingFunction(model="nomic-embed-text")
    client = chromadb.PersistentClient(path="/opt/chromadb-data")
    col = client.get_or_create_collection(
        name=collection_name,
        embedding_function=embed_fn
    )

    ids, texts = [], []
    for fname in sorted(os.listdir(doc_dir)):
        if not fname.endswith(".txt"):
            continue
        with open(os.path.join(doc_dir, fname), "r", encoding="utf-8") as f:
            text = f.read().strip()
        if not text:
            continue
        ids.append(fname)
        texts.append(text)
        print(f"  読み込み: {fname} ({len(text)}字)")

    if ids:
        col.add(documents=texts, ids=ids)
        print(f"\n合計 {len(ids)} 件をChromaDBへ格納完了")
    else:
        print("対象ファイルが見つかりません")

if __name__ == "__main__":
    ingest_docs(sys.argv[1] if len(sys.argv) > 1 else "./docs")

# サンプルドキュメントを作成してインジェストを実行する
(venv) $ mkdir -p /opt/chromadb-project/docs
(venv) $ echo "rootパスワードは月次で変更すること。変更はpasswdコマンドを使う。" \
  > /opt/chromadb-project/docs/security_policy.txt
(venv) $ echo "本番サーバーへのSSHは多要素認証を必須とする。鍵認証とOTPを組み合わせる。" \
  > /opt/chromadb-project/docs/ssh_policy.txt

(venv) $ python3 ingest.py /opt/chromadb-project/docs
  読み込み: security_policy.txt (35字)
  読み込み: ssh_policy.txt (38字)

合計 2 件をChromaDBへ格納完了

# /opt/chromadb-project/search.py

import chromadb
from ollama_embed import OllamaEmbeddingFunction
import sys

def search_docs(query, n_results=3, collection_name="internal_docs"):
    embed_fn = OllamaEmbeddingFunction(model="nomic-embed-text")
    client = chromadb.PersistentClient(path="/opt/chromadb-data")
    col = client.get_collection(
        name=collection_name,
        embedding_function=embed_fn
    )
    results = col.query(query_texts=[query], n_results=n_results)
    print(f"\n検索クエリ: {query}")
    print("─" * 44)
    for i, (doc_id, doc, dist) in enumerate(zip(
        results["ids"][0],
        results["documents"][0],
        results["distances"][0]
    ), 1):
        print(f"[{i}] {doc_id}  (距離: {dist:.4f})")
        print(f"    {doc[:80]}")
        print()

if __name__ == "__main__":
    q = " ".join(sys.argv[1:]) if len(sys.argv) > 1 else "パスワード管理"
    search_docs(q)

# 「アクセス認証」でサーバー関連ドキュメントを意味検索する
(venv) $ python3 search.py "サーバーへのアクセス認証について"

検索クエリ: サーバーへのアクセス認証について
────────────────────────────────────────────
[1] ssh_policy.txt  (距離: 0.2341)
    本番サーバーへのSSHは多要素認証を必須とする。鍵認証とOTPを組み合わせる。

[2] security_policy.txt  (距離: 0.5123)
    rootパスワードは月次で変更すること。変更はpasswdコマンドを使う。

(venv) $ python3 -c "
import chromadb
client = chromadb.PersistentClient(path='/opt/chromadb-data')
for col in client.list_collections():
    c = client.get_collection(col.name)
    print(f'{col.name}: {c.count()} 件')
"
internal_docs: 2 件

(venv) $ python3 -c "
import chromadb
client = chromadb.PersistentClient(path='/opt/chromadb-data')
col = client.get_collection('internal_docs')
all_docs = col.get()
for doc_id, doc in zip(all_docs['ids'], all_docs['documents']):
    print(f'[{doc_id}] {doc[:60]}')
"
[security_policy.txt] rootパスワードは月次で変更すること。変更はpasswdコマン
[ssh_policy.txt] 本番サーバーへのSSHは多要素認証を必須とする。鍵認証とOTPを組

# ChromaDBのデータをrsyncでバックアップする
$ rsync -av /opt/chromadb-data/ /backup/chromadb-data-$(date +%Y%m%d)/

sending incremental file list
./
chroma.sqlite3
2026/09/11 07:00:01 (xfer#1, to-check=0/1)
合計サイズ: 1.2MB (speedup is 1.00)

ChromaDB＋OllamaのベクターDB構築を2日間のハンズオンで体験する

ローカルLLMを使ったベクターDB・RAGパイプラインの実装を、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。