OllamaでマルチモーダルLLMを使う方法｜LLaVA・Moondreamで画像をローカル解析する手順

この記事のポイント

・`ollama pull llava:7b-instruct-q4_0`でインストールし、REST APIの`images`フィールドにbase64画像を渡すだけで動作する
・LLaVA 7B（Q4量子化）はVRAM約6GB、Moondreamは約2GBでCPU環境でも実用的な速度が出る
・`base64 -w 0`の`-w 0`オプションを省略すると改行が入りAPIのJSONエラーになるため必ず付けること
・社内機密の帳票・監視画面など、クラウドAIに送れない画像の解析用途に特に適している

# LLaVA 7B（Q4量子化）をインストール
$ ollama pull llava:7b-instruct-q4_0

# CPU環境向けの軽量モデルをインストール
$ ollama pull moondream

# インストール済みモデルを確認
$ ollama list
NAME                              ID              SIZE    MODIFIED
llava:7b-instruct-q4_0           aef5a9b56f35    4.7 GB  2 minutes ago
moondream:latest                  c0dffd43cc81    1.7 GB  5 minutes ago

# インタラクティブモードを起動
$ ollama run llava:7b-instruct-q4_0

# プロンプトに画像の絶対パスとテキストを入れる（スペースで区切る）
>>> /tmp/test.png この画像を日本語で説明してください

# 出力例
画像にはLinuxのターミナル画面が表示されています。
nginxのプロセス一覧を確認するコマンドが実行されており、
master processとworker processが複数稼働中であることが確認できます。

>>> /bye

$ ollama ps
NAME                              ID              SIZE    PROCESSOR  UNTIL
llava:7b-instruct-q4_0           aef5a9b56f35    7.1 GB  100% GPU   4 minutes from now

# 画像をbase64エンコード（-w 0 は改行なし・必須）
$ IMAGE_B64=$(base64 -w 0 /tmp/dashboard.png)

# APIリクエストを送信
$ curl -s http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"llava:7b-instruct-q4_0\",
    \"prompt\": \"この画像の内容を日本語で説明してください\",
    \"images\": [\"${IMAGE_B64}\"],
    \"stream\": false
  }" | jq -r .response

# 出力例
画像にはサーバー監視ダッシュボードが表示されています。
CPU使用率は78%と高負荷状態で、メモリ使用量は12.4GB/16GBです。
ディスクI/Oのグラフに急激な上昇が見られ、注意が必要な状態です。

$ IMAGE1_B64=$(base64 -w 0 /tmp/before.png)
$ IMAGE2_B64=$(base64 -w 0 /tmp/after.png)

$ curl -s http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"llava:7b-instruct-q4_0\",
    \"prompt\": \"2枚の画像の変化点を日本語で説明してください\",
    \"images\": [\"${IMAGE1_B64}\", \"${IMAGE2_B64}\"],
    \"stream\": false
  }" | jq -r .response

# 出力例
1枚目と2枚目を比較すると、CPU使用率グラフに変化があります。
1枚目では安定した低負荷状態でしたが、2枚目では特定の時間帯に
スパイクが発生しており、バッチ処理が実行された可能性があります。

# Pythonライブラリのインストール
$ pip3 install ollama

# analyze_image.py
import ollama

response = ollama.generate(
    model="llava:7b-instruct-q4_0",
    prompt="この画像の内容を日本語で詳しく説明してください",
    images=["/tmp/test.png"]
)

print(response["response"])

$ python3 analyze_image.py

画像にはnginxのアクセスログが表示されています。
IPアドレスはマスク処理されており、タイムスタンプ・HTTPメソッド・
レスポンスコードが確認できます。複数の500エラーが記録されています。

# batch_analyze.py
import ollama
from pathlib import Path

def analyze_images(image_dir: str, prompt: str) -> None:
    target = Path(image_dir)
    supported_ext = {".png", ".jpg", ".jpeg", ".gif", ".webp"}

    for image_path in sorted(target.iterdir()):
        if image_path.suffix.lower() not in supported_ext:
            continue
        print(f"\n=== {image_path.name} ===")
        try:
            response = ollama.generate(
                model="llava:7b-instruct-q4_0",
                prompt=prompt,
                images=[str(image_path)]
            )
            print(response["response"])
        except Exception as e:
            print(f"エラー: {e}")

if __name__ == "__main__":
    analyze_images(
        image_dir="/tmp/screenshots",
        prompt="この画像にエラーや異常な状態があれば報告してください"
    )

$ python3 batch_analyze.py

=== 2026-07-03_09-00-01.png ===
CPU使用率が95%を超えており、異常な高負荷状態です。
特定プロセスによるリソース占有が疑われます。

=== 2026-07-03_09-05-01.png ===
画像に異常な状態は見られません。CPU・メモリともに正常範囲内です。

$ ollama list
NAME                              ID              SIZE    MODIFIED
llama3.3:70b-instruct-q4_0       a6990ed6be71    38 GB   3 hours ago
llava:7b-instruct-q4_0           aef5a9b56f35    4.7 GB  1 hour ago

# llama3.3 に images フィールドを渡してもエラーになる
# llava 系のモデル名を指定していることを確認すること

$ curl -s http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"llava:7b-instruct-q4_0\",
    \"prompt\": \"この画像を説明してください。回答は必ず日本語で書いてください\",
    \"images\": [\"${IMAGE_B64}\"],
    \"stream\": false
  }" | jq -r .response

# NG: 改行あり（APIエラーの原因になる）
$ IMAGE_B64=$(base64 /tmp/test.png)

# OK: -w 0 で改行を除去する
$ IMAGE_B64=$(base64 -w 0 /tmp/test.png)

# 確認: 改行が含まれていないことをチェック
$ echo "${IMAGE_B64}" | grep -c ""
1
# 行数が1であれば改行なし（正常）

# GPU空きメモリを確認
$ nvidia-smi --query-gpu=memory.free,memory.total --format=csv,noheader
7826 MiB, 11019 MiB

# 空きが7GB未満の場合はMoondreamを検討する
$ ollama pull moondream

ローカルLLMの画像解析を2日間のハンズオンで体験する

ビジョンモデルの導入から業務への組み込みまで、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。