OllamaとWhisperでローカル音声文字起こし・要約パイプラインを構築する方法｜会議録をローカルLLMで議事録に自動変換する手順

この記事のポイント

・faster-whisperとOllamaを組み合わせると音声→文字起こし→要約が完全ローカルで完結する
・pip install faster-whisper＋ffmpegで日本語会議音声の文字起こし精度は実用レベルに達する
・Pythonスクリプト1本でバッチ処理に対応し、cronで定期自動実行にも組み込める
・GPUなしのCPU環境でも動作する（60分音声の文字起こしは5～8分程度が目安）

# Pythonバージョン確認（3.10以上が必要）
$ python3 --version
Python 3.10.12

# ffmpegの確認（mp4/m4aなど各形式の音声変換に必要）
$ ffmpeg -version | head -1
ffmpeg version 4.4.2-0ubuntu0.22.04.1

$ sudo apt update && sudo apt install -y ffmpeg

# プロジェクトディレクトリの作成
$ mkdir -p ~/whisper-pipeline && cd ~/whisper-pipeline

# 仮想環境を作成して有効化
$ python3 -m venv venv
$ source venv/bin/activate
(venv) $

(venv) $ pip install faster-whisper requests
...
Successfully installed faster-whisper-1.0.3 requests-2.32.3

(venv) $ python3 -c "from faster_whisper import WhisperModel; print('faster-whisper OK')"
faster-whisper OK

from faster_whisper import WhisperModel
import sys, pathlib

def transcribe(audio_path: str, model_size: str = "medium") -> str:
    model = WhisperModel(model_size, device="cpu", compute_type="int8")
    segments, info = model.transcribe(audio_path, language="ja", beam_size=5)
    print(f"検出言語: {info.language}  確度: {info.language_probability:.2f}")
    lines = []
    for seg in segments:
        mm = int(seg.start // 60)
        ss = int(seg.start % 60)
        lines.append(f"[{mm:02d}:{ss:02d}] {seg.text.strip()}")
    return "\n".join(lines)

if __name__ == "__main__":
    if len(sys.argv) < 2:
        print("使い方: python3 transcribe.py <音声ファイル> [モデルサイズ]")
        sys.exit(1)
    audio = sys.argv[1]
    size  = sys.argv[2] if len(sys.argv) > 2 else "medium"
    text  = transcribe(audio, size)
    out   = pathlib.Path(audio).stem + "_transcript.txt"
    pathlib.Path(out).write_text(text, encoding="utf-8")
    print(f"保存完了: {out}")

(venv) $ python3 transcribe.py meeting_20260724.m4a medium
検出言語: ja  確度: 0.99
保存完了: meeting_20260724_transcript.txt

(venv) $ head -6 meeting_20260724_transcript.txt
[00:00] それでは本日の定例会議を始めます。
[00:05] まずアジェンダの確認をお願いします。
[00:12] 先週のタスク進捗から報告します。
[00:18] 第3四半期のサーバー更新スケジュールについて確認したいと思います。
[00:25] はい、ベンダーの選定が先週完了しました。
[00:31] 見積もりの金額は予算内に収まっています。

# テスト用プロンプトでOllamaの疎通確認
$ curl -s http://localhost:11434/api/generate \
  -d '{"model":"llama3.3:70b-instruct-q4_0","prompt":"こんにちは","stream":false}' \
  | python3 -c "import sys,json; print(json.load(sys.stdin)['response'])"
こんにちは。何かお手伝いできることはありますか？

import requests

OLLAMA_URL = "http://localhost:11434/api/generate"

def summarize(transcript: str, model: str = "llama3.3:70b-instruct-q4_0") -> str:
    prompt = f"""以下の会議の文字起こしを議事録としてまとめてください。
出力は以下の形式でお願いします。

# 決定事項
（箇条書き）

# アクションアイテム
（担当者・期限付きで箇条書き）

# 次回議題
（箇条書き）

--- 文字起こし ---
{transcript}
"""
    payload = {
        "model": model,
        "prompt": prompt,
        "stream": False,
        "options": {
            "num_ctx": 16384,
            "temperature": 0.2
        }
    }
    resp = requests.post(OLLAMA_URL, json=payload, timeout=300)
    resp.raise_for_status()
    return resp.json()["response"]

#!/usr/bin/env python3
"""音声ファイルから議事録を生成するパイプライン
使い方: python3 minutes.py <音声ファイル> [--model <モデル名>] [--whisper <サイズ>]
"""
import argparse, pathlib, requests
from faster_whisper import WhisperModel

OLLAMA_URL  = "http://localhost:11434/api/generate"
PROMPT_TMPL = """以下の会議文字起こしを議事録としてまとめてください。

# 決定事項
# アクションアイテム（担当者・期限）
# 次回議題

--- 文字起こし ---
{text}"""

def transcribe(audio: str, whisper_size: str) -> str:
    model = WhisperModel(whisper_size, device="cpu", compute_type="int8")
    segs, info = model.transcribe(audio, language="ja", beam_size=5)
    print(f"  [whisper] 言語={info.language}  確度={info.language_probability:.2f}")
    return "\n".join(
        f"[{int(s.start//60):02d}:{int(s.start%60):02d}] {s.text.strip()}"
        for s in segs
    )

def summarize(text: str, model: str) -> str:
    r = requests.post(OLLAMA_URL, json={
        "model": model,
        "prompt": PROMPT_TMPL.format(text=text),
        "stream": False,
        "options": {"num_ctx": 16384, "temperature": 0.2}
    }, timeout=300)
    r.raise_for_status()
    return r.json()["response"]

def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("audio")
    ap.add_argument("--model",   default="llama3.3:70b-instruct-q4_0")
    ap.add_argument("--whisper", default="medium")
    args = ap.parse_args()

    stem = pathlib.Path(args.audio).stem
    print(f"[1/2] 文字起こし開始: {args.audio}")
    transcript = transcribe(args.audio, args.whisper)
    tr_path = stem + "_transcript.txt"
    pathlib.Path(tr_path).write_text(transcript, encoding="utf-8")
    print(f"       -> {tr_path} 保存完了")

    print(f"[2/2] 要約開始 (model={args.model})")
    minutes = summarize(transcript, args.model)
    min_path = stem + "_minutes.txt"
    pathlib.Path(min_path).write_text(minutes, encoding="utf-8")
    print(f"       -> {min_path} 保存完了")

if __name__ == "__main__":
    main()

(venv) $ python3 minutes.py meeting_20260724.m4a \
  --model llama3.3:70b-instruct-q4_0 --whisper medium

[1/2] 文字起こし開始: meeting_20260724.m4a
  [whisper] 言語=ja  確度=0.99
       -> meeting_20260724_transcript.txt 保存完了
[2/2] 要約開始 (model=llama3.3:70b-instruct-q4_0)
       -> meeting_20260724_minutes.txt 保存完了

(venv) $ cat meeting_20260724_minutes.txt
# 決定事項
- 第3四半期のサーバー更新は8月中旬に実施する
- ベンダーはA社に決定した

# アクションアイテム
- 田中（インフラ）: 更新手順書の作成（7/31まで）
- 鈴木（情シス）: 現行サーバーのバックアップ確認（8/1まで）

# 次回議題
- 更新手順書のレビュー
- 本番切り替え日程の最終確認

# /recordings/ 内のm4aファイルを全件処理
(venv) $ for f in /recordings/*.m4a; do
    echo "--- 処理中: $f ---"
    python3 ~/whisper-pipeline/minutes.py "$f" \
      --model llama3.3:70b-instruct-q4_0 --whisper medium
done

# メモリの空き確認
$ free -h
              total        used        free
Mem:           16Gi        11Gi        4.8Gi

# 解決策1: smallモデルに変更（RAM約2GB・速度向上）
(venv) $ python3 minutes.py meeting.m4a --whisper small

# 解決策2: スワップ領域を追加する（large-v3使用時など）
$ sudo fallocate -l 8G /swapfile
$ sudo chmod 600 /swapfile
$ sudo mkswap /swapfile && sudo swapon /swapfile

# initial_promptに社名・製品名・人名を渡す例
segments, info = model.transcribe(
    audio_path,
    language="ja",
    beam_size=5,
    initial_prompt="株式会社イーネットマーキュリー、Ubuntu Server、Ollama、田中部長、鈴木さん"
)

# 音声を30分(1800秒)ずつに分割する例
$ ffmpeg -i meeting_90min.m4a -f segment -segment_time 1800 \
  -c copy meeting_part%02d.m4a

# 分割後のファイルを確認
$ ls -lh meeting_part*.m4a
-rw-r--r-- 1 user user 28M meeting_part00.m4a
-rw-r--r-- 1 user user 27M meeting_part01.m4a
-rw-r--r-- 1 user user 15M meeting_part02.m4a

# ffmpegの確認
$ ffmpeg -version | head -1

# コマンドが見つからない場合はインストールする
$ sudo apt install -y ffmpeg
$ ffmpeg -version | head -1
ffmpeg version 4.4.2-0ubuntu0.22.04.1

ローカル音声認識とLLMパイプラインを2日間のハンズオンで体験する

Whisper・Ollama・Pythonを組み合わせたパイプライン構築を、実機環境で手を動かして習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。