OllamaにHugging FaceのGGUFモデルをインポートする方法｜hf.co直接ロードとModelfileを使ったカスタムモデル追加手順

この記事のポイント

・ollama pull hf.co/ユーザー名/リポジトリ:タグ でHugging Faceの任意GGUFを直接取得できる
・GGUFファイルをダウンロードして FROM ./model.gguf と書いたModelfileから ollama create で登録する
・インポート後は ollama ls・ollama show・ollama rm でモデルを一元管理できる
・hf.co直接ロードはGGUFがリポジトリルートにあるパブリックリポジトリのみ対応

# Ollamaのバージョンを確認する
$ ollama --version
ollama version is 0.5.12

# Ollamaサービスが起動中か確認する
$ systemctl is-active ollama
active

# ディスク空き容量を確認する（7Bモデルで4GB～8GB、70Bで40GB前後が必要）
$ df -h /root/.ollama
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       500G   80G  420G  17% /

# 書式: ollama pull hf.co/<ユーザー名>/<リポジトリ名>:<量子化タグ>
# 例: bartowski氏のLlama3.3-70B GGUFリポジトリからQ4_K_Mを取得する
$ ollama pull hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
pulling manifest
pulling 9dd1a234...   100% |███████████████| 43.0 GB/43.0 GB
verifying sha256 digest
writing manifest
success

# タグを省略するとリポジトリのデフォルト（通常Q4_K_M）が選ばれる
$ ollama pull hf.co/bartowski/Mistral-7B-Instruct-v0.3-GGUF

# インポートしたモデルを対話モードで起動する
$ ollama run hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
>>> サーバー管理者の仕事を一文で教えてください
サーバー管理者とは、組織のITインフラを安定稼働させるために、
設置・設定・監視・障害対応を担う職種です。
>>> /bye

# huggingface_hubをインストールする
$ pip install huggingface_hub

# 作業用ディレクトリを作成してそこへ移動する
$ mkdir -p ~/gguf-models && cd ~/gguf-models

# 特定のGGUFファイルだけをダウンロードする（リポジトリ全体ではなく対象ファイルのみ）
$ huggingface-cli download bartowski/Llama-3.3-70B-Instruct-GGUF     Llama-3.3-70B-Instruct-Q4_K_M.gguf     --local-dir .

# ダウンロードを確認する
$ ls -lh *.gguf
-rw-r--r-- 1 ubuntu ubuntu 43G Jul 14 10:30 Llama-3.3-70B-Instruct-Q4_K_M.gguf

# Modelfileを作成する
$ cat > ~/gguf-models/Modelfile << 'EOF'
FROM ./Llama-3.3-70B-Instruct-Q4_K_M.gguf

# コンテキストウィンドウサイズ（デフォルト2048。増やす場合はVRAMに余裕があることを確認）
PARAMETER num_ctx 4096

# システムプロンプト（省略可。日本語応答を安定させたい場合は設定を推奨）
SYSTEM "あなたは有能なアシスタントです。日本語で回答してください。"
EOF

# 内容を確認する
$ cat ~/gguf-models/Modelfile
FROM ./Llama-3.3-70B-Instruct-Q4_K_M.gguf
PARAMETER num_ctx 4096
SYSTEM "あなたは有能なアシスタントです。日本語で回答してください。"

# Modelfileのあるディレクトリでollama createを実行する
$ cd ~/gguf-models
$ ollama create llama3.3-custom:q4km -f Modelfile
transferring model data
using existing layer sha256:9dd1a234...
creating new layer sha256:abc5678d...
writing manifest
success

# 起動して動作を確認する
$ ollama run llama3.3-custom:q4km
>>> こんにちは
こんにちは！何かお手伝いできることはありますか？
>>> /bye

# モデルの詳細情報を確認する
$ ollama show llama3.3-custom:q4km
  Model
    architecture        llama
    parameters          70.6B
    context length      4096
    embedding length    8192
    quantization        Q4_K_M

  Parameters
    num_ctx    4096
    stop       "<|eot_id|>"

  System
    あなたは有能なアシスタントです。日本語で回答してください。

  License
    META LLAMA 3.3 COMMUNITY LICENSE AGREEMENT

# インポート済みのモデル一覧とサイズ・更新日時を確認する
$ ollama ls
NAME                                                    ID            SIZE      MODIFIED
hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M   9dd1a234abc   43 GB    20 minutes ago
llama3.3-custom:q4km                                   abc5678def1   43 GB     5 minutes ago
mistral:latest                                         7f2a3b1c2d4    4.1 GB   2 days ago

# モデルを別名でコピーする（テスト用に複製したい場合）
$ ollama cp llama3.3-custom:q4km llama3.3-custom:test

# 使用中のモデルを確認する（削除前に必ずチェックする）
$ ollama ps
NAME    ID    SIZE    PROCESSOR    UNTIL
（起動中のモデルがなければ何も表示されない）

# 不要なモデルを削除する
$ ollama rm llama3.3-custom:test
deleted 'llama3.3-custom:test'

# エラー例：量子化タグの記法が誤っている
$ ollama pull hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4KM
Error: pull model manifest: file does not exist

# 正しい記法：Hugging FaceのFiles and versionsタブでGGUFファイル名を確認し
# アンダースコアを含む完全な識別子を指定する
$ ollama pull hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

# NGパターン：GGUFがある場所と異なるディレクトリで実行している
$ pwd
/home/ubuntu
$ ollama create mymodel -f ~/gguf-models/Modelfile
Error: unable to open model file: open ./Llama-3.3-70B-Instruct-Q4_K_M.gguf: no such file or directory

# OKパターン①：GGUFと同じディレクトリに移動してから実行する
$ cd ~/gguf-models && ollama create mymodel -f Modelfile

# OKパターン②：ModelfileのFROMに絶対パスを指定する
# FROM /home/ubuntu/gguf-models/Llama-3.3-70B-Instruct-Q4_K_M.gguf

HuggingFaceモデルのインポートから社内RAG構築まで実機ハンズオンで体験する

ローカルLLMの環境構築から運用まで、手順書を読むだけでなく実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。