OllamaでローカルLLMをfine-tuningする方法｜UnslothとLoRAでGGUF変換して業務特化モデルをOllamaに取り込む手順

この記事のポイント

・LoRA＋Unslothで ollama run できるカスタムモデルをGPU1枚で作れる
・学習データはJSONL形式のinstruction-outputペアを100件以上用意するのが品質の目安
・llama.cppの convert_hf_to_gguf.py でHugging Face形式→GGUF変換後、Modelfileでインポートする
・量子化タグ q4_K_M でVRAMを抑えつつ本番運用に耐える品質を保てる

$ nvidia-smi --query-gpu=name,memory.total --format=csv,noheader
NVIDIA GeForce RTX 4090, 24564 MiB

# Python仮想環境の作成とアクティベート
$ python3 -m venv ~/finetune-env
$ source ~/finetune-env/bin/activate

# Unslothのインストール（CUDA 12.1向け）
$ pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
$ pip install --no-deps trl peft accelerate bitsandbytes datasets

# CUDAが認識されているか確認
$ python -c "import torch; print(torch.cuda.is_available(), torch.version.cuda)"
True 12.1

# dataset.jsonl の例（1行1レコード）
{"instruction": "次のLinuxエラーを日本語で解説してください", "input": "No space left on device", "output": "このエラーはディスクの空き容量が不足していることを示します。`df -h` でどのパーティションが満杯かを確認し、不要なファイルを削除するか、`/var/log` 以下の古いログをローテートしてください。"}
{"instruction": "次のLinuxコマンドの用途を説明してください", "input": "journalctl -u nginx --since '1 hour ago'", "output": "このコマンドは過去1時間のnginxサービスのログを表示します。`-u` でサービスを絞り込み、`--since` で取得開始時刻を指定しています。"}

# レコード件数の確認
$ wc -l dataset.jsonl
124 dataset.jsonl

# 各レコードのoutput文字数の分布確認（最大・最小・中央）
$ cat dataset.jsonl | jq -r '.output | length' | sort -n | awk 'NR==1{min=$1} {max=$1; sum+=$1; n++} END{print "min=" min, "max=" max, "avg=" int(sum/n)}'
min=42 max=498 avg=187

# train.py
from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-3.3-8b-instruct-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
    lora_dropout=0,
    bias="none",
    use_gradient_checkpointing="unsloth",
)

# train.py（続き）
alpaca_prompt = """以下は指示です。適切な回答を作成してください。

### 指示:
{}

### 入力:
{}

### 回答:
{}"""

def formatting_func(examples):
    texts = []
    for inst, inp, out in zip(examples["instruction"], examples["input"], examples["output"]):
        text = alpaca_prompt.format(inst, inp, out) + tokenizer.eos_token
        texts.append(text)
    return {"text": texts}

dataset = load_dataset("json", data_files="dataset.jsonl", split="train")
dataset = dataset.map(formatting_func, batched=True)

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=2048,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        num_train_epochs=3,
        learning_rate=2e-4,
        output_dir="./output",
        fp16=True,
        save_steps=50,
        logging_steps=10,
    ),
)
trainer.train()
model.save_pretrained("./finetuned-model")
tokenizer.save_pretrained("./finetuned-model")
print("学習完了。./finetuned-model に保存しました。")

$ python train.py
==((====))==  Unsloth: Fast Llama patching. Transformers = 4.44.0.
   \\   /|    GPU: NVIDIA GeForce RTX 4090. Max memory: 23.988 GB.
...
{'loss': 1.4523, 'learning_rate': 0.0002, 'epoch': 0.5}
{'loss': 1.1234, 'learning_rate': 0.00015, 'epoch': 1.0}
{'loss': 0.8901, 'learning_rate': 0.0001, 'epoch': 2.0}
{'loss': 0.7234, 'learning_rate': 0.00005, 'epoch': 3.0}
学習完了。./finetuned-model に保存しました。

# llama.cppをクローンして変換用の依存ライブラリをインストール
$ git clone https://github.com/ggerganov/llama.cpp
$ cd llama.cpp
$ pip install -r requirements.txt

# quantizeツールのビルド（量子化に使う）
$ make llama-quantize

# HuggingFace形式→GGUF（float16）に変換
$ python convert_hf_to_gguf.py \
    ~/finetuned-model \
    --outtype f16 \
    --outfile ~/my-custom-model-f16.gguf

# q4_K_M量子化（品質とVRAMのバランスが最良）
$ ./llama-quantize ~/my-custom-model-f16.gguf \
    ~/my-custom-model-q4_K_M.gguf q4_K_M

main: build = 3743
llama_model_quantize_internal: model size  = 15234.01 MB
llama_model_quantize_internal: quant size  =  4521.30 MB

# ~/my-custom-model/Modelfile
FROM /home/user/my-custom-model-q4_K_M.gguf

PARAMETER temperature 0.7
PARAMETER num_ctx 4096
PARAMETER repeat_penalty 1.1

SYSTEM """
あなたは社内Linux運用専門のAIアシスタントです。
専門用語は社内標準定義に従って正確に使用してください。
回答は簡潔に、手順は番号付きで提示してください。
"""

# Ollamaにカスタムモデルを登録
$ ollama create my-linux-assistant -f ~/my-custom-model/Modelfile
transferring model data
creating model layer
using existing layer sha256:a1b2c3...
writing manifest
success

# 動作確認
$ ollama run my-linux-assistant "Permission deniedエラーの対処法を教えてください"
このエラーはファイルやディレクトリへのアクセス権限が不足しています。
まず ls -la でファイルの権限を確認し、必要に応じて chmod または sudo を使用してください。

# 登録されたモデルの確認
$ ollama list | grep my-linux-assistant
my-linux-assistant    d3b4e5f6a7b8    4.5 GB    2 minutes ago

# 学習開始前にVRAM空き容量を確認
$ nvidia-smi --query-gpu=memory.free,memory.total --format=csv,noheader
22431 MiB, 24564 MiB

ローカルLLMのfine-tuningを2日間のハンズオンで実践する

この記事で解説したLoRAによるfine-tuning・GGUF変換・Ollamaへのインポートを、実機GPU環境で手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。