OllamaをインターネットなしのLinuxサーバーで運用する方法｜エアギャップ環境でのモデル配布・オフライン構築手順

この記事のポイント

・OllamaバイナリはGitHub Releasesのtar.gzを接続環境で取得してエアギャップサーバーへ転送する
・モデルは接続環境でollama pullしたあと~/.ollama/modelsをtar czfでパッキングして持ち込む
・GGUFファイル＋Modelfileのインポートを使えばモデル更新時の転送量を最小化できる
・OLLAMA_MODELS環境変数でモデル置き場を外付けストレージに変更すると容量管理が楽になる

# アーキテクチャ確認
$ uname -m
x86_64    # → amd64 用バイナリが必要

# arm64 の場合はこちら
aarch64   # → arm64 用バイナリが必要

# OS バージョン確認
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Release:        22.04

# 最新バージョンを確認して取得（バージョン番号は適宜変更）
$ curl -LO https://github.com/ollama/ollama/releases/download/v0.6.0/ollama-linux-amd64.tgz

# ダウンロード確認
$ ls -lh ollama-linux-amd64.tgz
-rw-r--r-- 1 user user 52M Sep 28 09:00 ollama-linux-amd64.tgz

# チェックサムを生成しておく（転送後の検証に使う）
$ sha256sum ollama-linux-amd64.tgz > ollama-linux-amd64.tgz.sha256
$ cat ollama-linux-amd64.tgz.sha256
a1b2c3d4e5f6...  ollama-linux-amd64.tgz

# 中継機への通常インストール
$ curl -fsSL https://ollama.com/install.sh | sh

# モデルをpull（エアギャップサーバーのVRAM/RAMに合ったものを選ぶ）
$ ollama pull llama3.3:70b-instruct-q4_0

# 複数モデルを持ち込む場合は続けてpull
$ ollama pull gemma3:12b-instruct-q4_0
$ ollama pull phi4:latest

# pull済みモデルの確認
$ ollama list
NAME                             ID              SIZE      MODIFIED
llama3.3:70b-instruct-q4_0      a6eb4748fd29    43 GB     2 minutes ago
gemma3:12b-instruct-q4_0        bc5d9ef12345    8.1 GB    1 minute ago
phi4:latest                     def890abc123    9.1 GB    30 seconds ago

# systemd サービスインストール（デフォルト）の場合
$ ls /usr/share/ollama/.ollama/models/
blobs  manifests

# ユーザーインストールの場合
$ ls ~/.ollama/models/
blobs  manifests

# OLLAMA_MODELS 環境変数が設定されていれば優先される
$ sudo systemctl cat ollama | grep OLLAMA_MODELS
Environment="OLLAMA_MODELS=/usr/share/ollama/.ollama"

# systemd インストール（/usr/share/ollama/.ollama）の場合
$ sudo tar czf /tmp/ollama-models.tar.gz \
    -C /usr/share/ollama/.ollama models

# ファイルサイズ確認
$ ls -lh /tmp/ollama-models.tar.gz
-rw-r--r-- 1 root root 48G Sep 28 09:30 ollama-models.tar.gz

# チェックサムを生成
$ sha256sum /tmp/ollama-models.tar.gz > /tmp/ollama-models.tar.gz.sha256

# アーカイブ内の最初の10件を確認
$ tar tzf /tmp/ollama-models.tar.gz | head -10
models/
models/blobs/
models/blobs/sha256-a6eb4748fd29...
models/manifests/
models/manifests/registry.ollama.ai/
models/manifests/registry.ollama.ai/library/
models/manifests/registry.ollama.ai/library/llama3.3/

# 中継機からエアギャップサーバーへ転送
$ scp /tmp/ollama-models.tar.gz user@airgap-server:/tmp/
$ scp /tmp/ollama-models.tar.gz.sha256 user@airgap-server:/tmp/
$ scp ollama-linux-amd64.tgz user@airgap-server:/tmp/
$ scp ollama-linux-amd64.tgz.sha256 user@airgap-server:/tmp/

# チェックサム検証（OKと表示されれば正常）
$ sha256sum -c /tmp/ollama-linux-amd64.tgz.sha256
/tmp/ollama-linux-amd64.tgz: OK

$ sha256sum -c /tmp/ollama-models.tar.gz.sha256
/tmp/ollama-models.tar.gz: OK

# /tmp 以下に展開
$ mkdir -p /tmp/ollama-bin
$ tar xzf /tmp/ollama-linux-amd64.tgz -C /tmp/ollama-bin

# バイナリをシステムパスにコピー
$ sudo cp /tmp/ollama-bin/bin/ollama /usr/local/bin/ollama
$ sudo chmod +x /usr/local/bin/ollama

# バージョン確認
$ /usr/local/bin/ollama --version
ollama version is 0.6.0

# ollama 専用ユーザーを作成（systemd サービス用）
$ sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

# モデル保存ディレクトリを作成
$ sudo mkdir -p /usr/share/ollama/.ollama/models
$ sudo chown -R ollama:ollama /usr/share/ollama

$ sudo tee /etc/systemd/system/ollama.service <<'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/usr/share/ollama/.ollama/models"

[Install]
WantedBy=default.target
EOF

# systemd に読み込ませてサービスを有効化
$ sudo systemctl daemon-reload
$ sudo systemctl enable ollama

# /usr/share/ollama/.ollama/ 配下に models ディレクトリを展開
$ sudo tar xzf /tmp/ollama-models.tar.gz \
    -C /usr/share/ollama/.ollama/

# 所有者を ollama ユーザーに変更（必須）
$ sudo chown -R ollama:ollama /usr/share/ollama/.ollama/models

# 展開確認
$ ls /usr/share/ollama/.ollama/models/
blobs  manifests

# モデルのマニフェストが存在するか確認
$ ls /usr/share/ollama/.ollama/models/manifests/registry.ollama.ai/library/
llama3.3  gemma3  phi4

# サービス起動
$ sudo systemctl start ollama

# 起動状態確認
$ sudo systemctl status ollama
* ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled)
     Active: active (running) since Mon 2026-09-28 09:45:00 JST; 5s ago

# モデル一覧確認（pull したモデルが表示されれば成功）
$ ollama list
NAME                             ID              SIZE      MODIFIED
llama3.3:70b-instruct-q4_0      a6eb4748fd29    43 GB     2 hours ago
gemma3:12b-instruct-q4_0        bc5d9ef12345    8.1 GB    2 hours ago

# テスト実行
$ ollama run llama3.3:70b-instruct-q4_0 "こんにちは。一文で自己紹介してください"
こんにちは！私はLlama 3.3、MetaのオープンソースLLMです。

# 接続環境でGGUFファイルをHugging Faceから取得してエアギャップサーバーへ転送後、
# Modelfile を作成する
$ cat > /tmp/Modelfile <<'EOF'
FROM /tmp/Llama-3.3-70B-Instruct.Q4_K_M.gguf
EOF

# ollama create でモデルを登録
$ ollama create llama3.3-local -f /tmp/Modelfile
transferring model data
creating model layer
success

# 確認
$ ollama list
NAME              ID              SIZE      MODIFIED
llama3.3-local    abc123def456    43 GB     10 seconds ago

# サービスが使っている OLLAMA_MODELS を確認
$ sudo systemctl cat ollama | grep OLLAMA_MODELS
Environment="OLLAMA_MODELS=/usr/share/ollama/.ollama/models"

# そのパスにモデルが展開されているか確認
$ ls /usr/share/ollama/.ollama/models/manifests/registry.ollama.ai/library/
llama3.3  gemma3

# 所有者が ollama ユーザーか確認
$ stat /usr/share/ollama/.ollama/models/blobs/ | grep Uid
Access: (0755/drwxr-xr-x)  Uid: ( 999/  ollama)   Gid: ( 999/  ollama)

# メモリ残量を確認
$ free -h
               total        used        free
Mem:            31Gi        5.2Gi        25Gi

# GPU（NVIDIA）の場合はVRAMを確認
$ nvidia-smi --query-gpu=memory.total,memory.free --format=csv,noheader
24576 MiB, 23000 MiB

# journalctl でエラーを確認
$ sudo journalctl -u ollama -n 50 --no-pager | grep -i "error\|oom\|killed"

# エラー例
$ /usr/local/bin/ollama --version
-bash: /usr/local/bin/ollama: cannot execute binary file: Exec format error

# サーバーのアーキテクチャを再確認
$ uname -m
aarch64   # arm64 用バイナリが必要だったのに amd64 を持ち込んでいた

# arm64 用のバイナリを用意する必要がある

# GGUFファイルの権限を確認
$ ls -la /tmp/Llama-3.3-70B-Instruct.Q4_K_M.gguf
-rw-r--r-- 1 root root 43G Sep 28 09:00 Llama-3.3-70B-Instruct.Q4_K_M.gguf

# ファイルをollamaが読める場所へ移動して権限を付与
$ sudo mv /tmp/Llama-3.3-70B-Instruct.Q4_K_M.gguf /usr/share/ollama/
$ sudo chown ollama:ollama /usr/share/ollama/Llama-3.3-70B-Instruct.Q4_K_M.gguf

# Modelfile のパスを更新して再実行
$ ollama create llama3.3-local -f /tmp/Modelfile

エアギャップ環境のローカルLLM運用を2日間で体験する

オフライン構築の手順を覚えても、実際にGPUサーバーで動かさなければ体感が掴めません。実機GPU環境でOllamaのインストール・モデル切替・REST API連携を手を動かしながら習得したい方向けに、「ローカルAIマスターセミナー」を開催しています。
少人数（最大8名）ZOOMハンズオン形式で実施しています。