「自分のLinux環境でAIを動かせたら、コストもかからず情報漏洩の心配もなくなるのに」
そんな要望を解決するツールが Ollama です。
Ollamaを使えば、WSL2やVPSに1行のコマンドを実行するだけで、ChatGPTのようにAIと会話できる環境が手に入ります。データは自分の環境の中だけで完結します。費用もかかりません。
この記事では、Ollamaのインストールから最初のAI会話まで、初心者でもコピペで進められるよう解説します。
動作確認環境:Ubuntu 24.04 LTS / WSL2(Ubuntu 24.04)/ Rocky Linux 9
この記事のポイント
・OllamaはLinuxに1行のコマンドでインストールでき、すぐ使い始められる
・ollama runコマンドでChatGPTのようにAIと日本語で対話できる
・データはローカルで完結するため外部サーバーへの送信が一切ない
・無料で使えるLlama 3・Gemma 3など複数のモデルを用途に合わせて選択できる
でも安心してください。プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
なぜLinuxでAIをローカルに動かすのか
ChatGPTやGeminiといったオンラインのAIサービスは非常に便利ですが、業務での利用に踏み切れない理由がいくつかあります。・プライバシーの問題:入力した内容が外部サーバーに送信される。社外秘情報・個人情報は入力できない
・コストの問題:大量のリクエストを送ると月額料金が発生する
・ネット接続の制約:クローズドな社内ネットワーク環境では利用できないことがある
ローカルLLM(Local Large Language Model)はこれらの問題を解決します。LinuxサーバーのCPUやGPUを使って、自分の環境の中でAIを動かすため、入力内容が外部に出ることはありません。
OllamaはそのローカルLLMを最も簡単に動かせるツールの一つです。
Ollamaとは何か
OllamaはオープンソースのローカルLLM実行ツールです。MetaのLlama・GoogleのGemma・MistralAIのMistralなどの大規模言語モデルを、自分のLinux環境で動かすためのプラットフォームです。DockerのようにAIモデルを「pull(ダウンロード)してrun(実行)する」という直感的な操作体系を持ち、Linux・macOS・Windowsに対応しています。
インストール後はコマンドラインから直接AIと会話できるほか、REST APIとしても使えるため、シェルスクリプトやPythonと組み合わせたLinux運用の自動化にも活用できます。
動作環境の確認
1. 推奨スペック
ローカルLLMはモデルをメモリに読み込んで動かすため、ある程度のスペックが必要です。・メモリ:最低8GB。16GB以上を推奨(モデルのサイズによる)
・ストレージ:モデルファイルの格納に20GB以上の空き容量
・GPU:NVIDIAのGPUがあれば高速動作する。ない場合はCPUで動作する
「CPUだけでも動くの?」という質問をよく受けます。答えはYesです。2B~3B規模の小さいモデルであれば、CPUのみでも実用的な速度でレスポンスが返ってきます。まずは軽量モデルから試してみてください。
2. 事前確認コマンド
インストール前に、メモリと空きディスクを確認しておきましょう。# メモリの空き容量を確認する free -h # ホームディレクトリのディスク空き容量を確認する df -h ~ # OSバージョンを確認する cat /etc/os-release | grep PRETTY_NAME
$ free -h total used free shared buff/cache available Mem: 15Gi 2.1Gi 8.4Gi 24Mi 5.0Gi 12Gi Swap: 2.0Gi 0B 2.0Gi $ df -h ~ Filesystem Size Used Avail Use% Mounted on /dev/sda1 98G 21G 73G 23% / $ cat /etc/os-release | grep PRETTY_NAME PRETTY_NAME="Ubuntu 24.04.2 LTS"
ステップ1:Ollamaをインストールする
1. インストールコマンドを実行する
Ollamaの公式インストールスクリプトを1行実行するだけで完了します。Ubuntu・Rocky Linux・WSL2のいずれも同じコマンドです。# Ollamaの公式インストールスクリプトを実行する curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ######################################################################## 100.0% >>> Creating ollama user... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service >>> The Ollama API is now available at 127.0.0.1:11434. >>> Install complete. Run "ollama" from the command line.
2. インストールを確認する
# バージョンを確認する ollama --version # サービスの稼働状態を確認する systemctl status ollama
$ ollama --version ollama version is 0.9.3 $ systemctl status ollama * ollama.service - Ollama Service Loaded: loaded (/etc/systemd/system/ollama.service; enabled) Active: active (running) since 2026-07-23 09:12:04 JST; 2min ago Main PID: 3821 (ollama)
3. WSL2での注意点
WSL2でsystemdが有効になっていない場合は、Ollamaを手動でバックグラウンド起動します。# WSL2でsystemdが使えない環境ではバックグラウンドで起動する ollama serve & # 起動確認(「Ollama is running」が返ってくれば正常) curl http://localhost:11434/
$ curl http://localhost:11434/ Ollama is running
ステップ2:AIモデルをダウンロードする
1. 初心者に推奨するモデルを選ぶ
Ollamaで動かせる主なモデルの比較です。初めての方は「gemma3:2b」から試すことをおすすめします。| モデル名 | サイズ | 必要メモリ | 特徴 |
|---|---|---|---|
| gemma3:2b | 約1.6GB | 4GB以上 | Google製。軽量で応答が速く、入門に最適 |
| llama3.2:3b | 約2.0GB | 6GB以上 | Meta製。3B規模の中で高品質な回答 |
| mistral:7b | 約4.1GB | 8GB以上 | バランスの良い性能。7B規模の定番モデル |
2. モデルをダウンロードする
# gemma3:2bをダウンロードする(約1.6GB。回線速度によって数分かかる) ollama pull gemma3:2b
$ ollama pull gemma3:2b pulling manifest pulling e8a35946c4db... 100% ||||||||||||||||||| 1.6 GB pulling e0a42594d802... 100% ||||||||||||||||||| 358 B pulling dd084c7d92a3... 100% ||||||||||||||||||| 11 KB pulling 1ef5c03d8f4d... 100% ||||||||||||||||||| 88 B verifying sha256 digest writing manifest success
3. ダウンロード済みモデルを確認する
# ダウンロード済みモデルの一覧を表示する ollama list
$ ollama list NAME ID SIZE MODIFIED gemma3:2b a2af6cc3eb7f 1.6 GB 3 minutes ago
ステップ3:AIと会話する
1. 対話モードで起動する
# gemma3:2bを起動して会話モードに入る ollama run gemma3:2b
$ ollama run gemma3:2b >>> Send a message (/? for help) >>> LinuxのコマンドでCPUの使用率を確認する方法を教えてください Linuxでは、topコマンドまたはhtopコマンドを使ってCPUの使用率をリアルタイムで 確認できます。 基本的なtopコマンドの使い方: top 表示される「%Cpu(s)」の行で、us(ユーザープロセス)、sy(システム)、 id(アイドル)などの値が確認できます。 >>> /bye
2. 1行で質問する(非対話モード)
コマンドラインから直接質問を送る方法もあります。シェルスクリプトに組み込む際に便利です。# 非対話モードで質問する(引数として質問文を渡す) ollama run gemma3:2b "Linuxとは何かを50字以内で説明してください"
$ ollama run gemma3:2b "Linuxとは何かを50字以内で説明してください" LinuxはオープンソースのOSカーネルで、サーバー・スマートフォン・ 組み込みシステムに広く使われています。
よく使うOllamaコマンドまとめ
| やりたいこと | コマンド |
|---|---|
| モデルをダウンロードする | ollama pull モデル名 |
| モデルを起動して会話する | ollama run モデル名 |
| ダウンロード済みモデルを一覧表示する | ollama list |
| モデルを削除して容量を空ける | ollama rm モデル名 |
| 現在実行中のモデルを確認する | ollama ps |
| Ollamaサービスを停止する | sudo systemctl stop ollama |
| Ollamaサービスを再起動する | sudo systemctl restart ollama |
トラブルシュート:よくあるエラーと対処法
「Error: couldn't connect to ollama server」が出る時
Ollamaのサービスが起動していない状態です。サービスを起動してから再度試してください。# サービスの状態を確認する systemctl status ollama # サービスを起動する sudo systemctl start ollama # WSL2でsystemdが使えない場合はバックグラウンドで直接起動する ollama serve &
ディスク容量不足でダウンロードが失敗する時
モデルは `~/.ollama/models/` に保存されます。空き容量を確認して不要なモデルを削除しましょう。# モデル保存先のディスク空き容量を確認する df -h ~/.ollama # ollamaフォルダの合計サイズを確認する du -sh ~/.ollama # 不要なモデルを削除して容量を確保する ollama rm mistral:7b
$ du -sh ~/.ollama 3.7G /home/user01/.ollama
応答が遅い・タイムアウトする時
CPU動作の場合、モデルが大きいと初回応答に数十秒かかることがあります。・小さいモデル(2B~3B規模)に切り替えてみる
・他のプロセスがCPUを占有していないか `top` コマンドで確認する
・GPU搭載のサーバーであれば、CUDAドライバが正しく認識されているか `nvidia-smi` で確認する
本記事のまとめ
| 手順 | コマンド | 内容 |
|---|---|---|
| インストール | curl -fsSL https://ollama.com/install.sh | sh |
Ollamaを1行でインストールする |
| モデル取得 | ollama pull gemma3:2b |
軽量モデルをダウンロードする |
| 会話開始 | ollama run gemma3:2b |
対話モードを起動する |
| 一覧確認 | ollama list |
ダウンロード済みモデルを表示する |
| 終了 | /bye |
対話モードを終了する |
| 削除 | ollama rm モデル名 |
不要なモデルを削除して容量を確保する |
次のステップとして、OllamaのREST APIをシェルスクリプトから呼び出すことで、Linuxサーバーの運用作業(ログ解析・設定ファイルのチェックなど)をAIと組み合わせた自動化に発展させることができます。
無料の「Linuxサーバー構築入門マニュアル(図解60ページ)」をプレゼントしています。
Ollamaで遊べるようになったら、次はサーバー全体の構築スキルを固めましょう。
無料マニュアルを受け取る >>
次に学ぶべきLinux実務スキル
Ollamaを使いこなすには、Linuxの基礎コマンドやサーバー管理の知識が土台になります。以下の7記事を合わせて読むことで、より実践的なスキルが身につきます。・crontabコマンドの設定と書き方|Ollamaのバッチ処理を定期実行する際にも使える
・firewall-cmdコマンドでポートを開放・管理する方法|OllamaのAPIポート設定に応用できる
・Linuxサーバー構築の全体像|7つのステップで理解する構築の流れ
・journalctlコマンドでsystemdのログを確認する方法|Ollamaサービスのエラー調査に使う
・LinuxのDNS設定方法|VPSでOllamaのAPIを公開する際のネットワーク基礎知識
・dfコマンドでディスク容量を確認する方法|モデルファイルの容量管理に必須のコマンド
・Linuxの「動いている」を信じすぎると痛い目に遭う理由|Ollamaサービスの監視習慣も同じ発想
3,100名以上が実践した「型」を無料で公開中
プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
その「型」を図解60Pにまとめた入門マニュアルを、完全無料でプレゼントしています。
登録10秒/合わなければ解除3秒 / 詳細はこちら
- 前のページへ:Linuxのtmux入門|ターミナルを分割してWSL2やVPSでの作業を効率化する方法_body
- この記事の属するカテゴリ:【Linux入門】初心者のための基礎知識・講座へ戻る

無料メルマガで学習を続ける
Linuxの実践スキルをメールで毎週お届け。
登録は1分、解除もいつでも可。
登録無料・いつでも解除できます