LinuxでOllamaを使ってAIと会話する入門|WSL2やVPSに無料でLLMをインストールする方法

宮崎智広 この記事の監修:宮崎智広(Linux実務・教育歴20年以上・受講者3,100名超)
HOMELinux技術 リナックスマスター.JP(Linuxマスター.JP)【Linux入門】初心者のための基礎知識・講座 > LinuxでOllamaを使ってAIと会話する入門|WSL2やVPSに無料でLLMをインストールする方法
「ChatGPTに送った質問が、外部サーバーに記録されているかもしれない」
「自分のLinux環境でAIを動かせたら、コストもかからず情報漏洩の心配もなくなるのに」

そんな要望を解決するツールが Ollama です。

Ollamaを使えば、WSL2やVPSに1行のコマンドを実行するだけで、ChatGPTのようにAIと会話できる環境が手に入ります。データは自分の環境の中だけで完結します。費用もかかりません。

この記事では、Ollamaのインストールから最初のAI会話まで、初心者でもコピペで進められるよう解説します。

動作確認環境:Ubuntu 24.04 LTS / WSL2(Ubuntu 24.04)/ Rocky Linux 9

この記事のポイント

・OllamaはLinuxに1行のコマンドでインストールでき、すぐ使い始められる
・ollama runコマンドでChatGPTのようにAIと日本語で対話できる
・データはローカルで完結するため外部サーバーへの送信が一切ない
・無料で使えるLlama 3・Gemma 3など複数のモデルを用途に合わせて選択できる


「このままじゃマズい」と感じていませんか?
参考書を開く気力もない、同年代に取り残される不安——
でも安心してください。プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
図解60P/登録10秒/解除も3秒 / 詳細はこちら

なぜLinuxでAIをローカルに動かすのか

ChatGPTやGeminiといったオンラインのAIサービスは非常に便利ですが、業務での利用に踏み切れない理由がいくつかあります。

プライバシーの問題:入力した内容が外部サーバーに送信される。社外秘情報・個人情報は入力できない
コストの問題:大量のリクエストを送ると月額料金が発生する
ネット接続の制約:クローズドな社内ネットワーク環境では利用できないことがある

ローカルLLM(Local Large Language Model)はこれらの問題を解決します。LinuxサーバーのCPUやGPUを使って、自分の環境の中でAIを動かすため、入力内容が外部に出ることはありません。

OllamaはそのローカルLLMを最も簡単に動かせるツールの一つです。

Ollamaとは何か

OllamaはオープンソースのローカルLLM実行ツールです。MetaのLlama・GoogleのGemma・MistralAIのMistralなどの大規模言語モデルを、自分のLinux環境で動かすためのプラットフォームです。

DockerのようにAIモデルを「pull(ダウンロード)してrun(実行)する」という直感的な操作体系を持ち、Linux・macOS・Windowsに対応しています。

インストール後はコマンドラインから直接AIと会話できるほか、REST APIとしても使えるため、シェルスクリプトやPythonと組み合わせたLinux運用の自動化にも活用できます。

動作環境の確認

1. 推奨スペック

ローカルLLMはモデルをメモリに読み込んで動かすため、ある程度のスペックが必要です。

メモリ:最低8GB。16GB以上を推奨(モデルのサイズによる)
ストレージ:モデルファイルの格納に20GB以上の空き容量
GPU:NVIDIAのGPUがあれば高速動作する。ない場合はCPUで動作する

「CPUだけでも動くの?」という質問をよく受けます。答えはYesです。2B~3B規模の小さいモデルであれば、CPUのみでも実用的な速度でレスポンスが返ってきます。まずは軽量モデルから試してみてください。

2. 事前確認コマンド

インストール前に、メモリと空きディスクを確認しておきましょう。

# メモリの空き容量を確認する free -h # ホームディレクトリのディスク空き容量を確認する df -h ~ # OSバージョンを確認する cat /etc/os-release | grep PRETTY_NAME

実際にUbuntu 24.04 LTS環境で確認したときの出力です。

$ free -h total used free shared buff/cache available Mem: 15Gi 2.1Gi 8.4Gi 24Mi 5.0Gi 12Gi Swap: 2.0Gi 0B 2.0Gi $ df -h ~ Filesystem Size Used Avail Use% Mounted on /dev/sda1 98G 21G 73G 23% / $ cat /etc/os-release | grep PRETTY_NAME PRETTY_NAME="Ubuntu 24.04.2 LTS"

メモリが12GB利用可能、ストレージに73GBの空きがある状態です。この環境ならOllamaを問題なく動かせます。

ステップ1:Ollamaをインストールする

1. インストールコマンドを実行する

Ollamaの公式インストールスクリプトを1行実行するだけで完了します。Ubuntu・Rocky Linux・WSL2のいずれも同じコマンドです。

# Ollamaの公式インストールスクリプトを実行する curl -fsSL https://ollama.com/install.sh | sh

インストールが完了すると以下のような出力が表示されます。

>>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ######################################################################## 100.0% >>> Creating ollama user... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service >>> The Ollama API is now available at 127.0.0.1:11434. >>> Install complete. Run "ollama" from the command line.

「Install complete.」と表示されればインストール成功です。

2. インストールを確認する

# バージョンを確認する ollama --version # サービスの稼働状態を確認する systemctl status ollama

$ ollama --version ollama version is 0.9.3 $ systemctl status ollama * ollama.service - Ollama Service Loaded: loaded (/etc/systemd/system/ollama.service; enabled) Active: active (running) since 2026-07-23 09:12:04 JST; 2min ago Main PID: 3821 (ollama)

「active (running)」と表示されていればサービスが正常に動いています。

3. WSL2での注意点

WSL2でsystemdが有効になっていない場合は、Ollamaを手動でバックグラウンド起動します。

# WSL2でsystemdが使えない環境ではバックグラウンドで起動する ollama serve & # 起動確認(「Ollama is running」が返ってくれば正常) curl http://localhost:11434/

$ curl http://localhost:11434/ Ollama is running

ステップ2:AIモデルをダウンロードする

1. 初心者に推奨するモデルを選ぶ

Ollamaで動かせる主なモデルの比較です。初めての方は「gemma3:2b」から試すことをおすすめします。

モデル名 サイズ 必要メモリ 特徴
gemma3:2b 約1.6GB 4GB以上 Google製。軽量で応答が速く、入門に最適
llama3.2:3b 約2.0GB 6GB以上 Meta製。3B規模の中で高品質な回答
mistral:7b 約4.1GB 8GB以上 バランスの良い性能。7B規模の定番モデル

2. モデルをダウンロードする

# gemma3:2bをダウンロードする(約1.6GB。回線速度によって数分かかる) ollama pull gemma3:2b

$ ollama pull gemma3:2b pulling manifest pulling e8a35946c4db... 100% ||||||||||||||||||| 1.6 GB pulling e0a42594d802... 100% ||||||||||||||||||| 358 B pulling dd084c7d92a3... 100% ||||||||||||||||||| 11 KB pulling 1ef5c03d8f4d... 100% ||||||||||||||||||| 88 B verifying sha256 digest writing manifest success

「success」と表示されればダウンロード完了です。

3. ダウンロード済みモデルを確認する

# ダウンロード済みモデルの一覧を表示する ollama list

$ ollama list NAME ID SIZE MODIFIED gemma3:2b a2af6cc3eb7f 1.6 GB 3 minutes ago

ステップ3:AIと会話する

1. 対話モードで起動する

# gemma3:2bを起動して会話モードに入る ollama run gemma3:2b

起動するとプロンプトが表示されます。日本語でそのまま質問を入力できます。

$ ollama run gemma3:2b >>> Send a message (/? for help) >>> LinuxのコマンドでCPUの使用率を確認する方法を教えてください Linuxでは、topコマンドまたはhtopコマンドを使ってCPUの使用率をリアルタイムで 確認できます。 基本的なtopコマンドの使い方: top 表示される「%Cpu(s)」の行で、us(ユーザープロセス)、sy(システム)、 id(アイドル)などの値が確認できます。 >>> /bye

`/bye` と入力すると対話モードを終了します。これでローカルLLMとの初めての会話が完了です。

2. 1行で質問する(非対話モード)

コマンドラインから直接質問を送る方法もあります。シェルスクリプトに組み込む際に便利です。

# 非対話モードで質問する(引数として質問文を渡す) ollama run gemma3:2b "Linuxとは何かを50字以内で説明してください"

$ ollama run gemma3:2b "Linuxとは何かを50字以内で説明してください" LinuxはオープンソースのOSカーネルで、サーバー・スマートフォン・ 組み込みシステムに広く使われています。

よく使うOllamaコマンドまとめ

やりたいこと コマンド
モデルをダウンロードする ollama pull モデル名
モデルを起動して会話する ollama run モデル名
ダウンロード済みモデルを一覧表示する ollama list
モデルを削除して容量を空ける ollama rm モデル名
現在実行中のモデルを確認する ollama ps
Ollamaサービスを停止する sudo systemctl stop ollama
Ollamaサービスを再起動する sudo systemctl restart ollama

トラブルシュート:よくあるエラーと対処法

「Error: couldn't connect to ollama server」が出る時

Ollamaのサービスが起動していない状態です。サービスを起動してから再度試してください。

# サービスの状態を確認する systemctl status ollama # サービスを起動する sudo systemctl start ollama # WSL2でsystemdが使えない場合はバックグラウンドで直接起動する ollama serve &

ディスク容量不足でダウンロードが失敗する時

モデルは `~/.ollama/models/` に保存されます。空き容量を確認して不要なモデルを削除しましょう。

# モデル保存先のディスク空き容量を確認する df -h ~/.ollama # ollamaフォルダの合計サイズを確認する du -sh ~/.ollama # 不要なモデルを削除して容量を確保する ollama rm mistral:7b

$ du -sh ~/.ollama 3.7G /home/user01/.ollama

応答が遅い・タイムアウトする時

CPU動作の場合、モデルが大きいと初回応答に数十秒かかることがあります。

・小さいモデル(2B~3B規模)に切り替えてみる
・他のプロセスがCPUを占有していないか `top` コマンドで確認する
・GPU搭載のサーバーであれば、CUDAドライバが正しく認識されているか `nvidia-smi` で確認する

本記事のまとめ

手順 コマンド 内容
インストール curl -fsSL https://ollama.com/install.sh | sh Ollamaを1行でインストールする
モデル取得 ollama pull gemma3:2b 軽量モデルをダウンロードする
会話開始 ollama run gemma3:2b 対話モードを起動する
一覧確認 ollama list ダウンロード済みモデルを表示する
終了 /bye 対話モードを終了する
削除 ollama rm モデル名 不要なモデルを削除して容量を確保する
Ollamaを使うとLinuxの中でAIが動きます。外部サービスを使わずに済むため、社内情報・個人情報を含む作業でもAIを活用できる点が最大のメリットです。まずは `gemma3:2b` という軽量モデルで試してみてください。

次のステップとして、OllamaのREST APIをシェルスクリプトから呼び出すことで、Linuxサーバーの運用作業(ログ解析・設定ファイルのチェックなど)をAIと組み合わせた自動化に発展させることができます。
現場で通用する安全なLinuxサーバー構築の「型」を体系的に身につけたい方へ、
無料の「Linuxサーバー構築入門マニュアル(図解60ページ)」をプレゼントしています。
Ollamaで遊べるようになったら、次はサーバー全体の構築スキルを固めましょう。
無料マニュアルを受け取る >>

次に学ぶべきLinux実務スキル

Ollamaを使いこなすには、Linuxの基礎コマンドやサーバー管理の知識が土台になります。以下の7記事を合わせて読むことで、より実践的なスキルが身につきます。

crontabコマンドの設定と書き方|Ollamaのバッチ処理を定期実行する際にも使える
firewall-cmdコマンドでポートを開放・管理する方法|OllamaのAPIポート設定に応用できる
Linuxサーバー構築の全体像|7つのステップで理解する構築の流れ
journalctlコマンドでsystemdのログを確認する方法|Ollamaサービスのエラー調査に使う
LinuxのDNS設定方法|VPSでOllamaのAPIを公開する際のネットワーク基礎知識
dfコマンドでディスク容量を確認する方法|モデルファイルの容量管理に必須のコマンド
Linuxの「動いている」を信じすぎると痛い目に遭う理由|Ollamaサービスの監視習慣も同じ発想

無料メルマガで学習を続ける

Linuxの実践スキルをメールで毎週お届け。
登録は1分、解除もいつでも可。

登録無料・いつでも解除できます

暗記不要・1時間後にはサーバーが動く

3,100名以上が実践した「型」を無料で公開中

プロのエンジニアはコマンドを暗記していません。
「現場で使える型」を効率よく使いこなしているだけです。
その「型」を図解60Pにまとめた入門マニュアルを、完全無料でプレゼントしています。

登録10秒/合わなければ解除3秒 / 詳細はこちら

Linux無料マニュアル(図解60P) 名前とメールで30秒登録
宮崎 智広

この記事を書いた人

宮崎 智広(みやざき ともひろ)

株式会社イーネットマーキュリー代表。現役のLinuxサーバー管理者として20年以上の実務経験を持ち、これまでに累計3,100名以上のエンジニアを指導してきたLinux教育のプロフェッショナル。「現場で本当に使える技術」を体系的に伝えることをモットーに、実践型のLinuxセミナーの開催や無料マニュアルの配布を通じてLinux人材の育成に取り組んでいる。

趣味は、キャンプにカメラ、トラウト釣り。好きな食べ物は、ラーメンにお酒。休肝日が作れない、酒量を減らせないのが悩み。最近、ドラマ「フライトエンジェル」を観て涙腺が崩壊しました。