ＨＯＭＥ ＞ ローカルLLM
ローカルLLM
ローカルLLM：記事リスト
ローカルLLMのカテゴリーには以下の記事がリストされています。
Ollamaをインストールする方法｜Ubuntu・WSL2・Docker別の導入手順とモデル取得まで
「Ollamaのインストール方法がわからない」
「Ubuntu・WSL2・Dockerのどの環境を選べばいいか判断できない」
そんな悩みを抱えるローカルLLMをこれから始める初心者は多いはずです。この記事では、OllamaをUbuntu・WSL2・Dockerそれぞれの環境にインストールする具体的な手順を解説します。curl一発導入からモデルの取得・動作確認まで、「とりあえずOllamaを動かす」ところをゴールにします。WSL2とDockerの導入差分や、インストール後に遭遇しやすいエラーの対処法もあわせてカバーします。
「Ubuntu・WSL2・Dockerのどの環境を選べばいいか判断できない」
そんな悩みを抱えるローカルLLMをこれから始める初心者は多いはずです。この記事では、OllamaをUbuntu・WSL2・Dockerそれぞれの環境にインストールする具体的な手順を解説します。curl一発導入からモデルの取得・動作確認まで、「とりあえずOllamaを動かす」ところをゴールにします。WSL2とDockerの導入差分や、インストール後に遭遇しやすいエラーの対処法もあわせてカバーします。
この記事のポイント
・Ollamaは curl -fsSL https://ollama.com/install.sh | sh の一行でUbuntu・WSL2に導入できる
・WSL2はUbuntuと同じコマンドで動くが、systemd有効化の確認とGPU連携の手順が追加になる
・Dockerでは docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama で起動できる
・ollama: command not foundが出る場合はPATH再設定と source ~/.bashrc で解消できることが多い
Ubuntu ServerでGPUを使ってローカルLLMを動かす方法｜nvidia-smi・CUDA・ドライバ導入で挫折しない手順
「nvidia-smiを実行したら command not found と出た」「Ollamaは起動しているのに、nvidia-smiで確認してもGPUが推論に使われていない」
GPU環境の構築でこうした壁にぶつかるインフラエンジニアや自宅サーバー勢は、意外なほど多いものです。
この記事では、Ubuntu 24.04 LTSにNVIDIAドライバとCUDA Toolkitを導入し、OllamaのローカルLLMをGPU推論させるまでの手順を実機ベースで解説します。nvidia-smi認識・CUDAセットアップ・OllamaとのGPU連携確認まで、挫折しやすいポイントを正直に押さえます。Gemma 3やPhi-4をGPUで動かす実践例と、よくあるトラブルの対処法も含めます。
GPU環境の構築でこうした壁にぶつかるインフラエンジニアや自宅サーバー勢は、意外なほど多いものです。
この記事では、Ubuntu 24.04 LTSにNVIDIAドライバとCUDA Toolkitを導入し、OllamaのローカルLLMをGPU推論させるまでの手順を実機ベースで解説します。nvidia-smi認識・CUDAセットアップ・OllamaとのGPU連携確認まで、挫折しやすいポイントを正直に押さえます。Gemma 3やPhi-4をGPUで動かす実践例と、よくあるトラブルの対処法も含めます。
この記事のポイント
・nvidia-smi未認識の主因はドライバ未インストール。ubuntu-drivers autoinstallで解消できる
・CUDAはNVIDIA公式リポジトリ経由でインストールし、nvccコマンドで正常動作を確認する
・OllamaはCUDAが正しく入っていれば自動でGPU推論に切り替わる（設定変更は不要）
・VRAM 8GBならGemma 3:12bとGemma 3:4bが実用圏。Phi-4はVRAM 12GB以上が推奨
続きを読む "Ubuntu ServerでGPUを使ってローカルLLMを動かす方法｜nvidia-smi・CUDA・ドライバ導入で挫折しない手順"
ローカルLLMのモデルを比較する方法｜Llama3.3・Mistral・Gemma・Phi-4をUbuntuで使い分けるポイント
「ローカルLLMを動かす環境は用意できたが、モデルが多すぎてどれを選べばいいのか分からない」
「Llama・Mistral・Gemma・Phi-4の違いが曖昧なまま選び、VRAM不足でクラッシュさせてしまった」
この記事では、Ollamaで扱う主要モデル（Llama3.3・Mistral・Gemma 3／4・Phi-4）の特徴とUbuntuでの動作要件、用途別の使い分けと切り替えコマンドを現役講師の視点で解説します。
「Llama・Mistral・Gemma・Phi-4の違いが曖昧なまま選び、VRAM不足でクラッシュさせてしまった」
この記事では、Ollamaで扱う主要モデル（Llama3.3・Mistral・Gemma 3／4・Phi-4）の特徴とUbuntuでの動作要件、用途別の使い分けと切り替えコマンドを現役講師の視点で解説します。
この記事のポイント
・モデル選定の基準はVRAM容量と用途の2軸で決まる
・ollama pull と ollama run でモデルを瞬時に切り替えられる
・軽量はPhi-4・Gemma 3、高精度はGemma 4・Llama3.3が目安
・-q4_0 などの量子化タグでVRAM消費を大きく下げられる
・OOMの確認は nvidia-smi とOllamaのログが基本
続きを読む "ローカルLLMのモデルを比較する方法｜Llama3.3・Mistral・Gemma・Phi-4をUbuntuで使い分けるポイント"
Ubuntu ServerでローカルLLMを構築する方法｜Ollamaで機密データを外に出さず業務AIを動かす完全ガイド
「業務でAIを使いたいが、社外秘のコードや顧客データをChatGPTに貼り付けるわけにはいかない」
「ローカルLLMという選択肢は知っているが、Linuxサーバーでどう動かすのか具体像が見えない」
そんな悩みを抱えるインフラエンジニア・プログラマーは多いはずです。この記事では、Ubuntu ServerにOllamaを導入し、機密データを一切外部に出さずに業務用のローカルLLMを動かすまでの手順を、実機ベースで解説します。インストールから本番運用向けのsystemdサービス化、外部アクセス制限、トラブルシュートまで一通りカバーしました。
「ローカルLLMという選択肢は知っているが、Linuxサーバーでどう動かすのか具体像が見えない」
そんな悩みを抱えるインフラエンジニア・プログラマーは多いはずです。この記事では、Ubuntu ServerにOllamaを導入し、機密データを一切外部に出さずに業務用のローカルLLMを動かすまでの手順を、実機ベースで解説します。インストールから本番運用向けのsystemdサービス化、外部アクセス制限、トラブルシュートまで一通りカバーしました。
この記事のポイント
・curl -fsSL https://ollama.com/install.sh | sh でOllamaを一発導入できる
・ローカルLLMなら機密データを外に出さず・月額ゼロ・オフラインで業務AIを動かせる
・本番運用はsystemdのoverride.confでOLLAMA_HOSTやモデル保存先を制御するのが基本
・「ollama: command not found」はPATHとsystemd起動の2点を切り分ければ解決できる
・巨大モデルが必要な場面はクラウドが優位。用途で使い分ける視点を持つ
続きを読む "Ubuntu ServerでローカルLLMを構築する方法｜Ollamaで機密データを外に出さず業務AIを動かす完全ガイド"