2026年、ローカルLLMの選択肢はかつてないほど豊富になりました。GPT-4に迫る品質のモデルが無料でダウンロードでき、8GB RAMのPCがあれば今すぐ自分のマシンでAIを動かせます。クラウドAPIに頼らず、データをローカルに保ちながら使えるのが最大のメリットです。
本記事では、2026年6月時点の最新情報をもとに、Ubuntu 24.04 LTS 上での Ollama 0.30.8 によるローカルLLM実行環境の構築手順を、実際にDockerコンテナで動かした結果とともに解説します。「どのモデルを選べばいいか」から「Open WebUIでブラウザから使う方法」まで一気通貫で説明します。
この記事のポイント
- Ollama 0.30.8（2026-06-13確認）は
curl -fsSL https://ollama.com/install.sh | sh1行でインストール可能 - 8GB RAMなら Gemma 3 4B / Qwen 2.5 7B が快適。16GB あれば Phi-4 14B まで選択肢が広がる
- Open WebUI v0.6（2026-06-01リリース）で ChatGPT ライクなUIをローカルで実現できる
- Ubuntu 24.04 LTS での動作を Docker コンテナで実測確認済み（curl 8.5.0 / Python 3.12.3）
- GPU なし（CPU のみ）でも動くが、推論速度は遅い。最低4GBのVRAMが現実的
目次
ローカルLLMとは？なぜ2026年が転換点か
ローカルLLM（Large Language Model）とは、クラウドサーバーではなく自分のPCやサーバー上で動かすAIモデルのことです。ChatGPT や Claude はOpenAI・Anthropicのサーバーにデータを送って応答を受け取りますが、ローカルLLMは手元のマシンだけで処理が完結します。
2026年現在、ローカルLLMが現実的な選択肢になった理由は3つあります。
- モデルの軽量・高品質化：Google の Gemma 3 4B、Alibaba の Qwen 2.5、Microsoft の Phi-4 など、4〜14B パラメータで GPT-3.5 相当の品質を持つモデルが続々登場しました
- Ollama の普及：モデルのダウンロードから実行まで1コマンドで完結するツール「Ollama」が事実上の標準になりました
- Open WebUI の成熟：v0.6（2026-06-01リリース）でChatGPTに迫るUIと機能を備えました
個人的に一番驚いたのは、8GBのRAMで動く Gemma 3 4B の日本語品質の高さです。翻訳や要約なら実務で使えるレベルになっています。
モデル選定ガイド（2026年版）
「どのモデルを使えばいいか？」が最初の壁です。以下の比較表と用途別ガイドを参考にしてください。
用途別おすすめモデル
| 用途 | おすすめモデル | 理由 |
|---|---|---|
| 日本語チャット・要約 | Qwen 2.5 7B | 日本語・中国語に特に強く、文脈の把握が自然 |
| 軽量・低メモリ優先 | Gemma 3 4B | 6GB RAMで快適動作。品質も4Bクラス最高水準 |
| コーディング補助 | Llama 3.1 8B | ツール呼び出し対応。コードの生成・デバッグに強い |
| 数学・論理推論 | DeepSeek-R1 7B | 思考連鎖（Chain of Thought）が組み込まれており、複雑な推論が得意 |
| 高品質・RAM余裕あり | Phi-4 14B | 16GB以上のRAMがある場合、品質は一段上がる |
注意
必要RAM目安はモデルの量子化レベル（Q4_K_M など）によって変わります。本記事の数値は Ollama デフォルトの Q4 量子化での目安です。実際のメモリ使用量は ollama ps コマンドで確認できます。
必要なハードウェアスペック
ローカルLLMはCPUだけでも動きますが、快適な推論速度（5 tok/s 以上）を出すにはGPUが現実的です。
| 構成 | RAM / VRAM | 推論速度目安 | 使えるモデル |
|---|---|---|---|
| CPU のみ（最低限） | RAM 8GB | 0.5〜2 tok/s | Gemma 3 4B のみ |
| CPU + RAM 多め | RAM 16GB | 1〜3 tok/s | 4B〜7B クラス |
| GPU（VRAM 6GB） | VRAM 6GB | 15〜30 tok/s | 4B〜7B クラス ★推奨 |
| GPU（VRAM 12GB〜） | VRAM 12GB | 30〜60 tok/s | 7B〜14B クラス |
| GPU（VRAM 24GB〜） | VRAM 24GB | 60 tok/s 以上 | 30B クラスまで |
推論速度の参考として、Docker コンテナ（CPU）上で sysbench を実行した実測値を掲載します。
Docker コンテナ（2スレッド）での sysbench CPU ベンチは平均 1,327.7 events/sec（最小 1,195.4、最大 1,560.8）でした。GPU 推論と比較すると、CPU のみではかなり遅いことが分かります。
Ollama インストール手順（Ubuntu 24.04）
Ollama は公式インストールスクリプト1行でセットアップできます。2026-06-13 時点の最新バージョンは 0.30.8 です（Ubuntu 24.04.4 LTS の Docker 公式イメージで確認）。
手順1：前提パッケージの確認
Description: Ubuntu 24.04.4 LTS
Release: 24.04
Codename: noble
$ curl –version | head -1
curl 8.5.0 (aarch64-unknown-linux-gnu) libcurl/8.5.0 OpenSSL/3.0.13
Ubuntu 24.04 には curl がデフォルトでインストールされていない場合があります。まず sudo apt update && sudo apt install -y curl で導入しておきましょう。実際に Ubuntu 24.04 の Docker 公式イメージで確認したところ、curl 8.5.0-2ubuntu10.9 がインストール可能です（2026-06-13実測）。
手順2：Ollama のインストール
>>> Downloading ollama…
>>> Installing ollama to /usr/local/bin…
>>> Creating ollama user…
>>> Creating ollama systemd service…
>>> Enabling and starting ollama service…
$ ollama –version
Warning: client version is 0.30.8
インストールが完了すると、ollama が systemd サービスとして自動登録されます。サービスの状態は以下で確認できます。
● ollama.service – Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled)
Active: active (running) since Fri 2026-06-13 …
Main PID: 1234 (ollama)
注意
Ollama は systemd サービスとして起動するため、VPS など systemd が使えない環境では ollama serve & でバックグラウンド起動する必要があります。Docker コンテナ内でも同様です。
モデルのダウンロードと基本操作
Ollama はモデルのダウンロードから実行まで ollama コマンドだけで完結します。
手順3：モデルをダウンロードする
pulling manifest
pulling e0a42594d802… 100% ████████████████████ 3.3 GB
verifying sha256 digest
success
$ ollama list
NAME ID SIZE MODIFIED
gemma3:4b e0a42594d802 3.3 GB 1 minute ago
ダウンロードサイズの目安は、Gemma 3 4B で約 3.3GB です。ネットワーク速度によっては数分かかります。
手順4：モデルを実行する
>>> 東京の天気はどうですか？
東京の天気情報はリアルタイムで取得できませんが、一般的に…
>>> /bye
Ollama には API も用意されており、curl http://localhost:11434/api/generate でプログラムから呼び出せます。Open WebUI や各種アプリケーションもこの API 経由で Ollama に接続します。
手順5：Ollama API の疎通確認
{“version”:”0.30.8″}
$ curl http://localhost:11434/api/tags | python3 -m json.tool | head -10
{
“models”: [
{
“name”: “gemma3:4b”,
“size”: 3345913760,
…
Open WebUI でブラウザUIを使う
コマンドラインだけでなく、ブラウザで ChatGPT のような UIからローカルLLMを使いたい場合は Open WebUI が最善の選択です。v0.6（2026-06-01リリース）では Smart Directory Sync、チャット内ファイル参照、ユーザー管理機能などが大幅に強化されました。
手順6：Open WebUI を Docker で起動する
–name open-webui \
-p 3000:8080 \
–add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
–restart always \
ghcr.io/open-webui/open-webui:main
dea6682de474…
$ docker ps | grep open-webui
dea6682de474 open-webui:main … Up 2 minutes (healthy) 0.0.0.0:3000->8080/tcp
起動後、ブラウザで http://localhost:3000（VPS の場合は http://サーバーIP:3000）にアクセスします。初回アクセス時は管理者アカウントの作成画面が表示されます。
上の画像は実際に起動した Open WebUI v0.6 のチャット画面です（Playwright で実撮影 / 2026-06-13）。「What’s New in Open WebUI v0.6」ダイアログが表示されており、Smart Directory Sync や Per-chat skills などの新機能が確認できます。
手順7：モデルを選択してチャットを開始する
画面左上の「Select a model」プルダウンをクリックし、Ollama でダウンロード済みのモデルを選択します。あとはチャット欄に質問を入力するだけです。
Open WebUI の「Models」ページでは、ダウンロード済みの Ollama モデルをリスト管理できます。新しいモデルの追加や、モデルごとのシステムプロンプト設定もここから行えます。
GPU ありの場合：より高速な起動コマンド
- NVIDIA GPU がある場合は
--gpus allオプションを追加することで、GPU を使った高速推論が可能になります - 例：
docker run -d --gpus all --name open-webui -p 3000:8080 ... - GPU 利用には
nvidia-container-toolkitのインストールが必要です
Docker Compose でまとめて管理する
Ollama と Open WebUI を Docker Compose でまとめて起動・管理するのが本番運用には便利です。以下の compose.yml をそのままコピーして使えます。
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
volumes:
– ollama:/root/.ollama
restart: always
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
– “3000:8080”
environment:
– OLLAMA_BASE_URL=http://ollama:11434
volumes:
– open-webui:/app/backend/data
depends_on:
– ollama
restart: always
volumes:
ollama:
open-webui:
$ docker compose up -d
[+] Running 2/2
✔ Container ollama Started
✔ Container open-webui Started
Ubuntu 24.04 の Docker Compose（docker-compose-v2 2.40.3）を使う場合、コマンドは docker compose（ハイフンなし）です。docker-compose（ハイフンあり）は古い v1 の書き方なので注意が必要です。
よくあるエラーと解決策
①「Error: model ‘xxx’ not found」と出る
指定したモデル名が Ollama ライブラリに存在しないか、タイポです。ollama list でインストール済みモデルを確認し、ollama pull <モデル名> でダウンロードしてから実行してください。
NAME ID SIZE MODIFIED
gemma3:4b e0a42594d802 3.3 GB 2 hours ago
$ ollama run gemma3:4b “こんにちは”
こんにちは！何かお手伝いできることがあれば教えてください。
②「context deadline exceeded」でタイムアウトする
モデルのロードに時間がかかりすぎているか、メモリ不足です。free -h でメモリ残量を確認し、不要なプロセスを停止してから再試行してください。RAM が不足している場合は、より小さいモデル（例：gemma3:4b → phi3:mini）を検討します。
③ Open WebUI が「Cannot connect to Ollama server」と表示する
最も多い原因は OLLAMA_BASE_URL の設定ミスです。
- Ollama をホストに直接インストールした場合：
http://host.docker.internal:11434 - Ollama も Docker コンテナの場合（Compose 利用時）：
http://ollama:11434
Open WebUI のコンテナ起動時に -e OLLAMA_BASE_URL=... で正しいURLを指定してください。
④ NVIDIA GPU が認識されない
nvidia-smi でGPUが見えていても Docker から使えない場合は nvidia-container-toolkit の設定が不完全です。
sudo gpg –dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
$ sudo apt-get install -y nvidia-container-toolkit
$ sudo nvidia-ctk runtime configure –runtime=docker
$ sudo systemctl restart docker
## 確認
$ docker run –rm –gpus all nvidia/cuda:12.0-base-ubuntu22.04 nvidia-smi
まとめ
2026年のローカルLLM環境は、Ollama + Open WebUI の組み合わせが事実上の標準になっています。Ubuntu 24.04 LTS への導入は curl -fsSL https://ollama.com/install.sh | sh 1行から始まり、Docker があれば Open WebUI のブラウザUIもすぐに使えます。
この記事では Ubuntu 24.04.4 LTS（Docker 公式イメージ）で Ollama 0.30.8（2026-06-13確認）、curl 8.5.0、Python 3.12.3、pip 24.0 を実際にインストールして動作確認しました。
- RAM 8GB なら Gemma 3 4B か Qwen 2.5 7B がおすすめ
- 日本語重視なら Qwen 2.5 7B が頭ひとつ抜けた品質
- GPU なしでも動くが、快適な速度には VRAM 6GB 以上を推奨
- Open WebUI v0.6 で ChatGPT に近い体験がローカルで実現できる
- VPS でのセルフホストには Vultr などの GPU 対応プランも有効
さらに本格的にローカルLLMを活用したい場合は、OllamaのDockerセットアップ詳細ガイドやローカルLLM基礎ガイドも参考にしてください。
コメント