Intel NUC は手のひらサイズのミニPCですが、Ubuntu 24.04 LTS と Ollama を組み合わせれば、クラウドに頼らない自前のローカルLLMサーバーに変身します。月数百円のAPIコストを気にせず、プライバシーを守りながら AI チャットを使い続けられます。
私が実際に試したところ、セットアップ完了まで Docker が入っていれば 30 分もかかりませんでした。モデルは gemma2:2b・qwen2.5:1.5b・llama3.2:1b の 3 つを Ollama 経由で確認済みです。本記事では Ubuntu 24.04 で実行した手順と、Open WebUI の実際の画面を載せます。
この記事のポイント
- Intel NUC に Ubuntu 24.04 LTS を入れ、Docker で Ollama を動かす手順を実際に確認
- Ollama API から取得した実際のモデルリスト（gemma2:2b / qwen2.5:1.5b / llama3.2:1b）を掲載
- Open WebUI v0.9.6 のチャット画面・管理画面のスクリーンショットあり
- sysbench CPU ベンチマーク実測値（27,094〜27,126 events/sec、4スレッド）を記載
- 8GB RAM の NUC なら 1〜2B パラメータのモデルが快適に動く
目次
- Intel NUC でローカルLLMを動かす意義
- 推奨スペックと前提環境
- Ubuntu 24.04 のインストール
- Docker Engine のセットアップ
- Ollama の起動とモデルダウンロード
- Open WebUI で GUI チャット環境を整える
- Ollama で使える軽量モデル一覧（実測）
- CPU パフォーマンスの実測値
- よくあるエラーと解決策
- まとめ
Intel NUC でローカルLLMを動かす意義
ChatGPT や Claude などのクラウドAPIはすぐに使えますが、月単位で課金が積み上がります。業務の社内文書や個人の日記を投げ込みたいときに「APIに送って大丈夫かな」という引っかかりもあります。
Intel NUC はコンシューマー向けの小型デスクトップPCで、消費電力が低く（アイドル時 10〜15W 程度）、24時間つけっぱなしにしても電気代が月数百円で済みます。LAN 内のどのデバイスからもアクセスできるローカルAIサーバーとして非常に相性が良いです。
推奨スペックと前提環境
| 項目 | 最低構成 | 推奨構成 | 備考 |
|---|---|---|---|
| CPU | Intel Core i3（第10世代以降） | Core i5 / i7（第12世代以降） | 推論はCPU依存 |
| RAM | 8GB | 16GB 以上 | モデルサイズで決まる |
| ストレージ | 256GB SSD | 512GB 以上 | モデル1本あたり1〜10GB |
| OS | Ubuntu 24.04 LTS | 2029年4月までサポート | |
注意
本記事のコマンドは Ubuntu 24.04 LTS（Docker コンテナおよびホスト環境）で検証しています。Intel NUC 実機でも同じ手順で動作しますが、スペックの違いにより推論速度は異なります。
Ubuntu 24.04 のインストール
Intel NUC は BIOS から USB ブートを有効にして Ubuntu 24.04 LTS の公式 ISO を書き込んだ USB から起動します。インストーラーの指示に従い「最小インストール」を選択すると、余計なソフトが入らずサーバー用途に向いています。
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 24.04.1 LTS
Release: 24.04
Codename: noble
$ uname -r
6.8.0-83-generic
Docker Engine のセットアップ
Ollama も Open WebUI も Docker イメージで提供されているため、まず Docker Engine を入れます。Ubuntu 24.04 では docker.io パッケージで問題なく動きます。
Reading package lists… Done
The following NEW packages will be installed:
docker.io
Setting up docker.io … done.
$ sudo systemctl enable –now docker
Created symlink /etc/systemd/system/multi-user.target.wants/docker.service
$ sudo usermod -aG docker $USER
# 一度ログアウトして再接続する
$ docker –version
Docker version 24.0.5, build 24.0.5-0ubuntu1~24.04.1
注意
sudo usermod -aG docker $USER 後は一度ログアウトして再接続しないと docker コマンドが Permission denied になります。newgrp docker で一時的に回避もできます。
Ollama の起動とモデルダウンロード
Ollama は LLM の実行エンジンです。Docker Hub から公式イメージを取得して起動するだけで、ポート 11434 で REST API が立ち上がります。
–name ollama \
-p 11434:11434 \
-v ollama_data:/root/.ollama \
ollama/ollama
f69c4d49ddb7a8c3e4b5d2f1a9b0c3e2…
$ docker exec ollama ollama pull gemma2:2b
pulling manifest
pulling 7462734796d6… 100% ▕██████████▏ 1.6 GB
success
$ curl http://localhost:11434/
Ollama is running
モデルの取得後、API で確認すると実際にモデルが登録されているのがわかります。私が試したときは gemma2:2b・qwen2.5:1.5b・llama3.2:1b の 3 本が入った状態で合計約 3.8GB でした。
Open WebUI で GUI チャット環境を整える
コマンドラインでの curl チャットも動きますが、ブラウザから使いたいなら Open WebUI が便利です。Ollama と同様に Docker で一発起動できます。
–name open-webui \
-p 3000:8080 \
–add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open_webui_data:/app/backend/data \
ghcr.io/open-webui/open-webui:main
3225f2ff99c3…
# ブラウザで http://<NUCのIPアドレス>:3000 を開く
コンテナ起動後にブラウザで http://<NUCのIP>:3000 を開くと、Open WebUI のログイン画面が出ます。初回は「Get started」→ アカウント作成でそのまま admin 権限が付与されます。
ログイン後のメイン画面です。左のサイドバーにチャット履歴、右上でモデル選択ができます。v0.9.6 からナレッジベースフォルダや per-chat スキル切り替えが追加されています。
モデルセレクターを開くと Ollama に登録済みのモデルが一覧表示されます。LAN 内の別端末（スマホやノートPC）からも同じアドレスでアクセスできるのが便利です。
補足：管理画面の活用
Open WebUI の管理画面（/admin）でユーザー招待ができます。家族や同僚を招いて LAN 内の AI を共有する使い方も面白いです。ただし、外部からアクセスできるようにするにはリバースプロキシと認証が必要なので注意してください。
Ollama で使える軽量モデル一覧（実測）
Ollama API の /api/tags から取得した実際のモデルデータです。8GB RAM の NUC なら 1〜2B パラメータ帯が安定して動きます。
日本語を含むタスクには qwen2.5:1.5b が向いています。コンテキスト長が 32,768 tokens と長く、長めのドキュメントを投げても対応できます。英語コーディングなら llama3.2:1b（Q8_0 量子化で精度高め）も選択肢に入ります。
pulling manifest
pulling 65ec06548149… 100% ▕██████████▏ 986 MB
success
$ docker exec ollama ollama pull llama3.2:1b
pulling manifest
pulling baf6a787fdff… 100% ▕██████████▏ 1.3 GB
success
$ docker exec ollama ollama list
NAME ID SIZE MODIFIED
gemma2:2b 8ccf136fdd52 1.6 GB 6 days ago
qwen2.5:1.5b 65ec06548149 986 MB 6 days ago
llama3.2:1b baf6a787fdff 1.3 GB 6 days ago
CPU パフォーマンスの実測値
Ubuntu 24.04（Docker コンテナ）で sysbench 1.0.20 を使った CPU ベンチマークの結果です。4スレッド・5秒計測を 2 回行い、安定して 27,000 events/sec 台をキープしていました。
Intel NUC の Core i5-1235U（10コア）を例にとると、同条件でのスコアはこれを下回る場合もありますが、LLM の推論はスループット（events/sec）よりもメモリ帯域に左右される部分が大きいです。16GB RAM の NUC なら 3.5B クラスのモデルも試せます。
Intel NUC の世代ごとの LLM 向き度
- 第10世代（Ice Lake）以降：AVX2 対応で GGUF モデルの推論が安定
- 第12世代（Alder Lake）以降：P/E コア混在だが Ollama が自動で制御
- 第13世代（Raptor Lake）以降：メモリ帯域が広くなり 7B モデルも実用的
セットアップ全体の流れ
よくあるエラーと解決策
① Open WebUI がモデルを認識しない
docker run の -e OLLAMA_BASE_URL に host.docker.internal を指定しているか確認します。Linux ではデフォルトで host.docker.internal が解決できないため、--add-host=host.docker.internal:host-gateway が必須です。
Ollama is running
$ curl http://localhost:11434/api/tags
{“models”:[{“name”:”gemma2:2b”,…}]}
② モデルのダウンロードが途中で止まる
モデルファイルは 1〜10GB あるため、ネットワーク不安定時に中断します。ollama pull はレジューム対応なので、もう一度同じコマンドを実行すれば続きからダウンロードできます。
③ RAM 不足で推論が極端に遅い
モデルサイズが搭載 RAM を超えるとスワップが多発して推論速度が 1〜2 tokens/sec 以下になります。free -h でメモリ使用量を確認し、空きが少なければ小さいモデルに切り替えてください。8GB RAM なら 1.5B〜2B モデルまでが実用的です。
total used free shared buff/cache available
Mem: 16Gi 4.2Gi 8.1Gi 45Mi 3.6Gi 11Gi
Swap: 2.0Gi 0B 2.0Gi
まとめ
Intel NUC + Ubuntu 24.04 + Docker という組み合わせで、コンパクトなローカル LLM サーバーが作れます。
- Ubuntu 24.04 に Docker を入れ、
ollama/ollamaとghcr.io/open-webui/open-webui:mainを起動するだけ - Ollama API から確認した実際のモデルは gemma2:2b（1.5GB）・qwen2.5:1.5b（0.9GB）・llama3.2:1b（1.3GB）
- Open WebUI v0.9.6 で LAN 内の端末からブラウザチャットができる
- 8GB RAM なら 1〜2B モデル、16GB なら 3.5〜7B モデルまで実用的に動く
- クラウド不要・月額ゼロでプライベートな AI 環境が完成する
クラウドAPIの利用料金が気になっている方や、社内ドキュメントを外に出したくない方には、NUC + Ollama の組み合わせが現実的な選択肢になります。まず gemma2:2b をダウンロードしてチャットを試してみてください。
クラウドVPS でも同じ手順で Ollama を動かせます。VPS 選びについては もあわせてどうぞ。
コメント