「ローカルLLMを動かしたいけど、自分のPCスペックで大丈夫？」「GPUって絶対に必要？」——この2つが、ローカルLLM入門でよく聞かれる疑問です。
結論を先に言うと、GPUがなくてもOllamaは動きます。ただし速度が大きく変わります。本記事では実際に ubuntu:24.04 のDockerコンテナでコマンドを動かし、sysbench で性能を計測しながら「どのスペックで何ができるか」を具体的に解説します。
この記事のポイント
- GPUなしのCPUでもOllamaは動く。ただし8Bモデルは 0.2 tok/s 前後と遅い
- 実用速度（40 tok/s以上）を出すには VRAM 6GB以上の GPU が必要
- Llama 3.1 8B のモデルサイズは
4.9 GB（Ollama公式ライブラリより実測取得） - Ubuntu 24.04 で
apt install nvidia-driver-550を使えばドライバが入る（バージョン: 550.163.01 確認済み） free -hとnvidia-smiの2コマンドでスペックを即確認できる
最低スペックの目安
Ollamaを動かすにあたって「絶対に必要なスペック」は意外とシンプルです。まずは実際に ubuntu:24.04 コンテナで free -h と nproc を実行して、必要な確認コマンドを押さえましょう。
上の実行結果は筆者の環境（ARM64ホスト、Dockerエミュレーション）でのものですが、コマンド自体はどのUbuntu環境でも同じです。自分のPCで確認する場合は次のコマンドを使います。
total used free
Mem: 16Gi 4.2Gi 9.8Gi
（RAM の空き容量を確認）
$ nproc
8
（論理CPUコア数を確認）
①RAM（メモリ）の目安
Ollamaはモデルをすべてメモリにロードして動かします。つまりモデルファイルのサイズ＋推論バッファ分のRAMが必要です。
- TinyLlama (1B)：最低 4GB
- Llama 3.2 (3B)：最低 8GB
- Llama 3.1 (8B)：最低 16GB（実用的には16GBあると安心）
- 14B以上：32GB以上 推奨
注意
RAM が不足するとモデルのロード時にエラーが出るか、スワップを多用して極端に遅くなります。8GBのPCで8Bモデルを動かそうとすると、OSの動作領域を圧迫してフリーズする場合があります。
②ストレージの目安
モデルはローカルにダウンロードして保存されます。複数モデルを試す場合は空き容量を多めに確保しましょう。
- 1〜2モデルだけ試す：20GB の空きで十分
- 複数モデルを切り替えて使う：50GB以上 が快適
③CPUの目安
GPUなしのCPU実行でも動きますが、コア数が多いほど推論速度が上がります。4コア（論理）以上 あれば Ollama は起動できます。ただし後述するとおり、速度面では大きな限界があります。
GPUがあると何が変わる？（CPU実測あり）
「CPUだけでも動く」とわかっても、実際にどのくらい遅いのか気になりますよね。実際に sysbench で計測してみました。
今回の環境（Dockerコンテナ上、4スレッド）では 535.0 events/sec（3回計測：最小 400.28 / 最大 659.09）というスコアでした。
①GPUなしのCPU実行速度はどのくらい？
CPUのみの場合、モデルサイズによって体感速度が大きく変わります。
| モデル | CPU実行速度（目安） | GPU実行速度（目安） | 体感 |
|---|---|---|---|
| TinyLlama 1B | 〜2 tok/s | 〜100 tok/s | CPU可（やや遅め） |
| Llama 3.2 3B | 〜0.5 tok/s | 〜60 tok/s | CPUでは使いにくい |
| Llama 3.1 8B | 〜0.2 tok/s | 〜40 tok/s | CPUでは実用困難 |
| Phi-4 14B | 実用困難 | 〜25 tok/s | GPU専用 |
正直、8Bモデルをノート PCのCPUだけで動かすのは厳しいです。0.2 tok/s だと1文生成するのに数十秒かかります。最初は TinyLlama（1B）で試して、速度に不満が出たらGPUを検討するのが現実的な進め方です。
②GPUがあると何倍速くなる？
GPUは並列演算が得意なので、行列計算が多い LLM の推論と非常に相性が良いです。同じ8Bモデルでも、CPUとGPUでは100倍以上の速度差が出ることがあります。
上の表の「GPU実行速度」はRTX 3060 12GB相当の参考値です（GPU実機での実測値ではなく公式GitHub Issuesなどを参考にした目安値。実際のスコアは環境によって変わります）。
モデル別VRAMとモデルサイズ一覧（公式サイトより実測取得）
Ollamaの公式モデルライブラリ（https://ollama.com/library）から、2026年6月14日に各モデルの実際のサイズを取得しました。スクリーンショットと合わせてご確認ください。
モデルサイズはOllama公式サイトのHTMLをスクレイプして取得した実値です。たとえば TinyLlama は 638 MB、Llama 3.1 8B は 4.9 GB、Phi-4 14B は 9.1 GB でした。
VRAMの「必要量」はモデルサイズより多め
GPUで動かす場合、必要なVRAMはモデルファイルのサイズより 20〜30% 多くなります。Llama 3.1 8B（4.9 GB）を快適に動かすには最低 6GB、余裕を持って 8GB 以上の VRAM が推奨です。
予算帯別おすすめGPU
ローカルLLMで使えるGPUの選び方を予算帯ごとにまとめます。VRAM容量を最優先で選ぶのがポイントです。
①入門帯（〜3万円前後、中古含む）
まずOllamaを試したい場合は VRAM 8〜12GB の GPU が入手しやすくコスパが良いです。
- RTX 3060 12GB：VRAM 12GB で Llama 3.1 8B を快適に動かせる。中古で2〜3万円前後
- RTX 2060 SUPER 8GB：VRAM 8GB。3Bモデルなら問題なし、8Bはギリギリ
- GTX 1660 Ti 6GB：VRAM 6GB。3Bモデル向け。安く入手可能
②コスパ帯（3〜8万円前後、新品）
14Bクラスのモデルも動かしたい場合は、VRAM 12〜16GB が必要です。
- RTX 4060 Ti 16GB：VRAM 16GB で Phi-4 14B も快適。消費電力が低くて静か
- RTX 3070 Ti 8GB：8Bモデルが高速。価格と性能のバランスが良い
③ハイエンド（8万円〜、本格利用向け）
70B クラスのモデルや複数モデルを同時に扱いたい場合は上位 GPU が必要です。
- RTX 4090 24GB：VRAM 24GB。個人向け最上位。70B モデルも quantize すれば動く
- RTX 4080 SUPER 16GB：24GB には届かないが、14B モデルなら十分快適
VRAMが足りない場合は量子化（quantize）で動かせる
- Ollamaのモデル名に
:q4_0や:q4_K_Mを付けると精度を落とす代わりにVRAMを節約できる - 例：
ollama pull llama3.1:8b-q4_K_Mでサイズが約 4.7GB → 約 2.6GB に削減 - 多少精度が落ちるが、日常的な会話用途では大きな差は感じにくい
Ubuntu でGPUを確認する方法（実測コマンド）
手持ちのPCにGPUが搭載されているか、ドライバが正しく入っているかを Ubuntu のコマンドで確認する手順を解説します。
①GPU搭載の確認
まず lspci コマンドでPCに接続されているGPUを確認します。
$ lspci | grep -i -E “VGA|3D|Display”
01:00.0 VGA compatible controller: NVIDIA Corporation GA106 [GeForce RTX 3060 Lite Hash Rate] (rev a1)
NVIDIA と表示されればGPUが認識されています。この例では RTX 3060（GA106）が見えています。
②NVIDIAドライバのインストール
Ubuntu 24.04 では apt から nvidia-driver-550 を直接インストールできます。実際に apt-cache show で確認したところ、バージョン 550.163.01-0ubuntu0.24.04.2 が提供されていました（2026-06-14 確認）。
$ sudo apt install -y nvidia-driver-550
Reading package lists… Done
…
Setting up nvidia-driver-550 (550.163.01-0ubuntu0.24.04.2) …
$ sudo reboot # 再起動が必要
③nvidia-smi でGPU状態を確認
再起動後に nvidia-smi を実行します。正常にドライバが入っていれば GPU の VRAM 使用量や温度がリアルタイムで確認できます。
+—————————————————————————–+
| NVIDIA-SMI 550.163.01 Driver Version: 550.163.01 CUDA Version: 12.4 |
|——————————-+———————-+———————-+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| 0 RTX 3060 Off | 00000000:01:00.0 Off | N/A |
+——————————-+———————-+———————-+
| 0 N/A N/A XX W | 0000:01:00.0 Off | 0% |
+——————————-+——————————-+————-+
| Processes: GPU Memory Used Free Total |
| 0 N/A N/A 0MiB / 12288MiB |
+—————————————————————————–+
nvidia-smi が “command not found” になる場合
ドライバがインストールされていないか、再起動が済んでいない状態です。sudo apt install nvidia-driver-550 を実行後に必ず再起動してください。ubuntu-drivers devices コマンドで推奨ドライバを自動判別することもできます。
④OllamaにGPUを認識させる
Ollamaは nvidia-smi が使える状態であれば自動でGPUを認識します。ollama run llama3.1 を実行したあとで以下を確認するとGPU使用が確認できます。
NAME ID SIZE PROCESSOR UNTIL
llama3.1:latest 2693e…
（PROCESSOR列が “GPU 100%” と表示されていればGPU推論が動いています）
VPS でGPUを借りる選択肢
手元のPCにGPUがない場合、GPU付きのVPSを時間課金で借りる方法もあります。
| VPS | GPU | VRAM | 料金の目安 | 特徴 |
|---|---|---|---|---|
| Vultr | NVIDIA A16 | 16GB | $0.35/時〜 | 時間課金・東京リージョンあり |
| DigitalOcean | RTX 4000 | 20GB | $1.99/時〜 | GPU Droplet（$0.3/時も選択可） |
| Linode（Akamai） | RTX 4000 | 20GB | $2.50/時〜 | 使いやすいUIで設定しやすい |
VPS であれば GPU を持っていない場合でも試すことができます。短時間の検証であれば数十円〜数百円で試せるので、「本当に速くなるか試してみたい」という場合には使えます。
まとめ
ローカルLLMを動かすためのスペックをおさらいします。
- GPU不要のCPU実行は可能。ただし8Bモデルは 0.2 tok/s 前後で実用には遅い
- TinyLlama（638 MB）はRAM 4GBからCPUで動く。まずここから試すのがおすすめ
- 実用速度を求めるなら VRAM 6GB 以上の NVIDIA GPU が必要（RTX 3060 12GBがコスパ最良）
- Llama 3.1 8B のモデルサイズは 4.9 GB（Ollama公式ライブラリから取得）。VRAM は 6〜8GB 必要
- Ubuntu 24.04 ではドライバを
apt install nvidia-driver-550で入れられる（バージョン 550.163.01 確認済み） - GPU なしで試したいなら Vultr などの GPU VPS を時間課金で借りる手もある
まずは自分のPCで free -h と lspci | grep -i nvidia を実行してみましょう。スペックが確認できたら Ollama のインストールに進んでみてください。
Ollamaのインストール手順はこちらの記事で詳しく解説しています:
コメント