GPU別ローカルLLM推論速度を実測比較【RTX4090/3090/A100】

「ローカルLLMを動かしたいけど、手元の GPU で本当に使えるの？」という疑問を持っている方は多いと思います。

結論から言うと、GPU の種類によって推論速度は数十〜数百倍変わります。CPU だけで動かすと実用的な速度が出ないため、GPU 選びは非常に重要です。

この記事では、Ubuntu 24.04 LTS 環境に Ollama をインストールして CPU のみでの推論速度を実際に計測し、各 GPU（RTX 4090・3090・A100 など）の公開ベンチマーク参考値と比較します。「どの GPU を買えばいいか」「クラウド GPU は実用的か」という疑問にも答えます。

目次

1. なぜ GPU が必要なのか — CPU との速度差を実測で見る
2. Ubuntu 24.04 に Ollama をインストールする
3. GPU 別 推論速度比較（RTX4090 / 3090 / A100）
4. VRAM 容量別 対応モデルサイズ一覧
5. GPU を持っていない場合 — クラウドGPU サービス比較
6. モデルロード速度とストレージ選び
7. まとめ

なぜ GPU が必要なのか — CPU との速度差を実測で見る

Ollama は GPU なしでも動作します。試しに CPU のみの環境で TinyLlama 1.1B（Q4_0 量子化）を動かしてみると、驚くような結果が出ました。

当検証環境（AMD EPYC 7402P、8コア利用、メモリ 15GB）で Ollama の推論 API を叩いた実測結果が以下です。

なんと 0.232 tokens/sec。27 トークンの返答を生成するのに約 116 秒かかりました。これでは実用には到底使えません。

ちなみにプロンプト評価（入力の処理）は 47 トークン ÷ 6.455 秒 = 7.28 tokens/sec と、それなりの速度が出ています。問題は出力生成（eval）部分で、ここが GPU の並列計算能力に大きく依存します。

正直、CPU のみの 0.23 tokens/sec という数字は衝撃的でした。1分間に14トークンしか生成できないので、100トークンの返答に7分以上かかる計算です。GPU がない場合はクラウドGPU一択です。

Ubuntu 24.04 に Ollama をインストールする

Ollama は apt には未収録ですが、公式インストールスクリプト1行で導入できます。Ubuntu 24.04 LTS（Docker公式イメージ ubuntu:24.04 で確認）での手順です。

①前提パッケージの確認

②Ollama のインストール（GPU検出時は CUDA も自動セットアップ）

NVIDIA GPU が搭載されている場合、インストールスクリプトが自動で GPU を検出し、CUDA ドライバのセットアップまでやってくれます。GPU なしの場合は「NVIDIA GPU detected」の行は表示されず、CPU モードでインストールされます。

③モデルをダウンロードして推論を試す

Ollama 0.30.8（2026-06-13 時点の最新）では tinyllama:1.1b のモデル ID は 2644915ede35、サイズは 637 MB、量子化レベル Q4_0 として管理されています。

Ollama には標準の CLI のほか、Open WebUI（ブラウザから ChatGPT のように使える UI）と組み合わせると一気に使いやすくなります。

GPU 別 推論速度比較（RTX4090 / 3090 / A100）

以下のグラフは、CPU のみでの実測値と、各 GPU 環境での推論速度（Ollama コミュニティ公開ベンチマーク参考値）を比較したものです。

CPUのみでは 0.23 tokens/sec（実測）だったのに対し、RTX 4090 では約 90 tokens/sec（参考値）と、実に 390 倍近い差があります。

参考値はモデル Llama 3 8B（Q4_K_M 量子化）での Ollama コミュニティ公開ベンチマークの代表的な値です。実際の速度は OS バージョン・CUDA バージョン・量子化レベル・コンテキスト長により変動します。

RTX 4090 vs RTX 3090 — どちらを選ぶか

両方とも VRAM は 24GB で、Llama 3 8B（Q4_K_M、約 4.9GB）から Llama 3 70B（Q4_K_M、約 40GB）のモデル分割まで対応しています。速度面では RTX 4090 が RTX 3090 の約1.6倍優位ですが、価格差（中古市場で RTX 3090 は RTX 4090 の約半額）を考えると、予算が限られている場合は RTX 3090 でも十分実用的です。

A100 はローカル用途に向いているか

A100 は最大 80GB VRAM で 70B 以上のモデルをフル精度に近い形で動かせますが、消費電力（300〜400W）と価格（新品40〜60万円）が高く、個人の自作機には現実的ではありません。クラウド GPU（RunPod・Lambda Labs）での利用が現実的な選択肢です。

VRAM 容量別 対応モデルサイズ一覧

「手元の GPU でどのモデルが動くか」を判断する際に重要なのが VRAM（GPU メモリ）容量です。

大まかなルールとして、Q4_K_M 量子化での必要 VRAM = モデルのパラメータ数(B) × 0.6 GB が目安です。例えば Llama 3 8B（Q4_K_M）なら約 4.9GB、Llama 3 70B（Q4_K_M）なら約 43GB の VRAM が必要になります。

OllamaはVRAMに収まらない場合に自動でCPUにオフロードします。ただしオフロードが発生すると推論速度が大幅に低下するため、モデルが VRAM 内に収まる構成を選ぶことが重要です。

GPU を持っていない場合 — クラウドGPU サービス比較

自前で GPU を用意しなくても、クラウド GPU サービスを時間課金で借りてローカルLLMを動かせます。

RunPod は Ollama 用のテンプレートが公式に用意されており、Pod を作成して SSH 接続するだけで即座に Ollama 環境が立ち上がります。月数時間だけ試したい場合は $1〜3 程度で RTX 4090 を試せます。

モデルロード速度とストレージ選び

GPU の速度だけでなく、モデルファイルの読み込み速度もユーザー体験に影響します。実測でストレージ速度を計測しました。

計測結果：

• 書き込み：512 MB/s（fdatasync、256MB ファイル）
• 読み取り：7.2 GB/s（シーケンシャル、キャッシュ効果含む）

Llama 3 8B（Q4_K_M）のモデルファイルは約 4.9GB。ストレージ別のロード時間目安：

• HDD（100 MB/s）：約 50 秒
• SATA SSD（500 MB/s）：約 10 秒
• NVMe SSD（3,000 MB/s）：約 1.6 秒

一度ロードすれば VRAM にキャッシュされるため、連続して使うぶんには影響しません。ただし Ollama の起動直後に初めてモデルを呼ぶ際はストレージ速度がそのまま体感に出るので、NVMe SSD の使用を推奨します。

CPU ベンチマーク（参考）

GPU LLM 推論の比較基準として、sysbench でホスト環境（AMD EPYC 7402P、Ubuntu 24.04）の CPU 性能も計測しました。

sysbench CPU（2スレッド、10秒、3回平均）：3,204 events/sec（最小 3,194・最大 3,217）。CPU のみでの LLM 推論がいかに遅いか、この数字からも伺えます。LLM は CPU の逐次演算ではなく GPU の大規模並列演算を想定して設計されているためです。

まとめ

GPU 別のローカルLLM推論速度について、CPU実測と各GPU参考値を比較しました。

• CPU のみでの Ollama 推論速度は 0.23 tokens/sec（実測）— 実用には使えない
• RTX 4090（24GB VRAM、コスパ最良）なら約 90 tokens/sec でLlama 3 8B クラスが快適に動く
• VRAM 24GB の GPU（RTX 3090・4090）は Llama 3 8B〜34B クラスに最適
• A100 80GB は 70B 以上の大規模モデルが必要な場合の選択肢（個人用途ではクラウドGPU推奨）
• GPU を持っていない場合は RunPod（$0.30/hr〜）でお試し可能
• NVMe SSD を使うとモデルのロード時間を大幅短縮できる

ローカルLLMを本格的に楽しむなら、RTX 4090（24GB VRAM）が現時点での最もコストパフォーマンスの良い選択肢です。まずは RunPod や Lambda Labs でクラウド GPU を時間課金で借りて、自分の使い方に合うか確かめてから GPU 購入を検討するのがスマートです。

VPS でのサーバー構築に興味が出てきたら、こちらも参考にしてください：