この記事のポイント（すべて当サイトのRunPod実測）
- RTX 4090 で llama3.1:8b が 135〜165 tok/s。コンシューマGPUでも実用十分の速度が出ます
- 意外な結果：A100 80GB の 8B 速度（150.5 tok/s）は RTX 4090 に負ける。A100の価値は速度ではなくVRAM（70Bが動く）
- H100 80GB は 8B で 206.6 tok/s と最速。ただし時間単価が高く 100万トークンあたりコストは RTX 4090 の約5倍
- llama3.3:70b は A100=10.7 tok/s / H100=12.4 tok/s。RTX 4090（24GB）では VRAM 不足で実行不可
- この GPU 3ティア比較の検証費用は 合計 $0.83（RunPod従量課金・実測）。数十円から再現できます
「RunPod でどの GPU を借りれば、LLM 推論が一番コスパ良く回せるのか？」——これは料金表を眺めるだけでは絶対にわかりません。なぜなら時間単価が安い GPU が、トークンあたりで見ても安いとは限らないからです。
そこで当サイトでは、実際に RunPod で RTX 4090 / A100 80GB / H100 80GB の3ティアを借り、Ollama で llama3.1:8b と llama3.3:70b の推論速度を実測しました。この記事はその一次データに基づく、忖度なしの GPU 選びガイドです。
この記事の検証環境について（実測の根拠）
本記事の推論速度は、当サイトが RunPod で各 GPU の Pod を実際に起動し、Ollama API 経由で実測した値です。tok/s は Ollama が返す eval_count / eval_duration から算出しています（コミュニティ参考値ではありません）。測定日は 2026-06-20、Ollama バージョンは 0.30.10。生データは検証ログに保存済みです。RunPod の在庫状況により Community Cloud が満杯のときは Secure Cloud に着地するため、実払い時間単価は記載のレンジ内で変動します。
目次
- 検証方法 — RunPodでどう測ったか
- GPU別 推論速度の実測結果（llama3.1:8b）
- 本当のコスパ：100万トークンあたりコスト実測
- 70Bモデルは動くのか（A100 / H100 実測）
- Pod起動からモデル稼働までの実時間
- 用途別おすすめGPU
- まとめ
検証方法 — RunPodでどう測ったか
RunPod は 秒単位の従量課金でGPUを借りられるクラウドサービスです。Pod（コンテナ）を起動し、使い終わったら削除——この繰り返しで検証しました。ここでは測定フローを説明します。
①Pod起動とOllamaの準備
各 GPU で RunPod Pod を起動し、runpod/pytorch:2.4.0-py3.11-cuda12.4.1-devel-ubuntu22.04 ベースの PyTorch テンプレートを選択しました。Pod 起動後、RunPod の Proxy 経由でポートを公開し、SSH を使わずに Ollama API に直接アクセスしています。SSH 接続を使わない理由は、RunPod の Proxy URL が HTTPS で外部に公開されており、手元の Python スクリプトから requests で叩けるためです——誰でも同じ方法で再現できます。
Ollama のインストールは Pod 内で次のコマンドを実行します：
>> Downloading ollama…
>>> Installing ollama to /usr/local/bin…
>>> NVIDIA GPU detected.
>>> The Ollama API is now available at 0.0.0.0:11434.
$ ollama –version
ollama version is 0.30.10
②測定プロトコル
推論速度の測定は以下のプロトコルで統一しました：
- モデル：llama3.1:8b（8B パラメータ）および llama3.3:70b（70B Q4 量子化）
- プロンプト：固定文（「日本語で200字程度の技術解説を書いてください」）
- 生成トークン数：
num_predict=256で統一 - ウォームアップ：各 GPU で 2 回生成し、モデルロード済みの 2 回目（warm）を採用。1 回目はモデルのメモリへのロードが含まれ速度が安定しないためです
- tok/s の算出：Ollama の生成レスポンスに含まれる
eval_count ÷ (eval_duration ÷ 10^9)
Connecting to https://<pod-id>-11434.proxy.runpod.net …
[warm run] eval_count=256, eval_duration=1.552s
tok/s = 164.9
Terminating pod rtx4090-xxxxxx … done
測定後は必ず Pod を削除（Terminate）します。RTX 4090 を 20 分借りて検証すると約 $0.11——3 GPU でトータル $0.83 の費用で完了しました（RunPod ダッシュボードの残高：$10.00 → $9.17 を確認）。
GPU別 推論速度の実測結果（llama3.1:8b）
まず 8B モデルの推論速度から見ていきます。
結果は H100 80GB が 206.6 tok/s でトップ、次いで RTX 4090 が 135〜165 tok/s（複数の Community Cloud インスタンスで測定したため幅がある）、A100 80GB が 150.5 tok/s という順でした。
正直、これは驚きでした。データセンター向けの高価な A100 が、コンシューマ向けの RTX 4090 に 8B の推論速度で ほぼ互角かわずかに劣るという結果です。
理由は GPU アーキテクチャの違いにあります。A100 は FP64 の科学計算・大行列演算・マルチ GPU の帯域に最適化されています。一方、小さいバッチ・小さいモデルの推論では RTX 4090 のほうが高い シェーダークロックと優れた FP16/BF16 の単カード効率が活きます。A100 の真価は速度ではなく VRAM 80GB——これがあるから 70B モデルが動くのです。
本当のコスパ：100万トークンあたりコスト実測
「速い GPU が安い」は必ずしも成立しません。時間単価が異なるため、トークンあたりコストで比較する必要があります。
Community Cloud の最安時間単価（RTX 4090: $0.34/hr、A100: $1.19/hr、H100: $2.69/hr）で計算すると、8B モデルで 100 万トークン生成するコストは次の通りです：
| GPU | 時間単価（community） | 8B 速度 | 8B $/100万tok | 70B 速度 |
|---|---|---|---|---|
| RTX 4090 | $0.34〜0.69/hr | 135〜165 tok/s | $0.70 | 不可（VRAM不足） |
| A100 80GB | $1.19〜1.39/hr | 150 tok/s | $2.20 | 10.7 tok/s |
| H100 80GB | $2.69〜3.29/hr | 207 tok/s | $3.62 | 12.4 tok/s |
8B モデルを使う限り、RTX 4090 が圧倒的にコスパが良いです。H100 は 8B で RTX 4090 の約 1.3 倍速いですが、100 万トークンあたりコストは約 5 倍。H100 の速度は、その料金を払えるユースケース——つまり 本番スループット最優先の環境でのみ意味を持ちます。
70Bモデルは動くのか（A100 / H100 実測）
RTX 4090 は VRAM が 24GB です。llama3.3:70b の Q4 量子化は約 43GB 必要なため、ロードした瞬間に VRAM 不足で失敗します。70B を動かすには最低でも VRAM 48GB、実運用では 80GB クラスが安心です。
A100 80GB と H100 80GB で llama3.3:70b を実測した結果：
- A100 80GB：10.7 tok/s
- H100 80GB：12.4 tok/s
8B の 150〜207 tok/s から見ると、70B は 速度が一桁落ちます。これは物理的な制約——モデルが大きくなるほど VRAM の帯域がボトルネックになるためです。コストで見ると、A100 の 70B 換算は約 $31/100万tok、H100 は約 $60/100万tok。8B の数倍〜数十倍のコストがかかります。
70Bを常用するなら事前に計算を
70B モデルは推論速度が遅いため、バッチ処理やバックグラウンド処理向きです。リアルタイムな対話 UI に使うと、1 回の返答生成に 20〜60 秒かかります。用途に合っているか事前に確認してください。
Pod起動からモデル稼働までの実時間
RunPod の従量課金は Pod を起動した瞬間から課金が始まります。モデルが実際に使えるようになるまでの時間も、コストの一部です。
実測でわかった cold-start の内訳：
- Pod 起動 → Ollama API 応答まで：20〜60 秒（GPU・インスタンスの状態による）
- llama3.1:8b のモデル pull：18〜71 秒（RunPod の NFS ネットワーク速度次第）
- llama3.3:70b のモデル pull：97〜142 秒
8B の場合、Pod 起動からモデルが使えるまで 合計 38〜131 秒かかります。これを踏まえると、推論時間が数分程度の短いジョブでは、cold-start 時間がコスト全体の 10〜30% を占めます。1 Pod を長く使い回すか、推論が終わったあとすぐに別の生成を始めるかで実効コストが変わります。
なお、同じ Pod をいったん停止して再起動した場合（ネットワークボリューム利用時）は、モデルのキャッシュが残るため pull 時間が大幅に短縮されます。頻繁に使うモデルはボリュームにキャッシュするのが実務的です。
用途別おすすめGPU
実測データをもとに、用途別の選び方をまとめます。
8B〜14Bモデルを安く回す → RTX 4090
$/tok が最安です。llama3.1:8b、Qwen2.5:14b、gemma3:12b など 24GB VRAM 内に収まるモデルを開発・実験で使うなら RTX 4090 一択です。Community Cloud の最安 $0.34/hr なら、数百円のチャージで一日分の実験が回せます。
70B以上のモデルを動かす → A100 80GB
A100 はデータセンター向けで 8B の推論速度では RTX 4090 と大差ありませんが、VRAM 80GB という絶対量が他にありません。70B モデルを動かすために A100 を借りる——これが A100 の正しい使い方です。H100 と比べて時間単価が安いため、70B のバッチ処理にはコスパが良い選択です。
最高スループット・本番API用途 → H100
H100 の 207 tok/s は 3 GPU 中で突出しています。複数のリクエストが同時に来る本番 API や、バッチ生成の速度が直接ビジネス価値に影響するケースでは H100 の絶対速度に意味があります。ただし時間単価は RTX 4090 の約 8 倍——コストを払える規模のシステムかどうかを先に判断してください。
RunPod秒課金の活かし方
RunPod は 秒課金なので、使った分だけ払えばよいです。「まず RTX 4090 で試して、70B が必要になったら A100 に切り替える」という運用が素直です。ひとつの GPU に縛られる必要はありません。
まとめ
当サイトが RunPod で RTX 4090 / A100 80GB / H100 80GB の 3 GPU を実際に借りて llama3.1:8b と llama3.3:70b の推論速度を実測した結果をまとめます。
- RTX 4090（24GB）：8B で 135〜165 tok/s。$/tok は $0.70/百万と最安。VRAM は 24GB なので 70B は動かない
- A100 80GB：8B で 150 tok/s（RTX 4090 とほぼ同等）。$/tok は $2.20/百万。70B が 10.7 tok/s で動く。A100 の価値は VRAM 80GB
- H100 80GB：8B で 207 tok/s と最速。$/tok は $3.62/百万（RTX 4090 の約 5 倍）。70B が 12.4 tok/s で動く
- 検証費用：GPU 3 ティア比較の合計 $0.83。RunPod の秒課金で短時間借りれば誰でも再現できます
「8B を使うなら RTX 4090、70B を使うなら A100」——これが実測から導いたシンプルな結論です。H100 の絶対速度は本当に必要なユースケースがある場合のみ、コストを払う価値があります。
RunPod の料金体系・アカウント作成手順は RunPod料金ガイド を、他のクラウド GPU サービスとの比較は クラウドGPUプロバイダー比較 も参考にしてください。個人での VPS との比較については RunPod vs Vast.ai 比較記事 もあります。
コメント