Ollamaのモデル別VRAM必要量とGPU選びの目安

Ollama

「Ollamaで7Bモデルを動かそうとしたら、めちゃくちゃ遅い」「GPUを積んでいるのにCPUで動いている気がする」。こうしたトラブルのほとんどはVRAM(GPUのメモリ)の容量不足が原因です。

結論から言うと、Ollamaで快適にモデルを動かすには「モデルファイルのサイズ+1〜2GB」のVRAMが必要です。7B(Q4_K_M)なら約6〜8GB、14Bなら10〜12GBが目安になります。本記事では実際に Ollama 0.30.8 でモデルを動かし、ファイルサイズ・読み込み時のメモリ占有・生成速度(tok/s)を計測した一次データをもとに、GPU別の対応モデルを一覧で紹介します。

この記事のポイント

  • 必要VRAMの目安は「モデルファイルサイズ × 1.1〜1.3」で計算できる
  • デフォルト量子化(Q4_K_M)の7〜8Bモデルは約4.4〜5.2GB・VRAM 6〜8GBが必要
  • 実測でも、522MBのqwen3:0.6bは読み込むと約1.0GBを占有した(ファイルサイズ+バッファ)
  • ollama show <モデル名> でpull前に量子化レベルを確認できる
  • VRAM不足のときはOllamaが自動でCPUに切り替わり、極端に遅くなる

目次

検証環境

Ollama 0.30.8 を使い、GPU(Apple Silicon統合メモリ)が有効な環境で実測しました。Ubuntu側の環境確認は docker run --rm ubuntu:24.04 で実行しています。モデルのファイルサイズはOllamaライブラリページ(ollama.com/library)から2026-06-15に取得しました。Linuxのスタンドアロン環境(NVIDIA GPU)でも考え方は同じです。

OllamaとVRAMの関係

LLM(大規模言語モデル)を動かすには、モデル全体をメモリに読み込む必要があります。NVIDIAやAMDのGPUを使う場合はVRAM(グラフィックスカードに搭載されたメモリ)に乗せることで、高速な推論(テキスト生成)が実現します。

VRAM=グラフィックカードのメモリ、と覚えておいてください。PCIe接続のGPUはCPU側のRAM(システムメモリ)とは別に独自のメモリを持っており、ここにモデルが乗らないと速度が出ません。

Ollamaが使うVRAMの量は、おもに2つの要素で決まります。

  • パラメータ数(7B・14B・70Bなど):数字が大きいほどモデルは賢いですが重くなります
  • 量子化レベル(Q4_K_M・Q8_0・F16など):精度と引き換えにサイズを圧縮する度合いです

Ollamaはデフォルトで Q4_K_M(4bit量子化)相当のモデルをダウンロードします。これは品質と容量のバランスが最も良いとされる設定です。実際にローカルでバージョンとモデル情報を確認した結果がこちらです。

ollama --version / ollama list / ollama show の実行結果(実測)
ollama –version / ollama list / ollama show の実行結果(実測)

ollama show qwen3:0.6b の出力を見ると、parameters 751.63Mquantization Q4_K_M と表示されています。この2つの欄が、必要VRAMを左右する一番重要な情報です。

モデル別VRAM必要量一覧(実測データ)

Ollamaライブラリページから2026-06-15に取得した各モデルのファイルサイズと、必要VRAMの目安をまとめました。

モデル別ファイルサイズ・VRAM必要量一覧(Ollamaライブラリから実取得)
モデル別ファイルサイズ・VRAM必要量一覧(Ollamaライブラリから実取得)

取得したデータを見ると、Ollama上で最も人気の高い llama3.1:8b(Q4_K_M)のファイルサイズは4.9GBでした。OSやOllamaのバッファ込みで、実際には約6〜8GBのVRAMが必要になります。

著者アイコン
著者アイコン

「ファイルサイズ+1〜2GB」がVRAMの目安です。4.9GBのモデルなら6GBは欲しい、でも確実に動かしたいなら8GBあると安心です。

注目したいのは qwen3:0.6bgemma3:1b のような超小型モデルです。ファイルサイズが500MB〜1GB程度なので、VRAMがない環境(CPUのみ)でも比較的ストレスなく動かせます。ただし複雑な推論や長文生成は苦手です。

実際に動かして計測した生成速度とメモリ占有

ここがこの記事の核心です。表の数字を眺めるだけでなく、実際にローカルのOllamaで4つのモデルに200トークンずつ生成させ、生成速度(tok/s)と読み込み時のメモリ占有を計測しました。GPUが有効な環境(Apple Silicon統合メモリ)での結果です。

小型モデルの実推論速度とメモリ占有(実測)
小型モデルの実推論速度とメモリ占有(実測)

この実測から分かる大事なことが2つあります。

1つ目は、ファイルサイズと「実際に占有するメモリ」は違うという点です。qwen3:0.6b はファイルサイズ522MBですが、ollama ps で見ると読み込み時には1.0GBを占有していました。これがまさに「ファイルサイズ+バッファ」の正体で、コンテキスト(会話履歴)用のメモリが上乗せされるためです。VRAMを見積もるときに余裕を持たせる理由がこれです。

2つ目は、GPUに乗りさえすれば小型モデルは爆速ということです。qwen3:0.6b は254.2 tok/s、llama3.2:1b は186.0 tok/sと、いずれも PROCESSOR 列が 100% GPU の状態で計測されました。体感では一瞬で文章が出てくるレベルです。逆に言えば、この速度が出ないときはモデルがGPUに乗り切っていないサインです。

数値の前提

上記はパラメータ数が小さい(0.6B〜1.8B)モデルの結果です。7B以上になるとtok/sはこれより大きく下がります。それでもGPUに収まっていれば実用速度(20〜40 tok/s程度)は出ます。重要なのは絶対値より「GPUに乗っているかどうか」です。

量子化レベルとVRAMの関係

同じモデルでも、量子化レベル(タグ)によってVRAMの消費量が大きく変わります。7Bモデルを例に比較しました。

量子化レベル別VRAMサイズ比較(illustrative)
量子化レベル別VRAMサイズ比較(illustrative)

特に注意が必要なのは Q8_0F16 タグです。

  • Q8_0:Q4_K_Mの約1.7倍のVRAMが必要(7Bなら約9〜11GB)
  • F16:Q4_K_Mの約3倍(7Bなら16〜18GB必要)

これは机上の話ではありません。実測でも、同じ1Bクラスの llama3.2:1b(Q8_0・1.3GB)は deepseek-r1:1.5b(Q4_K_M・1.1GB)よりファイルが大きく、量子化タグの違いがそのままサイズに表れています。

Ollamaでタグを指定せずに ollama pull llama3.1:8b とすると、自動的に Q4_K_M 相当がダウンロードされます。特定の量子化を選びたい場合は ollama pull llama3.1:8b-instruct-q8_0 のようにタグを明示します。




ubuntu@linuxlab: ~
$ # デフォルト(Q4_K_M相当)をpull
$ ollama pull llama3.1:8b
pulling manifest
pulling 667b0c1f2a62… 100% 4.9 GB
verifying sha256 digest
writing manifest
success
$ # 高品質版(Q8_0)をpull ←VRAMを多く消費するので注意
$ ollama pull llama3.1:8b-instruct-q8_0
pulling 7ef4da5d4d98… 100% 8.5 GB
success

GPU別の対応モデル一覧

手持ちのGPUで「どのモデルまで動くか」をまとめました。VRAMの目安として、モデルのファイルサイズに2GBのバッファを加えた値がGPUのVRAMを超えないモデルを選ぶのが基本です。

GPU別対応Ollamaモデル一覧(illustrative)
GPU別対応Ollamaモデル一覧(illustrative)

この表を見ると、RTX 3060 12GBが最もコストパフォーマンスに優れた選択肢です。7B〜8Bモデルを20〜40 tok/sで動かせる上に、中古なら3〜4万円程度から見つかります。

Ollamaはライブラリページで人気のモデルとサイズを確認できます。実際のページを撮影したものがこちらです。

Ollamaモデルライブラリページ(2026-06-15実撮影)
Ollamaモデルライブラリページ(2026-06-15実撮影)

Apple Siliconユーザーへ:M1/M2/M3のMacは「統合メモリ」を採用しており、CPUとGPUがメモリを共有します。16GBなら12B以下、32GBなら32B以下のモデルを快適に動かせます。今回の実測もApple Silicon環境で行いましたが、小型モデルなら 100% GPU で数百tok/sが出ました。ただし普通のPCのGPUとはメモリ帯域幅が異なるため、tok/sは構成によって変わります。

VRAM不足のとき何が起きるか

モデルがVRAMに収まらない場合、Ollamaは自動的にCPUのRAMを使って処理する「CPUフォールバック」モードになります。これはエラーにはなりませんが、速度が劇的に落ちます。

  • GPU(RTX 3060クラス)で7Bモデル:約20〜40 tok/s
  • CPU(高性能Core i9)で7Bモデル:約2〜5 tok/s

体感としては、GPU動作なら「読める速度で文字が流れる」のに対し、CPUでは「1文字ずつ出てくる」レベルになります。ちなみに、CPUの素の処理能力の参考値として ubuntu:24.04 コンテナで sysbench cpu --threads=4 を3回計測したところ、平均29,184 events/sec(最小28,985〜最大29,405)でした。CPUが速くてもLLM推論ではGPUの方が圧倒的に有利、というのが現実です。




ubuntu@linuxlab: ~
$ # GPUで動いているかは ollama ps で確認
$ ollama ps
NAME SIZE PROCESSOR CONTEXT
llama3.2:1b 1.5 GB 100% GPU 4096
$ # PROCESSOR列が「100% CPU」ならCPUフォールバック中
# CPUフォールバックの場合の例↓
llama3.1:8b 5.0 GB 100% CPU 4096

VRAMが若干足りない場合(例:VRAM 6GBで5GBのモデルを動かす)は、モデルの一部をGPU、残りをCPUに分散する「レイヤー分割」が起きることもあります。この場合は PROCESSOR 列に 34%/66% CPU/GPU のような表示になります。

注意:環境変数でVRAM管理を調整できます

OLLAMA_GPU_OVERHEAD 環境変数で、Ollamaが確保するVRAMバッファを調整できます。デフォルトは0ですが、OLLAMA_GPU_OVERHEAD=200000000(200MB)のように設定すると、Ollamaは指定分のVRAMを予約として残します。VRAMの使い切りによるOOM(メモリ不足)クラッシュを防ぎたい場合に使います。

ollama showでVRAMを事前確認する方法

そのモデルのパラメータ数と量子化レベルを確認するには ollama show コマンドを使います。実際にいくつかのモデルで実行した結果がこちらです。

ollama showコマンドで量子化情報を確認する例(実測)
ollama showコマンドで量子化情報を確認する例(実測)

着目すべきは quantization の欄です。

  • deepseek-r1:1.5bQ4_K_M(1.1GBファイル・VRAM 2GB以上で動作)
  • llama3.2:1bQ8_0(1.3GBファイル・VRAM 2〜3GB必要)

同じ1Bクラスのモデルでも、Q8_0 の方が Q4_K_M より重くなっています。モデル選択の際はパラメータ数だけでなく量子化タグも確認するのが重要です。

また、ローカルで動いているOllamaのAPIエンドポイント(http://localhost:11434/api/tags)にアクセスすると、インストール済みモデルの一覧とサイズ(バイト単位)をJSON形式で確認できます。

Ollama APIのモデル一覧エンドポイント(ローカル実撮影)
Ollama APIのモデル一覧エンドポイント(ローカル実撮影)

VRAMなしでも使える小型モデル

「GPUを持っていないのでOllamaを使えない」は誤解です。OllamaはGPUがなくてもCPUのみで動作します。ただし速度の面から、CPUで使う場合は小型モデルを選ぶのが現実的です。

モデル サイズ RAM目安 CPU速度目安 特徴
qwen3:0.6b 522 MB 2 GB〜 5〜15 tok/s 最軽量・日本語も動く
gemma3:1b 815 MB 2 GB〜 3〜10 tok/s Google製・品質が高い
deepseek-r1:1.5b 1.1 GB 3 GB〜 2〜8 tok/s 推論特化・思考過程を出力
llama3.2:3b 2.0 GB 4 GB〜 1〜5 tok/s 日常タスク向き・バランス良

正直、llama3.2:3b 以上をCPUで動かすと会話のテンポが厳しくなります。CPUのみの環境では qwen3:0.6bgemma3:1b から試してみるのがおすすめです。なお今回の実測では、これらの小型モデルはGPUに乗せると146〜254 tok/sも出ました。GPUの有無で体感は大きく変わります。

VPSや自宅サーバーでOllamaを動かす場合は、GPUつきのマシンを選ぶか、メモリ16GB以上のCPUサーバーで1〜3Bモデルを使うのが現実的な選択肢です。Ollamaのインストールやモデルのpullについては 別記事 で詳しく解説しています。

まとめ

OllamaでのVRAM必要量と、GPU選びのポイントをまとめます。

  • 必要VRAMの目安:モデルファイルサイズ × 1.1〜1.3倍(バッファ込み)
  • 実測でも522MBのqwen3:0.6bが読み込み時に1.0GBを占有し、バッファ分の上乗せを確認できた
  • 最もコスパが良い組み合わせ:RTX 3060 12GB + 7B〜8Bモデル(Q4_K_M)
  • ollama show でpull前後に量子化タグを確認できる
  • VRAM不足時はCPUフォールバックが起きる:ollama ps のPROCESSOR列で確認する
  • GPUなし環境ではQwen3 0.6BやGemma3 1Bなど小型モデルから試すのが現実的
  • 小型モデルはGPUに乗れば146〜254 tok/sと爆速。重要なのは「GPUに乗っているか」

本格的にOllamaをサーバー運用したくなったら、GPUプランのあるVPSを検討してみてください。自宅PCのVRAMに縛られず、好きなモデルを動かせます。

コメント

タイトルとURLをコピーしました