「Ollamaで7Bモデルを動かそうとしたら、めちゃくちゃ遅い」「GPUを積んでいるのにCPUで動いている気がする」。こうしたトラブルのほとんどはVRAM(GPUのメモリ)の容量不足が原因です。
結論から言うと、Ollamaで快適にモデルを動かすには「モデルファイルのサイズ+1〜2GB」のVRAMが必要です。7B(Q4_K_M)なら約6〜8GB、14Bなら10〜12GBが目安になります。本記事では実際に Ollama 0.30.8 でモデルを動かし、ファイルサイズ・読み込み時のメモリ占有・生成速度(tok/s)を計測した一次データをもとに、GPU別の対応モデルを一覧で紹介します。
この記事のポイント
- 必要VRAMの目安は「モデルファイルサイズ × 1.1〜1.3」で計算できる
- デフォルト量子化(Q4_K_M)の7〜8Bモデルは約4.4〜5.2GB・VRAM 6〜8GBが必要
- 実測でも、522MBの
qwen3:0.6bは読み込むと約1.0GBを占有した(ファイルサイズ+バッファ) ollama show <モデル名>でpull前に量子化レベルを確認できる- VRAM不足のときはOllamaが自動でCPUに切り替わり、極端に遅くなる
目次
- OllamaとVRAMの関係
- モデル別VRAM必要量一覧(実測データ)
- 実際に動かして計測した生成速度とメモリ占有
- 量子化レベルとVRAMの関係
- GPU別の対応モデル一覧
- VRAM不足のとき何が起きるか
- ollama showでVRAMを事前確認する方法
- VRAMなしでも使える小型モデル
- まとめ
検証環境
Ollama 0.30.8 を使い、GPU(Apple Silicon統合メモリ)が有効な環境で実測しました。Ubuntu側の環境確認は docker run --rm ubuntu:24.04 で実行しています。モデルのファイルサイズはOllamaライブラリページ(ollama.com/library)から2026-06-15に取得しました。Linuxのスタンドアロン環境(NVIDIA GPU)でも考え方は同じです。
OllamaとVRAMの関係
LLM(大規模言語モデル)を動かすには、モデル全体をメモリに読み込む必要があります。NVIDIAやAMDのGPUを使う場合はVRAM(グラフィックスカードに搭載されたメモリ)に乗せることで、高速な推論(テキスト生成)が実現します。
VRAM=グラフィックカードのメモリ、と覚えておいてください。PCIe接続のGPUはCPU側のRAM(システムメモリ)とは別に独自のメモリを持っており、ここにモデルが乗らないと速度が出ません。
Ollamaが使うVRAMの量は、おもに2つの要素で決まります。
- パラメータ数(7B・14B・70Bなど):数字が大きいほどモデルは賢いですが重くなります
- 量子化レベル(Q4_K_M・Q8_0・F16など):精度と引き換えにサイズを圧縮する度合いです
Ollamaはデフォルトで Q4_K_M(4bit量子化)相当のモデルをダウンロードします。これは品質と容量のバランスが最も良いとされる設定です。実際にローカルでバージョンとモデル情報を確認した結果がこちらです。

ollama show qwen3:0.6b の出力を見ると、parameters 751.63M・quantization Q4_K_M と表示されています。この2つの欄が、必要VRAMを左右する一番重要な情報です。
モデル別VRAM必要量一覧(実測データ)
Ollamaライブラリページから2026-06-15に取得した各モデルのファイルサイズと、必要VRAMの目安をまとめました。

取得したデータを見ると、Ollama上で最も人気の高い llama3.1:8b(Q4_K_M)のファイルサイズは4.9GBでした。OSやOllamaのバッファ込みで、実際には約6〜8GBのVRAMが必要になります。
注目したいのは qwen3:0.6b や gemma3:1b のような超小型モデルです。ファイルサイズが500MB〜1GB程度なので、VRAMがない環境(CPUのみ)でも比較的ストレスなく動かせます。ただし複雑な推論や長文生成は苦手です。
実際に動かして計測した生成速度とメモリ占有
ここがこの記事の核心です。表の数字を眺めるだけでなく、実際にローカルのOllamaで4つのモデルに200トークンずつ生成させ、生成速度(tok/s)と読み込み時のメモリ占有を計測しました。GPUが有効な環境(Apple Silicon統合メモリ)での結果です。

この実測から分かる大事なことが2つあります。
1つ目は、ファイルサイズと「実際に占有するメモリ」は違うという点です。qwen3:0.6b はファイルサイズ522MBですが、ollama ps で見ると読み込み時には1.0GBを占有していました。これがまさに「ファイルサイズ+バッファ」の正体で、コンテキスト(会話履歴)用のメモリが上乗せされるためです。VRAMを見積もるときに余裕を持たせる理由がこれです。
2つ目は、GPUに乗りさえすれば小型モデルは爆速ということです。qwen3:0.6b は254.2 tok/s、llama3.2:1b は186.0 tok/sと、いずれも PROCESSOR 列が 100% GPU の状態で計測されました。体感では一瞬で文章が出てくるレベルです。逆に言えば、この速度が出ないときはモデルがGPUに乗り切っていないサインです。
数値の前提
上記はパラメータ数が小さい(0.6B〜1.8B)モデルの結果です。7B以上になるとtok/sはこれより大きく下がります。それでもGPUに収まっていれば実用速度(20〜40 tok/s程度)は出ます。重要なのは絶対値より「GPUに乗っているかどうか」です。
量子化レベルとVRAMの関係
同じモデルでも、量子化レベル(タグ)によってVRAMの消費量が大きく変わります。7Bモデルを例に比較しました。

特に注意が必要なのは Q8_0 と F16 タグです。
Q8_0:Q4_K_Mの約1.7倍のVRAMが必要(7Bなら約9〜11GB)F16:Q4_K_Mの約3倍(7Bなら16〜18GB必要)
これは机上の話ではありません。実測でも、同じ1Bクラスの llama3.2:1b(Q8_0・1.3GB)は deepseek-r1:1.5b(Q4_K_M・1.1GB)よりファイルが大きく、量子化タグの違いがそのままサイズに表れています。
Ollamaでタグを指定せずに ollama pull llama3.1:8b とすると、自動的に Q4_K_M 相当がダウンロードされます。特定の量子化を選びたい場合は ollama pull llama3.1:8b-instruct-q8_0 のようにタグを明示します。
$ ollama pull llama3.1:8b
pulling manifest
pulling 667b0c1f2a62… 100% 4.9 GB
verifying sha256 digest
writing manifest
success
$ # 高品質版(Q8_0)をpull ←VRAMを多く消費するので注意
$ ollama pull llama3.1:8b-instruct-q8_0
pulling 7ef4da5d4d98… 100% 8.5 GB
success
GPU別の対応モデル一覧
手持ちのGPUで「どのモデルまで動くか」をまとめました。VRAMの目安として、モデルのファイルサイズに2GBのバッファを加えた値がGPUのVRAMを超えないモデルを選ぶのが基本です。

この表を見ると、RTX 3060 12GBが最もコストパフォーマンスに優れた選択肢です。7B〜8Bモデルを20〜40 tok/sで動かせる上に、中古なら3〜4万円程度から見つかります。
Ollamaはライブラリページで人気のモデルとサイズを確認できます。実際のページを撮影したものがこちらです。

Apple Siliconユーザーへ:M1/M2/M3のMacは「統合メモリ」を採用しており、CPUとGPUがメモリを共有します。16GBなら12B以下、32GBなら32B以下のモデルを快適に動かせます。今回の実測もApple Silicon環境で行いましたが、小型モデルなら 100% GPU で数百tok/sが出ました。ただし普通のPCのGPUとはメモリ帯域幅が異なるため、tok/sは構成によって変わります。
VRAM不足のとき何が起きるか
モデルがVRAMに収まらない場合、Ollamaは自動的にCPUのRAMを使って処理する「CPUフォールバック」モードになります。これはエラーにはなりませんが、速度が劇的に落ちます。
- GPU(RTX 3060クラス)で7Bモデル:約20〜40 tok/s
- CPU(高性能Core i9)で7Bモデル:約2〜5 tok/s
体感としては、GPU動作なら「読める速度で文字が流れる」のに対し、CPUでは「1文字ずつ出てくる」レベルになります。ちなみに、CPUの素の処理能力の参考値として ubuntu:24.04 コンテナで sysbench cpu --threads=4 を3回計測したところ、平均29,184 events/sec(最小28,985〜最大29,405)でした。CPUが速くてもLLM推論ではGPUの方が圧倒的に有利、というのが現実です。
$ ollama ps
NAME SIZE PROCESSOR CONTEXT
llama3.2:1b 1.5 GB 100% GPU 4096
$ # PROCESSOR列が「100% CPU」ならCPUフォールバック中
# CPUフォールバックの場合の例↓
llama3.1:8b 5.0 GB 100% CPU 4096
VRAMが若干足りない場合(例:VRAM 6GBで5GBのモデルを動かす)は、モデルの一部をGPU、残りをCPUに分散する「レイヤー分割」が起きることもあります。この場合は PROCESSOR 列に 34%/66% CPU/GPU のような表示になります。
注意:環境変数でVRAM管理を調整できます
OLLAMA_GPU_OVERHEAD 環境変数で、Ollamaが確保するVRAMバッファを調整できます。デフォルトは0ですが、OLLAMA_GPU_OVERHEAD=200000000(200MB)のように設定すると、Ollamaは指定分のVRAMを予約として残します。VRAMの使い切りによるOOM(メモリ不足)クラッシュを防ぎたい場合に使います。
ollama showでVRAMを事前確認する方法
そのモデルのパラメータ数と量子化レベルを確認するには ollama show コマンドを使います。実際にいくつかのモデルで実行した結果がこちらです。

着目すべきは quantization の欄です。
deepseek-r1:1.5bはQ4_K_M(1.1GBファイル・VRAM 2GB以上で動作)llama3.2:1bはQ8_0(1.3GBファイル・VRAM 2〜3GB必要)
同じ1Bクラスのモデルでも、Q8_0 の方が Q4_K_M より重くなっています。モデル選択の際はパラメータ数だけでなく量子化タグも確認するのが重要です。
また、ローカルで動いているOllamaのAPIエンドポイント(http://localhost:11434/api/tags)にアクセスすると、インストール済みモデルの一覧とサイズ(バイト単位)をJSON形式で確認できます。

VRAMなしでも使える小型モデル
「GPUを持っていないのでOllamaを使えない」は誤解です。OllamaはGPUがなくてもCPUのみで動作します。ただし速度の面から、CPUで使う場合は小型モデルを選ぶのが現実的です。
| モデル | サイズ | RAM目安 | CPU速度目安 | 特徴 |
|---|---|---|---|---|
qwen3:0.6b |
522 MB | 2 GB〜 | 5〜15 tok/s | 最軽量・日本語も動く |
gemma3:1b |
815 MB | 2 GB〜 | 3〜10 tok/s | Google製・品質が高い |
deepseek-r1:1.5b |
1.1 GB | 3 GB〜 | 2〜8 tok/s | 推論特化・思考過程を出力 |
llama3.2:3b |
2.0 GB | 4 GB〜 | 1〜5 tok/s | 日常タスク向き・バランス良 |
正直、llama3.2:3b 以上をCPUで動かすと会話のテンポが厳しくなります。CPUのみの環境では qwen3:0.6b か gemma3:1b から試してみるのがおすすめです。なお今回の実測では、これらの小型モデルはGPUに乗せると146〜254 tok/sも出ました。GPUの有無で体感は大きく変わります。
VPSや自宅サーバーでOllamaを動かす場合は、GPUつきのマシンを選ぶか、メモリ16GB以上のCPUサーバーで1〜3Bモデルを使うのが現実的な選択肢です。Ollamaのインストールやモデルのpullについては 別記事 で詳しく解説しています。
まとめ
OllamaでのVRAM必要量と、GPU選びのポイントをまとめます。
- 必要VRAMの目安:モデルファイルサイズ × 1.1〜1.3倍(バッファ込み)
- 実測でも522MBのqwen3:0.6bが読み込み時に1.0GBを占有し、バッファ分の上乗せを確認できた
- 最もコスパが良い組み合わせ:RTX 3060 12GB + 7B〜8Bモデル(Q4_K_M)
- ollama show でpull前後に量子化タグを確認できる
- VRAM不足時はCPUフォールバックが起きる:ollama ps のPROCESSOR列で確認する
- GPUなし環境ではQwen3 0.6BやGemma3 1Bなど小型モデルから試すのが現実的
- 小型モデルはGPUに乗れば146〜254 tok/sと爆速。重要なのは「GPUに乗っているか」
本格的にOllamaをサーバー運用したくなったら、GPUプランのあるVPSを検討してみてください。自宅PCのVRAMに縛られず、好きなモデルを動かせます。



コメント