「ローカルLLMを試してみたいけど、どのモデルを選べばいいの？」という疑問に、実際に Ollama 0.30.8 で5種類のモデルを動かし、日本語・Python・英語QAの3プロンプトで計測した結果をもとにお答えします。結論から言うと、2026年6月時点の小型モデルでは qwen3:0.6b が総平均 258.1 tok/s でダントツの最速でした。ただし「速い＝日本語がきれい」とは限らず、ここが選び方のポイントになります。本記事では Llama・Qwen・DeepSeek・Gemma の各ファミリーを実測比較し、Mistral・Phi についても特徴を解説します。
この記事のポイント
- 速度1位は qwen3:0.6b（258.1 tok/s）。qwen2.5:0.5b（232.2）が2位で、軽さもトップクラス
- 速度はプロンプトの内容（日本語/コード/英語）でほとんど変わらず、モデルのサイズとアーキで決まる
- deepseek-r1:1.5b の中身は Qwen2.5 ベースの蒸留モデル（
/api/showの内部アーキがqwen2） - 日本語の読みやすさは gemma3:1b・qwen2.5:0.5b が安定。最速の qwen3:0.6b は速い反面、日本語がやや荒い
- Open WebUI（v0.9.6）を使えばブラウザGUIで複数モデルを切り替えられる
計測環境と前提条件
今回の比較は以下の環境で実施しました。VPS で動かす前の「手元で試す」段階を想定しています。tok/s（1秒あたりの生成トークン数）は、Ollama の HTTP API /api/generate が返す eval_count（生成トークン数）を eval_duration（生成にかかった時間）で割って算出した実測値です。
| 項目 | 内容 |
|---|---|
| ハードウェア | macOS Apple Silicon（統合メモリ 16GB）。Ollama は Metal で GPU 推論 |
| Ollama バージョン | 0.30.8 |
| 計測日 | 2026-06-15 |
| 計測内容 | /api/generate に日本語・Python生成・英語QAの3プロンプトを送信。各プロンプト＝ウォームアップ1回＋計測2回 |
| 生成設定 | num_predict=200、temperature=0.1、seed=42、num_ctx=2048 |
注意
tok/s の数値はハードウェアによって大きく変わります。Apple Silicon は統合メモリと Metal GPU を活かせるため、同じモデルでも一般的なx86 CPUより高速です。本記事の数値はあくまでモデル同士の相対比較の参考としてご覧ください。
Ollama のインストールと対象モデルの取得
まず Ollama をインストールします。Ubuntu / macOS どちらも1コマンドで入ります。Ollama は、ローカルでLLMを動かすための実行エンジン兼モデル管理ツールです。
>>> Installing ollama to /usr/local
>>> Creating ollama systemd service…
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run “ollama” from the command line.
バージョン確認と、今回比較した5モデルの一覧です。ollama list の実出力をそのまま載せます。
ollama version is 0.30.8
$ ollama pull qwen3:0.6b
pulling manifest
pulling 7df6b6e09427… 100% ▕████████████████▏ 522 MB
success
$ ollama list
NAME ID SIZE MODIFIED
qwen3:0.6b 7df6b6e09427 522 MB 34 hours ago
qwen2.5:0.5b a8b0c5157701 397 MB 10 hours ago
llama3.2:1b baf6a787fdff 1.3 GB 10 hours ago
deepseek-r1:1.5b e0979632db5a 1.1 GB 34 hours ago
gemma3:1b 8648f39daa8f 815 MB 34 hours ago
どのモデルも ollama pull モデル名 1コマンドで取得できます。今回の5モデルはいずれも1.3GB以下なので、16GBメモリのマシンなら気軽に全部入れて試せます。
実測ベンチマーク結果
5モデルそれぞれに同じ3プロンプトを送り、トークン生成速度（tok/s）を計測した結果です。総平均（3プロンプト×2回）の速い順に並べました。
| モデル | 総平均 tok/s | ファミリー | パラメータ数 | サイズ |
|---|---|---|---|---|
| qwen3:0.6b | 258.1 | Qwen3 | 751.63M | 498.4 MB |
| qwen2.5:0.5b | 232.2 | Qwen2.5 | 494.03M | 379.4 MB |
| llama3.2:1b | 183.9 | Llama | 1.2B | 1,259.9 MB |
| deepseek-r1:1.5b | 154.7 | DeepSeek-R1 | 1.8B | 1,065.6 MB |
| gemma3:1b | 146.2 | Gemma | 999.89M | 777.5 MB |
最速の qwen3:0.6b（258.1 tok/s）は、最遅の gemma3:1b（146.2 tok/s）の約1.77倍の速さです。面白いのは、パラメータ数が大きいほど遅いとは限らない点です。1.8B の deepseek-r1:1.5b（154.7）が 1B 弱の gemma3:1b（146.2）より速く、パラメータ数だけでは速度は決まりません。
正直、qwen3:0.6b が速すぎて驚きました。500MB以下のモデルで258 tok/sというのは、チャットの返信が体感ほぼ一瞬で出る速さです。ただ後述しますが、この最速モデルは日本語の品質が安定しないクセがあって、「速さ」と「読みやすさ」は別物だと痛感しました。
プロンプトの種類で速度は変わるのか
「コード生成は重くて遅いのでは？」と思いがちですが、実測ではプロンプトの種類による速度差はほとんどありませんでした。下の表は、日本語・Python生成・英語QAそれぞれの tok/s です。
たとえば qwen3:0.6b は日本語256.3・Python257.9・英語QA260.0と、差は±2%以内に収まっています。生成速度はタスクの内容ではなく、モデル本体のサイズとアーキテクチャでほぼ決まることが分かります。「コードだから遅くなる」という心配は、少なくともこのクラスの小型モデルでは不要です。
各モデルファミリーの特徴
①Qwen（Alibaba）
中国の Alibaba（阿里巴巴）が開発するモデルです。小型でも多言語対応が優れているのが特徴で、今回は新旧2世代を比較しました。
qwen2.5:0.5b: 内部アーキqwen2、494.03M パラメータ、Q4_K_M量子化、379.4 MB、232.2 tok/sqwen3:0.6b: 内部アーキqwen3、751.63M パラメータ、Q4_K_M量子化、498.4 MB、258.1 tok/s
新世代の Qwen3 は少しパラメータが増えた代わりに速度が向上しています。ただし日本語の品質は一長一短でした。実際に「Linuxとは何か」を日本語で説明させた実出力を見てみます。
Linuxとは、**開発者によって自由に開発された**、**システム開発の一種**であり…
$ ollama run qwen2.5:0.5b “Linuxとは何か、初心者向けに3文で”
Linuxは、オープンソースのソフトウェア開発環境です。主な特徴としては、自由で
オープンなコードを共有し、利用者やチームが互いに協力できるという点があります。
最速の qwen3:0.6b は、上のように **（Markdown記法）が混ざったり、「システム開発の一種」とやや不正確な表現になることがありました。一方 qwen2.5:0.5b のほうが落ち着いた日本語を返します。速度のqwen3、日本語の安定感のqwen2.5という棲み分けが、この超小型クラスでは見えてきます。
②Llama（Meta）
Meta が開発するオープンソースの大規模言語モデルです。ローカルLLMの事実上の標準で、多くのツールが最初にサポートするファミリーです。
今回の llama3.2:1b は内部アーキ llama、1.2B パラメータで、量子化が Q8_0（8ビット）。他の4モデルが Q4_K_M（4ビット）なのに対し、より高精度な量子化を使っているため、ファイルサイズが 1,259.9 MB と一番大きくなっています。速度は183.9 tok/sと中位ですが、日本語も「Linuxは、オペレーティングシステム (OS) です。」と素直に返してきました。またコンテキスト長が131,072トークンと今回の中で最大級で、長文を扱う用途では強みになります。
③DeepSeek（DeepSeek AI）
中国の DeepSeek AI が開発する推論特化モデルです。今回の deepseek-r1:1.5b は、/api/show で中身を確認すると内部アーキが qwen2（＝Qwen2.5ベースの蒸留モデル）でした。1.8B パラメータ・Q4_K_M量子化・1,065.6 MB です。
DeepSeek-R1 の特徴は「考えてから答える」推論プロセスです。ここで重要な実測ポイントがあります。Ollama 0.30.8 では、思考プロセスは旧来の <think>...</think> タグで本文に混ざるのではなく、/api/chat に think:true を渡すと message.thinking という専用フィールドに分離して返ってきます。実際に「17は素数ですか？」と聞いた実出力です。
首先，我需要确认17是否为质数。质数是指只能被1和它本身整除的自然数。
接下来，我会检查17的所有可能因数，从2开始一直到√17（大约4.1）…
由于17没有其他因数，它是一个质数。
# message.content（回答フィールド）
17は素数です。理由は、1と自分自身以外に割り切れる数が無いためです。
実測で分かった注意点
deepseek-r1:1.5b の蒸留モデルは、思考プロセス（thinking）が中国語で出力されます。回答（content）も日本語と中国語が混ざることがありました。「思考過程を見せる」というコンセプトは面白いものの、1.5Bの小型蒸留版は日本語の安定性に課題があります。日本語で実用的に使うなら、より大きいモデルか別ファミリーが無難です。
④Gemma（Google DeepMind）
Google DeepMind が開発するモデルです。gemma3:1b は内部アーキ gemma3、999.89M パラメータ（約1B）、Q4_K_M量子化、777.5 MB で、速度は146.2 tok/sと今回最遅でした。ただし日本語の読みやすさは5モデルの中でいちばん自然で、「Linuxは、オープンソースのオペレーティングシステムです。これは、コンピュータのハードウェアを制御し、ソフトウェアを実行するための仕組みを提供します。」と丁寧に返してきました。
なお /api/show で確認したところ、gemma3:1b の capabilities は completion のみで、tools（関数呼び出し）には非対応でした。Qwen系や Llama系が tools を持つのと対照的です。エージェント的な使い方を狙うなら、この違いは選定で効いてきます。Gemma の上位モデル（gemma3:4b・gemma3:12b）は品質が大きく上がるので、メモリに余裕があれば上位版がおすすめです。
⑤Mistral（Mistral AI）—— 大型モデルの代表
フランスの Mistral AI が開発するモデルです。mistral:7b が最もポピュラーで、約7.2B パラメータ、ファイルサイズ約4GBです。
注意：Mistral 7B の必要要件
Mistral 7B（ollama pull mistral）は 8GB 以上のメモリが推奨されます。今回の計測対象外ですが、メモリに余裕のある環境では高品質な応答が期待できます。特に英語タスクで評価の高いモデルです。
⑥Phi（Microsoft）—— 小型で高能力
Microsoft が開発する小型・高能力モデルです。phi4-mini（3.8B）や phi3:mini など複数バリアントがあり、コード生成・推論タスクでの評価が高いのが特徴です。
| モデル | パラメータ | 必要メモリ目安 | 特徴 |
|---|---|---|---|
| phi3:mini | 3.8B | 8 GB〜 | コード生成に強い、英語中心 |
| phi4-mini | 3.8B | 8 GB〜 | phi3 より精度向上、2026年最新 |
ollama pull phi4-mini で取得できます。8GB以上のメモリがある環境で試してみてください。
モデルスペック一覧
実際に Ollama の /api/show と /api/tags から取得した、各モデルの正確な仕様です。/api/show はモデルの内部アーキ・パラメータ数・量子化・コンテキスト長まで返してくれるので、カタログ値ではなく実際にインストールされた中身を確認できます。
この表の見どころは3つです。まず deepseek-r1:1.5b の内部アーキが qwen2 であること（DeepSeekオリジナルではなく Qwen2.5 の蒸留）。次に llama3.2:1b だけが Q8_0 で、それがファイルサイズの大きさに直結していること。そして コンテキスト長は llama3.2:1b と deepseek-r1:1.5b が131,072トークンと長く、qwen3:0.6b（40,960）やqwen2.5:0.5b・gemma3:1b（32,768）より長文に強いことです。
Open WebUI でブラウザから使う
コマンドラインだけでなく、ブラウザのGUIからローカルLLMを使いたい場合は Open WebUI が便利です。Ollama と Docker があれば、以下のコマンド1本で起動できます（今回は v0.9.6 で検証）。
–name open-webui \
-p 3000:8080 \
–add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
ghcr.io/open-webui/open-webui:main
$ # http://localhost:3000 にブラウザでアクセス
初回アクセスすると「Get started with Open WebUI」という画面になり、最初に管理者アカウントを作成します。名前・メールアドレス・パスワードを入力して「Create Admin Account」を押すだけです（データはローカルサーバー内に保存され、外部には送信されません）。
アカウントを作成すると、すぐにチャット画面が開きます。中央の入力欄からそのまま質問を打てます。
画面左上のモデル名をクリックすると、Ollama にインストール済みのモデルを一覧から切り替えられます。各モデルのパラメータ数も表示されるので、初心者でも選びやすい設計です。
モデルセレクターには qwen2.5:0.5b（494.03M）、llama3.2:1b（1.2B）といったインストール済みモデルがパラメータ数つきで並びます。リストはスクロールでき、qwen3 や deepseek-r1、gemma3 もここから選べます。コマンドを覚えなくても、クリックだけでモデルを比較できるのが Open WebUI の強みです。
CPU ベンチマーク（参考値）
LLM の推論速度はハードウェア性能と強く相関します。CPU演算のベースラインとして、Ubuntu 24.04 コンテナで計測した sysbench の結果を参考値として掲載します。
sysbench CPU ベンチ（docker run --rm ubuntu:24.04 内で sysbench cpu --threads=2 --time=10 run を3回）の結果は、平均 15,225.6 events/sec（最小15,144.4／最大15,338.6）でした。今回の tok/s は Metal GPU 推論での値ですが、CPU 専用のVPSでローカルLLMを動かす場合は、この events/sec が高いほど tok/s が伸びる傾向があります。VPS選びの目安にしてください。
用途別のモデル選び方
| 用途 | おすすめモデル | 理由（実測ベース） |
|---|---|---|
| とにかく速さ重視・英語/コード中心 | qwen3:0.6b | 総平均258.1 tok/sで最速、498.4MBと軽量 |
| 日本語チャット・入門 | qwen2.5:0.5b / gemma3:1b | 日本語の読みやすさが安定。qwen2.5は232.2 tok/sと速く379MBと最軽量 |
| 長文を扱う（要約・長いコード） | llama3.2:1b | コンテキスト長131,072と最大級、英語品質も高い |
| 思考プロセスを見たい・実験用 | deepseek-r1:1.5b | thinkingフィールドで推論過程を出力（ただし日本語は不安定） |
| 高品質な出力が必要（RAM 8GB以上） | mistral / phi4-mini | より大きいモデルで精度向上 |
まとめ
2026年6月時点で Ollama 0.30.8 で動かせる小型ローカルLLMを実測比較した結果をまとめます。
- 生成速度のトップは qwen3:0.6b（258.1 tok/s）、2位は qwen2.5:0.5b（232.2 tok/s）
- 速度はプロンプトの種類でほぼ変わらず、モデルのサイズとアーキで決まる
- 日本語の読みやすさは gemma3:1b と qwen2.5:0.5b が安定。最速のqwen3:0.6bは速いが日本語はやや荒い
- deepseek-r1:1.5b の中身は Qwen2.5ベースの蒸留で、思考はthinkingフィールドに分離（中国語で出力）
- Open WebUI（Docker・v0.9.6）でブラウザGUIからモデル切り替えができる
まずは手元のPCで ollama pull qwen3:0.6b と ollama pull qwen2.5:0.5b の2つを入れて、速度と日本語品質を見比べてみてください。本格的に VPS で運用したい場合は、小型モデル（〜2B）なら CPU 専用VPSでも動きますが、快適に使うなら GPU付きサーバーが理想です。
Ollama の導入を基礎から知りたい方は を、日本語特化モデルをさらに詳しく比べたい方は を参照してください。VPSと自宅PCのどちらで動かすか迷っている方は もあわせてどうぞ。
コメント