ローカルLLMとChatGPTどっちがいい？コスト・性能を徹底比較

「ChatGPT の月額 $20 を払い続けるより、自分のPCにLLMを入れた方がいいのでは？」——最近こういった声をよく聞きます。実際、Ollama を使えばコマンド1本でローカルLLMを動かせる時代になりました。

でも「ローカルLLMはChatGPTより遅い・精度が低いんでしょ？」というイメージも根強く残っています。本当のところはどうなのでしょうか。

この記事では、実際に Ollama v0.30.8 でローカルLLM 4モデルを動かし、トークン生成速度・スペック・コスト・プライバシーを実測データで比較します。結論から言うと、スモールモデルはGPUなしのCPUだけで毎秒140〜258トークンを叩き出し、体感速度ではChatGPTを上回る場面すらありました。読み終えるころには「どちらをどう使い分けるか」の判断基準がはっきりするはずです。

比較の前提となる実行環境と計測日

本記事の数値はすべて以下の環境で実測したものです。再現性のため、環境情報を正確に記載します。コマンド結果は実際に動かした stdout をそのまま使っています。

ローカルLLMとChatGPTの違いをざっくり整理

ローカルLLM（Large Language Model）とは、クラウドではなく自分のPC・サーバー上で動かすAI言語モデルのことです。代表的なものに Meta の Llama 3.2、Google の Gemma 3、Alibaba の Qwen 3 などがあります。これらは「オープンウェイト」として公開されており、無料でダウンロードして自由に使えます。

一方の ChatGPT は OpenAI が提供するクラウドサービスで、GPT-4o などの最高水準モデルをブラウザやAPIから利用できます。両者の性格はかなり違うので、まずは表で整理しておきましょう。

ローカルLLMを動かす最も簡単な方法が Ollama です。1コマンドでインストールでき、モデルのダウンロードから推論実行まで統合管理できます。実際にどれくらいの速度が出るのか、次の章で実測値を見ていきます。

応答速度を実測比較する

ローカルLLMの応答速度は「トークン/秒（tok/s）」で表します。Ollama API の /api/generate エンドポイントに日本語プロンプト（「LinuxとWindowsの違いを日本語で3点、簡潔に教えてください」）を送信し、返ってきた eval_count（生成トークン数）を eval_duration（評価時間ナノ秒）で割って算出しました。各モデル3回計測の平均です。

実測結果をまとめると次のとおりです。

• qwen3:0.6b：257.6 tok/s（最小 257.0 〜 最大 258.8）
• qwen2.5:0.5b：235.2 tok/s（最小 234.3 〜 最大 236.1）
• llama3.2:1b：184.0 tok/s（最小 182.5 〜 最大 186.3）
• gemma3:1b：146.4 tok/s（最小 145.9 〜 最大 147.2）

ChatGPT（GPT-4o）の体感出力速度は一般に 50〜100 tok/s 程度と言われます。つまりスモールモデルのローカルLLMは、GPUを使わずCPUだけでChatGPTより速い出力速度が出ているわけです。これは正直、意外な結果でした。

もう一つ面白いのが、サイズが小さいほど必ず速いわけではないという点です。qwen3:0.6b（751.63M パラメータ）は qwen2.5:0.5b（494.03M）よりパラメータが多いのに速度は上。逆に llama3.2:1b は Q8_0 という重めの量子化で容量が 1.2GB あるため、4モデル中では遅めでした。速度は「パラメータ数 × 量子化形式」の組み合わせで決まる、というのが実測から見える本質です。

モデル別スペックの詳細

検証で使った各モデルのスペックを、Ollama API の /api/show（量子化・パラメータ数）と /api/tags（ダウンロードサイズ）から実取得しました。想像ではなく、API が返した実値です。

注目したいのはダウンロードサイズです。最速だった qwen3:0.6b は 498MB、qwen2.5:0.5b にいたっては 379MB しかありません。スマホアプリ1本ほどの容量で、実用的な日本語応答を返すモデルが手に入る時代になりました。コンテキスト長も llama3.2:1b は 131,072 トークンと長く、長文の要約にも対応できます。

「毎月 $20 払っているが、実はあまり使っていない」という方は、まず qwen2.5:0.5b（379MB）を試してみてください。これだけ小さくてもCPUで235 tok/s 出ますし、日本語の返答も実用レベルです。物足りなければ大きいモデルに乗り換えればOKです。

コストを比較する

「ローカルLLMの方が安い」はよく言われますが、具体的に整理してみましょう。ChatGPT 側は OpenAI の公開料金（2026-06 時点）、ローカル側は本記事で実際に動かしたモデル構成をもとにまとめたものです。

ChatGPT Plus の月額 $20 は固定費で、使っても使わなくても変わりません。一方、CPUでスモールモデル（0.5〜1B）を動かすローカルLLMは、追加の電力消費がわずかなので実質コストは電気代の数十〜数百円程度です。月の利用頻度が低い人ほど、ローカルLLMのコスパは高くなります。ただしGPUが必要な大型モデルを動かす場合はGPU搭載VPSのレンタル料が発生します（後述）。

ローカルLLMをUbuntuにセットアップする手順

Ubuntu 24.04 で Ollama をセットアップする手順です。まず公式インストールスクリプトが本当に取得できるかを、ubuntu:24.04 の公式Dockerイメージで確認しました。curl 8.5.0 でスクリプトを取得でき、サイズは 15,902バイト、returncode は 0（成功）でした。

手順1：必要パッケージを確認してOllamaを入れる

セットアップに使うパッケージのバージョンも、ubuntu:24.04 の apt-cache policy で実取得しました。Ubuntu 24.04 LTS なら curl 8.5.0・docker.io 29.1.3・python3 3.12.3 が標準リポジトリから入ります。

手順2：モデルをダウンロードして動かす

モデルをダウンロードしたら ollama run だけで対話が始まります。日本語の質問もそのまま渡せます。

上の gemma3:1b の応答は、実際に /api/generate で取得した生成結果の一部です。500MB前後のモデルでも、この程度の日本語はすらすら返ってきます。

Open WebUIでChatGPT風に使う

ターミナルだけでなく、ブラウザから ChatGPT そっくりのUIでローカルLLMを使えます。それが Open WebUI です。Docker があれば1コマンドで起動でき、ホストの Ollama に自動接続します。今回は ghcr.io/open-webui/open-webui:main を実起動して、画面を Playwright で撮影しました。

手順1：Open WebUIをDockerで起動する

起動後、ブラウザで http://localhost:3000 にアクセスすると、最初に管理者アカウントの作成・サインイン画面が表示されます。

手順2：チャット画面でローカルモデルと会話する

サインインすると、ChatGPT とほぼ同じ見た目のチャット画面が開きます。会話履歴の保存・マルチモデル切り替え・文書読み込み（RAG）など、ChatGPT Plus に匹敵する機能を完全ローカル・無料で使えます。

画面左上のモデル名をクリックすると、ホストの Ollama に登録されているローカルモデルが一覧表示され、ドロップダウンで瞬時に切り替えられます。下のスクリーンショットでは qwen2.5:0.5b や llama3.2:1b など、今回検証したモデルがそのまま選択肢に並んでいるのが分かります。

「ローカルLLM＝黒い画面でコマンドを打つもの」というイメージがあるかもしれませんが、Open WebUI を使えば見た目はChatGPTそのものです。家族や同僚にも勧めやすくなります。

ローカルLLMを動かすCPU性能を実測する

ローカルLLMを快適に動かすには、CPUの性能がある程度必要です。ubuntu:24.04 の Docker コンテナ内で sysbench を使い、CPU性能を3回計測しました。

3回の平均は 512.5 events/sec（最小 486.4 〜 最大 531.7、平均レイテンシ 3.9ms）でした。この数値はモデルの推論速度に直結するものではありませんが、CPUの基礎体力の目安になります。スモールモデルのローカルLLMは、この程度のCPUでも実用速度で動作します。先ほど 235 tok/s を記録した qwen2.5:0.5b も、特別なGPUなしで動かしています。

プライバシーとオフライン対応の違い

コストや速度以外にも、無視できない違いがあります。データの扱いとオフライン対応です。

社内文書・コード・個人情報を扱う場合は、外部にデータが出ないローカルLLMが明らかに有利です。飛行機の中や電波の届かない場所でも、モデルさえダウンロードしておけば完全オフラインで動きます。これはクラウド型のChatGPTには真似できないポイントです。

用途別のおすすめ

両者を正直に比較した上で、用途別の推奨をまとめます。

正直なところ、「どちらか1つ」を選ぶ必要はありません。日常のルーティン作業はローカルLLM、精度が要る重要な判断はChatGPT、というふうに用途で使い分けるのが最も賢い選択です。

大きいモデルを動かすならクラウドGPUという手もある

ここまではCPUで動くスモールモデルの話でした。7B〜の大型モデルで精度を上げたい場合は、GPUが必要になります。自宅PCにGPUがなければ、クラウドGPUを時間単位で借りる選択肢があります。参考として、Vultr のクラウドGPUプラン料金を公式APIから実取得しました。

最安は NVIDIA A16（VRAM 2GB）の vcg-a16-2c-8g-2vram で 月 $43。VRAM 8GB クラスになると月 $172〜 です。なお、本記事で動かした 0.5〜1B のスモールモデルだけなら、GPUなしの通常VPS（Vultr なら最安 $5/月の vc2-1c-1gb）でも十分動きます。「まずはスモールモデルを安いVPSで試す → 物足りなければGPUプラン」という順番がおすすめです。VPSでのOllamaセットアップ手順は別記事（）で詳しく解説しています。

まとめ

本記事では、Ollama v0.30.8 を使ったローカルLLMと ChatGPT の実測比較を行いました。

• ローカルLLM（qwen3:0.6b）はCPUのみで 257.6 tok/s を記録し、ChatGPT の体感速度を上回ることもある
• サイズは小さいほど速いとは限らず、速度はパラメータ数と量子化形式の組み合わせで決まる
• ChatGPT Plus（$20/月）に対し、ローカルLLMは初期費用ゼロ＋電気代のみ。利用頻度が低い人ほどコスパが高い
• Open WebUI で ChatGPT 風のUIを構築でき、ローカルモデルをブラウザから切り替えて使える
• プライバシー・オフライン対応はローカルLLMが明確に有利。複雑な推論はChatGPTが優位で、適材適所が現実解

まずは試したい方は、Ollama をインストールして qwen2.5:0.5b をダウンロードしてみてください。379MB のモデルで、今日から無料で使い始められます。