無料で使えるローカルLLM入門【GPU不要の軽量モデルも紹介】

「ローカルLLMを試したいけど、GPUがないと無理でしょ？」と思っていませんか。正直、数億〜十数億パラメータ規模の小さなモデルなら普通のCPUだけで十分動きます。本記事ではOllamaを使って無料のローカルLLMをインストールし、実際に動かすまでの手順を実測データ付きで解説します。CPUのみのときの速度も、同じマシンでGPU（Apple Metal）を使った場合と並べて正直に計測しました。

ローカルLLMとは何か

LLM（Large Language Model）とは、ChatGPT や Claude のような自然言語で会話できるAIモデルのことです。通常はクラウドのサーバーで動いていますが、ローカルLLMはそのモデルをダウンロードして自分のPCやサーバー上で動かします。

クラウド型との主な違いは3つです。まず、月額費用が0円です。APIの従量課金も不要で、何万回使っても追加費用はかかりません。次に、データがローカルに留まるのでプライバシーが保たれます。社内文書や個人情報を含むプロンプトもインターネットに送らずに処理できます。最後に、インターネット接続なしで動作するため、オフライン環境や閉域ネットワークでも使えます。

①GPU不要の意味を整理する

「GPU不要」というのは正確には「NVIDIA製GPU（CUDA対応）がなくても動く」という意味です。CPU（プロセッサ）だけでも計算できます。実際、Ollama の公式インストールスクリプトを読むと、uname -mでCPUのアーキテクチャを判定し、x86_64ならamd64、aarch64／arm64ならarm64のバイナリを取得するようになっています（455行のスクリプトを実際にダウンロードして確認しました）。GPUがあればCUDAを自動セットアップしますが、無くてもCPUモードで起動します。

後ほど実測しますが、CPUのみでも軽量モデルは想像よりずっと快適に動きます。ただしCPUでの推論はGPUより遅くなるのは事実なので、その差も後半で数値で示します。

②RAM要件の目安

CPU推論ではモデルのファイルサイズ分くらいのRAMが必要です。本記事で扱うモデルの実際のファイルサイズ（Ollama 0.30.8 の/api/tagsが返す値）は以下の通りです。

• qwen2.5:0.5b：379.4 MB → RAM 2GB以上推奨
• qwen3:0.6b：498.4 MB → RAM 2GB以上推奨
• gemma3:1b：777.5 MB → RAM 4GB以上推奨
• deepseek-r1:1.5b：1065.6 MB → RAM 4GB以上推奨
• llama3.2:1b：1259.9 MB → RAM 4GB以上推奨

Vultr や DigitalOcean の最安プランは RAM 1GB からですが、OSが500MB前後使うため、ローカルLLMを快適に動かすならRAM 2〜4GB のプランを選ぶのが現実的です。

前提環境

本記事の検証で使った環境情報です。ubuntu:24.04公式Dockerイメージ内で確認しました。

Ollama のインストールにはcurlとca-certificatesが必要です。Ubuntu 24.04 の公式リポジトリで版数を確認したところ、curl 8.5.0-2ubuntu10.9、ca-certificates 20240203がaptで利用可能でした。Open WebUI を使う場合のdocker.ioも29.1.3-0ubuntu3~24.04.2が入ります。

Ollama のインストール手順

Ollama は公式のインストールスクリプトを使って1コマンドでセットアップできます。

手順1：インストールスクリプトを実行する

上のメッセージは、スクリプト内のstatus()関数が出力する文言です（455行のスクリプトを実際に読んで確認しました）。Linuxではインストール後にsystemd サービスとして自動起動し、127.0.0.1:11434でAPIを待ち受けます。VPSで動かす場合、このポートは外部に公開しないようファイアウォール（ufw）で閉じておくのが安全です。

手順2：インストールを確認する

インストールが終わったらバージョンとAPIを確認します。今回の検証マシンでは次の通り、確かに0.30.8が動いていました。

バージョン0.30.8が表示され、APIが{"version":"0.30.8"}を返せばインストール成功です。Linuxならsystemctl status ollamaでactive (running)になっていることも確認できます。

インストールスクリプトは455行のシェルスクリプトです（2026-06-15時点）。中でアーキテクチャを自動判定し、amd64 / arm64 の適切なバイナリをダウンロードします。WSL1 は非対応ですが WSL2 は動作します（スクリプト内に「WSL1 is not currently supported」というエラー分岐が実在します）。

GPU不要の軽量モデルを動かす

Ollama のモデルはollama pull <モデル名>でダウンロードし、ollama run <モデル名>で起動できます。

①おすすめ軽量モデル5選（実測）

実際に Ollama 0.30.8 でollama pull済みのモデルについて、/api/tagsが返す実ファイルサイズ・パラメータ数・量子化方式を取得した一覧です。

初めて試すならqwen2.5:0.5bかgemma3:1bがおすすめです。前者はとにかく軽くて速く（379.4 MB）、後者は日本語の出力が比較的安定しています。なおllama3.2:1bだけは量子化がQ8_0（8bit）のためファイルが1.3GB近くと大きめで、その分CPUでは遅くなります。

②モデルのダウンロードと起動

ollama runを実行すると対話モードになります。プロンプトを入力して Enter を押すと、モデルが返答します。終了するには/byeと入力します。ダウンロードのダイジェストa8b0c5157701は、実際にこのマシンに入っているqwen2.5:0.5bのIDと一致しています。

API でプログラムから使う

Ollama はインストール後すぐにREST APIを提供します。Python や curl から直接呼び出せます。stream: falseを指定すると、生成完了後に1回のJSONで結果が返ります。

上のレスポンスは実際にAPIを叩いて返ってきた値です。eval_count（出力トークン数）が246、eval_duration（生成時間）が1049087000ナノ秒＝約1.05秒でした。これは1秒あたり約234トークンに相当します。この2つの値を使えば、自分の環境の推論速度（トークン/秒）を正確に測れます。

Open WebUI でブラウザから使う

コマンドラインが苦手な方や、ChatGPT に似たUIで使いたい場合はOpen WebUI（旧: Ollama WebUI）がおすすめです。Docker さえあれば1コマンドでインストールできます。

手順1：Open WebUI を起動する

STATUSがUp (healthy)になったらブラウザでhttp://localhost:3000を開きます。今回の検証では、Ollama をhost.docker.internal:11434として参照させ、実際に/healthが応答することを確認しました。初回はアカウント作成画面が表示されます。

手順2：最初の管理者アカウントを作成する

初回アクセス時は「Get started」を押すと、名前・メールアドレス・パスワードを入力するアカウント作成画面が出ます。最初に作成したユーザーが管理者になります。画面には「Open WebUI does not make any external connections, and your data stays securely on your locally hosted server.（外部に接続せず、データはローカルサーバーに安全に保管されます）」と明記されており、プライバシー重視の設計であることが分かります。

手順3：モデルを選択してチャットする

ログイン後は左上のドロップダウンからOllamaにダウンロードしたモデルを選択し、入力欄にプロンプトを入力するだけです。上のスクリーンショットは実際に起動したOpen WebUIで、Ollamaのモデルが認識されチャット欄に「How can I help you today?」が表示された状態です。ChatGPTと同じ操作感でローカルLLMを使えます。

Open WebUI はDockerコンテナで動くため、Ollamaのポート（11434）にhost.docker.internal経由でアクセスします。Linuxでは--add-host=host.docker.internal:host-gatewayが必要です。Mac/Windowsのデスクトップ版Dockerでは不要なことが多いです。

速度と使い心地の実測レポート

GPU不要のローカルLLMの「現実的な使い心地」を正直にお伝えします。今回は同一マシン上で「CPUのみ」と「GPU（Apple Metal）」を切り替えて比較しました。CPUのみは、GPUを渡していないDocker Linuxコンテナで計測した値です。

実測：CPUのみ vs GPU の推論速度

qwen2.5:0.5bとllama3.2:1bに同じプロンプトを各3回流し、/api/generateのeval_count ÷ eval_durationからトークン/秒を算出しました。

正直、これは少し意外な結果でした。よく「CPUだと数トークン/秒しか出ない」と言われますが、CPUのみでも0.5Bモデルで約89 t/s、1Bモデルで約45 t/s出ています。これは体感では「スラスラ読める速度で文章が出てくる」レベルです。もちろんGPU（Metal）の方が2.5〜4倍速いですが、軽量モデルならCPUのみでも実用に困りません。

モデルの選び方：用途別ガイド

①とにかく速さ優先（テスト・プロトタイプ）

qwen2.5:0.5bまたはqwen3:0.6bがおすすめです。379〜498 MB程度で、CPUのみでも十分速く動きます。Alibaba Cloud のQwen シリーズは英語・日本語ともに対応しています。

②日本語の質を重視する

gemma3:1b（Google製）が比較的安定しています。777.5 MB とやや大きいですが、日本語の文法的に自然な出力を返しやすいです。

③論理・推論タスクに使いたい

deepseek-r1:1.5bが向いています。このモデルは「思考プロセス（CoT）」を出力するため、<think>...</think>タグ付きで思考内容が見えます。コードのデバッグや数学問題に強い傾向があります。

④より大きなモデルを使いたい（RAM 8GB以上）

RAM が 8GB 以上あるならllama3.2:3bやqwen2.5:3b（いずれも2GB前後）も試せます。ollama pull llama3.2:3bでダウンロードできます。ただしCPUのみだと推論はさらに遅くなります。

VPS でローカルLLMを動かす

自宅の PC スペックが足りない場合や、常時起動のサーバーが欲しい場合は VPS（仮想専用サーバー）を使う方法があります。Ollama を VPS にインストールすれば、スマホやタブレットからも Open WebUI 経由で使えます。ただし、LLMをインターネット経由で公開する場合は認証設定を忘れずに行ってください。

軽量モデル（0.5〜1.5B）であれば RAM 4GB のプランで動きます。Vultr は時間課金に対応しているため、試してみてスペックが足りなければプランを上げることができます。

よくあるエラーと解決策

「connection refused」エラーが出る

Ollama サービスが起動していない状態です。Linuxならsystemctl start ollamaを実行するか、手動でollama serveをバックグラウンドで起動してください。起動後にもう一度curl http://localhost:11434/api/versionを叩き、{"version":"0.30.8"}が返れば復旧です。

モデルのダウンロードが途中で止まる

ネットワークが切断された場合、ollama pull <モデル名>を再度実行することで続きからダウンロードを再開できます（レジューム対応）。ストレージ空き容量が不足している場合はdf -hで確認してください。

Open WebUI から Ollama に接続できない

Docker で Open WebUI を起動するとき、Linuxでは--add-host=host.docker.internal:host-gatewayと-e OLLAMA_BASE_URL=http://host.docker.internal:11434の指定が必要です。これが抜けていると接続できません。コンテナを一度削除して再起動してください。

まとめ

本記事で紹介した内容をまとめます。

• Ollama をcurl -fsSL https://ollama.com/install.sh | shの1コマンドでインストールし、バージョン 0.30.8 を確認しました
• qwen2.5:0.5b（実ファイル379.4 MB）など軽量モデルはGPUなしのCPU環境でも動作します
• 同一マシンでの実測では、CPUのみでも qwen2.5:0.5b が約89 t/s、llama3.2:1b が約45 t/s でした（GPU/Metalはそれぞれ約224 t/s・180 t/s）
• Open WebUI を Docker で起動すればブラウザからChatGPT風のUIで使えます
• 短い出力タスク（コード補完・翻訳・分類）なら CPU のみでも十分実用的です

より速い推論が必要になったら、GPU搭載のVPSやクラウドGPUサービスへの移行を検討してください。まずは無料でローカルLLMを試してみて、可能性を感じてから拡張するのが良いアプローチです。本格的にサーバー環境でローカルLLMを動かしたい方は、VPS比較記事も参考にしてください。