ノートPCでローカルLLMを動かす方法【低スペック対応モデル】

「ローカルLLMって GPU がないと無理でしょ？」——そう思っていませんか。

正直、GPU があるに越したことはありません。でも、RAM さえ 4GB 以上あれば、ノートPC の CPU だけでローカル LLM を動かせます。モデルのサイズを 1B 程度に絞れば、テキスト生成は実測で平均 28.7 tok/s。返答まで少し待つ場面はありますが、個人用途・学習用途なら十分使えます。

本記事では Ollama v0.30.8 を CPU 2コア・GPU なしの条件で実際に動かし、tinyllama:1.1b（637MB）の推論速度を計測しました。Open WebUI を組み合わせれば、ブラウザから ChatGPT 感覚で操作できます。GPU なしでも動くところまでを、実行結果つきで解説します。

目次

1. GPU なしでも動く理由
2. スペック別おすすめモデル
3. Ollama のインストール手順
4. モデルをダウンロードして推論する
5. CPU ベンチマーク実測
6. Open WebUI でブラウザから使う
7. よくあるエラーと解決策
8. まとめ

GPU なしでも動く理由

LLM は「モデルの重みをメモリに乗せて、行列演算で次のトークンを予測する」処理を繰り返します。この演算は GPU があれば数百倍速くなりますが、CPU でも必ず動きます。問題はただ一つ——速度です。

GPU 推論では数百 tok/s が当たり前ですが、CPU 推論はざっくり 5〜30 tok/s 程度です。これはモデルのサイズと量子化レベルによって大きく変わります。

ここで重要なのが 量子化（Quantization） という技術です。モデルの重みを 16bit から 4bit（Q4_0）に圧縮することで、サイズを 1/4 程度に削減できます。tinyllama:1.1b の場合、Q4_0 量子化により 637MB まで圧縮されており、4GB RAM のマシンでも余裕を持って動かせます。

CPU only でも学習・試行用途なら十分です。「まずローカルで動かしてみる」という目的なら、今すぐ始められます。

スペック別おすすめモデル

ノートPCのスペックに合わせてモデルを選ぶのが重要です。RAM 容量がボトルネックになります——モデルの重みが全部 RAM に乗らないと起動すらしません。

上表のうち、tinyllama:1.1b は本記事で実際に動作確認しています（Ollama v0.30.8、CPU 推論 平均 28.7 tok/s 実測）。それ以外は Ollama 公式ライブラリの情報を参照しています。

Ollama のインストール手順

Ollama は apt では提供されていません。公式インストールスクリプトを curl で実行するのが最も簡単な方法です。

手順1：パッケージを更新する

apt update を忘れがちですが、これをやらないと古いパッケージが入ることがあります。Ubuntu 24.04.4 LTS では curl 8.5.0 が利用可能です（実測：候補バージョン 8.5.0-2ubuntu10.9）。

手順2：Ollama をインストールする

実行が終わったら ollama --version でバージョンを確認してください。本記事では v0.30.8 で動作確認しています。

手順3：Ollama サービスの起動確認

インストール直後から ollama.service が自動起動します。curl http://localhost:11434/api/version で {"version":"0.30.8"} が返ってくれば準備完了です。

モデルをダウンロードして推論する

いよいよモデルを動かします。最初は最も軽い tinyllama:1.1b（637MB）を試してみましょう。ネット環境があれば ollama pull 一発でダウンロードできます。

手順4：モデルをダウンロードする（ollama pull）

ダウンロードが完了したら ollama list でモデルが登録されているか確認します。tinyllama:1.1b（637MB・Q4_0 量子化・context_length: 2048）が表示されれば成功です。

手順5：推論を実行する（ollama run）

正直、1B モデルは日本語の理解が弱く、英語で返答することが多いです。これは tinyllama が英語特化モデルのためです。日本語で使いたい場合は qwen2.5:3b や llama3.2:3b（要 8GB RAM）を試してみてください。

CPU を 2 コアに絞った状態で 4 回計測し、平均 28.7 tok/s（最小 23.8〜最大 31.2）でした。1 分あたり 1,700 tokens 前後の計算で、短文の返答なら数秒で返ってきます。今回は Apple Silicon 上の Docker で計測したので、古い x86 ノートPCではこれより遅く（体感 5〜15 tok/s 程度に）なることもあります。それでも「ChatGPT より遅いけど自分のPCで完結する」という点に価値があります。

CPU ベンチマーク実測

ローカル LLM の推論速度はノートPCの CPU 性能に直結します。参考として、sysbench による CPU ベンチマーク結果を示します。

sysbench の events/sec は CPU の素の演算能力を表します。LLM 推論ではこれに加えてメモリ帯域も重要です。実測のメモリ帯域は 7,310 MiB/sec（2回平均）でした。より高い数値のマシンほど、LLM 推論が速くなります。

Open WebUI でブラウザから使う

コマンドラインで ollama run するだけでも動きますが、Open WebUI を使えば ChatGPT と同じ感覚でブラウザから会話できます。Docker を使えば 1 コマンドで起動できます。

手順6：Open WebUI を起動する

Docker がインストールされていることを前提とします。Docker 未導入の場合は sudo apt install docker.io でインストールしてください。

http://localhost:3000 にアクセスすると Open WebUI の画面が開きます。初回はアカウント作成（メールアドレス＋パスワード）が必要です。

Open WebUI のログイン画面

初回アクセス時はサインアップ画面が表示されます。ここで作成するアカウントはローカルにのみ保存されます（外部サービスへの送信なし）。

チャット画面（メイン）

サインアップ後はこのチャット画面に遷移します。ChatGPT に似た UI で、左上でモデルを選択してチャットを開始できます。Ollama にダウンロード済みのモデルが自動で表示されます。

モデル選択

tinyllama:1.1b を選択してチャットを始めてみましょう。同じ Ollama 上に複数のモデルを入れておけば、UI 上でモデルを切り替えるだけで比較できます。

設定画面

設定画面ではテーマの変更、デフォルトモデルの指定、システムプロンプトの設定などができます。日本語 UI も選択可能です。

よくあるエラーと解決策

①「Error: model not found」が出る

ollama pull する前に ollama run しようとすると出るエラーです。先に ollama pull <モデル名> を実行してダウンロードしてください。

②「killed」と表示されて止まる

RAM が不足しています。これはカーネルが OOM（Out of Memory）でプロセスを強制終了したサインです。より小さいモデル（tinyllama:1.1b など）に切り替えるか、スワップを増やしてください。

③ Ollama が起動しない（port already in use）

ここだけは順番を間違えると詰まります——systemctl restart ollama で再起動するか、ps aux | grep ollama でプロセスが残っていないか確認してください。

④ Open WebUI からモデルが見えない

Ollama に接続できていない場合に起こります。Open WebUI の環境変数 OLLAMA_BASE_URL が正しいか確認してください。Docker で起動している場合は host.docker.internal:11434、ホストで直接起動している場合は localhost:11434 です。

まとめ

ノートPC でローカル LLM を動かすポイントをまとめます。

「まずローカルで試してみたい」という段階なら、今日すぐにノートPCで始められます。GPU がなくても tinyllama:1.1b なら確実に動きます。より本格的な用途（長文生成・コード補助）では 8〜16GB RAM と 3B 以上のモデルを検討してください。

本格的なサーバー運用（VPS に Ollama を置いて外からアクセスする構成）に興味が出てきたら、低コストな VPS も選択肢に入ります。VPS 各社の料金や実測ベンチを比較した記事も用意しているので、あわせて参考にしてください（）。