UbuntuのOllamaでLlama 3をローカル実行する手順

Ollama

Ubuntu で Ollama を使えば、Llama 3 をローカルで実行できます。APIサーバーとして常時稼働させて curl で推論リクエストを送ることも、チャット UI（Open WebUI など）をつなぐこともできます。

本記事では Ubuntu 24.04 LTS で実際に Ollama をインストールし、Llama 3.2:1b / 3.2:3b / 3.1:8b の3モデルを動かして推論速度を実測しました。GPU あり（RTX 4090）と CPU のみで速度がどう変わるか、モデルごとの違いもあわせて載せます。

この記事のポイント

  • Ollama のインストールは curl -fsSL https://ollama.com/install.sh | sh の1行（37MBのバイナリ）
  • ただし最新のインストーラーは zstd を要求するので、事前に apt install zstd が必要
  • Llama 3.2:1b は RTX 4090 上で 409 tok/s、CPUのみでも 45 tok/s と十分実用的
  • モデル選択は用途次第 — 1B はテスト用、3B で日常会話、8B で高精度な回答
  • /api/generate エンドポイントで he REST APIから推論を呼び出せる

動作確認環境

本記事の検証は次の環境で実施しました。

  • OS: Ubuntu 24.04.4 LTS（Noble Numbat）
  • Ollama: 0.30.10（2026-06-21 時点、ollama/ollama:latest Docker イメージでも確認）
  • テストモデル: llama3.2:1b（1.3GB）、llama3.2:3b（2.0GB）、llama3.1:8b（4.7GB）
  • GPU計測: RunPod 上の NVIDIA GeForce RTX 4090（自動デプロイ・自動破棄）
  • CPU計測: Docker コンテナ内の ollama/ollama イメージ（GPUなし）

注意

本記事のインストール手順は Ubuntu 24.04 LTS で検証しています。バージョンが異なるとパッケージ名やオプションが変わる場合があります。ローカルで LLM を動かすには最低 4GB 以上の RAM が必要です。

Ollama を Ubuntu にインストールする

手順1：依存パッケージを入れる

最新（2026-06-21確認）の Ollama インストールスクリプトは zstd でアーカイブを展開します。Ubuntu の最小構成イメージには入っていないので、先にインストールしておきます。




ubuntu@linuxlab: ~
$ sudo apt update && sudo apt install -y zstd curl
Get:1 http://archive.ubuntu.com/ubuntu noble InRelease [256 kB]
…
Setting up zstd (1.5.5+dfsg2-2build1.1) …

これを忘れるとインストールスクリプトが ERROR: This version requires zstd for extraction で止まります。正直、ここで詰まる人が多いポイントです。

手順2：Ollama をインストールする

公式の1行スクリプトでインストールします。37MBのバイナリが /usr/local/bin/ollama に配置されます。




ubuntu@linuxlab: ~
$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading ollama-linux-amd64.tar.zst
######################################################################## 100.0%
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run “ollama” from the command line.
Ollama インストールコマンドの実行ログ（Ubuntu 24.04.4 LTS で実測）
Ollama インストールコマンドの実行ログ（Ubuntu 24.04.4 LTS で実測）

インストール後は ollama コマンドでバージョンを確認できます。




ubuntu@linuxlab: ~
$ ollama –version
ollama version is 0.30.10

$ which ollama
/usr/local/bin/ollama

$ ls -lh $(which ollama)
-rwxr-xr-x 1 root root 37M Jun 18 00:07 /usr/local/bin/ollama

手順3：Ollama サービスを起動する

インストールと同時に Ollama サーバーが自動起動しますが、手動で確認したい場合は次のコマンドを実行します。




ubuntu@linuxlab: ~
$ sudo systemctl start ollama
$ sudo systemctl enable ollama
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

$ curl -s http://localhost:11434/
Ollama is running

「Ollama is running」と返ってくれば正常です。ポートはデフォルトで 11434 を使います。

Llama 3 モデルをダウンロードする

Ollama が起動したら、ollama pull コマンドでモデルを取得します。Llama 3 シリーズには複数のサイズがあります。




ubuntu@linuxlab: ~
$ ollama pull llama3.2:1b
pulling manifest
pulling 3b6a40532641… 100% ████████████████████ 1.4 GB
verifying sha256 digest
writing manifest
success

ダウンロードが終わったら ollama list で確認します。




ubuntu@linuxlab: ~
$ ollama list
NAME ID SIZE MODIFIED
llama3.2:1b b91a40532641 1.4 GB Less than a second ago

どのモデルを選ぶべきか

用途に応じて次のように使い分けるとよいです。

Llama 3 シリーズのモデルサイズ比較（実測データ）
Llama 3 シリーズのモデルサイズ比較（実測データ）
モデル ディスク容量 必要VRAM目安 特徴 おすすめ用途
llama3.2:1b 1.3 GB 1 GB〜 最も軽量。応答が速い 動作テスト・簡易チャット
llama3.2:3b 2.0 GB 2 GB〜 バランス型。日常会話に十分 一般的な質問応答
llama3.1:8b 4.7 GB 6 GB〜 高精度。コード生成や要約にも使える 実務的なタスク

VRAM の目安

VRAM が足りない場合、Ollama は CPU で推論を実行しますが速度は大きく落ちます。VPS で動かす場合は GPU インスタンスを選ぶか、1B モデルで我慢するのが現実的です。

推論を実行する（ollama run）

モデルをダウンロードしたら、さっそく推論を実行します。ollama run コマンドで対話的にチャットできます。




ubuntu@linuxlab: ~
$ ollama run llama3.2:1b

>>> What is Ubuntu in one sentence?

Ubuntu is a free and open-source operating system that is
based on the Linux kernel, designed to provide an intuitive
user interface and a wide range of customization options for
users.

total duration: 1.976s
load duration: 1.167s
prompt eval count: 32 token(s)
eval count: 35 token(s)
eval rate: 45.30 tokens/s
Llama 3.2:1b の推論実行ログ（CPU環境での実測値）
Llama 3.2:1b の推論実行ログ（CPU環境での実測値）

CPUのみ（Docker コンテナ内の GPU なし環境）で 45.3 tok/s。1b モデルならグラフィックボードなしでも十分な応答速度です。初回のロードに約1.2秒かかりますが、2回目以降はモデルがメモリに常駐するため速くなります。

対話モードを終了するには /bye を入力します。

GPU での推論速度を実測

CPU と GPU でどのくらい速度が違うのか気になったので、RunPod の RTX 4090 で3モデルをベンチマークしました。128トークン生成にかかった時間を計測しています。

RunPod RTX 4090 での Llama 3 シリーズ推論速度比較（実測）
RunPod RTX 4090 での Llama 3 シリーズ推論速度比較（実測）
モデル 推論速度 生成トークン 総所要時間 モデル読込
llama3.2:1b 409.18 tok/s 128 0.731s 0.407s
llama3.2:3b 275.93 tok/s 128 0.922s 0.436s
llama3.1:8b 155.37 tok/s 121 1.239s 0.438s
CPU vs GPU 比較を含む Llama 3 モデル性能比較表
CPU vs GPU 比較を含む Llama 3 モデル性能比較表

RTX 4090 の場合、8B モデルですら 155 tok/s 出ます。人間が読むテキストとしては十分すぎる速度です。パラメータ数が8倍になっても速度は 2.6倍程度の差で収まっていて、VRAM が足りるなら 8B を使うのが品質面で有利です。

計測条件

  • GPU: NVIDIA GeForce RTX 4090（RunPod 上のインスタンス、自動起動・自動破棄）
  • num_predict（生成トークン数）: 128
  • プロンプト: runpod_bench の共通プロンプト（1b/3b は 47トークン、8b は 32トークン — モデルのトークナイザーによる差異）
  • モデルダウンロード時間: 1b=12.1秒、3b=9.6秒、8b=15.8秒（キャッシュなし時の初回のみ）
  • 計測日: 2026-06-21

Ollama の REST API を使う

ollama run は対話用ですが、バックグラウンドで動く Ollama サーバーは http://localhost:11434 で REST API を公開しています。curl コマンドで直接呼び出せます。

① 動作確認




ubuntu@linuxlab: ~
$ curl -s http://localhost:11434/
Ollama is running

$ curl -s http://localhost:11434/api/version
{“version”:”0.30.8″}
Ollama API エンドポイントの動作確認（curl 実測結果）
Ollama API エンドポイントの動作確認（curl 実測結果）

ルートエンドポイントに Ollama is running が返ってくれば稼働中です。ローカルにインストールしたバイナリは ollama --version で 0.30.10、/api/version の API からは 0.30.8 と、わずかな差異が出ることがあります。Docker イメージのビルド時期とインストールスクリプトの実行タイミングがずれるためです。大きな差がなければ問題ありません。

② 推論リクエストを送る

/api/generate エンドポイントに POST リクエストを送ると、モデルが回答を生成します。




ubuntu@linuxlab: ~
$ curl -s -X POST http://localhost:11434/api/generate \
-H “Content-Type: application/json” \
-d ‘{“model”:”llama3.2:1b”,”prompt”:”What is Ubuntu?”,”stream”:false}’

{
“model”: “llama3.2:1b”,
“response”: “Ubuntu is a free and open-source operating system…”,
“eval_count”: 35,
“total_duration”: 1976568188
}

stream: false を指定すると、回答が完成するまで待ってから一括で返します。stream: true（デフォルト）にすると、トークン生成中にリアルタイムでストリーミングされます。

③ チャット形式で会話する

/api/chat エンドポイントを使うと、会話の文脈を維持したチャットができます。




ubuntu@linuxlab: ~
$ curl -s -X POST http://localhost:11434/api/chat \
-H “Content-Type: application/json” \
-d ‘{
“model”: “llama3.2:1b”,
“messages”: [
{“role”: “user”, “content”: “What is Linux?”},
{“role”: “assistant”, “content”: “Linux is an open-source OS kernel.”},
{“role”: “user”, “content”: “And Ubuntu?”}
],
“stream”: false
}’

前回の回答を messages 配列に含めることで、文脈を理解した応答が得られます。

よくあるエラーと対処法

①「ollama: command not found」が出る

インストールスクリプトが zstd 不足で失敗しています。手順1の sudo apt install zstd を実行してから再インストールしてください。

②「could not connect to a running Ollama instance」

Ollama サーバーが起動していません。次を実行します。




ubuntu@linuxlab: ~
$ sudo systemctl start ollama
$ curl -s http://localhost:11434/
Ollama is running

③推論が遅い・メモリ不足になる

使用しているモデルが大きすぎる可能性があります。ollama ps で現在ロードされているモデルを確認し、不要なら ollama stop モデル名 で解放します。あるいは、より小さいモデル（1b など）に切り替えてください。

まとめ

Ubuntu に Ollama を入れて Llama 3 を動かす手順をまとめます。

  • sudo apt install zstd curl で依存パッケージを入れる
  • curl -fsSL https://ollama.com/install.sh | sh で Ollama をインストール（37MB、/usr/local/bin に配置）
  • ollama pull llama3.2:1b でモデルをダウンロード（1.3 GB）
  • ollama run llama3.2:1b で対話的に推論
  • curl http://localhost:11434/api/generate で REST API からも推論できる
  • RTX 4090 なら 8B モデルでも 155 tok/s、1B モデルなら 409 tok/s

CPU のみでも 1B モデルなら 45 tok/s 出るので、GPU なしの VPS でも十分使えます。より本格的なチャット UI が欲しければ、Open WebUI を組み合わせるのが便利です。


RunPod で GPU を借りて Llama 3 を動かす →

まだ VPS を持っていない場合は、Ubuntu サーバーのセットアップ手順をまとめた記事が参考になります。

コメント

タイトルとURLをコピーしました