「日本語ができるローカルLLMを使いたいけど、ELYZA・Swallow・Qwen、結局どれがいいの？」——こんな疑問を持っている方は多いと思います。本記事では実際に Ollama v0.30.8 で日本語モデルを動かし、推論速度を実測した結果をもとに、それぞれのモデルファミリーの特徴と選び方を解説します。
結論から言うと、手軽に始めるなら Qwen2.5 / Qwen3 シリーズが最もかんたんです。ELYZA と Swallow は日本語特化の精度が光りますが、Ollama への登録に一手間が必要です。本記事では Ubuntu 24.04 の Docker 環境で実際に動かした結果をすべて掲載します。
この記事のポイント
- ELYZA・Swallow は日本語特化で精度が高いが、Ollama 利用には Modelfile 作成が必要
- Qwen2.5 / Qwen3 は
ollama pull一発で動く、手間いらずの多言語対応モデル - 実測: qwen2.5:0.5b が 228.3 tok/s、qwen3:0.6b が 238.9 tok/s（Ollama v0.30.8）
- Open WebUI を使えば、複数モデルをブラウザで切り替えながら比較できる
- 7B モデルを快適に動かすには RAM 8GB 以上が目安
動作確認済み環境
本記事は Ubuntu 24.04.4 LTS（Docker 公式イメージ ubuntu:24.04）および Ollama v0.30.8 で動作を確認しています。Open WebUI は v0.9.6 の Docker イメージを使用しています（2026-06-14 実測）。
日本語LLMの3大ファミリーを理解する
ローカルで動く日本語モデルには、大きく3つの流れがあります。それぞれの成り立ちを知っておくと、どれを選ぶかの判断がしやすくなります。
①ELYZA：日本の会社が日本語に特化してファインチューニング
ELYZA（エリザ）は、東京大学発のスタートアップが開発した日本語特化モデルです。Llama-3.1-8B をベースに、日本語コーパスで追加学習を行った「Llama-3-ELYZA-JP-8B」が現在の主力です。
正直なところ、Ollama の公式ライブラリには登録されていないため、HuggingFace から GGUF ファイルをダウンロードして手動で登録する必要があります。少し手間はかかりますが、日本語の自然さという点では群を抜いた品質を持っています。
②Swallow：東京工業大学が継続事前学習で育てたモデル
Swallowは東京工業大学の研究チームが開発したモデルです。Llama-2 や Mistral をベースに、日本語ウェブデータで継続事前学習を行っており、日本語の構文理解が自然なのが特徴です。Swallow-MS-7B-v0.1（Mistral ベース）が扱いやすくおすすめです。ELYZA と同様、HuggingFace 経由での GGUF 取得が必要です。
③Qwen：Alibaba Cloud 製の多言語モデル
Qwen（チエン）は Alibaba Cloud が開発する多言語対応のLLMシリーズです。日本語単独への特化ではありませんが、大量の多言語コーパスで学習されており日本語性能は高いレベルにあります。最大のメリットは ollama pull qwen2.5:7b と打つだけで使えること——導入の手軽さでは圧倒的に有利です。
Ollamaのインストール
Ubuntu でのインストールは公式のワンライナーで完了します。
Reading package lists… Done
Building dependency tree… Done
$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
>>> Adding ollama user to render group…
>>> ollama installed successfully
$ ollama –version
ollama version is 0.30.8
インストール後は ollama serve でサービスが起動します（systemd 環境では自動起動します）。インストールが成功したら、まず Qwen モデルを引っ張ってきましょう。
Qwenモデルをすぐに動かしてみる
試しに軽量な qwen2.5:0.5b（約 397MB）を pull してみます。コマンド一発でダウンロードから起動まで完了します。
pulling manifest
pulling a8b0c5157701… 100% ▕████████████▏ 397 MB
success
$ ollama run qwen2.5:0.5b “Linuxのlsコマンドを日本語で説明して”
`ls` コマンドは、現在のディレクトリにあるファイルやディレクトリの
一覧を表示します。例: ls -la（詳細表示・隠しファイルも含む）
ちゃんと日本語で答えが返ってきました。続けて最新の qwen3:0.6b（約 522MB）も比べてみましょう。
pulling manifest
pulling 7df6b6e09427… 100% ▕████████████▏ 522 MB
success
$ ollama run qwen3:0.6b “Linuxのlsコマンドを日本語で説明して”
**ls** はファイルやディレクトリを一覧表示するコマンドです。
`ls -a` で隠しファイルも含む全ファイルを確認できます。
`ls -l` で詳細情報（権限・サイズ・日付）を表示します。
Qwen3 のほうが Markdown 形式で整理された応答を返します。同じプロンプトで推論速度を実測してみた結果が以下の図です。
Qwen3:0.6b が 238.9 tok/s、Qwen2.5:0.5b が 228.3 tok/s という結果になりました（Ollama v0.30.8 / ローカル実行）。サイズが 25MB 大きい Qwen3 のほうが約 5% 速いというのは少し意外な結果です。世代が新しいほど量子化効率が改善されているためだと考えられます。
ELYZA と Swallow を Ollama で動かす
ELYZA と Swallow は Ollama の公式ライブラリにないため、HuggingFace から GGUF ファイルを取得して手動で登録する手順が必要です。少し手間ですが、一度やってしまえば ollama run elyza-jp-8b のように使えるようになります。
手順1：必要なパッケージを用意する
Reading package lists… Done
curl 8.5.0 (x86_64-pc-linux-gnu) already installed
手順2：HuggingFace から GGUF をダウンロードする
ELYZA の場合は elyza/Llama-3-ELYZA-JP-8B-GGUF リポジトリから、Swallow の場合は tokyotech-llm の各 GGUF リポジトリから取得します。Q4_K_M 量子化版（ファイル名に q4_k_m が含まれるもの）がバランスが良くておすすめです。
$ wget https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf
Saving to: ‘Llama-3-ELYZA-JP-8B-q4_k_m.gguf’
… 4.92 GB / 4.92 GB （ダウンロードに数分かかります）
‘Llama-3-ELYZA-JP-8B-q4_k_m.gguf’ saved
注意
7B〜8B モデルの GGUF（Q4_K_M）は約 4〜5GB あります。ダウンロードには回線速度によって数分〜十数分かかります。また HuggingFace のファイル URL は更新される場合があるため、最新のファイル名はリポジトリページで確認してください。
手順3：Modelfile を作成して Ollama に登録する
Ollama はローカルの GGUF ファイルを Modelfile 経由で登録できます。以下の形式で作成してください。
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM “あなたは役に立つ日本語アシスタントです。”
EOF
$ ollama create elyza-jp-8b -f Modelfile.elyza
transferring model data
success
$ ollama run elyza-jp-8b “東京の観光スポットを3つ教えて”
東京には多くの観光スポットがあります。特におすすめは…
同じ手順で Swallow の GGUF を登録すれば ollama run swallow-ms-7b でも動かせます。
Open WebUIで日本語チャットUIを整える
コマンドラインでも十分使えますが、Open WebUI を使うと複数モデルをブラウザのドロップダウンで切り替えながら比較できるのでとても便利です。Docker で一発起動できます。
手順1：Open WebUI を Docker で起動する
–name open-webui \
-p 3000:8080 \
–add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:main
cd2171530e7c590b383f…
$ # ブラウザで http://localhost:3000 にアクセス
起動後、ブラウザで http://localhost:3000（VPS の場合は http://<VPSのIP>:3000）にアクセスすると以下の画面が開きます。
画面左上のモデル名をクリックすると、Ollama に登録済みのモデルがドロップダウンで一覧表示されます。ELYZA・Swallow・Qwen を登録しておけば、同じ画面でモデルを切り替えながら日本語応答を比較できます。
管理者設定画面（http://localhost:3000/admin/settings）では、モデル接続先の変更やユーザー管理ができます。今回確認した v0.9.6 では Web 検索や Code Execution 機能も追加されており、単なるチャット UI 以上の使い方も可能です。
スペック別モデルの選び方
どのモデルを選べばいいか迷ったときの判断基準をまとめます。
| あなたの状況 | おすすめモデル | 理由 |
|---|---|---|
| まず試したい（RAM 4GB〜） | qwen3:0.6b | pull 一発、約 522MB、日本語OK |
| 本格的に使いたい（RAM 8GB〜） | qwen2.5:7b or Swallow-MS-7B | 7B クラスで実用的な応答品質 |
| 日本語精度を最重視（RAM 16GB〜） | ELYZA-JP-8B | 日本語特化ファインチューニング済み |
| VPS/クラウドで動かしたい | qwen2.5:7b | Ollama タグ一発、設定が最もシンプル |
CPUだけで動くのか？
GPU がなくても CPU だけでローカル LLM を動かせます。参考として、Docker コンテナ上で sysbench の CPU ベンチを実測した結果が以下です（ubuntu:24.04 / 2スレッド）。
実際の体感速度は sysbench の結果よりもメモリ帯域幅の影響が大きいです。7B モデル（Q4_K_M 量子化）を CPU で動かした場合、一般的なデスクトップ CPU で 5〜15 tok/s 程度が目安です。会話として成立するには少し遅く感じる場合があります。快適に使うなら GPU 搭載の PC か、クラウド GPU サーバーが有効です。
まとめ
日本語ローカル LLM の3大ファミリーとその使い方をまとめます。
- Qwen2.5 / Qwen3:
ollama pull一発で使える。手軽さが最大の強み - ELYZA-JP-8B: 日本語ファインチューニング済み。Modelfile 登録が必要だが品質は高い
- Swallow-MS-7B: 東工大開発。Mistral ベースで軽量かつ日本語性能が高い
- 実測では qwen3:0.6b（238.9 tok/s）が qwen2.5:0.5b（228.3 tok/s）より約5%速かった
- Open WebUI（Docker）を使えばブラウザで複数モデルを切り替えながら比較できる
まずは ollama pull qwen3:0.6b で気軽に日本語LLMを体験し、物足りなくなったら 7B モデルへのステップアップを検討してみてください。本格的な運用は VPS や GPU クラウドで動かすとさらに快適になります。
参考: VPS選びで迷ったら「VPS比較記事」もあわせてどうぞ。
コメント