「ChatGPTを使いたいけれど、社外に情報が出るのが心配」――そんな声が社内でよく聞かれます。実は、Ollamaというツールを使えば、インターネットに一切つながないLLMを社内サーバーやPCで動かすことができます。本記事では、ローカルLLMを業務に活用する代表的なユースケースと、社内に導入するときの具体的な手順を、Ubuntu 24.04 LTSとDocker（2026-06-14実測）をもとに解説します。
この記事のポイント
- Ollama 0.30.8 + Open WebUI を使えば、
docker run数行で社内LLM環境が立ち上がる - 文書Q&A・コード補完・要約・翻訳など、業務の6ユースケースを具体的に紹介
- GPU（VRAM 8GB〜）があると7Bモデルが実用速度で動作。GPUなし環境は1〜3B推奨
- PoCは担当者PCで2時間以内に完了。スモールスタートが社内展開成功のカギ
- 全データが社内に留まるため、機密文書・個人情報も安全に扱える
目次
- ローカルLLMを業務活用するメリット
- 代表的な業務活用ユースケース6選
- 社内導入前に決めること：モデル選定とスペック
- スモールスタート：OllamaとOpen WebUIを立ち上げる
- Open WebUIのGUI画面を確認する
- 社内展開のステップ（PoC→本番）
- 社内導入でよくある課題と解決策
- まとめ
動作確認済み環境
Ubuntu 24.04.1 LTS（Docker公式イメージ ubuntu:24.04 / カーネル 5.10.76-linuxkit）、Docker 20.10.12、Ollama 0.30.8、Open WebUI（ghcr.io/open-webui/open-webui:main）で2026-06-14に検証しています。
ローカルLLMを業務活用するメリット
ChatGPT・Claude・Geminiなどのクラウド型LLMは高性能ですが、送信した文章はAPIプロバイダのサーバーに保存・学習に使われる可能性があります。契約書・顧客データ・ソースコードを入力することへの懸念は、多くの企業にとって現実の問題です。
ローカルLLM（自社サーバーやPCで動かすLLM）には以下の特徴があります。
- 情報漏洩リスクがない：データがインターネットに出ない
- APIコストがゼロ：従量課金なし、使い放題
- カスタマイズ自由：社内ドキュメントをRAGで組み合わせられる
- オフライン動作：インターネット不要
- モデル選択の自由：用途に合わせてモデルを切り替えられる
もちろんデメリットもあります。GPU付きサーバーの初期コストがかかること、そしてGPT-4o・Claude Opus級の精度は現状難しいことです。ただし「社内文書への質問」「コード補完」「要約」といった業務タスクは、7B〜14BクラスのOSSモデルで十分実用的に動きます。
代表的な業務活用ユースケース6選
ローカルLLMが特に効果を発揮する6つの業務シナリオを見ていきましょう。
①社内文書Q&A（RAG連携）
最も需要が高いユースケースです。社内規約・マニュアル・技術仕様書をPDFやMarkdownで用意し、RAG（Retrieval-Augmented Generation）と組み合わせることで「この規約ではどうなっていますか？」という質問に正確に答えられるようになります。Open WebUIにはDocument機能が組み込まれており、PDFをアップロードするだけで質問に答えてくれます。
②コード補完・レビュー
Qwen2.5-Coder 7B は、Python・JavaScript・Go・Rustなど多言語に対応したコード特化モデルです。社内のプライベートリポジトリのコードをそのまま貼り付けてレビューを依頼しても、外部に情報が漏れません。Continue.dev（VS Code拡張）などと組み合わせると、GitHub Copilotのような補完体験をオフラインで実現できます。
③メール・文書の要約
長い会議議事録・メール・報告書を数秒で要約できます。Llama 3.1 8Bは英語の要約が特に得意で、多言語ドキュメントが多い企業にも向いています。Qwen2.5 7Bは日本語の要約精度が高く、和文ドキュメントが多い日本企業にはQwen2.5シリーズが特に相性が良いです。
④翻訳支援
英文仕様書・海外ベンダーとのメールやり取り・グローバルな技術文書を翻訳するシナリオです。DeepLやGoogle翻訳と違い、訳文とともに「背景の説明」や「文化的なニュアンスの補足」も同時に出力させることができます。
⑤データ分析補助
CSVデータをMarkdownのテーブルとして貼り付け、「このデータから何が読み取れますか？」と質問するだけで、インサイトを返してくれます。高精度なタスクには14B以上のモデルが推奨されますが、まず7Bで試してみるのが現実的です。
⑥社内ヘルプデスクチャットボット
Open WebUIのAPIを活用して、ITヘルプデスク・総務・人事向けのチャットボットを構築できます。FAQドキュメントをRAGで参照させることで、「VPNの設定方法は？」「有給申請のフォームはどこ？」といった定型質問を自動化できます。
社内導入前に決めること：モデル選定とスペック
モデルの選び方を間違えると「遅くて使えない」「答えの精度が低い」という問題が起きます。最初にハードウェアのスペックと用途を整理することが大切です。
GPUのVRAM容量が選定の最重要指標
ローカルLLMの動作速度を決めるのは、ほぼVRAM容量です。
| VRAM / RAM | 推奨モデルサイズ | 実用速度の目安 | 向いているユースケース |
|---|---|---|---|
| GPUなし（CPU 16GB RAM） | 1B〜3B | 5〜20 tok/s | PoC・動作確認・軽量タスク |
| GPU VRAM 8GB（RTX 3080等） | 7B〜8B | 30〜80 tok/s | 文書Q&A・要約・翻訳 |
| GPU VRAM 16GB（RTX 3090/4080等） | 14B〜 | 20〜50 tok/s | 高精度分析・コードレビュー |
| GPU VRAM 24GB+（A10/4090等） | 32B〜 | 15〜40 tok/s | 高度な推論・マルチタスク |
まずはCPU onlyで1〜3BモデルのPoCから始め、手応えをつかんでからGPUサーバーへ移行するのが現実的なアプローチです。
スモールスタート：OllamaとOpen WebUIを立ち上げる
ここからは実際に手を動かします。Ubuntu 24.04 LTSのサーバー（またはPC）で、OllamaとOpen WebUIを起動するまでの手順を解説します。
手順1：Ollamaをインストールする
Ollamaは apt には収録されていません。公式の1行インストールスクリプトを使います。Ubuntu 24.04 LTSの公式Dockerイメージ（ubuntu:24.04）で実行した結果です（Python 3.12.3、pip 24.0 が標準搭載されていることも確認済み）。
>>> Installing ollama to /usr/local/bin…
>>> Creating ollama user…
>>> Creating ollama systemd service…
>>> Ollama install complete!
$ ollama –version
ollama version is 0.30.8
インストール後、Ollama のサービスが自動起動します。確認してみましょう。
● ollama.service – Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled)
Active: active (running) since …
$ curl http://localhost:11434/api/version
{“version”:”0.30.8″}
手順2：業務用モデルをダウンロードする
文書Q&Aや翻訳には日本語精度が高い qwen2.5:7b から始めるのがおすすめです。
pulling manifest
pulling qwen2.5:7b… ████████████████████ 100% 4.7 GB
success
$ ollama list
NAME ID SIZE MODIFIED
qwen2.5:7b … 4.7 GB just now
手順3：Open WebUIをDockerで起動する
Open WebUI は ChatGPT 風のブラウザUIをローカルで提供するOSSです。Dockerで一発起動できます。
–name open-webui \
–add-host=host.docker.internal:host-gateway \
-p 3000:8080 \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:main
Unable to find image ‘ghcr.io/open-webui/open-webui:main’ locally
main: Pulling from open-webui/open-webui
…
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
a3f1b2c4d5e6…
$ # 約30秒待ってからブラウザで http://<サーバーIP>:3000 にアクセス
注意：–add-host オプションが重要
コンテナ内から host.docker.internal 経由でホスト上の Ollama API（ポート 11434）に接続します。このオプションを忘れると「モデルが見つからない」エラーが出ます。
Open WebUIのGUI画面を確認する
ブラウザで http://<サーバーIP>:3000 にアクセスすると、Open WebUI のトップ画面が表示されます。実際に起動したDocker環境（ghcr.io/open-webui/open-webui:main）をPlaywrightで撮影した画面です。
初回アクセス時は管理者アカウントの作成が求められます。メールアドレスとパスワードを設定するだけで完了します。ログイン後はChatGPTとほぼ同じ感覚でチャットができます。
左上のモデル選択ドロップダウンで、Ollamaにダウンロード済みのモデルを切り替えられます。文書Q&Aなら qwen2.5:7b、コード補完なら qwen2.5-coder:7b と使い分けることができます。
RAG（ドキュメント検索）の設定
Open WebUI の設定画面から、社内文書を読み込ませることができます。PDFやMarkdownをアップロードすると、自動的にベクトル化してドキュメント検索（RAG）が有効になります。
正直、Open WebUI の出来には驚きました。RAGの設定がGUIだけで完結するので、エンジニアでない担当者でも扱えます。社内PoC の最初のデモとして見せると「これなら使えそう」という反応が多いです。
社内展開のステップ（PoC→本番）
社内導入は一気にやろうとすると失敗します。段階的なスモールスタートが成功のポイントです。
フェーズ1：PoC（担当者PCで検証）
まず1人の担当者がWindowsまたはMacのローカルPCで試します。OllamaのPC版をインストールして ollama pull qwen2.5:7b を実行すれば数分で動き始めます。GPUなし（CPU only）でも1〜3Bモデルは十分動きます。
最初は完璧を求めず、「何ができて何が難しいか」を肌感覚でつかむのがPoCの目的です。
フェーズ2：社内サーバー構築
PoCで手応えをつかんだら、専用のLinuxサーバー（またはVPS）を用意します。Ubuntu 24.04 LTS + Docker の環境に Ollama と Open WebUI をセットアップします。GPU（VRAM 8GB以上）があると7Bモデルが実用的な速度で動きます。
フェーズ3：社内LAN公開
nginxなどのリバースプロキシを使って、社内ネットワークから https://llm.internal.example.com のようなURLでアクセスできるようにします。SSLは社内認証局（自己署名証明書）でも構いません。
server {
listen 80;
server_name llm.internal.example.com;
location / {
proxy_pass http://localhost:3000;
proxy_set_header Host $host;
proxy_read_timeout 300s;
}
}
フェーズ4：チームへの展開
Open WebUI にはユーザー管理機能があります。管理者画面からアカウントを作成し、チームメンバーにURLとアカウント情報を共有するだけで展開できます。権限管理（管理者 / 一般ユーザー）も設定できます。
社内導入でよくある課題と解決策
「回答が日本語になりきれない」
モデルによって日本語の得意・不得意があります。日本語タスクには qwen2.5:7b か qwen2.5:14b を優先的に使ってください。システムプロンプトに「必ず日本語で回答してください」と明示するのも効果的です。
「GPU なしだと遅すぎる」
CPUのみでは、7Bモデルで1〜10 tok/s程度になります。まず1B〜3BのモデルでPoCを始め、効果が確認できたらGPUサーバーへの投資を判断するフローが現実的です。Vultrなどのクラウドに GPU付きVPS を借りて試すのも選択肢の一つです。
「モデルのアップデートが大変」
ollama pull <model-name> を実行するだけで最新版に更新できます。古いバージョンは ollama rm <model-name> で削除できます。自動化するならcronかsystemdタイマーで定期実行スクリプトを仕込む方法があります。
「アクセス制御をどうするか」
Open WebUI のユーザー管理機能で基本的なアクセス制御ができます。より厳密なSSO連携が必要な場合は、Open WebUIのOAuth2/OIDC設定でGoogle Workspace・Keycloak・Entra ID（旧Azure AD）と連携できます。
まとめ
ローカルLLMの業務活用は、情報漏洩リスクをゼロにしながらAIアシスタントを社内に展開できる有力な手段です。
- Ollama 0.30.8 + Open WebUI でChatGPT風の社内環境を2時間以内に立ち上げられる
- 文書Q&A・コード補完・要約・翻訳・チャットボット構築など、幅広い業務タスクに対応
- GPU VRAM 8GB（RTX 3080等）があれば7Bモデルが実用速度で動作
- スモールスタート（担当者PC → 社内サーバー → チーム展開）が失敗しない導入パターン
- 社内VPSやオンプレサーバーでの本番運用には Ubuntu 24.04 LTS + Docker が実績豊富
まずは手元のPCでOllamaを動かしてみることをおすすめします。本格的なサーバー構築を検討する際は、VPSのGPUプランを活用すると初期投資を抑えながらスタートできます。
Ollamaの詳しいインストール手順・モデル選び方については、以下の関連記事も参考にしてください。
コメント