docker gpu ollama

Docker

UbuntuのDocker+GPUでOllamaを最速で動かす構成

「Ollamaを動かしてみたけど、思ったほど速くない」——これは自宅サーバーやVPSでローカルLLMを試した人が最初にぶつかる壁です。CPUだけで大きめのモデルを動かすと、返答を待つあいだに集中が切れてしまいます。GPUを積んだマシンがある…