ubuntu vllm

ChatGPTのようなAIを自分のサーバーで動かしたい、しかもできるだけ速く推論したい——そう考えたとき、最も注目されているのが vLLM（Virtual Large Language Model）です。