litellm

ローカルLLM

ローカルLLMをAPIゲートウェイで束ねて使う方法【LiteLLM】

ローカルLLMを何種類も使い分けていると、「アプリごとにAPIの呼び方が違う」「モデルを切り替えるたびにコードを書き直す」という問題が出てきます。LiteLLMは、こうした複数のLLMを一つのOpenAI互換エンドポイントにまとめるAPIゲ…