LiteLLM

100以上のLLM APIをOpenAI互換の統一インターフェースで利用できるオープンソースプロキシ。コスト追跡、レート制限、フォールバック、ロードバランシング機能を搭載し、プロダクション環境でのLLM管理を簡素化する。