LiteLLM 最近の更新まとめ

AI開発ツール

概要

LiteLLMは複数のLLMプロバイダーに対して統一されたインターフェースを提供するPythonライブラリであり、API呼び出しを標準化・簡素化することでLLM開発を容易にします。最近のリリースでは、API互換性の強化、パフォーマンス最適化、信頼性向上のための多くの機能が追加されています。

主なハイライト：

  • Vertex AI、Gemini、Anthropicなど主要プロバイダーのサポート機能拡張
  • DBデッドロック削減とRedisを活用した信頼性向上
  • 画像生成・音声入力などマルチモーダル機能の拡充
  • チーム管理・認証周りの機能改善

以下、最新リリースから順に主な変更点をまとめます。

v1.65.4-stable（最新安定版）

最新の安定版リリースでは、多くの機能追加と修正が行われました。主な変更点は以下の通りです：

主な新機能

  • Vertex AIトランスフォーメーションにnullフィールドを持つanyOf共用体タイプのサポートを追加
  • Bedrockのレイテンシーに最適化された推論サポートとVertex AI マルチモーダル埋め込みコスト追跡を追加
  • Gemini音声入力サポートとSagemakerレスポンスの特殊トークンの処理を追加
  • MCP（Model Caching Proxy）の改善、SSE MCPサーバーの使用サポートを追加
  • Google AI Studio /v1/files アップロードAPIサポートを追加
  • Gemini画像生成出力サポートを追加
  • VertexAI gemini-2.0-flashのサポートを追加
  • DBRX Anthropicのthinkingとresponseフォーマットをサポート

重要な修正

  • キャッチされない例外のJSONフォーマットを追加
  • チャートでのttlSecondsAfterFinishedの誤ったインデントを修正
  • Anthropicのthinkingとresponse_formatを修正
  • OpenRouterキーエラーに関する情報メッセージの表示を追加
  • DBのデッドロックを減らすために、Redisに支出更新を保存し、その後DBにコミット
  • Azure o-seriesツール呼び出しの修正
  • VertexAI資格情報のキャッシュ問題を修正
  • DB取引アーキテクチャv2のデッドロック削減 - メモリ内キューに最大サイズとバックプレッシャー機構を追加
  • Anthropicツール呼び出しのプロンプトキャッシュを修正

信頼性と監視の向上

  • Prometheusでログ失敗メトリクスにLLMプロバイダーを追加 - LiteLLMエラーとLLM APIエラーを区別しやすく
  • /metricsエンドポイントに認証を追加する機能
  • 新しいDB取引アーキテクチャの運用メトリクスを発行

UI改善

  • 新しい使用状況タブの修正
  • ユーザーサインアップ時の「デフォルトキー」を削除し、個人キー作成に利用可能なユーザーモデルの表示を修正
  • テストキーv2ページ - 画像エンドポイントのテストを可能にし、ページを改良
  • Microsoft SSOでSSOユーザーをチームに割り当て可能に

v1.65.4-nightly（8時間前にリリース）

ナイトリービルドには、安定版と同様の機能と修正が含まれていますが、より最新のものとなっています。

v1.65.3-nightly（2日前にリリース）

このビルドでは以下の主な変更点がありました：

  • 非管理者のユーザー日次アクティビティ利用を許可
  • チーム管理者がチームモデルを更新できるように修正
  • Cohereチャットトランスフォーメーションにmax_completion_tokensのサポートを追加
  • Geminiルート埋め込みのオプションパラメータマッピングサポートを追加
  • PodLockマネージャーにRedisを使用してPG（PostgreSQL）の代わりにデッドロックを防止

v1.65.2.dev1（4日前にリリース）

主な変更点：

  • OpenRouterストリーミングの修正とAnthropic 'file'メッセージサポート
  • Databricks llama3.3-70bエンドポイントとDatabricks Claude 3.7 Sonnetエンドポイントを追加
  • モデル料金にgemini-2.5-pro-exp-03-25を追加
  • max_parallel_requests = 0の場合の「循環参照検出」エラーを修正
  • RedisとDBアーキテクチャが支出を正確に追跡するよう確保
  • サービスアカウントの修正 - service_account_settings.enforced_paramsをサービスアカウントにのみ適用
  • 仮想キーベースのポリシーをAim Guardrailsに追加

まとめ

最新のLiteLLMリリースでは、多様なLLMプロバイダーへの対応強化、システムの信頼性向上、UIの改善が進められています。特に注目すべき点は：

  1. マルチモーダル機能の拡充（音声入力、画像生成など）
  2. DB処理アーキテクチャの最適化によるパフォーマンス向上
  3. チーム管理・認証機能の強化
  4. 主要LLMプロバイダー（Anthropic、Vertex AI、Geminiなど）との連携強化

負荷テスト結果

最新の安定版v1.65.4-stableの負荷テスト結果：

  • リクエスト成功率: 100%（1842リクエスト、0失敗）
  • 平均応答時間: 223.77ms
  • 毎秒リクエスト数: 6.15
  • 最小応答時間: 181.88ms
  • 最大応答時間: 4326.02ms

Dockerで実行する方法

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:main-v1.65.4-stable

内部プロキシを維持したくない場合は、Hosted Proxy Alphaをご検討ください：

LiteLLM 1:1 Onboarding Chat
Choose a time when you can video call for 30 minutes. We'll help you set up with LiteLLM!If you can't find a time that works for you, please let us know.
calendly.com
Releases · BerriAI/litellm
Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - - BerriAI/litellm
github.com

コメント

タイトルとURLをコピーしました