LiteLLMのDockerセットアップ

AI・機械学習

LiteLLMは、OpenAI形式を使用してすべてのLLM APIを呼び出すことができるツールです。このガイドでは、初心者でも理解できるように、LiteLLMをDockerを使用してセットアップする方法を丁寧に説明します。


こちらの記事もおすすめ

OwlWhisper: 初心者向けのキャラクターエージェント
はじめにOwlWhisperは、高速な音声認識ライブラリ「Faster Whisper」と、高品質な音声合成ライブラリ「Style-Bert-VITS2」を組み合わせたプロジェクトです。初心者でも簡単に音声認識と音声合成を体験できるように設...
Doubleが開発したClaude 3 AIコーディングアシスタントが革新的!無料でVS Codeに導入可能
はじめにプログラマーの皆さん、コーディングを加速させるツールをお探しではありませんか?そんなあなたに朗報です。革新的なAIコーディングアシスタント「Double」が登場しました。なんと、無料でVS Codeに導入することができるのです!Do...

前提条件

このガイドを進めるには、以下のソフトウェアがインストールされている必要があります。

  • Docker
  • Docker Compose

リポジトリのクローン

まず、LiteLLMのリポジトリをクローンします。ターミナルを開き、以下のコマンドを実行します。

GitHub - Sunwood-ai-labs/litellm-JP: Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs)
Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs) - Sunwood-ai-lab...
git clone https://github.com/CerebriumAI/litellm.git

プロジェクトディレクトリへの移動

クローンしたリポジトリのディレクトリに移動します。

cd litellm

Docker Composeを使用したコンテナの起動

Docker Composeを使用して、LiteLLMのコンテナを起動します。以下のコマンドを実行します。

docker-compose up

このコマンドにより、必要なDockerイメージがダウンロードされ、LiteLLMのコンテナが起動します。

コンテナへのアクセス

別のターミナルを開き、実行中のLiteLLMコンテナにアクセスします。以下のコマンドを実行します。

docker-compose exec litellm /bin/bash

これにより、LiteLLMコンテナ内のbashシェルにアクセスできます。

コンテナ内での操作

コンテナ内で必要な操作を実行できます。例えば、LiteLLMの設定ファイルを編集したり、追加のパッケージをインストールしたりできます。

デモスクリプトを実行するには、以下のコマンドを使用します。

python /demo/demo_gemini.py

コンテナの停止

終了するには、コンテナ内でexitコマンドを実行してシェルを終了し、Ctrl+Cを押してDocker Composeを停止します。

exit

その後、Ctrl+Cを押します。

カスタマイズ

  • docker-compose.ymlファイルを編集することで、必要に応じてコンテナの設定を変更できます。
  • LiteLLMの設定ファイルは、コンテナ内の/app/configディレクトリにあります。これらのファイルを編集して、LiteLLMの動作をカスタマイズできます。

注意事項

  • このセットアップは開発およびテスト目的で提供されています。本番環境では、適切なセキュリティ対策を講じる必要があります。
  • コンテナ内で生成されたデータは、コンテナが破棄されると失われます。必要なデータはホストマシンにバックアップしてください。

デモ動画

コメント

タイトルとURLをコピーしました