LiteLLMは、OpenAI形式を使用してすべてのLLM APIを呼び出すことができるツールです。このガイドでは、初心者でも理解できるように、LiteLLMをDockerを使用してセットアップする方法を丁寧に説明します。
こちらの記事もおすすめ
OwlWhisper: 初心者向けのキャラクターエージェント
はじめにOwlWhisperは、高速な音声認識ライブラリ「Faster Whisper」と、高品質な音声合成ライブラリ「Style-Bert-VITS2」を組み合わせたプロジェクトです。初心者でも簡単に音声認識と音声合成を体験できるように設...
hamaruki.com
2024.03.18
Doubleが開発したClaude 3 AIコーディングアシスタントが革新的！無料でVS Codeに導入可能
はじめにプログラマーの皆さん、コーディングを加速させるツールをお探しではありませんか？そんなあなたに朗報です。革新的なAIコーディングアシスタント「Double」が登場しました。なんと、無料でVS Codeに導入することができるのです！Do...
hamaruki.com
2024.03.11
前提条件
このガイドを進めるには、以下のソフトウェアがインストールされている必要があります。
- Docker
- Docker Compose
リポジトリのクローン
まず、LiteLLMのリポジトリをクローンします。ターミナルを開き、以下のコマンドを実行します。
GitHub - Sunwood-ai-labs/litellm-JP: Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs)
Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs) - Sunwood-ai-lab...
github.com
git clone https://github.com/CerebriumAI/litellm.gitプロジェクトディレクトリへの移動
クローンしたリポジトリのディレクトリに移動します。
cd litellmDocker Composeを使用したコンテナの起動
Docker Composeを使用して、LiteLLMのコンテナを起動します。以下のコマンドを実行します。
docker-compose upこのコマンドにより、必要なDockerイメージがダウンロードされ、LiteLLMのコンテナが起動します。
コンテナへのアクセス
別のターミナルを開き、実行中のLiteLLMコンテナにアクセスします。以下のコマンドを実行します。
docker-compose exec litellm /bin/bashこれにより、LiteLLMコンテナ内のbashシェルにアクセスできます。
コンテナ内での操作
コンテナ内で必要な操作を実行できます。例えば、LiteLLMの設定ファイルを編集したり、追加のパッケージをインストールしたりできます。
デモスクリプトを実行するには、以下のコマンドを使用します。
python /demo/demo_gemini.pyコンテナの停止
終了するには、コンテナ内でexitコマンドを実行してシェルを終了し、Ctrl+Cを押してDocker Composeを停止します。
exitその後、Ctrl+Cを押します。
カスタマイズ
docker-compose.ymlファイルを編集することで、必要に応じてコンテナの設定を変更できます。- LiteLLMの設定ファイルは、コンテナ内の
/app/configディレクトリにあります。これらのファイルを編集して、LiteLLMの動作をカスタマイズできます。
注意事項
- このセットアップは開発およびテスト目的で提供されています。本番環境では、適切なセキュリティ対策を講じる必要があります。
- コンテナ内で生成されたデータは、コンテナが破棄されると失われます。必要なデータはホストマシンにバックアップしてください。
デモ動画
LiteLLMをDockerセットアップしてGeminiを使ってみた
これが最高のプロキシかも！！！ pic.twitter.com/LCqrwdZzka— Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 18, 2024
コメント