AIキャラクター実況をStyle-Bert-VITS2とVMagicMirrorで始めよう

チュートリアル

AI技術の進歩により、誰でも簡単に自分のバーチャルキャラクターを作成し、リアルタイムで実況や配信を行うことが可能になりました。この記事では、AI音声合成技術のStyle-Bert-VITS2と、バーチャルキャラクター操作ツールのVMagicMirrorを使って、あなた自身のAIキャラクター実況を始める方法を初心者向けに解説します。

仮想オーディオデバイス「VB-CABLE」の設定

実況や配信の環境構築の第一歩として、仮想オーディオデバイス「VB-CABLE」の設定から始めます。VB-CABLEは、異なるアプリケーション間でオーディオ信号を送受信するための仮想オーディオケーブルです。以下の手順で設定を行いましょう。

公式ウェブサイトからソフトウェアをダウンロードし、インストールします。

VB-Audio Virtual Apps
VB-Audio Virtual Cable and App's

インストール後、システムのサウンド設定で「VB-CABLE」を出力および入力デバイスとして選択します。

ブラウザや録音アプリのオーディオ出力設定を「VB-CABLE」に変更し、疎通確認を行います。
詳しい手順は下記のサイトがおすすめです。

【Windows】仮想オーディオデバイス「VB-CABLE」の使い方(とOBSの関係) - monoist(s
最近、ゲーム配信のニーズが高まっていて、仮想オーディオデバイスに注目が集まっています。 今回はこの記事ではVB-CABLEの使い方詳しく解説していきます。 ちなみに……もしゲームの録画や配信をしたい場合、OBSを使うのであればVB-CABLEは必要ない場合があります。記事の後半で解説しているので参考にしてください。 お...

VMagicMirrorでのマイク設定変更

次に、バーチャルキャラクターを動かすためのVMagicMirrorの設定を行います。
VMagicMirrorは特に難しい設定をせずにリップシンクできるのでおすすめです。

VMagicMirror - 夢日記屋さん - BOOTH
VMagicMirror v3.5.1 Standard Edition 2024/01/30 VRMをキーボードとマウスだけで動かせるWindows向けソフトです。ゲームパッドにも反応します。 ゲーム画面やコーディング画面の横に置いて配信に使ったり、単にデスクトップマスコットとして置きっぱなしにしたりできます。ウェブ...

特に重要なのがマイク設定です。VMagicMirrorを使ってキャラクターに自分の声を反映させるためには、マイク設定を正しく構成する必要があります。

file

VMagicMirrorを起動し、「配信」メニューから「リップシンク」を開きます。
マイクの入力デバイスとして「VB-CABLE」を選択し、設定を保存します。
これにより、VB-CABLE経由で送られてくるオーディオ信号をVMagicMirrorがキャプチャし、バーチャルキャラクターが音声に合わせてリップシンクするようになります。

Style-Bert-VITS2で感情豊かなmp3音声を作成

最後に、Style-Bert-VITS2を使って、入力テキストから感情豊かな音声を生成します。
構成図はこちら

Style-Bert-VITS2は、テキストから人間のような自然な感情を含んだ音声を生成することができるAI音声合成技術です。ここでは、簡単な使い方を紹介します。

詳しい解説はこちら

「PokéLLMon」をAIで実況してみた【Style-Bert-VITS2】
近年、ゲームの実況はただの趣味から一つのカルチャーへと進化しました。特に、AI技術を駆使してゲームの実況を行うことは、視聴者に新鮮な体験を提供します。この記事では、戦術バトルゲームで人間並みのパフォーマンスを達成した最初のLLM体現エージェ...

Style-Bert-VITS2のウェブサイトまたはアプリケーションを開きます。
file

音声に変換したいテキストを入力し、希望する感情や発話スタイルを選択します。

ChatGPT4に生成してもらったニューススクリプト

みなさん、こんにちは!ニュースタイムです。
本日は、大規模言語モデル(エルエルエム)の最新の進展についてお伝えします。「モア エージェント イズ オール ユー ニード」という論文がこの分野に新たな光を投げかけています。

大規模言語モデルの性能は、単純なサンプリングと投票方法を用いることで、生成されるエージェントの数に比例して向上することを発見しました。
驚くべきことに、この方法は既存の複雑な手法と併用してエルエルエムをさらに強化でき、その効果はタスクの難易度に関連しています。

研究チームは、エルエルエムのベンチマークにわたる広範な実験を行い、この発見の実証と、その発生を促進する特性の研究を行いました。
結果は、タスクの難易度が高まるにつれて、エージェントの数を増やすことの効果が顕著になることを示しています。

この興味深い研究についてもっと知りたい方は、論文のコードが公開されています。
オンラインで詳細を確認し、この分野の最前線に触れてみてください。

大規模言語モデルの可能性はまだまだ拡がりを見せています。
今日のニュースでした。引き続き、最新の科学技術ニュースにご注目ください。
それでは、またお会いしましょう!

「合成」ボタンをクリックすると、入力されたテキストからmp3フォーマットの音声ファイルが生成されます。
生成された音声ファイルは、実況や配信で背景音楽として使用したり、キャラクターの声として利用することができます。

デモ動画

まとめ

Style-Bert-VITS2とVMagicMirrorを組み合わせることで、あなた自身のバーチャルキャラクター実況を簡単に始めることができます。この記事で紹介したステップを参考に、仮想オーディオデバイスの設定、VMagicMirrorでのマイク設定変更、感情豊かな音声の生成に挑戦してみてください。AI技術を活用した新しい形のコミュニケーションを楽しんでみましょう。

コメント

タイトルとURLをコピーしました