ClearVoice: AI音声処理ツールキットを試してみた

AI

はじめに

音声処理技術の発展により、ノイズ除去や音声分離などの高度な処理がより身近になってきました。今回は、オープンソースのAI音声処理ツールキット「ClearVoice」をGoogle Colabで実際に試してみたので、その手順と感想をまとめてみます。

また、これをSUNOで生成した音声を音声分離（Speech Separation）機能を使ってBGMとボーカルを分離する目的で使っていきます！

ClearVoiceとは

ClearVoiceは、ClearerVoice-Studioプロジェクトの一部として開発された音声処理ツールキットです。主な特徴は以下の通りです：

  • 音声強化（ノイズ除去）
  • 音声分離
  • 音声超解像度化
  • 目的話者抽出
  • 事前学習済みモデルによる高精度な処理

特に注目すべきは、FRCRNやMossFormerなど最先端の事前学習済みモデルが含まれており、すぐに実用的な結果が得られる点です。

Google Colabでの実行手順

1. リポジトリのクローン

まず、HuggingFace Spacesからリポジトリをクローンします：

!git clone https://huggingface.co/spaces/MakiAi/ClearVoice-cpu

2. ディレクトリの移動

クローンしたディレクトリに移動：

%cd /content/ClearVoice

3. 依存関係のインストール

必要なライブラリをインストール：

!pip install -r requirements.txt

4. アプリケーションの起動

最後にアプリケーションを起動：

!python app.py

実行時の注意点

リソースの要件

  • GPU使用が推奨（CPU版も利用可能）
  • メモリ使用量に注意が必要
  • 処理時間は音声ファイルのサイズに依存

対応フォーマット

ClearVoiceは多様な音声フォーマットに対応しています：

  • wav, aac, ac3, aiff, flac, m4a, mp3, ogg, opus, wma, webm など
  • モノラル・ステレオ両対応
  • 16ビット・32ビット精度対応

利用可能な機能

1. 音声強化（Speech Enhancement）

ノイズを含む音声から、クリアな音声を抽出する機能です。日常的な環境音やマイクノイズの除去に効果的です。

2. 音声分離（Speech Separation）

複数の話者が同時に話している音声から、個別の話者の音声を分離する機能です。

3. 音声超解像度化（Speech Super-Resolution）

低解像度の音声（16kHz）を高解像度（48kHz）にアップスケールし、音質を向上させる機能です。

4. 目的話者抽出（Target Speaker Extraction）

  • 参照音声による話者抽出
  • 顔（唇）映像による音声・視覚的話者抽出
  • ボディジェスチャーによる抽出
  • EEG信号による神経制御抽出

活用事例

  • 会議録音の音質改善
  • ポッドキャストの音声処理
  • 音声アシスタントの前処理
  • 研究・開発での音声データ前処理

まとめ

ClearVoiceは、複雑な音声処理を簡単に実行できる優れたツールキットです。事前学習済みモデルにより、専門知識がなくても高品質な音声処理が可能になります。

Google Colabでの実行も簡単で、4つのコマンドだけで環境構築から実行まで完了します。音声処理に興味がある方や、実際のプロジェクトで音声品質の改善が必要な方には、ぜひ試していただきたいツールです。

リンク

📒ノートブック

Google Colab
colab.research.google.com

コメント

タイトルとURLをコピーしました