はじめに
Hallo2は、音声入力に基づいて長時間かつ高解像度のポートレート画像アニメーションを生成できる最新のAI技術です。この記事では、Hallo2モデルをダウンロードし、Dockerを使って環境を構築し、実際に動かす方法を詳しく解説します。
AIリップシンク：hallo2
さっそくオリジナルの画像と音楽でやってみた！
結構良いのでは！！！
---
画像：DALL
音楽：Udio https://t.co/W7ttXDU3Rt pic.twitter.com/QMaxuYiKQY— Maki@Sunwood AI Labs. (@hAru_mAki_ch) October 19, 2024
Hallo2モデルのダウンロード
Hallo2モデルは複数の事前学習済みモデルで構成されています。以下のGit LFSコマンドを使用して、必要なモデルファイルをダウンロードします。
# audio_separator
git lfs pull --include="audio_separator/Kim_Vocal_2.onnx"
# CodeFormer
git lfs pull --include="CodeFormer/codeformer.pth"
git lfs pull --include="CodeFormer/vqgan_code1024.pth"
# face_analysis
git lfs pull --include="face_analysis/models/face_landmarker_v2_with_blendshapes.task"
git lfs pull --include="face_analysis/models/1k3d68.onnx"
git lfs pull --include="face_analysis/models/2d106det.onnx"
git lfs pull --include="face_analysis/models/genderage.onnx"
git lfs pull --include="face_analysis/models/glintr100.onnx"
git lfs pull --include="face_analysis/models/scrfd_10g_bnkps.onnx"
# facelib
git lfs pull --include="facelib/detection_mobilenet0.25_Final.pth"
git lfs pull --include="facelib/detection_Resnet50_Final.pth"
git lfs pull --include="facelib/parsing_parsenet.pth"
git lfs pull --include="facelib/yolov5l-face.pth"
git lfs pull --include="facelib/yolov5n-face.pth"
# hallo2
git lfs pull --include="hallo2/net_g.pth"
git lfs pull --include="hallo2/net.pth"
# motion_module
git lfs pull --include="motion_module/mm_sd_v15_v2.ckpt"
# realesrgan
git lfs pull --include="realesrgan/RealESRGAN_x2plus.pth"
# sd-vae-ft-mse
git lfs pull --include="sd-vae-ft-mse/diffusion_pytorch_model.safetensors"
# stable-diffusion-v1-5
git lfs pull --include="stable-diffusion-v1-5/unet/diffusion_pytorch_model.safetensors"
# wav2vec
git lfs pull --include="wav2vec/wav2vec2-base-960h/model.safetensors"
これらのコマンドを実行すると、Hallo2の動作に必要な全てのモデルファイルがダウンロードされます。
Dockerを使った環境構築
Hallo2を簡単に実行するために、Dockerを使用して環境を構築します。以下のDockerfileとdocker-compose.ymlファイルを使用します。
Dockerfile
FROM pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime
WORKDIR /app
# システムの依存関係をインストール
RUN apt-get update && apt-get install -y \
git \
libgl1-mesa-glx \
libglib2.0-0 \
build-essential \
libsm6 \
libxext6 \
libxrender-dev \
&& rm -rf /var/lib/apt/lists/*
# condaを使用してffmpegとx264をインストール
RUN conda install -y conda=24.9.2
RUN conda install -y -c conda-forge ffmpeg x264
# pipとsetuptoolsを更新
RUN pip install --no-cache-dir --upgrade pip setuptools wheel
# Pythonの依存関係をインストール
COPY requirements_cu12.txt .
RUN pip install --no-cache-dir -r requirements_cu12.txt
RUN pip install opencv-python opencv-contrib-python
RUN pip install --upgrade huggingface_hub diffusers opencv-python
# OpenCV-Pythonをヘッドレスバージョンで再インストール
RUN pip uninstall -y opencv-python && pip install --no-cache-dir opencv-python-headless
# プロジェクトファイルをコピー
COPY . .
docker-compose.yml
version: '3.8'
services:
hallo2:
build:
context: .
dockerfile: Dockerfile.cu12
volumes:
- .:/app
tty: true
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
これらのファイルを使用して、以下のコマンドでDockerイメージをビルドし、コンテナを起動します。
docker-compose up -d --build
Hallo2の実行方法
Hallo2を実行するには、以下のコマンドを使用します。
docker-compose exec hallo2 python scripts/inference_long.py --config ./configs/inference/long.yaml
このコマンドは、long.yaml設定ファイルを使用してHallo2の推論を実行します。必要に応じて、設定ファイルのパラメータを調整してください。
トラブルシューティング
- GPUが認識されない場合は、NVIDIA Dockerがインストールされていることを確認してください。
- メモリ不足エラーが発生した場合は、バッチサイズを小さくするか、より大きなメモリを持つGPUを使用してください。
- モデルファイルのダウンロードに失敗した場合は、Git LFSが正しくインストールされていることを確認し、再度ダウンロードを試みてください。
まとめ
この記事では、Hallo2モデルをダウンロードし、Dockerを使って環境を構築し、実際に動かす方法を詳しく解説しました。Hallo2を使用することで、音声入力に基づいた長時間かつ高解像度のポートレート画像アニメーションを簡単に作成できます。この技術は、バーチャルYouTuberやデジタルアバター、教育コンテンツなど、様々な分野での応用が期待されています。
Hallo2の詳細な使用方法や最新の情報については、公式のGitHubリポジトリを参照してください。
Hallo2を使って、革新的なビジュアルコンテンツを作成しましょう！
コメント