51工具盒子Vach 核心功能
-
支持文本/语音交互（✅）
-
支持 SyncTalk^[2]^ 项目（✅）
-
声音克隆（开发中）
-
直播间业务（开发中）
-
展示屏互动（开发中）
Vach 快速上手
1.克隆项目
git clonehttps://github.com/Hujiazeng/Vach.git
cd Vach
2.安装项目依赖
conda create -n Vach python==3.10
conda activate Vach
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
pip install -r requirements.txt
pip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu113_pyt1121/download.html
# Note the following modules. If installation is unsuccessful, you can navigate to the path and use pip install . or python setup.py install to compile and install.
# NeRF/freqencoder
# NeRF/gridencoder
# NeRF/raymarching
# NeRF/shencoder
3.下载数字人模型文件
从模型地址^[3]^下载预训练模型，也可以替换成自己训练的模型^[4]^。
模型地址： https://github.com/Hujiazeng/Vach/releases/tag/ckpt
模型文件目录结构：
.
├── data
│ ├── obama(user-defined)
│ ├── transforms_train.json
│ ├── au.csv
│ ├── ngp_kf.pth
│ ├── template.npy(首次运行自动生成)
│ ├── torso_imgs(仅全身推理时使用)
│ ├── fullbody_imgs(仅全身推理时使用)
4.启动项目
python app.py
若要开启麦克风监听功能，则需要添加 --mike 参数：
python app.py --mike
如果您不能正常访问 huggingface，则需要在运行前配置镜像地址：
export HF_ENDPOINT=https://hf-mirror.com
5.访问项目
当项目成功启动之后，您可以在浏览器中打开 http://127.0.0.1:8010/webrtc.html 地址，来访问该项目。在建立连接后，你就可以在文本框提交任何文字。
https://github.com/Hujiazeng/Vach
