V-Express 和MusePose,近期两个爆火的数字人开源项目,赶紧来玩一玩
在以往的说话人生成项目中,音频信号条件较弱,通常会被面部姿势和参考图像等更强的型号所掩盖,然而,弱信号直接训练会导致收敛困难。 V-Express方法通过渐进式训练和条件退出操作来平衡不同的控制信号,逐渐实现弱条件的有效控制,从而实现同时考虑面部姿态、参考图像和音频的生成能力。
在以往的说话人生成项目中,音频信号条件较弱,通常会被面部姿势和参考图像等更强的型号所掩盖,然而,弱信号直接训练会导致收敛困难。 V-Express方法通过渐进式训练和条件退出操作来平衡不同的控制信号,逐渐实现弱条件的有效控制,从而实现同时考虑面部姿态、参考图像和音频的生成能力。