51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

DeepFaceLab AMP模型的训练和应用

今天直入主题,主要讲一讲如何训练AMP模型以及如何应用到DeepFaceLive之中。{#cke_bm_1382S}

模型的训练

训练主要可以分两种方式:常规训练和复用训练

常规训练

常规训练流程如下:

这个流程就是我们之前讲的常规流程,只是训练的模型换成了AMP,并且还少了一些步骤。因为最终我们将要应用到DeepFaceLive中,所以常规流程中的应用模型和合成视频就不需要了。

这种训练方式就单次应用来说会省很多时间。但是如果需要训练不同的对象,那么每次重新开始就会比较费时间。 所以从长期使用的角度来说,使用复用训练会更好。大量素材训练的复用模型合成效果也会比较好。

复用训练

复用训练流程如下:

这个流程的操作思路是先对大量人脸进行训练,然后再训练具体的人。为了实现这个操作需要如下步骤。

  1. 将软件自带RTM WF faceset数据集放到源目录的aligned下面。

  2. 点击" 6) 训练AMP模型 源对源 train AMP SRC-SRC.bat " 开始训练,训练个几百万次。

  3. 删除模型文件夹中的_AMP_inter_dst.npy文件

  4. 然后按执行上图中的2-8步骤。

注意和常规步骤相比,这里多了Xseg泛型和SRC-SRC的处理。应用Xseg泛型是为了使用默认的遮罩模型给src和dst应用遮罩,SRC-SRC是给模型打基础。

模型的应用

训练的差不多了,就可以使用这个模型了。训练的环节主要由DeepFaceLab完成,而应用主要是在DeepFaceLive上。DeepFaceLive可以笼统的称为直播换脸软件,本质上这个软件只是实现了实时换脸的功能,真正直播推流还需要其他软件配合。所以说这个Live理解为实时比较合适。DeepFaceLive我们可以称之为实时换脸软件。

模型的应用可以分为两部分:导出和导入。

模型导出

导出的过程其实就做了tf2onnx的转换,具体操作是:

  1. 先点击 6) 导出AMP模型 export AMP as dfm.bat 批处理文件

  2. 选择需要导出的模型,回车,回车,等待片刻。

  1. 找到模型

成功导出的模型,放在model文件夹下面,后缀为.dfm 。

模型导入

导入模型也非常简,就是拷贝"amp_AMP_model.dfm" 文件到DeepFaceLive相应的文件夹即可。

具体路径为:DeepFaceLive\userdata\dfm_models

模型导入成功之后就可以启用实时换脸软件了

软件启动,稍作设置就是这个样子了。

这是使用软件自带的模型的效果,使用我们自己训练的模型,只需要修改Face Swapper 下面的Model即可。

DeepFaceLive已经是高度集成的可视化软件了,操作基本没啥难度,所以功夫主要还是在DeepFaceLab这一边。

下一篇介绍一下DeepFaceLive的具体操作。

文中提到的复用模型,我的素材和遮罩已经优化完了,训练到200万后会放到tonyhub中,因为素材比较多200万只是起步,我会继续练,继续更新。大家也可以自己在公共素材的基础上去优化,然后慢慢训练。

赞(12)
未经允许不得转载:工具盒子 » DeepFaceLab AMP模型的训练和应用