51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

AdvancedLivePortrait:LivePortrait提升版,ComfyUI实现视频中添加面部表情

AdvancedLivePortrait:LivePortrait提升版,ComfyUI实现视频中添加面部表情


AdvancedLivePortrait简介

在之前的文章中已经介绍过LivePortrait ,这是一款来自国内大厂快手开源的高效的肖像动画生成框架 。LivePortrait是一款肖像动画框架,采用单张图像作为输入参考图像在结合输入参考视频,既可合成逼真视频,驱动输入图像的嘴型和眼部动作。具有更好的泛化能力、可控性和实用性的效率,扩展了训练数据至约6900万高质量帧 ,采用了混合图像-视频训练策略,升级了网络架构,并设计了更好的运动转换和优化目标

今天的文章的主题AdvancedLivePortrait 则是LivePortrait的提升版 ,能够用于通过自定义工作流,实现在视频中添加面部表情的工具AdvancedLivePortrait 是一个基于ComfyUI 的扩展工具,可以将静态图像转换为具有动态面部表情的视频

AdvancedLivePortrait:https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait

更多详情参加之前文章:LivePortrait让你的照片动起来,合成逼真眼部和嘴型表情动作视频

AdvancedLivePortrait体验

ComfyUI安装

ComfyUI的最新版本,同时通过git安装对应AdvancedLivePortrait插件并重启即可。插件地址为:https://github.com/chflame163/ComfyUI-AdvancedLivePortrait.git 。

如遇见启动:FileNotFoundError: [Errno 2] No such file or directory: 'XXX/ComfyUI/models/ultralytics/face_yolov8n.pt',需要手动下载face_yolov8n.pt ,并放置目录**/ComfyUI/models/ultralytics/face_yolov8n.pt** 。下载地址为:https://huggingface.co/Bingsu/adetailer/blob/main/face_yolov8n.pt 。

工作流界面

该工作流已发布到LIBLIBAI 上可自由下载使用。

• 量化8位flux-schnell_fp8_unet_vae_clip:https://www.liblib.art/modelinfo/f1c25dc39fb240909828f9177929dd79

• 量化8位flux-schnell_fp8_unet:https://www.liblib.art/modelinfo/b2eb1d9667af434ab1fce036b2afc7f3

• AdvancedLivePortrait工作流地址:https://www.liblib.art/modelinfo/4e5daf0cf50542199e5bd3b5174b168e

• Flux工作流地址:(包含文生图、图生图、反推提示一键切换)https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8


AdvancedLivePortrait工作流 :(一共涉及2个工作流可使用)

• 工作流-1下载地址:

https://www.liblib.art/modelinfo/168cd65c82154a69863f1433dd287f7f

• 工作流-2下载地址:

https://www.liblib.art/modelinfo/4b1bafc69582448eb13404d9cd1ed5ea



下载模型目录**\ComfyUI_windows_portable\ComfyUI\models\liveportait** 下(如果首次使用则需要新建liveportait目录)。下载地址:

https://drive.google.com/drive/folders/1UtKgzKjFAOmZkhNK-OYT0caJ_w2XAnib(仅下载liveportait 目录)。

01. 文生图

chinese girl, 20-old-years, Presented a fantasy fluorescent scene, like a dream of ancient Chinese beauty, lying posture, bed, mosquito net, hazy, best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper

02. 表情驱动-案例1

输出视频效果:

03. 表情驱动-案例2

输出视频效果:

更多推荐文章:

[ComfyUI]收缩模型UNET:突破SD模型尺寸限制,直出任意长款比例高清分辨率图像

FLUX Pro:Flux最强闭源模型,无需4090在线即可享受超强美学艺术创作,任意无限比例直出

FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏

FLUX12B震撼发布:SD创始团队黑马出手,直出完美手指,23G迄今最大开源文生图模型

可图Kolors生态繁荣里程碑:专属ControlNet与Inpainting模型新成员,可控性灵魂组件

Florence2:使用LLM助力你的AI绘图,仅需一个模型搞定提示反推&对象检查&蒙版识别&文字识别&咨询建议多功能一体

腾讯混元DiT1.2:惊艳视觉美感国产中文大模型,ComfyUI最新已支持与操作指南

ControlNetPlusProMax来袭:SDXL可控性灵魂CN组件再升级,多合一组件再添新功能

SimpleSDXL:强烈推荐,Fooocus+ComfyUI扩展,XL混元SD3一体,打光&中文提示&蒙版抠图

[ComfyUI]收缩模型UNET:突破SD模型尺寸限制,直出任意长款比例高清分辨率图像

LivePortrait让你的照片动起来,合成逼真眼部和嘴型表情动作视频

赞(5)
未经允许不得转载:工具盒子 » AdvancedLivePortrait:LivePortrait提升版,ComfyUI实现视频中添加面部表情