AdvancedLivePortrait:LivePortrait提升版,ComfyUI实现视频中添加面部表情
AdvancedLivePortrait简介
在之前的文章中已经介绍过LivePortrait ,这是一款来自国内大厂快手开源的高效的肖像动画生成框架 。LivePortrait是一款肖像动画框架,采用单张图像作为输入参考图像在结合输入参考视频,既可合成逼真视频,驱动输入图像的嘴型和眼部动作。具有更好的泛化能力、可控性和实用性的效率,扩展了训练数据至约6900万高质量帧 ,采用了混合图像-视频训练策略,升级了网络架构,并设计了更好的运动转换和优化目标。
今天的文章的主题AdvancedLivePortrait 则是LivePortrait的提升版 ,能够用于通过自定义工作流,实现在视频中添加面部表情的工具 。AdvancedLivePortrait 是一个基于ComfyUI 的扩展工具,可以将静态图像转换为具有动态面部表情的视频。
AdvancedLivePortrait:https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait
更多详情参加之前文章:LivePortrait让你的照片动起来,合成逼真眼部和嘴型表情动作视频
AdvancedLivePortrait体验
ComfyUI安装
ComfyUI的最新版本,同时通过git安装对应AdvancedLivePortrait插件并重启即可。插件地址为:https://github.com/chflame163/ComfyUI-AdvancedLivePortrait.git 。
如遇见启动:FileNotFoundError: [Errno 2] No such file or directory: 'XXX/ComfyUI/models/ultralytics/face_yolov8n.pt',需要手动下载face_yolov8n.pt ,并放置目录**/ComfyUI/models/ultralytics/face_yolov8n.pt** 。下载地址为:https://huggingface.co/Bingsu/adetailer/blob/main/face_yolov8n.pt 。
工作流界面
该工作流已发布到LIBLIBAI 上可自由下载使用。
• 量化8位flux-schnell_fp8_unet_vae_clip:https://www.liblib.art/modelinfo/f1c25dc39fb240909828f9177929dd79
• 量化8位flux-schnell_fp8_unet:https://www.liblib.art/modelinfo/b2eb1d9667af434ab1fce036b2afc7f3
• AdvancedLivePortrait工作流地址:https://www.liblib.art/modelinfo/4e5daf0cf50542199e5bd3b5174b168e
• Flux工作流地址:(包含文生图、图生图、反推提示一键切换)https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
AdvancedLivePortrait工作流 :(一共涉及2个工作流可使用)
• 工作流-1下载地址:
https://www.liblib.art/modelinfo/168cd65c82154a69863f1433dd287f7f
• 工作流-2下载地址:
https://www.liblib.art/modelinfo/4b1bafc69582448eb13404d9cd1ed5ea
下载模型目录**\ComfyUI_windows_portable\ComfyUI\models\liveportait** 下(如果首次使用则需要新建liveportait目录)。下载地址:
https://drive.google.com/drive/folders/1UtKgzKjFAOmZkhNK-OYT0caJ_w2XAnib(仅下载liveportait 目录)。
01. 文生图
chinese girl, 20-old-years, Presented a fantasy fluorescent scene, like a dream of ancient Chinese beauty, lying posture, bed, mosquito net, hazy, best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper
02. 表情驱动-案例1
输出视频效果:
03. 表情驱动-案例2
输出视频效果:
更多推荐文章:
•[ComfyUI]收缩模型UNET:突破SD模型尺寸限制,直出任意长款比例高清分辨率图像
•FLUX Pro:Flux最强闭源模型,无需4090在线即可享受超强美学艺术创作,任意无限比例直出
•FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
•FLUX12B震撼发布:SD创始团队黑马出手,直出完美手指,23G迄今最大开源文生图模型
•可图Kolors生态繁荣里程碑:专属ControlNet与Inpainting模型新成员,可控性灵魂组件
•Florence2:使用LLM助力你的AI绘图,仅需一个模型搞定提示反推&对象检查&蒙版识别&文字识别&咨询建议多功能一体
•腾讯混元DiT1.2:惊艳视觉美感国产中文大模型,ComfyUI最新已支持与操作指南
•ControlNetPlusProMax来袭:SDXL可控性灵魂CN组件再升级,多合一组件再添新功能
•SimpleSDXL:强烈推荐,Fooocus+ComfyUI扩展,XL混元SD3一体,打光&中文提示&蒙版抠图