51工具盒子FaceChain：一张图10秒多风格私人写真，魔搭开源创新身份保持人像生成框架
ModelScope更新了开源项目Facechain，最新版本Facecchain-Fact（Face Adapter with deCoupled Training）的新型身份保持框架，该框架 只需1张照片和10秒内，就可以生成多种人物风格私人写真。
FaceChain-FACT框架介绍
FaceChain-FACT是一个创新的框架，用于生成能够保持个人身份特征的人像，支持多种风格，并且与ControlNet和LoRAs模型无缝兼容。用户可以通过熟悉的WebUI界面轻松操作，生成个性化的写真人像。此外，FaceChain-FACT还具有文本到图像和基于Inpainting的流程，提供了高控制性和真实性。根据Github开源主页内容，能看到ModelScope团队有未来计划包括：开发全身人像生成、加速生成过程、支持更多风格，并提供更多有趣的应用。
FaceChain-FACT架构
对于以人为中心的个性化图像生成，基于适配器的方法通过在面部数据上进行文本到图像的训练来学习编码和对齐输入面部，实现了在推理过程中无需额外微调的身份保持个性化。尽管在效率和与输入面部的相似性方面有所提高，但与没有适配器的基础模型相比，生成面部的文本后续能力以及可控性和多样性通常会显著下降。
在FaceChain-FACT中：
-
• 研发团队采用执行基于身份引导的面部去噪，而不是面向面部的图像去噪，以进行解耦训练。
-
• 同时在自注意力块和交叉注意力块之间插入顺序面部适配器，在文本引导之前对潜在面部进行适应，通过面部适应增量正则化（FAIR）对潜在变量进行约束，从而避免面部条件与文本信息的干扰。
-
• 对于要进行去噪的图像，身份条件来自于通过面部洗牌得到的相同身份的面部图像，并通过基于Transformer的特征提取器提取。
FaceChain-FACT体验
ModelScope在魔搭平台提供了在线体验Demo：https://modelscope.cn/studios/CVstudio/FaceChain-FACT/summary/?st=1kaJXs79ZoaTprotmvuK8lQ。
同时也开源了代码可以自由部署体验：https://github.com/modelscope/facechain/tree/main/facechain_adapter
体验输入图像
01. 旗袍风
输入模板
输出效果
02. 藏族服饰风格
输入模板
输出效果
03.婚纱风格
输入模板
输出效果
04. T恤风格
输入模板
输出效果
05. 工作服
输入模板
输出效果
06. 汉服风
输入模板
输出效果
07. 校园风
输入模板
输出效果
08. 苗族风格
输入模板
输出效果
09. 多人模板写真-替换女主
输入模板
输出效果
10. 多人模板写真-替换女主
输入模板
输出效果
附录
-
• Github：https://github.com/modelscope/facechain/tree/main/facechain_adapter
-
• 在线体验：https://modelscope.cn/studios/CVstudio/FaceChain-FACT/summary/?st=10S9g1ZxX5Mb76ns1yB6Dxg
更多推荐文章：
•古往今来XL：时空穿梭东方古风之旅，中国古风元素与现代元素创意结合(附投票调查由你决定文章主题)
•[SD必备知识18]修图扩图AI神器：ComfyUI+Krita加速修手抽卡，告别低效抽卡还原光滑细腻双手，写真无需隐藏手势
•SD必备知识系列八：CN Scribble赋予用户精细控制权，让涂鸦草图焕发生命力
•[模型推荐]港风胶片XL模型：穿越回经典港风回忆，王家卫电影滤镜与霓虹色彩的融合模型
•筑梦工业|愿景蔚蓝XL模型：时尚与科技的完美结合，尖端科技穿戴，精美壁纸级别产品图
