Brushnet很多人号称是最强的局部重绘插件,最近又更新了一波,支持了更多功能,今天就带大家深度体验一下Brushnet插件。
0 1 Brushnet介绍
Brushnet除了可以局部重绘,目前还支持扩图以及删除指定元素,一个插件满足了很多功能,个人认为是必须掌握的一个插件。
先来看一下成果展示:
02 安装介绍
2.1 插件安装
插件官网:
https://github.com/nullquant/ComfyUI-BrushNet
节点管理器里面搜索 Brushnet即可
安装完后记得重启服务
2.2 模型安装
对应模型的话有6个,BrushNet的有4个,powerpaint有两个
模型下载好了,放到 models/inpaint路径下,结果如下图这样
random 和 segmentation 的功能都差不多,主要是训练集和处理掩码的方式不同。
segmentation 主要针对特定形状的图像分割,而 random 则更通用一些,可以针对各种形状的图像分割。
不带 sdxl 的模型只能针对 SD1.5 的模型,带 sdxl 的模型自然就是针对 SDXL 的模型啦!
另外,还要再下载个 model.fp16.safetensors 模型,放在 models/clip 目录下
模型网盘地址见文章底部。
03 流程使用
这里列一下Brushnet可以干的事情:
-
基础使用 SD 1.5和 SDXL
-
Controlnet、Lora、IPAdapter混合使用
-
混合修补
-
图片扩图
-
局部对象删除
-
添加背景
-
大图修复
-
图片批量处理
Brushnet使用起来也很方便
路径:内补 - BrushNet
3.1 基础使用 SD 1.5和 SDXL
完整工作流如下
核心节点是BrushNet,然后BrushNet加载器选择SD 1.5或者SDXL的模型即可。
案例中可以看到,我们通过遮罩,替换了菠萝,改成瓶子了,效果还是很不错的。
BrushNet节点参数属性说明:
模型:连接大模型
VAE:连接vae
图像:连接初始图片
遮罩:连接遮罩,这样就只重绘遮罩范围
brushnet:选择模型,有4种
正面条件:正面提示词
负面条件:负面提示词
缩放:BrushNet 的"强度",默认是 1,越大,BrushNet 对最终出图的影响也就越大;越小就影响越小。
开始引导步数:就是从哪一步开始影响图片的生成。
结束引导步数:就是从哪一步结束影响图片的生成。
3.2 Controlnet、Lora、IPAdapter混合使用
目前BrushNet也支持Controlnet、Lora、IPAdapter这些插件的混合使用,功能更强了这样
下面是完整工作流:
上面这个工作流是包含了Lora、Controlnet、IPAdapter三个功能的,可以根据自己需求关闭某个分组。
下面是对比图
只使用lora
使用lora、controlent
使用Lora、Controlnet、IPAdapter
可以很明显的看到,他们之前的差异。
3.3 混合修补
有时推理和 VAE 会破坏图像,因此您需要将修复图像与原始工作流程混合。您可以在第一张图像中看到修复后模糊和损坏的文本以及我想如何修复它。
可以看到,局部重绘后第一张图,里面有一些细节发生了变化,这时候使用混合局部重绘功能,把原图和生成图以及遮罩一起传入,很多细节地方得到修复,非常棒的一个功能。
下面是对比图,第一张是原图,第二张是首次生成的图,可以看到数字变模糊了,第三张是使用了混合局部重绘后的图,可以发现数字又变清晰了。
3.4 图片扩图
扩图的话要用到PowerPaint这个节点
PowerPaint是一个多功能图像修复模型
下面是对应的官网
https://github.com/open-mmlab/PowerPaint
完整工作流如下
核心是PoderPaint组件
测试数据:
3.5 局部对象删除
这里还是要用到PowerPaint这个节点
完整工作流如下:
PowerPaint参数说明
模式这里可以选择 objecet removal 这个,就是用来删除局部对象用的。
如果发现很难删除的话,官方建议把要删除的物体描述在负面提示词里面,正面提示词里面使用 empty scene blur空场景。这样有助于删除物体。
效果展示:
3.6 添加背景
先来完整工作流
添加背景这个工作流其实也很简单,
1:使用语义分割提取出来人物,然后遮罩反转
2:使用BrushNet来重绘遮罩区域,也就是背景
3:通过二次采样,然后人物和背景更加融合
4:SD放大让图像更加高清
3.8 大图修复
有时候原始图片太大了,整个图去放进去修复太慢,这时候我们可以只针对局部采裁剪的区域去做修复。
这里就要用到局部重绘裁剪处理节点
结点长这样:
参数也很简单,图片和遮罩传入就行,然后传给BrushNet即可。
宽高记得要覆盖遮罩的宽高,如果不对的话就会报错,就要重新去调整宽度和高度。
这样第一次执行出的图是裁剪后的图,这时候还要贴回去,这里就继续用到混合局部重绘这个节点了
图像、遮罩、origin分别对应后者的 original、遮罩、origin即可。
下面是完整工作流如下:
下面是一些效果对比图,一个是衣服重绘,一个是头发重绘
3.9 图片批量处理
这个也简单,把加载单张图片改成加载图片路径,就可以同时处理多个图片了,像这里就是同时生成多张看效果。
04 总结
以上就是Brushnet插件的使用了,感觉可以替换以前用的一些插件了,不管是换人、换背景、删除东西、Brushnet都能搞定,太强了,大家快学起来。
工作流和模型全部都打包好了,想要的去后台获取吧。