等风来不如追风去,学习搭建comfyui,SDXL工作流学习笔记!

等风来不如追风去,学习搭建comfyui,SDXL工作流学习笔记!

首页角色扮演风之世界更新时间:2024-05-11

道虽迩,不行不至。事虽小,不为不成!今天继续学习记忆如何在comfyui搭建xl工作流!要学习SDXL工作流的搭建必须弄清楚SDXL图像的生成模式,直接上官网给的原理图!

如图所示SDXL生成图像的原理由提示词道Base模型,到潜空间在再到refiner修复模型在通过VAE还原到像素空间,以上是我个人的理解不对的地方请有缘看到的各位大佬给予指正!

所以就意味着,comfyui工作流要有一个base模型,一个refiner模型,一组base模型对应的clip text incode(两组正反向提示词),有两个ksampler两组采样器,一组对应base生成部分,一组对应refiner修复部分,同样的需要两组vae decode(解码器),最后导入图像生成模式preview或者save同样是两组,一组对应base生成一组对应refiner生成!其中原理其实原理和stable diffusion上一模一样的!

这个是搭建好的SDXL工作流,下面再说搭建中的一些注意事项和我自认为的一些搭建逻辑供参考指正!主要分两步!

先构建一个base的文生图工作流

但是这里的Ksampler(采样器)用andvanced高级的,用高级是因为高级采样器有return with leftover noise(继续去除剩余的噪点,自己理解可能不对哦)!

也就是这里的steps是总数假如我选择20,在这个采样器里可以设置start at steps为零,end an steps为15这样可以把剩余的5个去噪步步数return with leftover noise到下一个采样器!

第二步部署refiner修复工作流

第一步建立采样器,采样器advanced sampler,如图可以发现上一个采样器的latent连接着latent image,也就是说从latent这里连接第二个采样器!

所以我个人认为图像生成的逻辑是:1.empty latent image(一个设定尺寸的空的潜在空间)➡️2.latent 经过采样迭代的潜在空间➡️latent image在已经迭代过的潜在空间继续迭代,最后由VAE DECODE解码到像素空间!

然后按闻生图基本流程搭建就可以完成SDXL的工作流了,这里值得注意的是第一个采样器中的return with leftover noise这个按钮一定要设置到enable不然图像传不到下一个sampler中,最后生出的图片两个模型各不相干!

这个我是我昨天测试的错误案例,就是忘了开enable开关了,这相当于base模型,和refiner模型,分别用20步和10步在同样提示词的情况下生出了两张图片,所以第一张貌似好一定,因为步数多,但是没有经过refiner模型的修复也是残次品!

所以这个时候你再对比刚开始SDXL的原理图,你就能明白为什么是这么搭建了!我看到这里思路马上变清晰,也突然发现comfyUI比webui更可视化,更好理解,更有操作性!

按以上方法搭建完流程之后,你会发现这个SDXL工作流里有很多相同的参数例如:相同的提示词,相同的总迭代步数,第一个采样器的结束步数就是第二个采样器的开始步数,相同的噪声种子,所以这里你可以借助utils(使用工具)菜单中的primitive原始组件将两个相同的参数合并到一起并与他链接!

这里不用纠结primitive为吗是原始组件,当我看到下面这幅图后我悟了,请看connect to widget input链接到小组件输入!你可以把他理解为他就是一个把相同参数的节点放置到一起!

组件有了怎么导入呢?例如把相同的提示输入到这个小组件里就可以点击右键clip text incode选择convert text to input意思就是说把文本组件转化输入到primitiv工具中!最后连接即可!

写到这里我测试了一下,理解之后不到1分钟就可以徒手搭建一个SDXL工作流了,最后说一句学习并总结出来真的是一件由意义的事情!最后放几张用SDXL生成的图作为结尾吧!

最后这张图我想起来堂吉诃德,想起一句话,世界上没有侥幸的事情,世事无论好坏,都不是偶然,命运各人,自己造!听说AI还在风口,我想接下来我要做的就是追风而去!

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved