随着AI绘画越来越多的进入普罗大众的视野，越来越多的AI绘画工具也被大家所熟知。MJ，SD，DELL-E3等不胜枚举，其中SD的上手难度一直被大家所诟病。其实各个工具都有各自的优势，都能掌握的话不用多说必然会成为强者。但是我的定论很明确，能创造艺术和奇迹的最终还是SD，让我能如此笃定的原因就是来自于Lora。
为了让这篇文章更能被入门学者理解和吸收还是需要做一下科普。Lora模型是微软开发的一种微调模型技术，其实各个AI绘图工具的底层模型中都有使用Lora技术去做优化，但是唯独SD将Lora技术开源，把模型微调的权利交到了大众手中。因此现在才会涌现那么多的模型训练师，才成就了诸如C站，Liblib等一众模型分享平台。
前言就此结束，接下来就是带领大家的悟道时间，我会尽量用最容易理解的方式去诠释我的道，去破解那些SD中那些令人无法寸进的难点，那些所谓的玄学。
我一直说SD是一个下限极低上限又极高的绘画工具，初学者通常上手画出来的作品都无法直视，因此SD劝退了非常多的AI绘画爱好者。MJ和Dell-E3，他们都是成熟的画师，不会把失败的作品展现在你面前，最多就是不够听话，因此他们迭代的方向是越来越听话。SD不同，他是个极赋绘画热情和绘画天赋的孩子。你刚上手使用的时候他一定是个孩子，然后一同成长成为画师，并且超越画师，你要相信他真的很聪明也很听话。所以如何和这个孩子和平共处就需要讲究平衡，”平衡”这个词也是我指导别人使用SD时最多提到的词。
1.大模型和Lora模型权重之间的平衡。
Lora训练最优先考虑的是拟合性，所谓拟合性就是在搭配大模型出图时两者结合可以得到优质的画面（原理太过干涩不多赘述）。训练过程中拟合曲线就是一条抛物线，只会经历一次欠拟合到拟合再到过拟合的过程。所以评价一个Lora模型的好坏，最根本的就是看它的拟合区间（权重范围），能搭配越多大模型，权重调整区间越大就是越好用的Lora模型。出图也是一样，找到符合你绘画目标的大模型和Lora，找到两者之间的平衡（一般Lora作者都会说明适配的大模型及最佳的权重范围），在此基础上通过提示词和插件去添加自己想要的图片内容，做到这一步了恭喜你，你会发现那些说SD是垃圾的人才是垃圾。
2.提示词之间的平衡
提示词之间还需要平衡？是的，不信的话你堆一堆形容光线的提示词出图试试。提示词之间大多数是增益关系，但不免也会产生冲突。当你使用了大模型叠加一个Lora甚至多个Lora出图时，这个平衡就更为重要。提示词之间的顺序和权重关系都会直接影响到出图的效果。原理其实也很简单，有些画面元素是大模型的tag提供的，有些元素是Lora的tag提供的。你想孩子又要妈妈的美貌又要有爸爸的智慧，但是两者又不能全要时，你当然要分清孰轻孰重，这样才能得到你最满意的样子。
3.controlnet控制的平衡
AI是富有想象力和创造力的，而controlnet是一个牢笼负责控制出图的构图,姿态和效果，有对抗就需要找平衡。调整controlnet的权重，介入时机和终止时机就是调整两者之间的平衡。此时你会发现SD是一个既有想象力又听话的孩子，他已经不止会画画了，还能帮你完成各种各样的任务了。
其实能看到这里 你已经是一个成功的AI绘画师了，AI绘画在SD中已经没有玄学了。接下来进阶的部分来了，炼丹…
炼丹就是训练Lora模型，踏入丹门深似海，这也是SD的无穷魅力所在。在我眼里Lora是万能的，可以解决很多大模型中语义理解的问题，解决部分细节调整的问题，解决风格扩展的问题，解决垂直商业落地的问题，也是SD通往艺术高度的大门。
有所追求的Lora模型训练师有很多，一些Lora模型师会通过一遍遍的出图优化训练集进行训练，最终达到想要的效果。不过也会有很多Lora模型师随意而为想到什么就动手。当然这里也不能说孰对孰错，训练目标决定训练方法。但是有一点是肯定的，那就是训练集的选择需要想想力的辅助，就像我的训练集内容可不是一般人能想明白的，无法细述，你问我只能告诉你凭感觉。万事万物都讲平衡，炼丹的平衡之道就更是深妙，我至今还不能确定我自己够不够资格写个人观点和教程。深怕和一些博主一样，以为自己是在做知识推广但实际上却阻碍了更多的想象力和可能性。
再来说打Tag。在市面上有各种各样的教学视频教大家炼丹，有说tag要越详细越好的，也有说要把想要的目标特征tag删除的，还有直接把tag全都删除只保留触发词的。在我看来他们都对，打tag没有唯一标准，只是他们的训练目标不一样罢了。奥义还是那个词-----平衡。tag的作用就是告诉AI你的训练集图像里是什么内容，当你描述不全时其他的特征都会被训练到你的触发词中去（所以有些lora没有触发词，我只能说作者牛人，臣妾做不到）。这时候就发挥你想象力的时候了，你要明确知道你的训练目标是什么，是实体，是特征还是风格，对应的tag打标方式也就会有所不同，去寻求那种语义间的平衡。
炼丹没有玄学，在我眼里只要掌握了基本的炼丹原理和技巧，没有一颗丹会是废丹，也许其中的某一个tag可以发挥你想象不到的效果。同样的如果你能融会贯通，在此之上发挥想象，尽可能地提升Lora的拟合性和泛化性，在此之间找到平衡，炼出神丹打开SD的边界，打开垂直应用市场，甚至于打开艺术的大门也不是没有可能。
我总说一句话，艺术没有终点，AI亦是如此。随着技术和算力的不断迭代，未来的AI绘画以及AI视频会走向何方？无人能知，无人能答，我们只有带着好奇心和进取心不断的去探索，去寻求答案。
