每天一个AI姬,以飨关注者
找不到合适的风格模版?
在AI绘画中,作为本地部署Stable Diffusion 的用户,我们常常会遇到一个困局,那就是永远都缺少一个最合适的风格模版。即便AI绘画程序是开源的,但仅靠拿来主义,是无法满足人民群众日益增长的物质文化需求的。
所以,魔法炼丹也就成了每个AI绘画研究者及爱好者的必修课。
虽然在Web UI中,已经内置了训练Embedding和Hypernetwork的功能,但它们基本上就是一份基于人脸特征或局部特征的采样数据,而无法建立一种画风,或是描绘一种场景。
如果我们既希望建立某种画风,又希望描绘一些场景,甚至还包括多人的脸部特征,那么我们就需要一种更强大的风格模版,也就是Lora。
LoRA,英文全称 Low-Rank Adaptation of Large Language Models,意思是大语言模型的低阶适应组件,它原本是微软为了解决大语言模型参数微调而开发的一项技术。
就目前而言,训练Lora,还是非常简单的,大致可分为三步:
第一步、在硬盘中新建目录,然后在此目录的地址栏中输入C M D,然后输入以下命令:
git clone https://github.com/bmaltais/kohya_ss
命令执行之后,kohya_ss文件包就会自动安装在我们的目录中。
第二步,继续在刚才的C M D中输入以下命令:
cd kohya_ss
setup.bat
然后kohya_ss就会开始自动安装了。在安装过程中会自动下载很多环境辅助文件,并且可能还会问你是否要删除系统中旧版本的python?选No即可,这样,kohya_ss就会自动再生成一个虚拟环境,互不影响。
其它还有几个选项,都选默认即可,除非你有多张显卡并用。
第三步,安装完成之后,继续在刚才的CMD中输入以下命令:
gui.bat --listen 127.0.0.1 --server_port 7860 --inbrowser --share
即可启动kohya_ss的浏览器图形界面。
进入图形界面,基本上就一目了然了,并不需要过多的说明,训练Lora的一切参数设置都以默认值即可。RTX30系和RTX40系显卡,可以适当优化,具体可以搜索一下kohya_ss的设置详解。
最后,有一个大坑一定要特别注意防范,那就是——训练Lora用的图片文件夹必须要以数字开头,而这个数字就代表了我们需要AI对每张图片训练多少次。
如果是100_xxx这样的命名方式,则代表着每张图片将被训练100次。
一般来说几十张张图片,每张训练100次,也就是半个多小时的事。
需要提醒一下的是,如果我们只是想训练一个真人的人脸模型,那么大可不必训练Lora;因为AI在训练Lora时,能捕捉到的细节非常多,不仅会保留人脸的信息,还会保留衣物及环境的信息,所以有时候反而会太过真实,会失去很多变化与融合的余地,还不如训练和使用Embedding和Hypernetwork来得灵活方便。
所以,想要训练出一个优秀的Lora,还必须要对图片素材进行深加工,选材也得考虑周到,比如最基本的日间与夜间的光照变化,纯色背景,虚化背景,写实背景,人物的正面与侧面,近景,中景,远景,全身,半身,面部特写,各种造型,都必须要有,否则,训练出来的Lora就会显得呆板而缺乏适应性。
由此可见,训练Lora并不难,难的是将Lora训练成一种万能角色,万变而又不离其中。
所以,真正优秀的Lora,目前还并不多见。
Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved