Stable Diffusion AI绘图,使用ControlNet控制绘图中人物动作姿态

Stable Diffusion AI绘图,使用ControlNet控制绘图中人物动作姿态

首页休闲益智绘图动作更新时间:2024-09-04

你一定看过很多AI绘图,自己可能也尝试过进行简单AI绘图,似乎感觉就像扔色子,角色无法控制。可能觉得AI绘图不过如此,事实真的如此么?

Stable Diffusion其实只是AI绘图的地基,在上面构建的各类插件才是AI绘图可能引发绘画变革的根源,这些插件汇集近年AI发展的成果。(本文只讲结论,不涉及原理,请放心阅读)

ControlNet,由美国斯坦福大学提出的,一种通过添加额外条件,来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型,ControlNet也是模型,ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。

ControlNet可以有多种模型来控制Stable Diffusion模型的输出,今天只使用其中的一种,OpenPose。一说Pose,应该都很清楚,摆Pose,就是人物摆的动作姿态。这里又要提到OpenPose了,OpenPose是一个人体姿态识别的开源项目,由美国卡耐基梅隆大学主导,也是一种神经网络模型。

一句话简要概括,使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。

OpenPose节点长啥样可以看下图:

这是个躺坐的人,为啥是躺坐看下面的图

各个节点的定义看下面的图:

这不是中医经脉哈

关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述,网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth,放到models\ControlNet下,另外OpenPose编辑器建议posex和openpose editor都安装,前者可以编辑3d的openPose,后者可以直接从图片生成,AI绘图时勾选enable打开ControlNet,ControlNet里的model选择control_sd15_openpose。

有了上面的了解,我们就可以控制人物的姿态了,为了提高点绘图难度,我做了个跪坐的姿势。制作办法有下面3种:

跪坐的OpenPose节点图

下边开始展示生成的图片,把之前使用的各种角色Lora都用上

先来汉服小姐姐

再来2B小姐姐

再来个不知名动漫小姐姐:

还有爱丽丝

蒂法因为裙子太短,不适合这个姿势,已经删掉了。

有AI绘图的问题都可以跟贴哦。

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved