Stable Diffusion2.0(AI painter)

特别说明：

《Stable Diffusion2.0(AI painter)》扩展了v1版本当中的图像搜索功能，在全新的2.0升级版本中，大大提升了整体的图画生成质量，通过该应用创作完成后的图像将会以512x512像素和 68x768像素的效果直接呈现出来。

【软件介绍】

Stable Diffusion2.0APP是一个很好用的智能ai绘画服务软件，这款软件可以为用户提供丰富的ai绘画工具，可以随时让用户更加便捷的操作和使用，随时满足用户的绘画需求，想要使用手机绘画的用户可以在这个平台上一起来使用，还有ai自动生成绘画功能，那么一起来使用吧！

【软件特色】

1、使用非常简单，可以直接使用在线喷漆;

2、可以掌握很多绘画技巧，提高自己的绘画水平，使用方便。

3、使用该软件制作图纸可以达到虚实结合的效果，体验更好;

4、I绘画的使用非常普遍，丰富全面的绘画工具可以免费使用;

5、给每个用户带来良好的操作体验，立即进入平台开始绘图

【软件优势】

1、Depth 提供了不同创新性应用，虽然生成的图像与原始图像有很大的不同，但仍然保持了图像的连贯性和深度

2、Stable Diffusion 2.0 生成的深度 - 图像保持一致性。

3、Stable Diffusion 2.0 还引入了一个新的 text-guided 修复模型，用户可以非常智能、快递的切换图像部分内容，如下图中豹子的嘴巴和鼻子是不变的，其他部分可以随意改变。

【stable diffusion怎么训练】

深度学习的训练，首先就是要解决数据问题。由于stable diffusion的训练数据是 文本-图像 匹配的pairs，因此我们要按照它的要求准备数据。

准备好你的所有图片，当然对于大部分人来说，要得到图片容易，但是手里的图片数据都是没有文本标注的，但是我们可以用BLIP算法来自动生成标注。

效果见下图：

 BLIP自动给妙蛙种子生成了一段描述，当然算法的效果很难达到完美，但是足够用了。如果觉得不够好，那完全也可以自己标注。

将得到的text，与图片名使用json格式存起来：

2、下载代码模型

这里我们使用小哥魔改的stable diffusion代码，更加方便finetune。

finetune代码地址：https://github.com/justinpinkney/stable-diffusion

按照这个代码readme里的要求装好环境。同时下载好stable diffusion预训练好的模型 sd-v1-4-full-ema.ckpt ，放到目录里。

模型下载地址：CompVis/stable-diffusion-v-1-4-original · Hugging Face

3、配置与运行

stable diffusion使用yaml文件来配置训练，由于小哥给的yaml需要配置特定的数据格式，太麻烦了，我这边直接给出一个更简单方便的。只需要修改放图片的文件夹路径，以及第一步生成的配对数据的json文件路径。具体改哪儿直接看下面:

最后一步，运行命令：

 python main.py --base yaml文件路径.yaml --gpus 0,1 --scale_lr False --num_nodes 1 --check_val_every_n_epoch 2 --finetune_from 上面下载的模型路径.ckpt

大功告成，等待模型训练就行了。需要注意的是，我这边启用了两个GPU，并且stable diffusion是比较吃显存的，我在V100上进行训练batchsize也只能设为1。

【软件测评】

Stable Diffusion2.0APP可以根据文字描述直接创作出艺术图像，可以在线上直接应用，也可以安装在本地手机或是电脑客户端上使用，方便创作者运用各种插件工具使艺术效果最终呈现的更为惊艳。