AI作画离线版V8.1,支持FLUX Lora作图,支持XL扩图、局部修改,AI脑补能力进一步提升!

01

软件概览

软件名字叫做:AI作画离线版V8.1,基于GitHub上的开源项目Disco Diffusion与Stable Diffusion以及众多开源项目。

如下,软件主界面,还是以操作简单为主:

img

02

软件安装

软件非常大,因为有很多离线模型(模型按照功能划分,可按需下载),下载完成后,按照网盘里的pdf教程即可进行体验

软件界面如下所示:

img

03

软件功能介绍

*功能一:SD(Stable Diffusion)作画*

SD作画是目前最流行的开源作画框架,SD作画模式下,目前支持文生图(SD一代、SD XL、SD三代支持)、图生图、文字生成视频animatediff、SD动画deforum、队列模式、局部修改、图片描述解析等功能。

1、描述词设定**:**描述词包括正描述和负描述,负描述默认可以不写,负描述如果写,就代表不想让绘画结果出现的元素。

img

**1.1、队列模式下的描述词设定:**当如下勾选了队列模式后,通过固定的句式,可以生成大量的配置文件,也就可以实现生成多套参数的图。

img

比如我的文字描述这样描述:a beautiful girl by {400|1|艺术家},当点击保存设置后就会生成400个艺术家的不同配置文件。

注意这个格式**{400|1|艺术家}中的{}|**这些不能缺少,完全按照固定格式来,400代表生成400个配置文件,1代表by一个艺术家名字(如果设置成2就代表by两个艺术家名字混搭),艺术家代表的是软件目录下【描述风格库】文件夹下的艺术家.csv文件,而艺术家.csv文件如下所示,两列数据:

img

软件支持各位自建这种语料库,大家可以复制csv建立副本,然后在副本里修改,注意也是按照两列格式来,第一列是描述,第二列是解释。比如下面我建的颜色.csv文件,简单写了一下,也是一定严格两列来哈,且都放在*软件目录下的【描述风格库】文件夹。*

img

***1.2、AI生成描述:*支持写个开头,然后如下点击AI生成描述进行续写描述,目前有两种自动写描述引擎了:

img

2、绘图参数**:**绘制图片轮数代表每次画几张图;描述相关度默认数值就可以,当然可以尝试10以上数值;随机种子默认0,代表每次种子随机,设置大于零的固定值,如果其他参数一样,则SD出图完全一样。

img

当采样器选择LCM时,如下步数可以设置5,描述相关度推荐0,即可实现加速出图,如下:

img

3、显存占用模式选择**:**软件提供不同显存占用模式。

img

4、图生图**:**参数比较简单,基本上就是导入原图,修改描述,设置图片差异度参数即可,注意差异度参数范围0-1,1代表与参考图差异最大哈。另外,自适应尺寸比较人性化,比如参考图尺寸宽高为1024x512,绘图参数尺寸设置512×512,默认无,代表不自适应,最终出的图尺寸为512×512,固定宽代表,以绘图参数尺寸设置的宽512为准,参考图宽高比2比1,高自动修改为256,最终输出512x256的图。

img

如下,试试SD参考图,实现真人二次元效果或者其他的一些效果:

img

5、动画deforum**:**SD动画选择2D,即可开启动画deforum模式,动画也可以设置参考图,支持动画变化角度、缩放大小、xyz轴移位等。

img

文字描述需要如下格式,每一次换行都是一个过渡描述,每个过渡描述开头数字,代表动画帧数,比如第一行就是前10帧a描述。

10:::a

20:::b

40:::c

如下SD动画演示视频:

,时长01:15

6、动画animatediff**:**SD动画选择animatediff,即可开启文字生成动画模式,正常输入描述,即可生成如下的短动画:

img

,时长02:49

7、图片生成视频SVD**:**SD动画选择SVD或者SVD 1.1,图生图里导入参考图,即可根据图片生成视频,如下设置:

img

如下为效果演示视频:

,时长02:31

8、SD、LORA、VAE模型选择**:**支持选择第三方ckpt、safetensors格式的SD模型、VAE模型以及LORA模型(还支持Lycoris类的LORA模型),如下所示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

当选择SD XL时,自动切换到SD XL模式作画,SD XL效果要比一代好很多,如下测试的XL做的图:

img

img

当选择XL模型后,如下图启动扩图,会自动打开webui界面,如下进行相关简单的图片导入即可生成扩图的图片。

img

img

如下面的图,每张图左侧为原图,右侧为AI脑补扩图制作而成:

img

img

img

img

img

当选择SD 三代时,自动切换到SD3模式作画,SD3的语义理解能力不错,如下测试的SD3做的图:

img

img

img

img

当选择FLUX-DEV时,自动切换到FLUX模式作画,FLUX的语义理解能力不错,全‮模能‬型,手可‮画以‬好,文字也支持,各‮类种‬型画‮都风‬能胜任,如下测试的SD3做的图:

img

img

img

img

img

img

**9、AI图片描述解析:**如下按钮点击,选择图片,稍等片刻即可显示出描述,当然这个描述有所出入,但当作描述来用画出的图也确实不错。

img

下面演示几张图,解析出来的描述:

a group of iron man standing next to each other in the ocean, a comic book panel by Paul Pelletier, featured on deviantart, antipodeans, marvel comics, reimagined by industrial light and magic, imax

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

a painting of a landscape with mountains and trees, a detailed matte painting by Katsukawa Shunsen, pixiv, shin hanga, ukiyo-e, matte painting, detailed painting

img

10、DeepDanbooru二次元TAG解析**:**如下点击按钮,支持二次元图片的TAG解析,诸如NovelAI等模型比较有需求:

img

*功能二:CN作画*

CN就是目前大名鼎鼎的ControlNet,目前软件同步到CN 1.1版本,总体使用方式和SD差别不大。

CN的精髓在于下图,不同的这些模型:

img

1、各模型简单演示**:**这些模型的作用就是针对不同的参考图进行创作,诸如Lineart模型就是针对线稿参考图,然后实现线稿上色或者二次创作的目的,如下演示,选择Lineart_Anime这个二次元线稿的CN模型配上二次元SD模型和描述:

img

如下选择openpose这个人体姿势的CN模型,左图为原图,中间为识别原图的骨骼图,右图为生成的图。

img

如下SEG语义分割的CN模型效果:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

如下MLSD这种识别建筑线稿的CN模型效果:

img

如下为超分辨率的Tile的CN模型,真的是模糊图重绘神器:

img

如下为二维码模型qrcode_monster_v2的CN模型,可以做图片二维码:

img

img

如下为tile模型的妙用,实现文字光影效果:

img

2、**CN视频重绘:**基于animatediff,我们通过选择合理的CN模型,然后在控制图导入要重绘的视频即可,软件操作很简洁,如下视频重绘效果演示视频,同时支持勾选队列模式,批量选择控制视频进行重绘。

img

img

,时长01:28

3、**CN的Instant ID创作:**不用训练即可生成CN给定的人脸控制图,然后根据描述或者不同风格模型绘制出不同风格的此人图片,注意SD模型要选择XL大模型,如下测试图(第一张为原图,其他图为生成图):

img

img

功能三:DD(Disco Diffusion)作画

1、描述词设定**:**如下默认的描述,每段(回车换行算一段)都是同一描述的不同权重关键词。

img

2、图生图**:**参考图也人性化了,直接点击按钮选择图片即可,注意看参数旁边的问号,一般加入参考图时,skip_steps这个参数需要设置大一些

img

4、AI作画模型选择**:**参数设置里提供两种绘图Diffusion模型引擎选择,原版DD、像素版DD以及其他自定义的PT格式模型,如下图设置:

img

如下演示的是国画模型:

img

img

*功能四:图片/视频AI高清放大*

设置不同的放大模型和图片放大倍数,高清放大图片输出目录为软件目录\images_out\AI_ultra_HD,当输入的图片尺寸很大时,容易超显存,这时我们修改拼图大小这个参数即可,比如设置拼图大小512时,6G显存选择realesrgan_x4plus模型对1920*1080图片进行4倍放大测试不超显存。支持2-10倍放大。

img

AI高清放大是一个独立功能,软件主界面图片处理菜单选择图片/视频高清放大选项,选择图片或者视频(支持批量),即可高清放大图片或者视频。

如下,小图经过高清放大的对比效果,二次元和三次元都能胜任。

img

img

*功能五:老照片修复*

软件主界面图片处理菜单选择老照片修复选项,选择图片(支持批量),即可高清修复老照片,仅对人像进行高清修复。

如下,经过高清人脸修复对比效果动图演示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

img

*功能六:图片/视频上色*

软件主界面图片处理菜单选择图片/视频上色,选择黑白视频或者图片即可实现上色,支持批量。

如下参数设置里,可以选择不同上色模型,二次元模型专注二次元线稿上色:

img

如下动图演示,上色前后的效果:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传img

**功能七:图片说话****

**图片说话功能,**可以实现导入的图转换成说话人视频的形式,支持音频和视频驱动,默认音频驱动说话。

img

软件主界面点击图片处理菜单选择图片说话,选择图片(支持批量),转换图片成如下的视频形式。

img

**功能八:AI图片转3D****

**AI图片转3D输出视频目录:**软件目录\video;AI图片转3D也是一个独立免费功能,如下参数设置可以设置生成视频时长和摄像头位置(位置一般不改):

img

软件主界面图片处理菜单选择图片转3D,选择图片(支持批量),转换图片成视频形式,这个转换速度较慢,5到30分钟一张图。

基本上就是原作项目介绍的这种效果,一张精图转换成3D的效果,不过相比原作我做了改进,支持原图尺寸大小的视频

img

**功能九:抠图****

软件主界面图片处理菜单选择抠图,选择图片(支持批量),即可进行背景和人物分割,如下演示:

img

**功能十:二次元生成****

软件主界面图片处理菜单选择二次元生成,即可绘制上百张二次元图片:

img

如下可在参数设置里,设置各种参数以生成不同类型的二次元小姐姐:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

**功能十一:三次元生成****

软件主界面图片处理菜单选择三次元生成,即可绘制上百张三次元图片:

img

如下可在参数设置里,设置各种参数以生成不同类型的三次元图片:

img

**功能十二:AI写小说****

软件主界面小说聊天菜单选择AI写小说|聊天界面,如下点击AI写小说按钮,设置开头,即可续写不同轮数的文字:

img

点击训练小说,如下可以选择自己的小说语料txt,训练自己的模型:

img

还支持清华大学Chatglm2,注意这个至少需要6G显存,且加载模型较慢,请耐心等待,可以实现类似Chatgpt的形式:

img

**功能十三:伴奏人声分离****

软件主界面音视频处理选择伴奏人声分离,选择歌曲(支持批量),即可自动分离人声、伴奏、鼓点和低音,效果很厉害。

若显存4G及以下,可以如下参数设置勾选低显存占用模式即可:

img

**功能十四:音视频转文字****

软件主界面音视频处理选择音视频转文字,选择音频或者视频,即可进行语音识别,输出字幕和文字版txt文件。

音视频转文字功能,支持100多个国家语言,若选择汉语,则不过什么语言的音视频,最终都会自动翻译成中文字幕和txt文件,方便快捷,不过翻译效果有限,最好还是选择原视频语言进行识别。

大模型(int8)模式仅需要4-5G显存,速度快4倍,效果也很好。

img

如下,选取的日文视频演讲识别字幕效果,红框为软件识别自动翻译的字幕:

img

**功能十五:视频补帧****

软件支持视频2-16倍补帧,这个效果也是很不错的,如下参数设置进行设置参数即可:

img

点击音视频处理菜单的视频补帧选项,选择要补帧的视频即可,补帧效果就是如下这种效果,原理是AI计算相邻两帧,然后脑补出中间大量帧:

img

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

猜你喜欢

转载自blog.csdn.net/m0_59162248/article/details/143144688