秒变 AI 绘画大师,comfyui抓紧学起来

b395e0cc86fd85f3e08b5ee6a4903681.jpeg


一、SD主流 UI

Stable Diffusion(SD)因为其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有不同的操作界面,可以理解为一个工具的不同客户端。WebUI和ComfyUI是两种较为流行的操作界面选项

  1.  WebUI 

优点:界面友好,插件丰富,新手小白基本也能秒上手

缺点:吃显存,对配置要求较高,出图较慢

2. ComfyUI 优点:性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU小于3G以下依然可以工作),基于工作流,对出图逻辑理解更清晰 

缺点:对新手用户不太友好,有一定学习成本

9e65a29145233e95cb57046f3f6bf320.jpeg

二者各有优缺点,根据自身情况选择即可。

0e0dcd9163c8702bfc65b7e609151e18.jpeg

我为什么选择Comfyui? Comfyui的热度持续上升,在谷歌搜索上,有越来越多的人开始关注Comfyui。为什么会有越来越多的人关注?因为大家使用webui久了之后,发现很难对生成过程有完全的控制,或者一张图片的生产不是点击几下就能完成的,它有很多到工序:主体、配景、背景、风格、文字、特效等等各种各样的细节问题需要去控制,如果全部采用webui,操作起来非常麻烦,全部需要反复手工(尤其是要守在电脑前一个个去操作),而采用Comfyui,搭建完工作流程后,只需要点击运行,即可全流程自动完成。 

98d3f25409e757917fd9e172f12ff1d0.jpeg

二、ComfyUI 能干啥?

  1. 1. 基础文生图

  2. 2. 基础图生图

  3. 3. 真人转动漫/动漫转真人

  4. 4. 线稿上色

  5. 5. 老旧照片修复

  6. 6. 隐藏艺术字

  7. 7. 改变人物姿态

  8. 8. 四维彩超宝宝长相预测

  9. 9. 红包封面

  10. 10. 真人电子AI写真定制

  11. 11. 赛博朋克风格转换

  12. 12. 专属表情包

  13. 13. 手机壁纸

  14. 14. 更多:这里不一一举例了,类似的玩法在网上可以看到很多,ComfyUI只是一个工具,具体如何应用,就要依靠自身的想象力了

b6597ad5d771931b7f01ae279b057e61.jpeg

7ae675247bc48cdf75b0e0f98911f4f4.jpeg



ComfyUI 安装方式


1.在b 站或后期圈gzh (附带工作流)下载整合包完成后然后解压。

135df75d07879c882736fff5a3016366.jpeg


使用的磁盘最好有20g以上的空间,因为再下载一些模型还是比较占用磁盘空间的。

“A绘世启动器.exe”文件即为一键启动文件,可以先不启动,先下载好模型。

下载模型,或者和webui共用模型 模型文件通常以.safetensors结尾。

首先将comfy ui根目录下的“extra_model_paths.yaml.example”文件重命名为“extra_model_paths.yaml”。


44eb67d1efdf4de2d77cc882540438a8.jpeg

然后将base_path:后面改为你的webui目录:


a0207fc6d125362c8dc3c6f50fbf8e43.jpeg

点击“A绘世启动器.exe”。启动后软件会自动更新一些文件,一般不会很久。



046f889990d5c0c38b282de97377b3c2.jpeg


然后点击右下角的“一键启动”,第一次启动,可能比较慢,等一会即可,启动完成会自动打开浏览器。如果使用过程中遇到问题,可以查看左下角“控制台”页面里的日志。


c6682edea28767e3aede714ff28f7639.jpeg

设置中文 第一次打开如果是英文,可以设置一下语言。先点击小齿轮,进入设置页面:



356f3b9de420a224dd6a17255fef2fbc.jpeg

然后滑到最下面,找到:AGLTranslation-langualge选项,改为中文即可。


58008b40a2df8be2066bf9facc033beb.jpegf80f17de770680946efed26df3a540b4.jpeg



ComfyUI 工作流基础教程

No.1

文生图工作流


原理简介

1、首先将prompt文本转换为词特征向量

2、词特征向量随机图向量一起encode降维输入潜空间,进行屡次降噪

输出图 = 输入图 -【(根据prompt预测的噪声+根据随机图预测的噪声-根据随机图预测的噪声)* 权重系数 +根据随机图预测的噪声】* 降噪次数

3、输出数据decode

在软件中,已经内置了许多工作流模版,下图对文生图作为基础工作流的各模块进行一个简单介绍。


下图中工作流对应文生图原理,根据Base Model生成词特征向量和随机图进行解码、屡次降噪、并编码生成图片。

a108ea9dd30dcc972b1a7a5531ed35b1.jpeg

ComfyUI 文生图基本工作流

提示词撰写

写提示词需要注意,长度约60字,SD的提示词不像自然语言生图的工具直接组织为句子输入,输入形式为关键词排列,越关键的越靠前,或使用权重设置如(keyword:1.4)提高权重;(keyword:0.7)降低权重

Prompt内容一般包含

  • 主体

  • 环境(地点,灯光,天气)

  • 作画形式(油画、水粉、素描、相机……)

  • 风格(年代、人物、艺术类型、国家……)

其他注意事项

  • 构图建议使用图生图

  • 在prompt中使用别人训练好的embedding模型可以生成特定的视觉特征(某特定人物、某物种……)

    embedding:filename

尺寸设置

宽和高必须是8的倍数,Batch_size决定了一次生成多少张图像(可能影响速度,建议一次一张)

86a0f0c18e8e466ade0ed527e048571c.jpeg

尺寸设置参数

采样器参数设置

(参数设置可以参考模型作者提供的最佳方案)

Seed:随机种子数,这个数字控制每次生成的图片相似程度,图片需要保持一致的时候,该数字不变

Control-after-generated:

生成完之后种子数的变化情况设置

Step:降噪步数

CFG:Prompt权重系数(一般6-8)

Sampler-name:采样器名称

Scheduler:调度器名称(降噪)

Denoise:初始噪声(文生图一般为1)

Lora配置

添加lora模块,更改clip、model连线,更换作者推荐的Vae模块等其他参数

29dc3af5b83473e65d1ff50ba32f6891.jpeg

添加模块

e795430587907963752560efb71a56d9.jpeg

启动


此时设置完所有的模型和参数,按照教程的参数设置运行后依然会发现出图很糊,据说M系列Mac容易遇到该问题,根据教程,在终端pip安装 torchvision==0.16.2,成功解决该问题。


02c913bfb1544ab45efb3c5ccdbf8403.jpeg

打开终端进行pip安装,输入 torchvision==0.16.2


855be16b9395089f65206d36b18bbb6b.jpeg

解决图片输出模糊的问题


No.2

图生图工作流


方法一:重绘 - 基于输入图进行重新绘制


输入图代替随机图,和文字一起作为潜空间的输入。


7ed0e5f4e2b39c2605dbe22b0fb8b6a1.jpeg


方法二:参考 - 基于输入图参考进行内容补充(unCLIP)、风格迁移(Style)拓展


先对图文进行解码,然后和随机图一起输入潜空间


unCLIP model workflow

c8bab435bd8ace0329acabdec405a91c.jpeg


对于unCLIP重绘方式,可以直接使用模版搭好的工作流,其中增加了上图所示三个模块,并将初始CheckpointLoader、对应的unclip模型进行替换(模型:sd2.1-unclip, 对应随机图尺寸 768 * 768)


当使用两张图进行元素融合,可以看到结果大致实现将鸭子和水波元素进行了混合,但与预期效果差距较大,但融合的元素难以控制,若要提高符合预期的质量仍然需要进行更多的参数调整。


c37c5c2250805c2edb2fafdc635627be.jpeg

初始输入图片高度调整为768 跑unCLIP工作流


Style model workflow

风格迁移工作流中则需要将上传的图片编码为向量、理解风格、理解提示词,通过Style节点处理后导入采样器,一般为名画、人物雕塑类。

bfbe853b1ca95437ca1325e74a7d6ffe.jpeg

跑Style Model Workflow


此处使用了新海城画风的图片输入,整体而言,风格更加依赖模型,同样参数下,模型AnythingElse为二次元专用生成了左边的效果,DreamShaper为写实风生成了右边的效果,输出图风格更多与模型风格、prompt内容更相关,与上传的风格迁移的参考图片关系不大。

4ab8e06ff6df1af85ebbe69e5de56f5b.jpeg

AnythingElse(左),DreamShaper(右)


ComfyUI 工作流分享(图片水印)

6 月工作流更新

AI模特、AI换脸、AI抠图、AI制作PPT、AI音频、AI视频、AI物体消除

f0a99272aee6acfba01960de4bf16aac.jpeg

猜你喜欢

转载自blog.csdn.net/qq_25295997/article/details/139438221