AI生图之Comfyui部署和使用

一、介绍

Comflowy 新手入门 – Comflowy

1.ComfyUI可视化

ComfyUI是一个基于节点的图形用户界面(GUI),专为Stable Diffusion设计。用户可以通过链接不同的块(节点)来构建复杂的图像生成工作流程,这些节点可以包括加载检查点模型、输入提示、指定采样器等功能

还有stable diffusion、Comflowy、webUI等等其他AI生成软件

ComfyUI界面

2. AI模型

AI模型 是一种数学和计算机程序的集合,它通过模拟人类学习的方式,使用输入数据来完成某些任务或解决问题。这些模型是人工智能(AI)系统的核心,能够从数据中提取模式和规律,并对未来的输入数据进行预测或生成新的内容。
可以将模型理解为底层大数据,所有AI图片的生成都是基于AI模型数据生成的,不过不同风格样式对应的AI模型也不同,可以通过网上查找喜欢的模型。

3. 指令

在 AI 图像生成中,CLIP(Contrastive Language–Image Pretraining) 是一种将 文本(指令)图像 联系起来的神经网络模型。它由 OpenAI 开发,用于将自然语言提示(指令)与图像语义匹配,从而使图像生成模型能够根据文字生成符合要求的图片。

分为正向指令和反向指令,正向指令就是在生成的图片会根据正向指令进行修改,反向指令生成的图片会远离该指令的描述,指令描述的越准确生成的效果越好,通过反复的修改得到我们想要的图片这个行为我们通常成为“炼丹”

二、部署ComfyUI

 官方安装 ComfyUI 教程

我们使用本地安装方法  

 1.安装操作

点击这里下载ComfyUI

选择下载nvidla版本的压缩包 

 解压后运行

 2.工作界面

注意:左上角的Manager是一个 ComfyUI  Manager插件,下面将展示如何安装。

三、安装ComfyUI  Manager

ComfyUI  Manager是 一个非常强大的管理器节点插件。一些功能节点、大数据模型、汉化插件等都可以通过ComfyUI  Manager统一管理

点击ComfyUI Manager安装手册,选择手动安装

或者直接点击这里 ComfyUI-Manager下载

下载压缩包并解压到ComfyUI软件的 custom_nodes 文件夹里

 

 然后重启ComfyUI后 就会自动安装了

点击Manager按钮 可以查看他的功能菜单

四、工作流下载

ComfyUI 中,工作流(Workflow)指的是一组按照特定顺序执行的 节点(Nodes)操作(Operations),这些节点和操作一起实现图像生成、数据处理、或者其他任务的自动化和协作。ComfyUI 是一个基于图形界面的深度学习工具,通常用于 Stable Diffusion 图像生成。它允许用户通过可视化的方式创建和管理工作流,定义生成模型的各个处理步骤。

ComfyUI 中工作流其实就是一堆用python写的功能节点通过连接线连接最终实现我们所需要的功能的可视化编程。它可以降低代码学习成本,让0基础代码的人更容易上手。

工作流下载网址 ,可以通过Manager进入免费的工作流网址下载

1.下载工作流

进入Comfy Workflows网址选择左侧Image选项,在右侧选择一个图片内容

点进去之后往下划可以看到左侧工作流视图,右侧标注的使用的节点和模型

 点击下载

 2.工作流安装

将下载的工作流放在此文件路径下E:\AI\ComfyUI_windows_portable\ComfyUI\user\default\workflows 

3.打开工作流 

在ComfyUI打开工作流

选择我们刚才下载的工作流即可。

导入后发现有些Node节点丢失可以看下面第五条“导入工作流出现节点丢失问题”解决办法

五、节点丢失问题

节点(Node)就是工作流中的一个个功能节点。可以通过Manager管理器安装丢失的节点。

1.工作流节点丢失(manager下载)

导入工作流后出现丢失节点问题

可以使用Manager 检测丢失的节点并安装

 等待一段时间 检测完毕后会出现丢失的节点,点击下载即可

选择最新版本

下载完成提示你刷新ConfyUI界面。

2.丢失节点下载失败(切换旧版本)

在安装时选择其他版本下载

3.丢失节点下载失败 (去github下载)

如果下载失败可以点击节点名称去github上下载或者使用查找相关节点下载

以下是其他工作流的案例演示,并非上面的工作流节点。 

下载节点

下载完成后将包解压缩在节点文件夹下

关闭comfyUI重新打开加载即可 

 如果以上方法还是会报节点丢失,尝试下载节点的旧版本

下载旧版本 

下载完成后刷新网页。这里要注意有时候这里的旧版本并不存在我们需要的节点,这种情况下只能网上搜索该节点然后查找原因,幸运的话可能找到对用旧版本。或者有文章教你如何用其他节点替换

五、节点资源丢失问题

根据以上步骤弄完后点击执行按钮发现出现错误,一般这种错误都是因为某些节点字段获取本地模型或其他文件时没有找到,只需要下载相关文件并放在指定文件路径下即可

1.问题分析 

这里列举分析第一个报错。

Value not in list: lora_name_4: 'ral-dissolve-sdxl.safetensors' 
not in ['None', 'HMSG-katong-000004. safetensors'' flux-zg-GJ16. safetensors']

翻译:无法从列表['None', 'HMSG-katong-000004. safetensors'' flux-zg-GJ16. safetensors']
中找到ral-dissolve-sdxl.safetensors文件

通过翻译可以得知是缺少ral-dissolve-sdxl.safetensors文件,我们只需要下载该文件放在指定文件下即可

2.Manager下载模型资源

通过Manager插件搜索并下载模型资源。

点击Model Manager

搜索 ral-dissolve-sdxl,注意不要带后缀名

 搜索后发现不存在,可能原因这个是AI数据模型。可以采用下面的第三种方法“网上搜索下载”

通常一些非.safetensors文件可以通过Manager插件下载例如上面报错的“face_yolov8m。pt”文件不存在问题可以通过Manager查找到

3.网上搜索下载资源

如果Manager没有查找到模型资源,我们直接复制文件名在网上搜索,可以通过GitHub或者Hugging Face网站查找到相关资源

搜索 ral-dissolve-sdxl.safetensors 文件

下载文件

文件下载完成后,如何找到要放在那个文件夹下呢?下面较大家定位文件路径的方法 

4.通过类型名称判断

几乎所有的数据模型都会放在ComfyUI的models的某个文件夹下 

 ①通过后缀判断

文件后缀判断存放路径
.safetensors(GB) 如果下载的.safetensors文件大小是几个G这种,通常是放在checkpoints文件夹下,这个是基础的大数据AI模型,其他后缀通常是基于此模型的拓展
.safetensors(MB) 这种的大部分是lora模型,一般放在loras文件夹下。也不唯一例如sdxl_vae.safetensors文件就需要放在vae文件夹下(图1.1),所以可以先放入文件夹中然后刷新看看是否还会报错来判断。
其他后缀(.pt .pth) 这些后缀就不好判断了 可能在除了loras和checkpoints文件的任何文件夹下,这种可以通过Mananger下载,或者通过下面第五条“通过脚本判断”

 有的网址下载的数据模型会直接标明类型 例如:civitai

checkpoint类型
lora类型
图1.1
图1.1

5.节点脚本定位文件加载路径

这里我才用多个案例进行查找

①Eff. Loader SDXL节点的omnium_v11.safetensors文件路径查找

首先在工作流中确认功能节点的文件夹

我们根据文件夹名称在ComfyUI\custom_nodes路径下找到指定文件夹

使用编程软件打开(这里我用vs),全局搜索Eff. Loader SDXL 节点名

 定位到.py脚本

在脚本内部搜索对应方法名 TSC_EfficientLoaderSDXL

 通过上图我们就定位到了Eff. Loader SDXL节点,然后继续看字段属性名 base_ckpt_name

 这样我们就知道omnium_v11.safetensors文件是要放在checkpoints文件夹下的

②UtralyticsDetectorProvider节点的bbox/face_yolov8m.pt位置

注意:这个bbox/face_yolov8m.pt文件我已经通过mananger下载到指定位置了,这里主要是当作案例进行一个讲解。

这种缩小的按钮可以点击展开 

 展开后的的样子

首先在ComfyUI\custom_nodes路径下找到 Impact-Subpack 文件

使用编程软件打开(这里我用vs),全局搜索 ltralyticsDetectorProvider 节点名

从这里开始和上面不太一样了因为搜出来多个.py文件,这种情况可以每个都点进去通过内部搜索ltralyticsDetectorProvider来判断,例如我先进入_init_.py文件中查看

我们继续找下一个 subpack_nodes.py (其实通过节点名可以大概率知道就是这个没跑了....)

最终确认 ultralytics/bbox是存放face_yolov8m.pt文件的路径。我上面不是说过这个文件通过Manager已经下载到本地了嘛,我们去ultralytics/bbox文件夹下确认一下是否正确。

六、执行工作流生成AI图

以上都配置好后就可以开始执行我们的AI图片了

 点击执行按钮

等待生成完毕 

 生成完毕后可以在这里查看生成的图

七、参考文献

【comfyui教程】零基础入门ComfyUI目录和插件_comfyui模型文件夹_comfyui模型放在哪个文件夹-CSDN博客

全面掌握ComfyUI图生图-局部重绘-上传重绘蒙版工作流的搭建方法,ComfyUI零基础教学,深入讲解图生图原理,Stable Diffusion教学_哔哩哔哩_bilibili

ComfyUI中如何进行图片局部重绘? | ComfyUI Wiki

猜你喜欢

转载自blog.csdn.net/qq_42345116/article/details/145131016
今日推荐