AI绘画：ComfyUI 完全入门：图生视频！

企业开发 2024-11-04 21:25:24 阅读次数: 0

前言

大家好，我是每天分享AI应用的小33！

ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。

我之前的很多萌宠图片就是用它生成的，阅读量还不错：

SVD介绍

SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。

SVD的全称是 Stable Video Diffusion，也就是稳定视频扩散的意思，目前最新版本是1.1。这个模型以静止图像作为条件帧，并从中生成视频，目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频，不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。

SVD既可用于非商业用途，也可用于商业用途。你可以在许可下使用此模型进行非商业或研究用途，不过大家也要注意遵守相关法律和规定，并确保不侵犯他人的知识产权，具体使用许可协议可以看这里：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

安装ComfyUI

本地或手动安装

云环境使用

如果你的电脑没有配置高性能的Nvidia显卡，我建议你可以先在云环境试试，推荐两个云平台：

京东云：京东云最近大举进入AIGC领域，新上了AI服务器，价格同样美丽，萤火君正在制作相应的 ComfyUI 镜像，最重要的是还可以领取2个小时的代金券（领取方式见文末），先到先得，不妨先收藏起来。

京东云智算服务的地址：https://www.jdcloud.com/cn/products/gcs

**AutoDL：**AutoDL是一个云计算平台，提供显卡服务器租用服务，可按小时付（1-2元左右），显卡价格相比阿里云、腾讯云有明显的优势，我一直在用，推荐本地硬件性能不足的同学试试。

镜像地址：https://www.codewithgpu.com/i/comfyanonymous/ComfyUI/yinghuoai-ComfyUI

镜像使用方法：打开镜像页面，点击右下角的“AutoDL创建实例”，按照使用说明操作即可。

使用SVD

下载SVD模型

官方模型下载地址：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

需要下载的文件名称：svd_xt_1_1.safetensors

如果你访问 huggingface 不方便，也可以给公众号“萤火遛AI”发消息：SVD，即可获取下载地址。

下载后放到这个目录下：ComfyUI/models/checkpoints

使用SVD工作流

SVD的工作流比较简单，大家只要在“加载”中加载这个工作流就行了，不需要特别安装插件，工作流领取方式见文末。

我这里再做一个简单的标注，让大家了解其中的原理，并配置记得参数。

1、加载SVD模型，下载上一步介绍的模型到指定的位置，就可以在这里选择到。部署模型后请注意刷新页面，让节点尽快发现到模型。

2、上传图片，这里没什么限制，上传自己喜欢的就行了。SVD对风景或者移动物体图片的视频生成效果比较好，人物图片生成视频时需要控制动作幅度，否则容易崩溃。

3、设置帧数，这个参数影响视频的时长，默认值是25。因为默认的帧率是6，2秒就是12，4秒24。

4、设置帧率，帧率就是每秒的画面数，帧率越高视频越连贯，建议先从默认的6开始，逐步上调，看效果能否满意。

5、动态bucketID，这个参数控制视频中主体的动作幅度，值越小动作变化越小，以人或动物为主体时一定要设置为较小的值，否则容易崩溃。

其它就是一些通用操作了，刚接触 ComfyUI 或者不太明白的同学可以看我这篇文章：https://www.yuque.com/yvw351p9nn

生成视频

最后点击“添加提示词队列”，静待视频生成就好了，生成需要的时间取决于你的机器性能、视频的分辨率和帧数。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。