用三句话让AI帮我生成10秒的小视频(AI进阶篇:文生视频&图生视频)

自从我学习AI到现在其实也有了一定的时间,在这段时间中感觉比较吸引小伙伴的还是AI视频相关的知识点。

当然也有小伙伴发私信问我有关AI视频制作过程中遇到的问题,又或者是问我能不能帮忙制作AI视频的,所以我决定写篇文章来帮助大家更好地了解AI视频制作以及如何入门。

当然有很多AI视频生成工具和平台,光是一篇文章是讲不完的,所以我会分批次并且结合我以前写过的笔记来分享给大伙。

文生视频&图生视频

看过我笔记或者了解过AI绘画生成的小伙伴们应该就知道,最基础的文生图就是输入一段文字,然后AI根据文字描述生成一个符合输入内容的图片。

文生视频(Text to Video)也是同样的原理,也是AI视频制作最基础的一种形态。

无论是静态的物品、风景又或是包含具体的人和物品

素材源自:runaway

现实存在的、违反现实逻辑的

素材源自:runaway

真实世界风格的、动漫的、3D的

素材来自:Luna Dream Machine

AI视频生成模型可以被看做是一个库存无限大的“视频素材库”,在各类视频的生产环节里都可以得到广泛的运用。

像是旁白配合着画面、视频过渡的填补空镜,这些东西以往都需要在互联网上找很久甚至得自己去拍摄制作。

而现在只需要用文字跟AI把需求交代清楚,然后就可以放手让AI来做接下来的事情。当然文生视频也有一个很致命的问题,那就是随机性。

所以现阶段的文生视频大多用于生产一些不包含具体形象,要求也不会很高的“空镜”(画面没有人)片段,这些片段是无法用于影视作品创作的。

而为了增强生成视频的可塑性,图生视频(Image to Video)应运而生。

图生视频很好理解,在用户上传了一张图片后,AI会把这张参考图作为视频的“第一帧”。然后根据这张图片和提示词来推导接下来可能发生的内容。

图生视频的好处是生成视频的人、物品、景都会与上传的图片保持一定程度上的相似。

换句话说可以通过图片更好地把握视频的内容走向,变相的让视频生成和图片生成的门槛拉到一致,这也是为什么图生视频成为了目前应用得最为广泛的AI视频生成技术之一。

很多需要传统建模、CG动画技术参与的动态设计现如今都可以通过一张静态图片生成类似的效果。

甚至还可以先绘制若干个静态分镜,然后在里面定义视频的构图和包含的元素,通过图生视频让其“动起来”,最终剪辑到一起组成一个成片。这也是目前大部分“AI短片/短剧”都在采纳的创作方式。

就目前而言文生视频和图生视频的模型产品化程度都比较高,所以自己上手做一个AI视频比较简单。

模型推荐

在目前比较容易接触到的视频生成模型里面比较推荐的有:

Runway(Gen-3)

https://runwayml.com/product

Luma AI(Dream Machine)

https://lumalabs.ai/dream-machine

**快手(可灵AI)
**

https://klingai.kuaishou.com/

字节跳动(Dreamina即梦)

https://jimeng.jianying.com/

当然每个平台都有其特色,像是Runway的Gen-3可以精确控制运动形态的运动笔刷、相机控制等工具;Dreamina和Dream Machine都有着“首尾帧”的图片控制方式。

而这个领域也有一些模型权重是开源的,像是Open sora、CogVideo、Stable Video Diffusion(SVD)。

当然在体验完这些模型之后还是会发现一个问题,即便是图生模型在“可控性”方面仍然是不足的。虽说给了开头一张图片,但是后续的运动都是由AI自己来决定的。

AI推导运动的程度也是有限的,主体运动和场景变化的幅度越大,画面就越容易变形。所以目前的绝大多数图生视频模型都是用于生成时长有限(10s内)且运动幅度不大的视频片段。

如果想要借助AI创作时间更长、更灵活且可控性更强的视频,那就要借助其他的方式了。


今天的内容就到这里啦!

主要是一次性不要讲太多可以帮助大伙慢慢吸收知识点(我也有点懒),上面提到的那些模型都是有着线上体验的渠道,只需要去官网登录注册下就可以免费体验几次啦。

刚好昨天又有大消息宣布,Stable Diffusion 3.5模型发布

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/2401_85725028/article/details/143208316