详细解读Movie Gen(1):数据集清洗方法

Diffusion Models专栏文章汇总:入门与实战

前言:Meta最近重磅发布了视频生成30B的基础模型Movie Gen,长达93页的技术报告中干货满满,博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会,但是可以从中获取很多值得借鉴的经验。

目录

总述 

视觉过滤

内容过滤

字幕生成

多阶段数据整理

按变量时长和大小进行分桶


扫描二维码关注公众号,回复: 17423837 查看本文章

总述 

预训练数据集由约1亿对视频-文本对和约10亿对图像-文本对组成。遵循与(Dai et al., 2023)类似的图像-文本数据整理策略,原始的数据池包含时长为4秒到2分钟的视频,涵盖了人类、自然、动物和物体等不同领域的概念。通过数据整理流程生成了最终的预训练剪辑-提示

猜你喜欢

转载自blog.csdn.net/qq_41895747/article/details/143100809