前言:Meta最近重磅发布了视频生成30B的基础模型Movie Gen,长达93页的技术报告中干货满满,博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会,但是可以从中获取很多值得借鉴的经验。
目录
扫描二维码关注公众号,回复:
17423837 查看本文章

总述
预训练数据集由约1亿对视频-文本对和约10亿对图像-文本对组成。遵循与(Dai et al., 2023)类似的图像-文本数据整理策略,原始的数据池包含时长为4秒到2分钟的视频,涵盖了人类、自然、动物和物体等不同领域的概念。通过数据整理流程生成了最终的预训练剪辑-提示