详细解读Movie Gen(2):个性化视频训练

Diffusion Models专栏文章汇总:入门与实战

前言:Meta最近重磅发布了视频生成30B的基础模型Movie Gen,长达93页的技术报告中干货满满,博主将详细解读Movie Gen的核心网络结构、个性化视频微调方法、视频编辑等方面。虽然大部分人没有直接预训练30B模型的机会,但是可以从中获取很多值得借鉴的经验。

目录

个性化视频生成-方法概述

数据生产流程

数据采集

Paired Data

Cross Paired Data

合成数据

三阶段预训练流程 + finetune

拆分成三个阶段的原因

第一阶段身份注入

第二阶段训练长视频

第三阶段提高自然度

消融实验

消融实验-是否训练视觉embedding

消融实验-cross-paired data

消融实验-高质量微调


个性化视频生成-方法概述

在T2V模型的基础上,使用一个可训练的长提示 MetaCLIP 视觉编码器从蒙面人脸图像中提取身份特征࿰