畅游Diffusion数字人(22)：CVPR2025解读首个基于DiT的数字人Hallo3

企业开发 2025-04-09 19:39:39 阅读次数: 0

畅游Diffusion数字人(0)：专栏文章导航

前言：之前介绍过很多基于Unet的数字人工作，这些工作受限于基模的能力，在人物的动态性和生动性上非常有限。这篇博客介绍Hallo3，这是第一个基于DiT的数字人工作。

目录

贡献概述

动机

方法详解

音频特征

身份保持

长视频推理

训练阶段

数据和实验

贡献概述

作者自己总结的几点贡献：

(1)身份保存:我们使用3D VAE和一堆变压器层作为身份参考网络，使身份信息的嵌入和注入到去噪潜码中进行自我注意。这有助于准确表示和长期

猜你喜欢

转载自blog.csdn.net/qq_41895747/article/details/147089086
今日推荐
Electron中的关于静态资源加载问题解决方案
《Cursor-AI编程》基础篇-界面指南
《Cursor-AI编程》基础篇-Tab代码智能补充
《Cursor-AI编程》基础篇-Composer功能详解
《Cursor-AI编程》基础篇-Chat功能详解
《Cursor-AI编程》进阶篇-自定义模型
《Cursor-AI编程》进阶篇-上下文详解
【大模型系列篇】最强检索增强技术GraphRAG基本原理详解
【大模型系列篇】基于Ollama和GraphRAG v2.0.0快速构建知识图谱
解释什么是迁移学习？在 CNN 中如何应用？（面试题200合集，高频、关键）
解释数据增强（Data Augmentation）的概念和方法（（面试题200合集，高频、关键））
揭秘大模型“魔法”：Function Calling 让 AI 不止会说，更能“做”！
周排行
ConfigurationClassParser类的parse方法源码解析
基础大讲堂-java 位运算符
ConsecutiveInteger判断给定的整数n能否表示成连续的m(m>1)个正整数之和
多项式问题之六——多项式快速幂
Spring Security技术栈开发企业级认证与授权（四）RESTful API服务异常处理
Linux基础命令---apachectl
MATLAB中的线性插值
Unity编辑器拓展之十七：NGUI ComponentSelector增加搜索框
SqlServer 备份还原教程
[Unity动画]01.
每日归档
更多
2025-04-12(10529)
2025-04-11(9561)
2025-04-10(1213)
2025-04-09(10354)
2025-04-08(12998)
2025-04-07(0)
2025-04-06(0)
2025-04-05(0)
2025-04-04(0)
2025-04-03(0)