【论文精读2022】HS-Diffusion: Learning a Semantic-Guided Diffusion Model for Head Swapping

一、前言

【Paper】 > 【Code】
文章的Pipeline：

Abstract

1. 任务介绍：基于图像的头交换任务旨在将一个源头完美地缝合到另一个源体上。
2. 难点：这个很少被研究的任务面临着两个主要的挑战:1)保持头部和身体的各种来源，同时生成一个无缝的过渡区域。2)目前还没有配对头交换数据集和基准测试。
3. 方法介绍：本文提出了一种基于潜扩散模型(LDM)和语义布局生成器的头交换语义混合扩散模型(HS-Diffusion)。
4. 方法：我们将源头和源体的语义布局混合在一起，然后用语义布局生成器inpaint过渡区域，实现了粗粒度的源头交换。
   语义混合LDM可以通过渐进式融合过程进一步实现以inpainted layout为条件的细粒度头部交换，同时保持头部和身体的高质量重建。
   为此，我们提出了一种natural inpainting的语义校准策略和一种几何真实感的颈部对齐策略。<