摘要：近年来，虽然人脸交换任务在研究领域受到了广泛关注，但与之相关的头部交换问题却仍大都未被深入探索。除了肤色迁移外，头部交换还带来了额外的挑战，比如在合成过程中需要保留整个头部的结构信息，以及修补交换后的头部与背景之间的缝隙。在本文中，我们提出了GHOST 2.0来解决这些问题，它包含两个针对特定问题的模块。首先，我们引入了一个增强的Aligner模型用于头部重演，该模型能够在多个尺度上保留身份信息，并且对极端姿势变化具有鲁棒性。其次，我们使用了一个Blender模块，该模块通过迁移肤色和修补不匹配的区域，将重演后的头部无缝集成到目标背景中。这两个模块在相应任务上的表现均优于基线方法，使我们在头部交换方面取得了最先进的结果。我们还处理了复杂情况，比如源头部和目标头部发型差异较大的情况。代码可在https://github.com/ai-forever/ghost-2.0获取。Huggingface链接：Paper page，论文链接：2502.18417
一、引言
近年来，随着计算机视觉和深度学习技术的飞速发展，虚拟人类的应用已经远远超出了娱乐范畴，深入到电影制作、广告合成、虚拟试衣、深度伪造检测以及肖像编辑等多个领域。在这些应用中，头部交换（Head Swap）技术，即将源图像中的头部替换到目标图像中的技术，扮演着至关重要的角色。头部交换不仅需要重现源头部的运动，还需要将其与目标背景无缝融合。
尽管人脸交换技术已经取得了显著进展，但头部交换问题仍面临诸多挑战。与仅需在面部区域内进行身份保留和重演的人脸交换不同，头部交换需要处理整个头部，包括头发、面部特征以及皮肤颜色等，这使得问题变得更为复杂。此外，头部形状和大小的变化、头发的高频纹理和多样风格，以及面部形状的多样性，都为头部交换带来了额外的挑战。
二、相关工作
1. 人脸交换
人脸交换技术可以大致分为几类。第一类方法提取源人脸的身份向量和其他特征，并使用生成模型将这些特征与目标属性融合。这些方法通常依赖于ArcFace等面部识别模型，以及能够编码面部3D几何信息的身份提取器。第二类方法基于StyleGAN2等生成模型，通过将源图像和目标图像反转到潜在空间，然后输入到StyleGAN2生成器中进行交换。这种方法能够生成高分辨率的结果，但对输入数据敏感，且在强旋转或小细节处理上表现不佳。随着扩散模型的发展，基于扩散模型的人脸替换方法也逐渐出现，但这些方法通常面临姿势可控性、目标肤色保留和整体真实性等问题。
2. 头部交换
头部交换任务的研究相对较少。DeepFaceLab是早期实现头部交换的方法之一，但它需要大量的源数据进行训练，并且在肤色迁移和生成头部与背景的融合方面表现不佳。StylePoseGAN通过条件化StyleGAN来实现头部交换，但倾向于修改目标图像的背景和肤色。HeSer方法通过设计单独的头部重演和参考融合模块来解决这些问题，但仍然面临身份泄露和无法为源图像中存在但目标图像中不存在的头部部分着色的问题。尽管有尝试使用扩散模型进行头部交换的工作，但这些方法目前仍面临姿势可控性、目标肤色保留和整体真实性等挑战。
3. 头部重演
头部重演方法可以分为基于变形的方法和基于重建的方法。基于变形的方法利用目标图像的运动和面部表情描述符来变形源图像，但这些方法通常只能在源和目标姿势差异较小时表现良好。基于重建的方法通过构建源头部的潜在模型来处理更大的姿势偏差，这些方法通常使用隐式表示（如TriPlanes和NeRF）或显式表示（如体素、点云和网格）来实现逼真的结果。然而，这些方法需要额外的相机参数估计和渲染步骤，增加了计算成本并限制了输出图像的分辨率。
三、方法
我们的方法由两个模块组成：Aligner模块用于头部重演，Blender模块用于将重演后的头部无缝集成到目标背景中。
1. Aligner模块
Aligner模块基于重建方法来实现头部重演，以提高对极端姿势变化的鲁棒性。它使用一组编码器来嵌入源图像和目标图像中的相关信息，并通过解码器网络融合这些信息以生成对齐的头部。具体来说，我们使用两个外观编码器（E_por和E_id）来分别提取源图像的全局和局部信息，以及一个运动编码器（E_motion）来提取目标图像中的运动信息。这些信息被融合并用于条件化StyleGAN-like生成器G，以生成对齐的头部图像。
为了解决目标身份泄露问题，我们对运动编码器进行了改进，将其设计为一个能够同时嵌入姿势和表情信息的单一编码器。这种设计通过减少目标身份信息的泄露，显著提高了生成图像的质量。此外，我们还引入了额外的损失函数来稳定训练过程并提高生成图像的质量，包括余弦损失、感知损失、情绪损失和关键点闭合损失等。
2. Blender模块
Blender模块负责将重演后的头部无缝集成到目标背景中。它首先通过数据预处理步骤来准备颜色迁移和背景修补的输入，包括生成灰度重演头部图像、目标背景图像和定义头部和背景修补区域的掩码等。然后，它使用参考创建模块来生成头部颜色参考和背景修补参考，这些参考基于输入图像和目标图像中相应语义区域的相关性来计算。最后，它将这些参考输入到混合UNet中，以生成最终的融合图像。
为了提高融合图像的质量，我们对Blender模块进行了多项改进。首先，我们引入了外部修补网络（如LaMa模型）来生成背景修补参考，这显著提高了修补质量。其次，我们实施了额外的步骤来优化头发的融合效果，包括使用软肖像掩码来分割头发区域，并通过背景外推来减少可见边界。最后，我们还提出了一种可选的后处理融合算法，使用Kandinsky扩散模型来处理真实数据中的长发情况。
四、实验与结果
1. 实验设置
我们使用VoxCeleb2数据集来训练和评估我们的模型，该数据集包含大量高清视频，适合用于头部交换任务。我们对数据进行了预处理，包括裁剪面部和头部区域以及计算关键点等。在训练过程中，我们从同一视频中采样源图像和目标图像，而在推理过程中，源图像和目标图像可以来自不同的身份。
我们使用多种评估指标来评估我们的模型，包括LPIPS、SSIM、MS-SSIM和PSNR等，以评估生成图像的质量。此外，我们还进行了用户研究来定性比较不同模型在身份保留、运动迁移和整体质量方面的表现。
2. Aligner模块评估
在Aligner模块的评估中，我们将我们的模型与多个基线方法进行了比较。实验结果表明，我们的模型在自演和跨演场景下均表现出色，特别是在身份保留和运动迁移方面。与基线方法相比，我们的模型能够生成更自然、更逼真的头部图像，并且在极端姿势下也能保持稳定的表现。
3. Blender模块评估
在Blender模块的评估中，我们训练了基于HeSer方法的基线模型，并将其与我们的模型进行了比较。实验结果表明，使用外部修补网络的版本在各项指标上均显著优于基线版本，证明了我们的设计选择的有效性。此外，我们的模型在处理复杂情况（如源头部和目标头部发型差异较大）时也表现出色，能够生成高质量的融合图像。
五、结论
我们提出了一种两阶段的头部交换方法，包括用于头部重演的Aligner模块和用于融合重演头部的Blender模块。通过引入增强的Aligner模型和改进的Blender模块，我们在头部交换任务上取得了最先进的结果。实验结果表明，我们的模型在身份保留、运动迁移和整体质量方面均优于基线方法，并且能够处理复杂情况如极端姿势和发型差异等。
尽管我们的模型已经取得了显著进展，但仍存在一些局限性。例如，在某些情况下，我们的模型可能无法完全重现源头部的精细细节。此外，当目标图像中缺少相应颜色参考时，某些面部区域可能无法均匀着色。解决这些问题将是未来工作的方向。
六、影响声明
我们的工作增强了头部交换方法的效果，通过改进头部重演和修补模块来提高生成图像的质量。虽然这类模型在商业场景中有广泛应用，但也存在被用于欺诈活动的风险。然而，我们认为我们的研究结果可以用于开发更强大的深度伪造检测系统，以对抗这种滥用行为。