人工智能咨询培训老师叶梓 转载标明出处
视频生成模型，如 Stable Video Diffusion 和 Videocrafter，已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险，比如用于制造假新闻或进行政治宣传。因此，来自弗吉尼亚大学和亥姆霍兹信息安全中心（CISPA）的研究团队着手开发了 VGMShield，一套旨在降低视频生成模型滥用风险的综合解决方案：
现实世界中的参与者分为三个不同的实体：创建者（Creator）、修改者（Modifier）和消费者（Consumer）。创建者可能是摄影师或记者，他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患，研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。
假视频检测和追踪
潜在的威胁模型基于两个关键因素：视频来源和生成视频所使用的模型。检测任务分为四种场景：在目标检测中，检测器不仅知道可能生成视频的模型，还知道用于生成视频的数据源。这种场景虽然理想化，但为研究者提供了一个起点，以理解在最佳条件下模型的表现。第二，数据盲检测，其中检测器知道视频的来源，但对生成视频使用的数据分布一无所知。模型盲检测则相反，检测器知道数据分布，但不知道使用的是哪种模型。最后，开放检测是一个更为现实和具有挑战性的场景，检测器对数据源和模型都一无所知。
研究者们在构建假视频检测和追踪方法时，将这个问题转化为了分类任务。他们基于一个关键假设：假视频会在空间维度上展示出异常特征，同时在时间维度上表现出不一致性。为了识别这些异常，研究者们选择了几种预训练的视频识别模型，这些模型能够理解视频的时空动态。他们选用的模型包括 Inflated 3D ConvNet (I3D)、X-CLIP 和 Video Masked Autoencoders (MAE)，每种模型都以其独特的方式处理视频数据。
在检测部分，研究者们根据不同的应用场景调整了模型的训练方法。他们遵循两个基本原则：首先，为了应对开放检测设置，他们确保训练集尽可能多样化，包含了大量的真实和假视频；其次，当任务更加具体时，例如检测器需要识别特定模型或数据分布生成的视频，他们会缩小训练集的范围，使其更贴近实际任务的需求。
在追踪源模型的过程中，研究者们采取了一种假设所有视频均为假视频的方法，并使用多标签分类模型来确定视频可能来源于的九种不同模型之一。与检测任务不同，追踪任务的训练涉及到所有这些模型生成的假视频，这样做可以帮助模型学习到每种模型生成视频的独特特征。
为了验证所提出方法的有效性，研究者采用了两个广泛使用的数据集：WebVid-10M和InternVid，来进行评估。这些数据集拥有大量的视频和相应的文本描述，为训练和评估机器学习模型提供了丰富的资源。研究者进一步收集了所有可用的开源视频生成模型，并针对每一种模型生成了1000个视频，这些视频随后被用于检测和追踪任务。
图2展示了假视频检测的实验流程。为了确保真实视频和假视频具有相似的分布特征，研究者们采用了一种特定的方法来生成假视频。这种方法利用了真实视频的第一帧（以及可能伴随的字幕）来生成对应的假视频。这样的处理旨在最小化真实视频和假视频之间的差异，从而使得检测模型不能依赖于其他特征（例如，真实视频总是关于动物的，而假视频总是关于汽车的）。
分类模型由两部分组成：一个作为主干的视频识别模型，以及一个全连接的模型。这个全连接的模型被训练来识别和区分真实视频和假视频。视频识别模型负责提取视频中的关键特征，而全连接层则用于学习如何根据这些特征来区分视频的真实性。通过在真实视频和假视频上训练这个复合模型，研究者们旨在提高检测系统的性能和准确性。这种训练方法有助于模型更好地理解真假视频之间的微妙差异，从而在实际应用中更有效地识别出假视频。
研究者展示了在不同数据集和多种生成任务中应用三种检测模型的结果。他们发现，Video Masked Autoencoders（MAE）模型在各种场景下都展现出了稳定性和高效性，尤其是在开放检测设置中，MAE模型的检测准确率显著高于其他模型。
研究者展示了在数据知情和数据不知情两种设置下，使用X-CLIP、I3D和MAE作为后端的追踪模型的性能。特别地，在数据不知情的设置中，即使面对未知数据源的视频，MAE模型仍然能够保持高达90%的准确率，显示出其在追踪任务上的鲁棒性。
研究者们采用了Grad-CAM技术来深入分析模型的决策过程。Grad-CAM（梯度类激活映射）是一种可视化技术，它能够展示模型在做出分类决策时所关注的视频区域。通过这种方式，研究者们可以直观地理解检测模型是如何识别出假视频的。
研究者们首先观察了基于I3D和MAE的检测模型，这两种模型在假视频检测上都取得了超过90%的准确率。通过Grad-CAM生成的热图，研究者们发现这些模型主要依赖于视频中的对象来进行判断。例如，I3D模型倾向于关注人脸、栅栏、手指和引擎电池等对象，而MAE模型则集中于识别如下水道盖、人体和手指等异常对象。
研究者们还注意到，MAE模型在检测时空异常方面表现得更为灵活和敏感。与I3D模型相比，MAE模型不仅能够识别出对象在空间维度上的扭曲，还能够察觉到对象在时间维度上的不连贯性。例如，如果视频中的排水管在连续帧之间发生了明显的形状变化，MAE模型能够捕捉到这种变化，并据此判断视频为假。
通过Grad-CAM的分析，研究者们得出结论，MAE模型之所以在假视频检测上表现更为出色，是因为其能够同时关注视频中的时空异常，而不仅仅是空间上的失真。这一发现对于进一步优化和改进假视频检测技术具有重要意义。
滥用预防
与文本到视频的生成任务相比，图像到视频的生成任务更容易被滥用，因为存在修改者可能恶意使用这些技术。为了防止这种情况，研究者们设计了一种基于对抗性样本的防御机制，专门针对图像到视频的生成任务。
对抗性样本最初是为了解决分类问题而引入的，通过向原始图像中添加对人类视觉不可见但能导致神经网络做出错误判断的小扰动。研究者们采用类似的方法，创建对抗性样本来干扰视频生成模型，使模型的编码器误解输入图像，从而产生不正确和异常的视频帧，保护原始图像不被滥用。
研究者们在多个开源和商业视频生成模型上测试了他们的防御策略。他们采用了两种不同的防御方法：有向防御和无向防御。有向防御需要选择一个目标图像来指导添加的扰动，而无向防御则不需要目标图像，直接优化图像以增加损失。
在实验中，研究者们使用了两种嵌入器，分别从Stable Video Diffusion模型中获取。他们设置了不同的参数，并测试了不同等级的扰动强度。实验结果表明，无论是有向防御还是无向防御，都能有效地防止Stable Video Diffusion生成正常的视频。然而，当面对未知的视频生成模型时，使用有向防御方法生成的对抗性样本可能效果较弱。
虽然有向防御在某些情况下可以提供更有效的保护，但它可能需要精心选择目标图像，以确保扰动的不可见性。而无向防御虽然不需要目标图像，但可能需要更大的扰动强度来实现类似的防御效果。尽管存在这些挑战，研究者们提出的滥用预防策略为保护图像不被恶意用于视频生成提供了有价值的见解和工具。
论文链接：https://arxiv.org/abs/2402.13126