VGMShield:揭秘视频生成模型滥用的检测与追踪技术

人工智能咨询培训老师叶梓 转载标明出处

视频生成模型,如 Stable Video Diffusion 和 Videocrafter,已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险,比如用于制造假新闻或进行政治宣传。因此,来自弗吉尼亚大学和亥姆霍兹信息安全中心(CISPA)的研究团队着手开发了 VGMShield,一套旨在降低视频生成模型滥用风险的综合解决方案:

现实世界中的参与者分为三个不同的实体:创建者(Creator)、修改者(Modifier)和消费者(Consumer)。创建者可能是摄影师或记者,他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患,研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。

消费者 (Consumer)、创建者 (Creator) 和修改者 (Modifier) 在信息/内容生成和消费周期中的角色

假视频检测和追踪

潜在的威胁模型基于两个关键因素:视频来源和生成视频所使用的模型。检测任务分为四种场景:在目标检测中,检测器不仅知道可能生成视频的模型,还知道用于生成视频的数据源。这种场景虽然理想化,但为研究者提供了一个起点,以理解在最佳条件下模型的表现。第二,数据盲检测,其中检测器知道视频的来源,但对生成视频使用的数据分布一无所知。模型盲检测则相反,检测器知道数据分布,但不知道使用的是哪种模型。最后,开放检测是一个更为现实和具有挑战性的场景,检测器对数据源和模型都一无所知。

假视频检测和追踪的不同场景,包括数据和模型的知识情况

研究者们在构建假视频检测和追踪方法时,将这个问题转化为了分类任务。他们基于一个关键假设:假视频会在空间维度上展示出异常特征,同时在时间维度上表现出不一致性。为了识别这些异常,研究者们选择了几种预训练的视频识别模型,这些模型能够理解视频的时空动态。他们选用的模型包括 Inflated 3D ConvNet (I3D)、X-CLIP 和 Video Masked Autoencoders (MAE),每种模型都以其独特的方式处理视频数据。

在检测部分,研究者们根据不同的应用场景调整了模型的训练方法。他们遵循两个基本原则:首先,为了应对开放检测设置,他们确保训练集尽可能多样化,包含了大量的真实和假视频;其次,当任务更加具体时,例如检测器需要识别特定模型或数据分布生成的视频,他们会缩小训练集的范围,使其更贴近实际任务的需求。

在追踪源模型的过程中,研究者们采取了一种假设所有视频均为假视频的方法,并使用多标签分类模型来确定视频可能来源于的九种不同模型之一。与检测任务不同,追踪任务的训练涉及到所有这些模型生成的假视频,这样做可以帮助模型学习到每种模型生成视频的独特特征。

为了验证所提出方法的有效性,研究者采用了两个广泛使用的数据集:WebVid-10M和InternVid,来进行评估。这些数据集拥有大量的视频和相应的文本描述,为训练和评估机器学习模型提供了丰富的资源。研究者进一步收集了所有可用的开源视频生成模型,并针对每一种模型生成了1000个视频,这些视频随后被用于检测和追踪任务。

假视频检测的实验流程

图2展示了假视频检测的实验流程。为了确保真实视频和假视频具有相似的分布特征,研究者们采用了一种特定的方法来生成假视频。这种方法利用了真实视频的第一帧(以及可能伴随的字幕)来生成对应的假视频。这样的处理旨在最小化真实视频和假视频之间的差异,从而使得检测模型不能依赖于其他特征(例如,真实视频总是关于动物的,而假视频总是关于汽车的)。

分类模型由两部分组成:一个作为主干的视频识别模型,以及一个全连接的模型。这个全连接的模型被训练来识别和区分真实视频和假视频。视频识别模型负责提取视频中的关键特征,而全连接层则用于学习如何根据这些特征来区分视频的真实性。通过在真实视频和假视频上训练这个复合模型,研究者们旨在提高检测系统的性能和准确性。这种训练方法有助于模型更好地理解真假视频之间的微妙差异,从而在实际应用中更有效地识别出假视频。

实验的详细参数,包括输入帧数、训练周期、学习率等

研究者展示了在不同数据集和多种生成任务中应用三种检测模型的结果。他们发现,Video Masked Autoencoders(MAE)模型在各种场景下都展现出了稳定性和高效性,尤其是在开放检测设置中,MAE模型的检测准确率显著高于其他模型。

使用不同的检测模型(X-CLIP, MAE, I3D)在 WebVid-10M 数据集上构造视频时的检测结果
MAE 基础的假视频检测模型在 InternVid 数据集上四种设置下的性能

研究者展示了在数据知情和数据不知情两种设置下,使用X-CLIP、I3D和MAE作为后端的追踪模型的性能。特别地,在数据不知情的设置中,即使面对未知数据源的视频,MAE模型仍然能够保持高达90%的准确率,显示出其在追踪任务上的鲁棒性。

在数据感知和数据不可知设置下,使用 Webvid 和 InternVid 数据集的源追踪结果

研究者们采用了Grad-CAM技术来深入分析模型的决策过程。Grad-CAM(梯度类激活映射)是一种可视化技术,它能够展示模型在做出分类决策时所关注的视频区域。通过这种方式,研究者们可以直观地理解检测模型是如何识别出假视频的。

使用 Grad-CAM 展示了 I3D 和 MAE 检测模型在 InternVid-SVD 生成任务中做出检测决定的具体方面

研究者们首先观察了基于I3D和MAE的检测模型,这两种模型在假视频检测上都取得了超过90%的准确率。通过Grad-CAM生成的热图,研究者们发现这些模型主要依赖于视频中的对象来进行判断。例如,I3D模型倾向于关注人脸、栅栏、手指和引擎电池等对象,而MAE模型则集中于识别如下水道盖、人体和手指等异常对象。

源追踪模型依赖于视频中不同位置的特征来确定生成模型

研究者们还注意到,MAE模型在检测时空异常方面表现得更为灵活和敏感。与I3D模型相比,MAE模型不仅能够识别出对象在空间维度上的扭曲,还能够察觉到对象在时间维度上的不连贯性。例如,如果视频中的排水管在连续帧之间发生了明显的形状变化,MAE模型能够捕捉到这种变化,并据此判断视频为假。

通过Grad-CAM的分析,研究者们得出结论,MAE模型之所以在假视频检测上表现更为出色,是因为其能够同时关注视频中的时空异常,而不仅仅是空间上的失真。这一发现对于进一步优化和改进假视频检测技术具有重要意义。

滥用预防

与文本到视频的生成任务相比,图像到视频的生成任务更容易被滥用,因为存在修改者可能恶意使用这些技术。为了防止这种情况,研究者们设计了一种基于对抗性样本的防御机制,专门针对图像到视频的生成任务。

对抗性样本最初是为了解决分类问题而引入的,通过向原始图像中添加对人类视觉不可见但能导致神经网络做出错误判断的小扰动。研究者们采用类似的方法,创建对抗性样本来干扰视频生成模型,使模型的编码器误解输入图像,从而产生不正确和异常的视频帧,保护原始图像不被滥用。

通过引入扰动来实施预防策略,包括有向防御和无向防御策略

研究者们在多个开源和商业视频生成模型上测试了他们的防御策略。他们采用了两种不同的防御方法:有向防御和无向防御。有向防御需要选择一个目标图像来指导添加的扰动,而无向防御则不需要目标图像,直接优化图像以增加损失。

在实验中,研究者们使用了两种嵌入器,分别从Stable Video Diffusion模型中获取。他们设置了不同的参数,并测试了不同等级的扰动强度。实验结果表明,无论是有向防御还是无向防御,都能有效地防止Stable Video Diffusion生成正常的视频。然而,当面对未知的视频生成模型时,使用有向防御方法生成的对抗性样本可能效果较弱。

在不同 η 设置下,使用有向和无向防御方法生成的对抗性样本
不同扰动强度下对抗性样本的防御效果评估

虽然有向防御在某些情况下可以提供更有效的保护,但它可能需要精心选择目标图像,以确保扰动的不可见性。而无向防御虽然不需要目标图像,但可能需要更大的扰动强度来实现类似的防御效果。尽管存在这些挑战,研究者们提出的滥用预防策略为保护图像不被恶意用于视频生成提供了有价值的见解和工具。

论文链接:https://arxiv.org/abs/2402.13126

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3245727.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

彩电上自带的推箱子游戏是什么编程语言开发的?

2000年左右的厦新彩电上,自带了推箱子、华容道游戏。界面如下: 在线版推箱子游戏,网址:https://www.tuixiangzi.cn/ BASIC,全称是Beginners All-purpose Symbolic Instruction Code,含义是初学者通用符号…

【杰理蓝牙开发】AC695x 按键扫描接口分析

【杰理蓝牙开发】AC695x 按键ADC接口分析 0. 个人简介 && 授权须知1. 按键扫描配置和按键消息处理1.1 参数说明1.2 按键事件说明2. 应用层处理3. 特殊按键需求3.1 特殊需求 1:组合键3.2 特殊需求 2:按键多击事件3.3 特殊需求 3:某些按键只响应单击事件0. 个人简介 &…

AI算法20-分位数回归算法Quantile Regression | QR

分位数回归算法的概念 分位数回归算法简介 分位数回归(Quantile Regression)是一种统计方法,最早由Roger Koenker和Gilbert Bassett于1978年提出。它通过估计条件分位数函数来分析自变量与因变量之间的关系,与传统的最小二乘回归…

怎么压缩视频文件?简单的压缩视频方法分享

视频已成为我们日常生活中不可或缺的一部分。但随着视频质量的提高,文件大小也逐渐成为我们分享的阻碍。如何有效压缩视频文件,使其既能保持清晰,又能轻松分享?今天,给大家分享五种实用的视频压缩方法,快来…

昇思25天学习打卡营第02天|张量 Tensor

一、什么是张量 Tensor 张量是一种特殊的数据结构,与数组和矩阵非常相似。张量(Tensor)是MindSpore网络运算中的基本数据结构。 张量可以被看作是一个多维数组,但它比普通的数组更加灵活和强大,因为它支持在GPU等加速…

项目JetCache的常见配置与使用

Hello, 大家好,今天本汪给大家带来的是JetCache在项目中的常见配置与用法讲解,接下来,随本汪一起来看看吧 一、介绍 官网地址:https://github.com/alibaba/jetcache JetCache 是一种 Java 缓存抽象,它为不同的缓存…

腾讯PAG动效工具解析

什么是PAG? 1、背景 在终端 APP 中,动画非常常见,它可以辅助视觉制造焦点,同时也可以让用户交互更加顺滑,但动画的实现却是设计师和研发群体的一个痛点。如何辅助设计师设计高性能炫酷的动画、如何将设计师设计的动画…

自托管端口管理系统Portall

老苏一直在折腾各种开源软件,但总是记不清哪些应用占用了哪些端口,每次都是先随机想一个端口,然后在笔记中搜索,看有没有被占用过。Portall 就是用来解决老苏遇到的这种情况的,当然,excel 也是可以的 &…

十分钟“手撕”七大排序

前言:可以通过目录来找你需要的排序的源代码。先是解释底层原理,后附带代码。 目录 稳定的概念 一、插入排序 二、希尔排序 三、选择排序 四、堆排序 五、冒泡排序 六、快速排序 七、归并排序 八、排序总结 额外:计数排序 稳定的…

Qt MV架构-委托类

一、基本概念 与MVC模式不同,MV视图架构中没有包含一个完全分离的组件来处理与用户的交互。 一般地,视图用来将模型中的数据显示给用户,也用来处理用户的输入。为了获得更高的灵活性,交互可以由委托来执行。 这些组件提供了输入…

gradle学习及问题

一、下载安装 参考:https://blog.csdn.net/chentian114/article/details/123344839 1、下载Gradle并解压 安装包:gradle-6.7-bin.zip 可以在idea的安装目录查看自己适配的版本 路径:D:\IDEA2021.3\plugins\gradle\lib 下载地址&#xff1a…

16_网络IPC2-寻址

进程标识 字节序 采用大小模式对数据进行存放的主要区别在于在存放的字节顺序,大端方式将高位存放在低地址,小端方式将高位存放在高地址。 采用大端方式进行数据存放符合人类的正常思维,而采用小端方式进行数据存放利于计算机处理。到目前…

python用selenium网页模拟时xpath无法定位元素解决方法2

有时我们在使用python selenium xpath时,无法定位元素,红字显示no such element。上一篇文章写了1种情况,是包含iframe的,详见https://blog.csdn.net/Sixth5/article/details/140342929。 本篇写第2种情况,就是xpath定…

Linux 线程初步解析

1.线程概念 在一个程序里的一个执行路线就叫做线程(thread)。更准确的定义是:线程是“一个进程内部的控制序列。在linux中,由于线程和进程都具有id,都需要调度等等相似性,因此都可以用PCB来描述和控制,线程含有PCB&am…

人类或是低等生物?

自工业革命以来,人类对自然资源的消耗日益加剧,引发了对未来可持续性的深刻担忧。然而,一项振奋人心的发现为人类提供了新的希望——一颗名为LHS 1140 b的超级地球,它位于距离地球约48光年的鲸鱼座,由詹姆斯韦布空间望…

uniapp字符串转base64,无需导入依赖(多端支持)

使用示例 import { Base64Encode, Base64Decode } from "@/utils/base64.js" base64.js const _keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";export const Base64Encode = (text)

Qt Creator的好用的功能

(1)ctrlf: 在当前文档进行查询操作 (2)f3: 找到后,按f3,查找下一个 (3)shiftf3: 查找上一个 右键菜单: (4)f4:在…

使用vcXsrv可视化pcl文件

1、下载vcXsrc程序 2、按下面步骤配置 3、按上面操作后,在运行菜单就能看到它在运行了 4、去wsl中配置,即设置环境变量 vim ~/.bashrc # 设置连接windows的VcXsrv export DISPLAY192.168.1.100:0.0 #(192.168.1.100是我windows的ip&#x…

信创学习笔记(四),信创之数据库DB思维导图

创作不易 只因热爱!! 热衷分享,一起成长! “你的鼓励就是我努力付出的动力” 一. 信创学习回顾 1.信创内容 信创内容思维导图 2.信创之CPU芯片架构 信创之CPU芯片架构思维导图 3.信创之操作系统OS 信创之操作系统OS思维导图 二. 信创之国产数据库DB思维导图 …

LAST_INSERT_ID使用方法-(DM8达梦数据库)

LAST_INSERT_ID使用方法 - DM8达梦数据库 1 示例 11.1 创建表1.2 结果集 2 示例 22.1 创建表2.2 结果集 3 达梦数据库学习使用列表 1 示例 1 1.1 创建表 DROP TABLE AT240715; CREATE TABLE "SYSDBA"."AT240715" ( "ID" INT PRIMARY KEY AUTO_…