【FAS】《The Research of RGB Image Based Face Anti-Spoofing》

在这里插入图片描述

文章目录

1、原文
2、相关工作
3、基于特征解耦的人脸活体检测算法
- 3.1、方法
- 3.2、实验结果
4、基于解构与组合的人脸活体检测方法
- 4.1、方法
- 4.2、实验
5、作者总结
6、结论（own）
7、附录
- 7.1、CycleGAN
- 7.2、InfoGAN
- 7.3、3D Face

1、原文

[1]张克越.基于RGB图像的人脸活体检测技术研究[D].华东师范大学,2021.DOI:10.27149/d.cnki.ghdsu.2021.000023.

2、相关工作

在这里插入图片描述
基于于传统特征算子的方法

1）提取纹理信息

2）提取动作变化

基于深度学习的方法

1）二分类任务

2）辅助信息的引入

从照片去噪的角度切入，认为活体攻击是在真人图像上加入噪声得到的，而这个噪声是在翻拍过程中引入的，因此提出了 De-spoofing的方法，希望能从活体攻击中去除噪声得到真实人脸
从异常检测的角度切入，认为所有真实人脸构成一个闭集，而活体攻击则是在这个闭集之外的野点
认为活体攻击因为材质原因，表面可能会有一层镜面反射，而真实人脸中不存在，因此用反射图来监督活体攻击

作者的方法

希望从输入的图像中学习到关键的特征表示，尽量去除与活体检测无关的信息，以此提高模型的泛化能力

3、基于特征解耦的人脸活体检测算法

预定义的辅助信息或者类别信息并无法保证提取的特征只和活体任务相关，这会造成方法的泛化能力的下降

输入的图像都包含完整人脸信息，有可能让网络关注到人脸结构性的信息，而这与活体检测任务无关

在这里插入图片描述

3.1、方法

解耦成活体特征+内容特征（光照，背景），结合底层纹理监督以及高层深度约束来促进解耦的学习

在这里插入图片描述

$A_b$ 应该是 A 对应的活体攻击版本， $B_a$ 因该是 B 对应的真实人脸版本

1）解耦部分

活体特征及内容特征

在这里插入图片描述
借鉴了 cycleGAN 的思想

2）辅助监督部分

深度监督，纹理监督（LBP）和判别器监督，共同促进解耦效果

网络结构

在这里插入图片描述

LBP 监督

在这里插入图片描述

32维的特征向量，抠图这种标签不好做

深度监督

在这里插入图片描述

判别器辅助

整体结构的损失函数

在这里插入图片描述

3.2、实验结果

在这里插入图片描述

在这里插入图片描述

作者的方法是 LBP-Depth，底层 LBP，深层 Dpeth

在这里插入图片描述

同一张真实人脸交换活体特征之后生成的结果图

当在真实人脸之间交换活体特征时，改变图几乎为 0

4、基于解构与组合的人脸活体检测方法

4.1、方法

Destruction And Combination Network (DCN)

在这里插入图片描述

网络结构
在这里插入图片描述

1）结构解构模块

结构解构模块负责打破图像的结构性信息，指引网络关注图像的局部细节
基于图像块的方法只考虑块内部的信息，而本文这种方法使得网络还可以学到块之间的信息

2）内容组合模块

内容组合模块负责在同一图像中引入不同域，不同类别的信息，引导网络对于不同域不同类别的图像都能够提取与任务相关的特征

跨类别组合
跨域组合

3）局部关系建模模块

图像块特征的恢复网络

输入为 backbone 提取到的特征
输出为32x32x3，patch，M=32，N=32

块间的相似度衡量

在这里插入图片描述

划分为 MXN 个 patch

使用余弦相似度来衡量每一个块之间的相似度，label 为 1 或者 -1（不同类别的图像块的特征之间余弦相似度应该为 −1，而同类别的图像块特征之间余弦相似度则为 1）

损失

在这里插入图片描述
P 为（MxN）

总体损失

在这里插入图片描述

4.2、实验

在这里插入图片描述

引入解构模块后，全区特征相应都比较高，模糊了结构信息

没有引入前，边缘轮廓相应比较明显

在这里插入图片描述

5、作者总结

在这里插入图片描述

6、结论（own）

info GAN 里面涉及到了特征的解耦，作者解耦活检特征和内容特征（光照、ID、背景）
人脸结构信息可能不是活检主要关注的信息，可以打乱，打乱还可以引入不同域的 patch 增加泛化性能

7、附录

7.1、CycleGAN

Zhu, Jun-Yan, et al. “Unpaired image-to-image translation using cycle-consistent adversarial networks.” Proceedings of the IEEE international conference on computer vision. 2017.

在这里插入图片描述

7.2、InfoGAN

Chen X, Duan Y, Houthooft R, et al. Infogan: Interpretable representation learning by information maximizing generative adversarial nets[J]. Advances in neural information processing systems, 2016, 29.

解耦学习方法

在这里插入图片描述

InfoGAN详细介绍及特征解耦图像生成

在这里插入图片描述

7.3、3D Face

Feng Y, Wu F, Shao X, et al. Joint 3d face reconstruction and dense alignment with position map regression network[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 534-551.

在这里插入图片描述