【CVPR2020】人脸识别：Face X-ray/SCN

反伪造：Face X-ray

文章来源：https://arxiv.org/pdf/1912.13458.pdf

Intuition
大部分的人脸伪造算法都具有相同的步骤：将一个修改后的人脸图像放在另一个背景图像中，如下图所示

而这两张图像由于采集或生成方式的不同，某些性质可能有差异，如果成功检测出这些差异，不仅可以判断人脸是否是伪造的，还可以确定图像融合的边界。
下图展示了伪造人脸和背景两个指标的不同。

fomula
人脸融合的公式如下

其中IM是融合后的图像，IF是前景图像，IB是背景图像，M是掩码(mask)，M每个元素的取值是0~1.
定义face X-ray如下

Mij取0.5时，Mij*(1-Mij)最大为0.25，为了让B归一化到0~1范围内，需要乘系数4。B就是face X-ray，它是一张显示前景与背景边界的图像，如下图

只有假脸的face X-ray才有轮廓，真脸的face X-ray 全黑
Training
输入一张人脸，输出其对应的face X-ray和表示真假的变量。
可以直接在真实人脸数据集里生成训练数据集。步骤如下：
1，对于一个背景图像IB，根据其人脸关键点的位置在剩余的数据集里找100个最近邻，并从中随机选择一个作为前景IF.
2, 用凸包围住IB人脸关键点，此为原始的M。因为实际应用中被替换的区域形状不一，因此要对原始的M上作形状的随机变换生成最终的M。
3，根据上述两个公式融合人脸和计算B
整个过程如下图. 虽然只用一种方法生成假人脸，但实验证明该网络能很好地应用在其他方法生成的假人脸。

my opinion
真实效果存疑

表情识别:self-cured network.

文章来源：https://arxiv.org/pdf/2002.11841.pdf

Intuition
现有的表情识别数据集都比较’脏’,所以需要一些方法来改善这种情况

Network
在基础的CNN结构上加入三个模块：
1，Self-Attention Importance Weighting: 给batchsize张图像赋予权重，使不确定样本对应的权重小。
2，Rank Regularization：为了进一步限制不确定样本占的权重，增大确定样本和不确定样本平均权重的差距
3，Relabeling: 对不确定样本重新标记

Self-Attention Importance Weighting
由backbone输出$D\times N$D×N的特征向量x，N为batchsize，用一层sigmoid全连接网络来生成x的权重，公式如下
得到每个样本的权重后，就对样本的损失进行加权：

这里不采用简单的相乘加权，而是更复杂的形式。上式W表示网络最后一层全连接层。

Rank Regularization
按权重对样本降序排列，根据比例$\beta$β划分确定样本组和不确定样本组。希望两组的平均权重之差越大越好。这里提出了RR-Loss:

式中$\beta\times N =M$β×N=M, $\delta_1$δ1​为超参数
总的损失函数$L_{all}=\gamma L_{WCE}+(1-\gamma)L_{RR}$Lall​=γLWCE​+(1−γ)LRR​
Relabeling
对最大预测概率远大于标签概率的样本重标记：

其中$P_{max}$Pmax​是网络预测的最大概率，$l_{max}$lmax​是最大概率对应的标签。$l_{org}$lorg​是训练集给的标签，$P_{gtInd}$PgtInd​是网络预测$l_{org}$lorg​的概率，$\delta_2$δ2​是阈值，超参数

最后，整个网络如下图所示

my opinion
一些tricks而已