PFE[2019-ICCV]

Motivation

• Embedding-feature[确定性的点估计]的模糊性

     

1.  Gaussian Blur | Occlusion |  Random Gaussian Noise [left-->right];
2. 将图片质量较低的diff-pair错误地识别为same-pair；
3. 将不同图片质量[eg: cross-quality image pair)]的same-pair错误地识别为diff-pair;

• 人脸识别：点估计 or 密度估计 ？

                                         

Code

• PFE[tensorflow-version][pytorch-version]

Details

• Insight

       假设Embedding-feature space中的feature服从多元高斯分布，均值表示input-image最可能被编码的feature，方差则表示模型的confidence.

                                                                          

       为了简化模型，作者假设多元高斯分布的协方差矩阵为对角矩阵[意味着嵌入特征的各维度之间是独立的]；

• Matching

                                                    

       上式表示对于给定的pair(x_i, x_j)它们的嵌入特征相同的概率，对上式取log-likelihood则有：

                                

       作者将上式称为Mutual Likelihood Score[MLS], 它度量了特征空间中两个分布的重叠程度，其取值越大意味着重叠程度越大.

       特点 ：1.无界性导致MLS不能称为距离度量；2. 与KL-散度相比，MLS具有对称性；3.具有自动加权、惩罚的机制；

• Fusion

                        

       核心思想：对属于同一个identity的不同的images所对应的嵌入特征的分布进行融合、调整！

       假设条件：

              1). 观测样本x_i {i=1,2, ..., n} 关于隐变量z条件独立 【P(X,Y|Z) = P(X|Z) P(Y|Z)】;

                                                    

              2). P(z)为无信息先验，即P(z)为方差趋于+∞高斯分布；

              3). 融合公式[具体的推导详见论文的arXiv版本]

                                                                       

• Learning

1. 对于SOTA的pre-trained主干网络f(x)，固定其weights用作u(x) = f(x);
2. 优化Uncertainty Module来获得样本的不确定性sigma(x)，优化准则是maximize 所有genuine-pairs的MLS；

                                                                          

Experiment

• Benchmark

      

• Qualitative Analysis

     

     Note : Gaussian Blur | Occlusion |  Random Gaussian Noise [left-->right];

1. 采用PFE之后，模型在一定程度上缓解了Deterministic Point Representation模型的feature ambiguity dilemma；

      

     Note : IJB-A  | (LFW, IJB-A)

1. 高质量的face-image对应的embedding-feature的variance较小，而low-quality的face-image对应的特征的variance较大；
2. 在风控场景中，可以通过特征方差的调和平均数的倒数作为样本质量的confidence来对low-quality的图片进行筛选；

Reference

[1]. Probabilistic Face Embeddings[2019-ICCV]