FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors  2019

1. 简介

本文提出借助人脸几何先验信息来辅助人脸超分。因为相比较context,人脸形状更能在LR-HR中保存下来。

而人脸形状的先验信息由人脸分割的五官等,以及landmark点来表示。

相比较直接从LR中提取先验信息,HR中的信息更准确,因此先从LR经过一个粗超分网络coarse SR network。

2.网络步骤

s1.LR经过coarse SR network得到coarse HR

s2.coarse HR送入两个分支,一个分支为fine SR encoder,一个分支为prior information estimation net

s3.将第二步的数据同时送入fine SR decoder。

FSRNET 人脸超分

3.损失

1.重构损失:ground truth HR image,groud Truth prior information

 

FSRNET 人脸超分

2.GAN 对抗损失:对抗网络C

FSRNET 人脸超分

 

 

3.感知损失:分别提取高层次语义特征和预训练网络的特征(例如VGG)

 

FSRNET 人脸超分

4.总体损失

FSRNET 人脸超分

 

4.讨论
 

1.人脸parsing priors 信息比landmark piors信息更能提高效果。

2.全局的parsing 信息比局部信息更有效。

3.更多的landmarks信息更加有效。

 

5.指标

PSNR

SSIM

 

相关文章:

  • 2022-02-09
  • 2021-04-18
  • 2021-05-03
  • 2022-12-23
  • 2021-05-31
  • 2021-06-20
  • 2021-04-17
  • 2022-12-23
猜你喜欢
  • 2021-06-03
  • 2021-10-23
  • 2021-04-04
  • 2021-11-10
  • 2021-12-29
  • 2021-07-31
  • 2021-07-22
相关资源
相似解决方案