深度鲁棒编码器(Deep Robust Encoder, DRE),通过局部性保留低秩字典,来提取鲁棒的、辨别力的特征,同时优化一个低秩的字典和约束的深度自编码器。首先,在输出层设计一个新的损失函数,一个干净的低秩的字典,和对应的权重包含局部信息,使得重建过程无噪声。其次,判别性的图约束保留了数据的局部几何结构,引导每一个编码层的深度特征学习。

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

 

两个具体步骤:

Locality Preserving Low-Rank Dictionary Learning

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

传统的自编码器(AE):

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

加入低秩字典后的AE:

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

为了避免数据过拟合,加入图约束。

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

最后总的函数:

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

 Deep Architecture

现有的AE包括:Stacked Auto-Encode和深度自编码器

假设 L 个编码层和 L 个解码层,最小化误差函数写为:

Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

其中 x¯i是经过一系列编码和解码之后的 xi对应的输出。{Wl,bl},(1≤l≤L) 是编码层的参数,{Wl,bl},(L+1≤l≤2L){Wl,bl}是解码层的参数。第三项是将每一个编码层的图约束求和,引导输出层的局部低秩字典学习。

总结:基于自编码器进行设计,在自编码器基础上加上低秩字典,结构上加入多层的设计。

相关文章:

  • 2022-12-23
  • 2021-10-07
  • 2022-12-23
  • 2021-12-31
  • 2021-08-28
  • 2021-06-07
  • 2021-09-06
猜你喜欢
  • 2021-10-12
  • 2021-07-25
  • 2022-12-23
  • 2021-07-17
  • 2021-12-11
  • 2021-11-29
相关资源
相似解决方案