Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

类似于SAGAN的出发点，传统CNN仅仅考虑图像的局部信息，没有考虑全局范围内不同区域的联系，而capsule是可以建模图像的空域相关性的，因此用capsule network代替CNN作为判别器，使生成的图像具有结构性。

Wasserstein loss:

maxw∈WEx∼p(x)(Dw(x))−Ez∼p(z)Dw(Gθ(z))$$\underset{w\in W}{max}{E}_{x\sim p(x)}(D_w(x))-E_{z\sim p(z)}{D}_w(G_{\theta }(z))$$

文章介绍了两种结构，第一种是针对任意类别进行图像生成的
模型结构如下图所示，包括transpose convolution生成器和capsule判别器，后者包括两个capsule层

Loss结合Wasserstein loss和Capsule的marginal loss

maxθminwLx∼p(x)(x)+Lz∼p(z)(Gθ(z))$$\underset{\theta }{max}\underset{w}{min}{L}_{x\sim p(x)}(x)+L_{z\sim p(z)}(G_{\theta }(z))$$

第二种是针对特定类别进行图像生成的，首先将one-hot类别向量与随机输入z$z$连接起来输入与上述相同的生成器，然后输入capsule判别器中，但是这里的判别器有两个capsule分类器，一个用于判断图像的真实性，另一个判断图像类别。使用的loss与前一种相似