StyleGAN 生成图像中的伪像 [关闭]答案

【问题标题】：Artifacts in StyleGAN generated images [closed]StyleGAN 生成图像中的伪像 [关闭]
【发布时间】：2020-08-26 09:08:02
【问题描述】：

我已经编写了自己的 StyleGAN 实现（本文为 https://arxiv.org/abs/1812.04948），使用 PyTorch 而不是官方实现使用的 Tensorflow。我这样做部分是为了从头开始实施一篇科学论文。

我已尽最大努力重现论文和它所基于的 ProgressiveGAN 论文中提到的所有特征，并且网络训练，但我总是得到模糊的图像和斑点状的伪影：

我非常想知道是否有任何具有 GAN 或特别是 StyleGAN 经验的人看到过这种现象，并且可以让我深入了解其可能的原因。

（一些细节：我正在对下采样的 CelebA 图像进行训练，600k 图像老化，600k 图像淡入，但我看到非常相似的现象与一个很小的玩具数据集和少得多的迭代。）

【问题讨论】：

【解决方案1】：

我使用 StyleGAN 已经有一段时间了，我无法用这么少的信息猜出原因..

一个可能的原因是截断技巧的影响，这使得结果代表平均人脸，但质量更高，或者偏离它以获得结果可变性，但有可能添加像你一样的人工制品。检查你是如何在 Pytorch 中实现这个技巧的。

我建议您查看这个存储库 (https://github.com/rosinality/style-based-gan-pytorch)，他们在 Pytorch 中实现了 styleGAN。您可以在此处找到模型中是否缺少某些内容。

最后，我还建议您阅读来自同一作者的 StyleGAN2 论文 (https://arxiv.org/abs/1912.04958)，他们解释了他们如何解决液滴伪影并提高 StyleGAN 的质量结果。

【讨论】：

感谢您的回复。我已经在考虑继续使用 StyleGAN2，但由于这部分是我为了学习而做的事情，我希望首先用这个实现来近似原始论文。我没有使用截断技巧；我现在不太关心最高质量，这些伪像看起来不像我期望从潜在异常值中得到的那种错误，而且我在每个样本上都能看到它们，这也暗示截断技巧不会帮助。我可能会尝试对模式进行采样以确定。感谢您提供 PyTorch 实现的链接。我去看看。