如何使用张量流在给定图像中所有先前像素的情况下预测下一个像素

Question

作为一个项目，我想看看是否可以在给定所有先前像素的情况下预测图像中的下一个像素。
例如：假设我有一个 x 像素的图像。给定第一个 y 个像素，我希望能够稍微准确地预测 y+1th 个像素。我该如何解决这个问题。

Answer 1

您正在寻找某种生成模型。 RNN 是常用的，有一篇很棒的博文 here 演示了逐个字符的文本生成。

同样的原则可以应用于任何有序序列。您将图像称为像素序列，但图像具有固有的 2D 结构（如果包含颜色，则为 3），如果您采用与文本生成完全相同的方法，则会丢失该结构。几个想法：

1. 使用tensorflow的GridLSTMCells
2. 将一列像素视为序列的单个元素并逐列（或逐行）预测
3. 将想法 2 与沿列/行的一些一维卷积结合起来
4. 使用图像部分的特征作为generative adversarial network 的种子。有关基本实现，请参阅 this repository。