有人可以用简单的方式解释 FlowNet 中的相关层吗？

Question

我目前正在阅读论文“FlowNet: Learning Optical Flow with Convolutional Networks”，无法理解相关层。

我似乎在google上找不到任何解释，所以我想我应该问她：

1. 当论文谈到比较来自 f_1 的每个补丁与来自 f_2 的每个补丁时，其中 f_1 和 f_2 是维度 whc 的特征图，补丁​​是什么意思？我们是在谈论来自特征图的一块特征，还是来自一个原始图像的一块像素？

2. 什么是 x_1 和 x_2？它们是特征图中的特征像素（1*1*c）吗？它们是坐标值吗？

3. f_1(x_1 + o) 究竟是什么意思？

非常感谢！

Answer 1

从特征图 2 中仅提取一次 21x21x256 的补丁，然后将特征图 1 中的每个 1x1x256 内核与此 (21x21x256) 补丁进行卷积。

更多解释： 来自特征图 1 的每个 (1x1x256) 内核仅与补丁 (21x21x256) 的 pixel-1 进行卷积以获得一个特征图，然后特征图 1 的所有 (1x1x256) 内核再次与pixel-2 of (21x21x256) patch 得到第二个特征图 对 (21x21x256) 补丁的所有像素继续这个过程，直到我们得到 441 个特征图，这等于提取的特征图中的像素数。please look at this figure

Answer 2

1. 特征图的特征补丁
2. 特征图中的特征像素 (1*1*c)
3. 与 x1 距离为 o 的特征像素

flownet 中的相关层根据特征图（第一个特征图和第二个特征图）计算补丁。

enter image description here

为了计算特征像素 x1 和特征像素 x2 之间的相关性，相关层计算以 x1 和 x2 为中心的窗口（大小 (2k+1,2k+1)）之间的点积。所以他们只是在窗口中的元素之间做点积并将它们相加。