卷积神经网络可视化——权重还是激活？答案

【问题标题】：Convolutional Neural Network visualization - weights or activations?卷积神经网络可视化——权重还是激活？
【发布时间】：2019-01-08 01:22:17
【问题描述】：

上述可视化是第一个卷积层的权重的渲染还是第一个卷积层上给定输入图像上的激活？

下面是我训练了 48 小时的 Inception v2 模型的第一个卷积层的权重的可视化：

我确信我在 48 小时后（在 CPU 上）还没有收敛我的模型。这些权重现在不应该开始平滑了吗，训练准确率超过 90%？

【问题讨论】：

【解决方案1】：

根据ImageNet Classification with Deep Convolutional Neural Networks，第一个卷积层以 224x224x3 图像作为输入（注意：应该是 227x227 而不是 224x224）并用 96 个大小为 11x11x3 的内核对其进行过滤。

上图是第一个卷积层学习到的卷积核。

注意：实际上在图中可以算出 96 个大小为 11×11×3 的卷积核。

【讨论】：

【解决方案2】：

在这个特定的 AlexNet 的第一层的权重被可视化。在激活可视化方面，视觉效果不如权重视觉效果那么流畅。

如果您有任何问题，请告诉我

【讨论】：

我添加到我的问题中。你认为我的体重会在什么时候开始平稳？我已经在 150K 样本训练集上训练了大约 5 个 epoch（批量大小为 16）。
我无法理解您发布的权重，通常与网络无关，初始权重会学习图像边缘、斑点、低级事物等，
对。我试图缩小范围是如果我没有对我的模型进行足够的训练，或者我是否完全偏离了目标。我读过 Inception v2 在 GPU 上大约一周内“学习”了 ImageNet 数据集。由于我只在单个 CPU 上进行训练，我猜同样的过程可能需要我一周的时间，但我试图通过检查权重/过滤器来衡量我的进度，看看它们是否平滑。跨度>
不确定这是否是你想要走的路，如果你说你想知道你是否已经足够训练你的模型，绘制你的训练，更重要的是你的 val 曲线，那应该会给你一个更好的主意.