我们可以对从预训练模型中提取的特征进行归一化吗

【问题标题】：Can we normalize features extracted from pre-trained models我们可以对从预训练模型中提取的特征进行归一化吗
【发布时间】：2020-12-10 13:42:59
【问题描述】：

我正在处理从预训练的 VGG16 和 VGG19 模型中提取的特征。这些特征是从上述网络的第二个全连接层（FC2）中提取的。

生成的特征矩阵（维度为 (8000,4096)）具有 [0,45] 范围内的值。因此，当我在基于梯度的优化算法中使用此特征矩阵时，损失函数、梯度、范数等的值会非常高。

为了消除如此高的值，我对这个特征矩阵应用了 MinMax 归一化，从那时起这些值是可管理的。此外，优化算法运行正常。我的策略是否可行，即对从预训练模型中提取的特征进行归一化以进行进一步处理是否足够公平。

【问题讨论】：

【解决方案1】：

根据经验，只要您知道您的结果来自标准化值，就可以了。如果标准化可以帮助您更好地显示梯度、规范等，那么我支持它。

不过，我要谨慎的是，对这些特征矩阵进行任何进一步的分析，因为它们是标准化的，而不是真实值。说，如果你要研究分布等，你应该没问题，但我不确定你的下一步是什么，以及这是否会/会有害。你能分享更多关于“进一步分析”的细节吗？

【讨论】：

我将使用这个归一化特征矩阵来解决使用次梯度方法的凸优化问题。在这种方法中，特征矩阵 X 将作为确定矩阵 D 的输入。优化函数看起来像 frebonius_norm[ (X-YD)**2 ] + nucleus_norm [D];其中 X 和 Y 是输入矩阵，D 是要找出的参数。
@Upendra01 我不是优化方面的专家，所以也许可以请专家来发表评论，但是，据我所知，您可以继续解决优化问题，因为您知道矩阵 D 结果将也是“标准化”值。