深度学习——Flatten 是 Embedding 的一种特殊形式？

【问题标题】：Deep learning-Flatten is one of the special form of Embedding?深度学习——Flatten 是 Embedding 的一种特殊形式？
【发布时间】：2020-06-11 04:42:33
【问题描述】：

在深度学习中，

Embedding 的定义是把数据变成稠密的向量。

扁平化是一个广泛使用的概念，它使数据排成一行。所以，我们可以考虑 Flatten 也返回向量。只是更改功能编号。

那么，Flatten 是 Embedding 的一种特殊形式吗？这在逻辑上正确吗？

扁平化⊂嵌入？

【问题讨论】：

标签： machine-learning deep-learning nlp embedding flatten

【解决方案1】：

不，Flatten 是一个层，它接受更高暗度的输入，即 (d1,d2,...,dn) 并将其展平为一维向量。该向量将具有 (d1 * d2 * ... * dn) 个元素。它什么都学不到。它只需要更高的暗淡张量并将其转换为单个暗淡张量。

另一方面，嵌入具有可学习的参数，这些参数会在训练期间更新。这些参数学习数据的有意义的表示。

【讨论】：