有没有办法增加预训练的词嵌入的维度？答案

【问题标题】：Is there a way to increase dimensionality of pre-trained Word Embeddings?有没有办法增加预训练的词嵌入的维度？
【发布时间】：2019-08-27 15:52:47
【问题描述】：

我几乎是新近接触到 NLP 研究，正在努力研究 NLP 中使用的 NLP 和机器学习技术。

我现在要处理的问题是，是否有某种方法可以将预训练的词嵌入（如 GloVe 嵌入）的维数从固定大小 100 增加到 512？

我问这样的问题的原因是我使用这些嵌入来训练预定义维度为 100 的 RNN 网络。现在，我已经切换到模型高度敏感的自注意力机制（Transformers）训练参数。所以，我想知道我是否可以以某种方式（例如，使用感知器或 MLP）将 100d 嵌入转换为具有 512d 的新空间。

我在这里问之前用谷歌搜索过，但最终找不到可靠的来源。

【问题讨论】：

我假设你的意思是没有再培训？
是的，无需重新培训。由于数据是医疗数据，并且出于隐私原因，我无权访问它们。 @JPAlioto
奇怪！想知道谁投票关闭了这个帖子......

标签： machine-learning neural-network nlp word-embedding

【解决方案1】：

我了解到您希望将 100d 嵌入馈送到接受维度为 512 的输入的网络。为此，您需要将嵌入向量投影到更高的维度。您可以使用一个简单的前馈/线性层，该层接受大小为 100 的输入。将层的隐藏大小设置为所需的大小，在这种情况下为 512。另外请注意，这应该是正在训练的整个网络的一部分，即前馈层应该是可训练的。

【讨论】：

谢谢@scarecrow。实际上，我正在考虑与您指出的类似的方法，但如果这是正确的解决方案，需要咨询专家。