【发布时间】:2017-02-27 03:00:46
【问题描述】:
Embedding 层 (https://www.cntk.ai/pythondocs/layerref.html#embedding) 的文档显示,它可以使用 weights 参数使用预训练嵌入进行初始化,但这些嵌入在训练期间不会更新。
有没有办法用预训练嵌入初始化Embedding 层并在训练期间仍然更新它们?
如果不是,使用一个热向量进行批量嵌入查找的最有效方法是什么?
【问题讨论】:
标签: cntk
Embedding 层 (https://www.cntk.ai/pythondocs/layerref.html#embedding) 的文档显示,它可以使用 weights 参数使用预训练嵌入进行初始化,但这些嵌入在训练期间不会更新。
有没有办法用预训练嵌入初始化Embedding 层并在训练期间仍然更新它们?
如果不是,使用一个热向量进行批量嵌入查找的最有效方法是什么?
【问题讨论】:
标签: cntk
是的,只需将初始值传递给 init 参数即可。这将创建一个使用您传入的数组初始化的可学习参数。
【讨论】: