【发布时间】：2018-11-07 18:02:03
【问题描述】：
我有一个嵌入矩阵变量
embs = tf.get_variable(name="embs", shape=[total, hidden_size])
我想将规范限制为单位
embs_unit_norm_op = tf.assign(embs, tf.keras.constraints.unit_norm(axis=1)(embs))
但是embs 矩阵太大了，只有一些行被前面的梯度应用步骤改变了。我想通过仅约束/更新这些“活动”嵌入来减少计算量。
我有一个行号列表，例如 e = [1, 3, 5]，与嵌入查找中使用的 one-hot ID 相同。如何仅约束/更新这些“活动”嵌入？
【问题讨论】：
标签： python tensorflow keras deep-learning word-embedding