Tensorflow：再训练期间的预训练嵌入初始化问题[重复]

Question

我的目标是（1）从文件中加载一个预先训练好的词嵌入矩阵作为初始值； (2)微调词嵌入而不是保持固定； (3) 每次我恢复模型时，加载微调的词嵌入而不是预训练的。

我尝试过类似的东西：

class model():
    def __init__(self):
    # ...
    def _add_word_embed(self):
        W = tf.get_variable('W', [self._vsize, self._emb_size], 
                 initializer=tf.truncated_normal_initializer(stddev=1e-4))
        W.assign(load_and_read_w2v())
        # ...
    def _add_seq2seq(self):
        # ...
    def build_graph(self):
        self._add_word_embed()
        self._add_seq2seq()

但是每当我停止训练并重新开始训练时，这种方法将涵盖微调的词嵌入。在调用model.build_graph 后，我也尝试了sess.run(W.assign())。但是它抛出了一个错误，即图表已经完成，我不能再改变它了。你能告诉我实现它的正确方法吗？提前致谢！

编辑：

这个问题没有重复，因为它有一个新要求：在培训开始时使用预训练的词嵌入并在之后进行查找。我还问如何有效地做到这一点。该问题的公认答案并不满足此要求。在将任何问题标记为重复之前，您能否三思而后行???????????

Answer 1

这是一个关于如何做到这一点的玩具示例：

# The graph

# Inputs
vocab_size = 2
embed_dim = 2
embedding_matrix = np.ones((vocab_size, embed_dim))

#The weight matrix to initialize with embeddings
W = tf.get_variable(initializer=tf.zeros([vocab_size, embed_dim]), name='embed', trainable=True)

# global step used to take care of the weight initialization 
# for the first time will be loaded from numpy array and not during retraining.
global_step = tf.Variable(0, dtype=tf.int32, trainable=False, name='global_step')

# Initialiazation of weights based on global_step
initW = tf.cond(tf.equal(global_step, 0), lambda:W.assign(embedding_matrix), lambda: W)
inc = tf.assign_add(W,[[1, 1],[1, 1]])

# Update global step
update = tf.assign_add(global_step, 1)
op = tf.group(inc, update)

# init_fn 
def init_embed(sess):
  sess.run(initW)

现在，如果我们在会话中运行上述内容：

sv = tf.train.Supervisor(logdir='tmp',init_fn=init_embed)
with sv.managed_session() as sess:
   print('global step:', sess.run(global_step))
   print('Initial weight:')
   print(sess.run(W))
   for i in range(2):  
      sess.run([op])
    _ W, g_step= sess.run([W, global_step])
   print('Final weight:')        
   print(_W)
   sv.saver.save(sess,sv.save_path, global_step=g_step)

# Output at first run
   Initial weight:
   [[ 1.  1.]
   [ 1.  1.]]

   Final weight:
   [[ 3.  3.]
   [ 3.  3.]]

#Output at second run
   Initial weight:
   [[ 3.  3.]
   [ 3.  3.]]
   Final weight:
   [[ 5.  5.]
   [ 5.  5.]]