如何在 Tensorflow 中保存和恢复分区变量答案

【问题标题】：How to save and restore partitioned variable in Tensorflow如何在 Tensorflow 中保存和恢复分区变量
【发布时间】：2016-12-21 09:26:27
【问题描述】：

我有一个大矩阵。

我使用下面的方式创建这个变量作为分片的数量。

softmax_w = tf.get_variable("softmax_w", [hps.vocab_size, hps.projected_size],
                            partitioner=tf.fixed_size_partitioner(hps.num_shards, 0))

创建日志：

model/softmax_w/part_0:0 (99184, 512) /cpu:0
model/softmax_w/part_1:0 (99184, 512) /cpu:0
model/softmax_w/part_2:0 (99184, 512) /cpu:0
model/softmax_w/part_3:0 (99184, 512) /cpu:0
model/softmax_w/part_4:0 (99184, 512) /cpu:0
model/softmax_w/part_5:0 (99184, 512) /cpu:0
model/softmax_w/part_6:0 (99183, 512) /cpu:0
model/softmax_w/part_7:0 (99183, 512) /cpu:0

我可以训练并成功保存它。但是当我尝试恢复模型时，我得到了这个错误：

W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_7 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_6 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_5 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_4 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_3 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_2 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_1 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_0 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key model/softmax_w/part_7 not found in checkpoint

我发现 tensorflow 将变量保存为一部分。保存的参数只有一个softmax_w。不再是分区变量。

【问题讨论】：

标签： python machine-learning tensorflow deep-learning

【解决方案1】：

它发生在 tensorflow 0.12 中，但不会发生在 1.3（截至 2017 年 10 月的最后一个版本）中。这里是GitHub issue，由同一作者提交，现已修复。因此，如果您看到此错误，只需升级 tensorflow。

【讨论】：