在分布式张量流中仅恢复零件模型的推荐方法是什么

Question

当我们在不同的任务上微调模型时，模型中只有一部分 vars 从预训练的任务中恢复，其他的则保留为初始值。

正如许多文档所建议的（page1page2），在使用本地图进行训练时，在运行全局初始化操作后恢复预训练模型（如果包含 MonitoredSession 或主管，则在“init_fn”中调用恢复）。

但在分布式情况下，全局初始化操作是否ma​​ke "model_ready" 在调用恢复模型之前返回true？其他非主节点将使用“未就绪”值。

Answer 1

想办法。 global_variables_initializer 在 facet variable_initializers(global_variables()) 中。所以我们可以只初始化一些选定的变量并从预训练模型中恢复左边。 "model_ready" 将保持为 False，直到所有 var 都恢复。