【问题标题】:Weight Initialization Tensorflow tf.estimator权重初始化 Tensorflow tf.estimator
【发布时间】:2019-05-23 01:30:27
【问题描述】:

有没有办法在预建的 tf.estimator 中调整权重初始化? 我想在 Xavier (tf.contrib.layers.xavier_initializer) 或 He 之后使用该方法。默认使用哪种方法?我无法从文档中弄清楚。

我使用 DNNRegressor。

【问题讨论】:

    标签: tensorflow initialization


    【解决方案1】:

    DNNRegressor 使用 glorot_uniform_initializer(又名 Xavier 制服),它被硬编码在 implementation 中。

    要在估算器 API 中使用不同的初始化程序,您必须使用 custom estimator

    【讨论】:

    • 甚至在使用`tf.estimator.LinearRegressor`开始训练之前,我们需要为我们定义的模型初始化权重,tensorflow中的哪个API可以做到这一点?你能指点我吗?可能是 tf 自己在做的事情(硬编码),但是如何以及从哪里来?
    • @anu,初始化 API 在这里:tensorflow.org/api_docs/python/tf/initializers,但估算器通过 MonitoredSession / MonitoredTrainingSession 间接使用它。
    • 谢谢,但是如何知道`Module: tf.estimator` 中的哪个估计器间接使用了哪个初始化器。我的意思是在任何地方的文档中都没有任何文字(我实际上找不到它。)例如。 tf.estimator.LinearRegressor 没有强调它使用哪种方法来初始化权重!有没有办法找到它或打印它。有什么建议吗?
    【解决方案2】:

    自定义估算器要求您从头开始定义图形,您可以为每个层/操作传递初始化程序(如果其构造函数采用初始化程序参数),通常在 model_fn 或定义图形的函数内部完成

    【讨论】:

      猜你喜欢
      • 2017-09-15
      • 1970-01-01
      • 2017-03-12
      • 2018-09-05
      • 2019-10-09
      • 2012-11-21
      • 2018-11-09
      • 1970-01-01
      相关资源
      最近更新 更多