Keras LSTM - 为什么“相同”模型和相同权重的结果不同？

Question

(注意：在每个模型创建之前正确修复 RNG 状态，如评论中的评论中所述，实际上解决了我的问题，因为 3 位小数内的结果是一致的，但是不是完全如此，所以有一个隐藏的随机性来源没有通过播种RNG来解决......可能有些lib使用时间毫秒或smth......如果有人对此有任何想法，知道会很酷，所以我会等待而不是结束问题:))

我创建了一个 Keras LSTM 模型（用于预测一些时间序列数据，并不重要），并且每次我尝试重新创建一个相同的模型（从 json 加载相同的模式配置，从文件加载相同的权重，编译函数的参数相同），我在相同的火车和测试数据上得到截然不同的结果。为什么？

代码大致是这样的：

# fix random
import random
random.seed(42)

# make model & compile
model = Sequential([
    LSTM(50, input_shape=(None, 1), return_sequences=True),
    LSTM(100, return_sequences=False),
    Dense(1),
    Activation("linear")
])
model.compile(loss="mse", optimizer="rmsprop")

# save it and its initial random weights
model_json = model.to_json()
model.save_weights("model.h5")

# fit and predict
model.fit(x_train, y_train, epochs=3)
r = model.predict(x_test)

# create new "identical" model
model2 = model_from_json(model_json)
model2.load_weights("model.h5")
model2.compile(loss="mse", optimizer="rmsprop")

# fit and predict "identical" model
model2.fit(x_train, y_train, epochs=3)
r2 = model2.predict(x_test)

# ...different results :(

我知道模型具有初始随机权重，因此我将它们保存起来并重新加载它们。我也很偏执，假设有一些我可能不知道的“隐藏”参数，所以我将模型序列化为 json 并重新加载，而不是手动重新创建一个相同的参数（尝试过，顺便说一句）。而且我还修复了随机数生成器。

这是我第一次接触 Keras，总的来说我也是神经网络的初学者。但这让我发疯...... wtf可以变化？！

---

关于修复随机数生成器：我使用 TensorFlow 后端运行 Keras，并且在开始时我有这些代码行来尝试修复 RNG 以用于实验目的：

import random
random.seed(42)
import numpy
numpy.random.seed(42)
from tensorflow import set_random_seed
set_random_seed(42)

...但他们仍然没有修复随机性。

而且我知道目标是让我的模型表现得非随机尽管具有 NN 固有的随机性。但出于实验目的，我需要临时修复此问题（我什至可以在一台机器上重现它！）。

Answer 1

机器学习算法通常是非确定性的。这意味着每次运行它们时，结果都会有所不同。这与权重的随机初始化有关。如果要使结果可重现，则必须消除表中的随机性。一种简单的方法是使用随机种子。

import numpy as np
import tensorflow as tf

np.random.seed(1234)
tf.random.set_seed(1234)

# rest of your code

如果您想要随机性因子但输出的方差不那么高，我建议您降低学习率或更改优化器（我建议使用学习率相对较低的 SGD 优化器）。 here！

---

关于 TensorFlow 的随机生成器的注意事项是，除了全局种子（即tf.random.set_seed()）之外，它们还使用内部计数器，所以如果你运行

tf.random.set_seed(1234)
print(tf.random.uniform([1]).numpy())
print(tf.random.uniform([1]).numpy())

您将分别获得0.5380393 和0.3253647。但是，如果您重新运行相同的 sn-p，您将再次获得相同的两个数字。

有关随机种子如何在 TensorFlow 中工作的详细说明，请参阅 here。

---

对于较新的 TF 版本，也要注意这一点： TensorFlow 2.2 附带一个操作系统环境变量 TF_DETERMINISTIC_OPS，如果设置为 '1'，将确保仅使用确定性 GPU 操作。

Answer 2

此代码适用于使用 tensorflow 后端的 keras

这是因为权重是使用随机数初始化的，因此每次都会得到不同的结果。这是预期的行为。要获得可重现的结果，您需要将随机种子设置为。下面的示例设置操作级和图形级种子以获取更多信息，请参阅here

import tensorflow as tf
import random as rn

os.environ['PYTHONHASHSEED'] = '0'

# Setting the seed for numpy-generated random numbers
np.random.seed(37)

# Setting the seed for python random numbers
rn.seed(1254)

# Setting the graph-level random seed.
tf.set_random_seed(89)

from keras import backend as K

session_conf = tf.ConfigProto(
      intra_op_parallelism_threads=1,
      inter_op_parallelism_threads=1)

#Force Tensorflow to use a single thread
sess = tf.Session(graph=tf.get_default_graph(), config=session_conf)

K.set_session(sess)

# Rest of the code follows from here on ...

Answer 3

我通过添加os.environ['TF_DETERMINISTIC_OPS'] = '1'解决了这个问题

这里是一个例子：

import os
os.environ['TF_DETERMINISTIC_OPS'] = '1'
#rest of the code
# tf version 2.3.1