如果在数据集或每个数据集样本上运行，keras model.predict() 是否返回相同的值？答案

【问题标题】：Does keras model.predict() returns the same values if run on a dataset or on each dataset sample?如果在数据集或每个数据集样本上运行，keras model.predict() 是否返回相同的值？
【发布时间】：2021-02-20 16:30:44
【问题描述】：

我有一个 keras 模型，当我运行时：

model = create_model()
predicted_values_dataset = model.predict(simple_dataset)
predicted_values_sample_by_sample = np.ones_like(predicted_values_dataset)
count = 0 
for x,y in simple_dataset:
    class_probabilities = model.predict(x)
    predicted_values_sample_by_sample[count,:] = class_probabilities
    count = count + 1
print(np.allclose(predicted_values_dataset, predicted_values_sample_by_sample))

我弄错了，这意味着在数据集上使用预测与在数据集的单个样本上使用它会得到不同的结果。我做错了什么还是正常的？如果是，为什么会这样？

为了重现性，我附上了以下要运行的代码。有趣的是，有时这两个预测数组是相同的（真），但有时它们不是（假）

import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
import os 
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

(ds_train, ds_test), ds_info = tfds.load(
    'emnist',
    split=['train', 'test'],
    shuffle_files=True,
    as_supervised=True,
    with_info=True,
    download=True
)

def normalize_img(image, label):
  """Normalizes images: `uint8` -> `float32`."""
  return tf.cast(image, tf.float32) / 255., label 

model = tf.keras.models.Sequential([
      tf.keras.layers.Input(shape=(28,28,1)),
      tf.keras.layers.Flatten(),
      tf.keras.layers.Dense(10, activation='relu'),
      tf.keras.layers.Dense(62, activation='softmax')   
  ])
model.compile(
    optimizer=tf.keras.optimizers.Adam(),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(),
)
testing_dataset = ds_test.map(normalize_img).batch(1).take(1)
predicted_values_dataset = model.predict(testing_dataset, batch_size=1, verbose=1)
predicted_values_sample_by_sample = np.ones_like(predicted_values_dataset)
count = 0 
for x,y in testing_dataset:
    class_probabilities = model.predict(x,batch_size=1) 
    predicted_values_sample_by_sample[count] = class_probabilities
    count = count + 1
print(np.allclose(predicted_values_dataset, predicted_values_sample_by_sample))

【问题讨论】：

已解决：这是由于数据集的改组所致。预测工作正常，但如果您对数据集进行洗牌，每次从中抽取样本时都不会得到相同的样本。

标签： tensorflow keras tensorflow2.0

【解决方案1】：

因为batch_size 稍微影响了预测。这是示例，我使用了一些虚拟数据：

X_train = np.random.randn(10000,20)
y_train = np.random.randn(10000,1)
X_test = np.random.randn(500,20)
y_test = np.random.randn(500,1)

型号：

model = Sequential()
model.add(Dense(128, activation='relu'))
model.add(Dense(1,activation='linear'))
model.compile(optimizer='adam',
              loss='mse',
              metrics='mae')

model.fit(X_train, y_train, epochs = 3)

预测，使用batch_size = 1：

predicted_values_dataset = model.predict(X_test, batch_size=1, verbose=1)
predicted_values_sample_by_sample = np.ones_like(predicted_values_dataset)

count = 0 
for x in X_test:
    class_probabilities = model.predict(np.array([x])) # model(np.array([x])) is faster in this case
    predicted_values_sample_by_sample[count] = class_probabilities
    count = count + 1
print(np.allclose(predicted_values_dataset, predicted_values_sample_by_sample))
--> True

另一个例子，将批量大小更改为默认值：

predicted_values_dataset = model.predict(X_test, batch_size=32, verbose=1)
predicted_values_sample_by_sample = np.ones_like(predicted_values_dataset)

count = 0 
for x in X_test:
    class_probabilities = model.predict(np.array([x]))
    predicted_values_sample_by_sample[count] = class_probabilities
    count = count + 1
print(np.allclose(predicted_values_dataset, predicted_values_sample_by_sample))
--> False

它们是否完全不同？ 否。看看：

predicted_values_sample_by_sample[-6:-1]

array([[-0.07365198],
       [-0.08797847],
       [ 0.02099334],
       [-0.02701252],
       [-0.00376133]], dtype=float32)

使用batch_size = 32，预测所有这些：

predicted_values_dataset[-6:-1]

array([[-0.07365196],
       [-0.08797852],
       [ 0.02099333],
       [-0.02701252],
       [-0.00376139]], dtype=float32)

编辑：对于您的代码，我发现索引彼此不匹配：

predicted_values_dataset[3]
array([0.02023655, 0.02492297, 0.01587405, 0.00998849, 0.01777572,
       0.0184937 , 0.0110692 , 0.01125433, 0.01712649, 0.01429712,
       0.01935769, 0.02167541, 0.01404375, 0.01612349, 0.02274915,
       0.01137346, 0.01399601, 0.02537212, 0.01364654, 0.01656735,
       0.01827294, 0.01883773, 0.0260612 , 0.01991333, 0.0118144 ,
       0.01157285, 0.01193078, 0.02477211, 0.0140266 , 0.02115744,
       0.01151453, 0.0189477 , 0.01245922, 0.01321447, 0.01219634,
       0.00988797, 0.02337774, 0.01278135, 0.02464633, 0.02499133,
       0.01585869, 0.01721567, 0.01318101, 0.01207395, 0.01401038,
       0.0196951 , 0.0108836 , 0.01665337, 0.01280337, 0.01144315,
       0.01336666, 0.01120847, 0.01587123, 0.01215433, 0.01391562,
       0.01413446, 0.01340299, 0.01450599, 0.01241152, 0.02641938,
       0.01676926, 0.01370175], dtype=float32)

和，

predicted_values_sample_by_sample[2]
array([0.02023655, 0.02492297, 0.01587405, 0.00998849, 0.01777572,
       0.0184937 , 0.0110692 , 0.01125433, 0.01712649, 0.01429712,
       0.01935769, 0.02167541, 0.01404375, 0.01612349, 0.02274915,
       0.01137346, 0.01399601, 0.02537212, 0.01364654, 0.01656735,
       0.01827294, 0.01883773, 0.0260612 , 0.01991333, 0.0118144 ,
       0.01157285, 0.01193078, 0.02477211, 0.0140266 , 0.02115744,
       0.01151453, 0.0189477 , 0.01245922, 0.01321447, 0.01219634,
       0.00988797, 0.02337774, 0.01278135, 0.02464633, 0.02499133,
       0.01585869, 0.01721567, 0.01318101, 0.01207395, 0.01401038,
       0.0196951 , 0.0108836 , 0.01665337, 0.01280337, 0.01144315,
       0.01336666, 0.01120847, 0.01587123, 0.01215433, 0.01391562,
       0.01413446, 0.01340299, 0.01450599, 0.01241152, 0.02641938,
       0.01676926, 0.01370175], dtype=float32)

循环可能有问题，但这就是它返回 false 的原因。但它们似乎都正确。

【讨论】：

感谢您的回复！我使用了批量大小 1，但我仍然得到（非常）不同的结果。可能是因为使用 tf.data.Datasets 而不是您使用的 numpy 数组？
您检查结果了吗？它根本不应该有很大不同。可能是因为你批处理数据集的方式，你试过batch(1)吗？
是的，我在数据集中使用了批量大小 1，类似于：dataset = dataset.batch(1)。结果我总是得到 False 。你能提供你用来测试你的代码的模型吗？提前致谢
我建议检查你得到的几行结果。我添加了模型。
谢谢！是的，我可以确认您提供的代码有效，但我仍然不明白为什么我的代码无效，因为它非常相似。如果您有时间看一下，我已将其添加到问题中

【解决方案2】：

这是由于数据集的洗牌。预测工作正常，但如果您对数据集进行洗牌，每次从中获取样本时都不会得到相同的样本

【讨论】：