令人尴尬的并行和 Tensorflow 2.0

Question

编辑： 基于cmets，我想在这里做一些澄清。我之前没在网上问过问题，让我再试一次，看看这次是否更好。

我正在使用 Tensorflow 进行模拟研究。在实验中，我将生成 1000 个样本 X1，X2，...，X1000。每个 X1 有 n 个观测值。在每个 Xi 上，我将拟合一个神经网络并保存一些输出 Yi。

所以我的算法如下所示：

for i in range(1000):
    generate Xi
    fit nerual network.
    produce and save Yi

如您所见，该算法效率非常低，因为每次迭代都相互独立。有没有一种优雅的方法来并行模拟适用于 GPU 训练的模拟？

谢谢。

Answer 1

如果您将整个算法按照您在图中的描述编写（例如，将其放在 tf.function 中），那么 TF 可能能够并行运行迭代。请参阅tf.while_loop 中的parallel_iterations。请注意，这是在尽力而为的基础上，并且仅在数据依赖性和存在具有副作用的操作允许的情况下才有效。如果不同的步骤适合同一个神经网络，您还需要考虑并发性。