Tensorflow 2 多个同时预测

Question

在 Tensorflow 2 中加载保存的模型后 tf.saved_model.load(my_model)如何使用同一个模型（不是图）运行多个预测？

我正在使用多处理包中的 Pool 类。在加载模型之前在辅助方法中导入 tensorflow 和 keras 没有帮助：

import tensorflow as tf
import keras
tf.saved_model.load(my_model)

错误代码：

无法腌制本地对象'Loader._recreate_base_user_object.._UserObject'

Answer 1

正如stackoverflow 中所建议的那样，在数组中传递多个输入（numpy 或 python 无关紧要）比 for 循环效果更好。性能提高了 25%。 不要忘记设置线程号：

tf.config.threading.set_intra_op_parallelism_threads(num_cores)
tf.config.threading.set_inter_op_parallelism_threads(num_cores)

但是应该注意，tensorflow 会使用线程数倍的内存。