为什么酸洗张量流张量会失败？

Question

这是一个使用dill 序列化成功的sn-p，但使用pickle 失败。令人惊讶的是，Tensor 对象本身不是可腌制的。这是线程感知张量的基本限制，还是没有实现？

import dill
import pickle
import tensorflow as tf

dill.dumps(tf.zeros((1,1)))
print("Dill succeeded")
pickle.dumps(tf.zeros((1,1)))
print("Pickle succeeded")

输出：

$ python foo.py
Dill succeeded
Traceback (most recent call last):
  File "foo.py", line 7, in <module>
    pickle.dumps(tf.zeros((1,1)))
TypeError: can't pickle _thread.lock objects

Answer 1

为什么dill可以序列化这些对象，却不能pickle？简单的答案是pickle 无法序列化python 中的大多数对象，包括thread.lock 对象。如果您想序列化这些对象之一，请使用高级序列化库，如 dill。至于为什么pickle 不能，我认为最初它源于GIL 的实现和frame 对象呈现一些不可序列化的对象，因此没有驱动以序列化语言中的所有内容。一直有人谈论源于所有 python 对象的序列化的安全问题，但我认为这是一个红鲱鱼。没有完整的语言序列化限制了在并行计算中操作的能力，所以希望pickle 将向dill 学习如何序列化更多对象。

Answer 2

我发现我无法重现eqzx's 脚本的输出，并且dill 和pickle 的序列化都失败了。

虽然这个问题已经有好几年了，但我认为问题不在于 pickle，而是 tensorflow 1.x 中的张量没有立即评估这一事实。相反，当他们的图表被执行时，他们会被评估。 （在 tensorflow 2.0 中，Eager Execution 默认启用，因此您实际上不必处理这种范例）。

使用tf.enable_eager_execution() 或评估tf.Session() 上下文中的张量

以下脚本在使用 Pickle 或 Dill 时不会引发错误：

import tensorflow as tf
tf.enable_eager_execution()
import pickle 
# import dill

n = tf.zeros((1,1))
pickle.dumps(n)
# dill.dumps(n)

print('Success')

使用 Session.run() 的相同脚本不会引发错误：

import tensorflow as tf
import pickle
# import dill

with tf.Session() as sess:
    n = sess.run(tf.zeros((1,1)))
pickle.dumps(n)
# dill.dumps(n)

print('Success')