如何正确腌制命名元组实例

Question

我正在学习如何使用泡菜。我创建了一个 namedtuple 对象，将其附加到一个列表中，并尝试腌制该列表。但是，我收到以下错误：

pickle.PicklingError: Can't pickle <class '__main__.P'>: it's not found as __main__.P

我发现如果我运行代码而不将其包装在函数中，它会完美运行。包裹在函数中时是否需要额外的步骤来腌制对象？

这是我的代码：

from collections import namedtuple
import pickle

def pickle_test():
    P = namedtuple("P", "one two three four")
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    f = open('abe.pickle', 'w')
    pickle.dump(abe, f)
    f.close()

pickle_test()

Answer 1

在我将我的问题作为对主要答案的评论添加后，我找到了一种方法来解决制作动态创建的namedtuplepickle-able 的问题。在我的情况下这是必需的，因为我只在运行时（在数据库查询之后）计算出它的字段。

我所做的只是猴子补丁将namedtuple 有效地移动到__main__ 模块：

def _CreateNamedOnMain(*args):
    import __main__
    namedtupleClass = collections.namedtuple(*args)
    setattr(__main__, namedtupleClass.__name__, namedtupleClass)
    namedtupleClass.__module__ = "__main__"
    return namedtupleClass

请注意，如果您不小心，namedtuple 名称（由 args 提供）可能会覆盖 __main__ 中的另一个成员。

Answer 2

这里的问题是子进程无法导入对象的类 - 在这种情况下是类 P-，在多模型项目的情况下，类 P 应该可以在子进程的任何地方导入习惯了

一种快速的解决方法是通过将其影响到 globals() 来使其可导入

globals()["P"] = P

Answer 3

我在另一个帖子中找到了this answer。这都是关于命名元组的命名。这对我有用：

group_t =            namedtuple('group_t', 'field1, field2')  # this will work
mismatched_group_t = namedtuple('group_t', 'field1, field2')  # this will throw the error

Answer 4

或者，您可以使用cloudpickle 或dill 进行序列化：

from collections import namedtuple

import cloudpickle
import dill



def dill_test(dynamic_names):
    P = namedtuple('P', dynamic_names)
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    with open('deleteme.cloudpickle', 'wb') as f:
        cloudpickle.dump(abe, f)
    with open('deleteme.dill', 'wb') as f:
        dill.dump(abe, f)


dill_test("one two three four")

Answer 5

在函数的外部创建命名元组：

from collections import namedtuple
import pickle

P = namedtuple("P", "one two three four")

def pickle_test():
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    f = open('abe.pickle', 'w')
    pickle.dump(abe, f)
    f.close()

pickle_test()

现在pickle可以找到了；它现在是一个全局模块。当 unpickling 时，所有pickle 模块所要做的就是再次定位__main__.P。在您的版本中，P 是 pickle_test() 函数的本地，它是不可自省或可导入的。

重要的是要记住namedtuple() 是一个类工厂；你给它参数，它返回一个类对象供你创建实例。 pickle 只存储实例中包含的数据，加上对原始类的字符串引用以再次重构实例。