发生的情况是您将原始函数(或方法)传递给 queueFunction.delay() 函数,但这与它的限定名称所说的函数不同。
为了在 worker 中运行函数,Python RQ 使用 pickle module 序列化函数及其参数。但是函数(和类)被序列化为可导入名称,并且在反序列化pickle 模块时只需导入记录的名称。但它确实首先检查这是否会产生正确的对象。因此,在酸洗时,将测试限定名称以仔细检查它是否会产生 完全相同的对象。
如果我们使用pickle.loads作为示例函数,那么大致会发生这样的情况:
>>> import pickle
>>> import sys
>>> sample_function = pickle.loads
>>> module_name = sample_function.__module__
>>> function_name = sample_function.__qualname__
>>> recorded_name = f"{module_name}.{function_name}"
>>> recorded_name
'_pickle.loads'
>>> parent, obj = sys.modules[module_name], None
>>> for name in function_name.split("."): # traverse a dotted path of names
... obj = getattr(parent, name)
...
>>> obj is sample_function
True
注意pickle.loads 真的是_pickle.loads;这并不重要,但重要的是_pickle 可以被访问,并且它有一个可以通过使用限定名找到的对象,并且它仍然是同一个对象。这甚至适用于类上的方法 (modulename.ClassName.method_name)。
但是当你装饰一个函数时,你可能会替换那个函数对象:
>>> def decorator(f):
... def wrapper(*args, **kwargs):
... return f, f(*args, **kwargs)
... return wrapper
...
>>> @decorator
... def foo(): pass
...
>>> foo.__qualname__
'decorator.<locals>.wrapper'
>>> foo()[0].__qualname__ # original function
'foo'
请注意,装饰器结果的限定名称与原始名称完全不同! Pickle 无法将其映射回装饰器结果或原始函数。
您将原始的、未修饰的函数传递给queueFunction.delay(),它的限定名称与您替换它的wrappedFunc() 函数的名称不匹配;当pickle 尝试导入在该函数对象上找到的完全限定名称时,它会找到wrappedFunc 对象这不是同一个对象。
有几种方法可以解决这个问题,但最简单的方法是将原始函数作为属性存储在包装器上,然后重命名它的限定名称以匹配。这使得原始功能可用
您必须在此处使用@functools.wraps() 实用程序装饰器将各种属性从原始装饰函数复制到您的包装函数。这包括原始名称。
这是一个更改原始函数限定名的版本:
from functools import wraps
def myDecorator(async_=True):
def wrapper(function):
@wraps(function)
def wrappedFunc(*args, **kwargs):
data = DEFAULT_DATA
if async:
queueFunction.delay(function, *args, **kwargs)
else:
data = queueFunction(function, *args, **kwargs)
return data
# make the original available to the pickle module as "<name>.original"
wrappedFunc.original = function
wrappedFunc.original.__qualname__ += ".original"
return wrappedFunc
return wrapper
@wraps(function) 装饰器确保将wrappedFunc.__qualname__ 设置为function,因此如果function 被命名为foo,那么现在是wrappedFunc 函数对象。然后wrappedFunc.original.__qualname__ += ".original" 语句将wrappedFunc.original 的限定名称设置为foo.original,这正是pickle 可以再次找到它的地方!
注意:我将 async 重命名为 async_ 以使上述代码在 Python 3.7 及更高版本上工作;从 Python 3.7 开始async is a reserved keyword。
我还看到您正在决定在装饰时运行同步或异步的东西。在这种情况下,我会重新编写它以在每次调用该函数时不检查 aync_ 布尔标志。只需返回不同的包装器:
from functools import wraps
def myDecorator(async_=True):
def decorator(function):
if async_:
@wraps(function)
def wrapper(*args, **kwargs):
queueFunction.delay(wrappedFunc.original, *args, **kwargs)
return DEFAULT_DATA
# make the original available to the pickle module as "<name>.original"
wrapper.original = function
wrapper.original.__qualname__ += ".original"
else:
@wraps(function)
def wrapper(*args, **kwargs):
return queueFunction(function, *args, **kwargs)
return wrapper
return decorator
我还重命名了各种内部函数; myDecorator 是一个装饰器factory,它返回实际的装饰器,装饰器返回包装器。
不管怎样,结果是现在.original 对象可以腌制了:
>>> import pickle
>>> @myDecorator(True)
... def foo(): pass
...
>>> foo.original
<function foo.original at 0x10195dd90>
>>> pickle.dumps(foo.original, pickle.HIGHEST_PROTOCOL)
b'\x80\x04\x95\x1d\x00\x00\x00\x00\x00\x00\x00\x8c\x08__main__\x94\x8c\x0cfoo.original\x94\x93\x94.'