【问题标题】:Pass a decorator's function into Python RQ将装饰器的函数传递给 Python RQ
【发布时间】:2016-01-30 12:37:29
【问题描述】:

如何将装饰器的功能传递给作业?

我有一个可以使用该函数运行作业的装饰器。

@job
def queueFunction(passedFunction, *args, **kwargs):
    # Do some stuff
    passedFunction(*args, **kwargs)

def myDecorator(async=True):
    def wrapper(function):
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data
        return wrappedFunc
    return wrapper

尝试使用时出现错误。

Can't pickle <function Model.passedFunction at 0x7f410ad4a048>: it's not the same object as modelInstance.models.Model.passedFunction

使用 Python 3.4

【问题讨论】:

  • 警告:您不能在 Python 3.7 或更高版本中使用 async 作为变量名。您可能希望将其替换为 async_ 或其他名称。
  • @Kareem,为什么不接受当前答案?

标签: python python-3.x decorator


【解决方案1】:

发生的情况是您将原始函数(或方法)传递给 queueFunction.delay() 函数,但这与它的限定名称所说的函数不同。

为了在 worker 中运行函数,Python RQ 使用 pickle module 序列化函数及其参数。但是函数(和类)被序列化为可导入名称,并且在反序列化pickle 模块时只需导入记录的名称。但它确实首先检查这是否会产生正确的对象。因此,在酸洗时,将测试限定名称以仔细检查它是否会产生 完全相同的对象

如果我们使用pickle.loads作为示例函数,那么大致会发生这样的情况:

>>> import pickle
>>> import sys
>>> sample_function = pickle.loads
>>> module_name = sample_function.__module__
>>> function_name = sample_function.__qualname__
>>> recorded_name = f"{module_name}.{function_name}"
>>> recorded_name
'_pickle.loads'
>>> parent, obj = sys.modules[module_name], None
>>> for name in function_name.split("."):  # traverse a dotted path of names
...     obj = getattr(parent, name)
...
>>> obj is sample_function
True

注意pickle.loads 真的是_pickle.loads;这并不重要,但重要的是_pickle 可以被访问,并且它有一个可以通过使用限定名找到的对象,并且它仍然是同一个对象。这甚至适用于类上的方法 (modulename.ClassName.method_name)。

但是当你装饰一个函数时,你可能会替换那个函数对象:

>>> def decorator(f):
...     def wrapper(*args, **kwargs):
...         return f, f(*args, **kwargs)
...     return wrapper
...
>>> @decorator
... def foo(): pass
...
>>> foo.__qualname__
'decorator.<locals>.wrapper'
>>> foo()[0].__qualname__  # original function
'foo'

请注意,装饰器结果的限定名称与原始名称完全不同! Pickle 无法将其映射回装饰器结果或原始函数。

您将原始的、未修饰的函数传递给queueFunction.delay(),它的限定名称与您替换它的wrappedFunc() 函数的名称不匹配;当pickle 尝试导入在该函数对象上找到的完全限定名称时,它会找到wrappedFunc 对象这不是同一个对象

有几种方法可以解决这个问题,但最简单的方法是将原始函数作为属性存储在包装器上,然后重命名它的限定名称以匹配。这使得原始功能可用

您必须在此处使用@functools.wraps() 实用程序装饰器将各种属性从原始装饰函数复制到您的包装函数。这包括原始名称。

这是一个更改原始函数限定名的版本:

from functools import wraps

def myDecorator(async_=True):
    def wrapper(function):
        @wraps(function)
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data

        # make the original available to the pickle module as "<name>.original"
        wrappedFunc.original = function
        wrappedFunc.original.__qualname__ += ".original"

        return wrappedFunc
    return wrapper

@wraps(function) 装饰器确保将wrappedFunc.__qualname__ 设置为function,因此如果function 被命名为foo,那么现在是wrappedFunc 函数对象。然后wrappedFunc.original.__qualname__ += ".original" 语句将wrappedFunc.original 的限定名称设置为foo.original,这正是pickle 可以再次找到它的地方!

注意:我将 async 重命名为 async_ 以使上述代码在 Python 3.7 及更高版本上工作;从 Python 3.7 开始async is a reserved keyword

我还看到您正在决定在装饰时运行同步或异步的东西。在这种情况下,我会重新编写它以在每次调用该函数时不检查 aync_ 布尔标志。只需返回不同的包装器:

from functools import wraps

def myDecorator(async_=True):
    def decorator(function):
        if async_:
            @wraps(function)
            def wrapper(*args, **kwargs):
                queueFunction.delay(wrappedFunc.original, *args, **kwargs)
                return DEFAULT_DATA

            # make the original available to the pickle module as "<name>.original"
            wrapper.original = function
            wrapper.original.__qualname__ += ".original"
        else:
            @wraps(function)
            def wrapper(*args, **kwargs):
                return queueFunction(function, *args, **kwargs)

        return wrapper
    return decorator

我还重命名了各种内部函数; myDecorator 是一个装饰器factory,它返回实际的装饰器,装饰器返回包装器。

不管怎样,结果是现在.original 对象可以腌制了:

>>> import pickle
>>> @myDecorator(True)
... def foo(): pass
...
>>> foo.original
<function foo.original at 0x10195dd90>
>>> pickle.dumps(foo.original, pickle.HIGHEST_PROTOCOL)
b'\x80\x04\x95\x1d\x00\x00\x00\x00\x00\x00\x00\x8c\x08__main__\x94\x8c\x0cfoo.original\x94\x93\x94.'

【讨论】:

    猜你喜欢
    • 2021-11-15
    • 2021-11-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-23
    • 2021-07-13
    • 1970-01-01
    相关资源
    最近更新 更多