如何在 python 的多个进程中运行一个 dll 库？

Question

我试图在 python 中使用 Pooling 运行 dll-library 并遇到以下问题。我创建了一个简单的 dll 库来说明这个问题。这是 dll 库的源代码，其中仅包含一个函数，该函数对两个双精度数求和：

extern "C" {
  double sum(double x, double y);
}

double sum(double x, double y) {
  return x + y;
}

我在 Linux 系统上编译它使用

g++ -fPIC -c dll_main.cpp
g++ dll_main.o -shared -o sum_dll.so

我在以下 Python 脚本中使用此 dll 库：

#!/usr/bin/env python3.8
from ctypes import *
import multiprocessing
from multiprocessing import Pool, freeze_support

def run_dll(dll_obj, x, y):
    x_c = c_double(x)
    y_c = c_double(y)
    z = dll_obj.sum(x_c, y_c)
    return z

def main():
    pool = Pool(processes=2)
    dll_obj = cdll.LoadLibrary('./sum_dll.so')
    dll_obj.sum.restype = c_double

    z = pool.map(run_dll, [(dll_obj, 2, 3), (dll_obj, 3, 4)])

    pool.close()
    pool.join()

if __name__ == "__main__":
    freeze_support()
    main()

我收到以下错误消息：

Traceback (most recent call last):
  File "./run_dll.py", line 24, in <module>
    main()
  File "./run_dll.py", line 17, in main
    z = pool.map(run_dll, [(dll_obj, 2, 3), (dll_obj, 3, 4)])
  File "/usr/lib/python3.8/multiprocessing/pool.py", line 364, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "/usr/lib/python3.8/multiprocessing/pool.py", line 768, in get
    raise self._value
  File "/usr/lib/python3.8/multiprocessing/pool.py", line 537, in _handle_tasks
    put(task)
  File "/usr/lib/python3.8/multiprocessing/connection.py", line 206, in send
    self._send_bytes(_ForkingPickler.dumps(obj))
  File "/usr/lib/python3.8/multiprocessing/reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
AttributeError: Can't pickle local object 'CDLL.__init__.<locals>._FuncPtr'

我究竟做错了什么？如何在 python 中正确使用具有多个进程的 dll-library？

Answer 1

你不能 pickle dll 指针，因为访问 dll 需要一个系统调用来将它们链接到你的进程。

由于您不能传递 dll 函数，因此您需要将它们包装在 python 函数中，因此您应该在全局范围内以与定义普通 python 函数相同的方式定义此函数

from ctypes import *
import multiprocessing
from multiprocessing import Pool, freeze_support

dll_obj.cdll.LoadLibrary('./sum_dll.so')
dll_obj.sum.restype = c_double

def pyrun_dll(x, y):  # looks for the dll in global scope
    x_c = c_double(x)
    y_c = c_double(y)
    z = dll_obj.sum(x_c, y_c)
    return z

def dll_sum(x_c, y_c):  # pickleable wrapper
    return dll_obj.sum(x_c, y_c)

def run_dll(dll_obj, x, y):  # arguments must be pickleable
    x_c = c_double(x)
    y_c = c_double(y)
    z = dll_obj.sum(x_c, y_c)
    return z

然后你在 main 中调用这个 python 函数

def main():
    pool = Pool(processes=2)

    z = pool.map(pyrun_dll, [(2, 3), (3, 4)])
    z2 = pool.map(run_dll, [(dll_sum, 2, 3), (dll_sum, 3, 4)])

    pool.close()
    pool.join()

if __name__ == "__main__":
    freeze_support()
    main()

上述代码的执行方式取决于您的操作系统，但这适用于所有平台。

如果您将 dll_sum 传递给它而不是 dll 函数指针，您的原始函数将起作用。