【问题标题】:Handling C++ arrays in Cython (with numpy and pytorch)在 Cython 中处理 C++ 数组(使用 numpy 和 pytorch)
【发布时间】:2017-11-07 20:50:28
【问题描述】:

我正在尝试使用 cython 来包装 C++ 库(fastText,如果相关)。 C++ 库类从磁盘加载一个非常大的数组。我的包装器从 C++ 库中实例化一个类来加载数组,然后使用cython 内存视图和numpy.asarray 将数组转换为numpy 数组,然后调用torch.from_numpy 来创建张量。

出现的问题是如何为数组处理释放内存。

现在,当程序退出时,我得到pointer being freed was not allocated。我希望这是因为 C++ 代码和numpy/pytorch 都在尝试管理同一块 RAM。

我可以简单地注释掉 C++ 库中的析构函数,但感觉它会给我带来一个不同的问题。

我应该如何处理这个问题?是否有任何关于如何使用 C++ 和cython 处理内存共享的最佳实践文档?

如果我修改 C++ 库以将数组包装在 shared_ptr 中,cython(和 numpypytorch 等)是否会正确共享 shared_ptr

如果问题很幼稚,我深表歉意; Python 垃圾回收对我来说非常神秘。

感谢任何建议。

【问题讨论】:

  • 尝试使用 Map/Reduce 的基本方法将数组拆分成块。

标签: c++ numpy cython pytorch fasttext


【解决方案1】:

我能想到三种明智的做法。我将在下面概述它们(即没有一个代码是完整的,但希望它会清楚如何完成它)。

1。 C++拥有内存; Cython/Python 持有指向 C++ 类的共享指针

(这看起来是您已经在考虑的路线)。

首先创建一个包含共享指针的 Cython 类

from libcpp.memory cimport shared_ptr

cdef class Holder:
    cdef shared_ptr[cpp_class] ptr

    @staticmethod
    cdef make_holder(shared_ptr[cpp_class] ptr):
       cdef holder = Holder() # empty class
       holder.ptr = ptr
       return holder

然后您需要为Holder 定义缓冲区协议。这允许以 numpy 数组和 Cython 内存视图都可以理解的方式直接访问 cpp_class 分配的内存。因此,它们持有对Holder 实例的引用,这反过来又使cpp_class 保持活动状态。 (使用np.asarray(holder_instance)创建一个使用实例内存的numpy数组)

缓冲协议有点复杂,但 Cython 有 fairly extensive documentation,您应该能够在很大程度上复制和粘贴他们的示例。需要添加到Holder 的两个方法是__getbuffer____releasebuffer__

2。 Python拥有内存;您的 C++ 类包含一个指向 Python 对象的指针

在此版本中,您将内存分配为 numpy 数组(使用 Python C API 接口)。当你的 C++ 类被销毁时,数组的引用计数会递减,但是如果 Python 持有对该数组的引用,那么该数组的寿命可能比 C++ 类长。

#include <numpy/arrayobject.h>
#include <Python.h>

class cpp_class {
   private:
     PyObject* arr;
     double* data;
   public:
     cpp_class() {
       arr = PyArray_SimpleNew(...); // details left to be filled in
       data = PyArray_DATA(reinterpret_cast<PyArrayObject*>(arr));
       # fill in the data
     }

     ~cpp_class() {
         Py_DECREF(arr); // release our reference to it
     }

     PyObject* get_np_array() {
         Py_INCREF(arr); // Cython expects this to be done before it receives a PyObject
         return arr;
     }
};

有关如何从 C/C++ 分配 numpy 数组的详细信息,请参阅 the numpy documentation。如果定义复制/移动构造函数,请注意引用计数。

Cython 包装器如下所示:

cdef extern from "some_header.hpp":
    cdef cppclass cpp_class:
       # whatever constructors you want to allow
       object get_np_array()

3。 C++ 将数据的所有权转移给 Python/Cython

在此方案中,C++ 分配数组,但 Cython/Python 负责释放它。所有权转移后,C++ 不再有权访问数据。

class cpp_class {
   public:
     double* data; // for simplicity this is public - you may want to use accessors
     cpp_class() :
     data(new double[50])
     {/* fill the array as needed */}

     ~cpp_class() {
       delete [] data;
     }
};

// helper function for Cython
inline void del_cpp_array(double* a) {
   delete [] a;
}

然后您使用cython.view.array class 来捕获分配的内存。这有一个用于销毁的回调函数:

from cython cimport view

cdef extern from "some_header.hpp":
   cdef cppclass cpp_class:
      double* data
      # whatever constructors and other functions
   void del_cpp_array(double*)

# later
cdef cpp_class cpp_instance # create this however you like
# ...
# modify line below to match your data
arr = view.array(shape=(10, 2), itemsize=sizeof(double), format="d",
                 mode="C", allocate_buffer=False)
arr.data = <char*>cpp_instance.data
cpp_instance.data = None # reset to NULL pointer
arr.callback_free_data = del_cpp_array

arr 然后可以与 memoryview 或 numpy 数组一起使用。

您可能不得不在从void*char*del_cpp_array 进行转换时遇到一些麻烦 - 我不确定 Cython 接口需要什么类型。


第一个选项可能是要实现的大部分工作,但需要对 C++ 代码进行少量更改。第二个选项可能需要更改您不想更改的 C++ 代码。第三个选项很简单,但意味着 C++ 不再有权访问数据,这可能是一个缺点。

【讨论】:

  • 我认为这对理解正在发生的事情有很大帮助!我没有给它打勾的原因是我的部分目标(如果这不是明确的,我很抱歉)是尽量减少对 C++ 代码(分配内存)的修改,因为它是一个外部库我' m 换行。
  • 我怀疑第一个选项最适合最小化 c++ 修改。 (我也认为在接受答案之前等待几天通常是个好主意 - 你不想通过暗示问题已解决来阻止任何有更好选择的人)
  • 你在所有方面都是对的,我接受这个答案,因为即使它不是完全正确的,它确实很有帮助和教育意义,让我以正确的方式思考。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-11-18
相关资源
最近更新 更多