Python C API：将 PyObjects 分配给字典会导致内存泄漏

Question

我正在使用 Python C API 为 Python 编写 C++ 包装器。在我的情况下，我必须让 Python 脚本可以访问大量面向字节的数据。为此，我使用 PyByteArray_FromStringAndSize 方法生成 Python 字节数组 (https://docs.python.org/2.7/c-api/bytearray.html)。

直接返回此字节数组时，我没有遇到任何问题。然而，当将字节数组添加到 Python 字典中时，一旦字典被销毁，字节数组中的内存将不会被释放。

这可以通过在将 bytearray 对象添加到 Python dict 之后在 bytearray 对象上调用 Py_DECREF 来解决。

下面是我的代码的完整工作示例，其中包含返回普通字节数组的方法 dummyArrPlain 和返回字典中的字节数组的方法 dummyArrInDict。除非调用Py_DECREF(pyData);，否则第二种方法会产生内存泄漏。

我的问题是：为什么此时需要Py_DECREF。直觉上，我预计一旦 dict 被销毁，就应该调用 Py_DECREF。

我还将以下值分配给字典：

PyDict_SetItem(dict, PyString_FromString("i"), PyInt_FromLong(i));

当不在创建的字符串上调用Py_DECREF 并且 long 时，这是否也会产生内存泄漏？

这是我的虚拟 C++ 包装器：

#include <python2.7/Python.h>

static char module_docstring[] = "This is a module causing a memory leak";

static PyObject *dummyArrPlain(PyObject *self, PyObject *args);
static PyObject *dummyArrInDict(PyObject *self, PyObject *args);

static PyMethodDef module_methods[] = {
    {"dummy_arr_plain", dummyArrPlain, METH_VARARGS, "returns a plain dummy bytearray"},
    {"dummy_arr_in_dict", dummyArrInDict, METH_VARARGS, "returns a dummy bytearray in a dict"},
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC initlibdummy(void)
{
    PyObject *m = Py_InitModule("libdummy", module_methods);
    if (m == NULL)
        return;
}


static PyObject *dummyArrPlain(PyObject *self, PyObject *args)
{
    int len = 10000000;
    char* data = new char[len];
    for(int i=0; i<len; i++) {
        data[i] = 0;
    }

    PyObject * pyData = PyByteArray_FromStringAndSize(data, len);
    delete [] data;

    return pyData;
}


static PyObject *dummyArrInDict(PyObject *self, PyObject *args)
{
    int len = 10000000;
    char* data = new char[len];
    for(int i=0; i<len; i++) {
        data[i] = 0;
    }
    PyObject * pyData = PyByteArray_FromStringAndSize(data, len);
    delete [] data;

    PyObject *dict = PyDict_New();
    PyDict_SetItem(dict, PyString_FromString("data"), pyData);

    // memory leak without Py_DECREF(pyData);

    return dict;
}

还有一个使用包装器的虚拟 python 脚本：

import libdummy
import time

while True:
    a = libdummy.dummy_arr_in_dict()
    time.sleep(0.01)

Answer 1

这是[Python 2.0.Docs]: Ownership rules 的问题。我将以 Python 2.7.10 为例（相当古老，但我认为行为在此过程中没有（显着）改变）。

PyByteArray_FromStringAndSize (bytearrayobject.c: 168) 创建一个新对象（使用PyObject_New，并分配内存对于缓冲区也是如此）。

默认情况下，该对象（或更好：任何新创建的对象）的 refcount 为 1（由 _Py_NewReference 设置），这样当用户调用 del 时，或在程序退出时，refcount 将减少，当达到 0 时，对象将被释放。

• 这是返回对象的流上的行为

• 但是，在 dummyArrInDict 的情况下，PyDict_SetItem 执行（间接）pyData 的 Py_INCREF >（它会做其他事情，但只有在当前情况下才相关），最终 refcount 为 2，因此内存泄漏

  李>

这与您对 data 所做的基本相同：您为它分配内存，当您不再需要它时，您释放它（这是因为您没有归还它，你只是暂时使用它）。

注意：使用 X 宏更安全（例如 [Python 2.Docs]: Py_XDECREF，尤其是因为您没有测试返回的 NULL PyObjects).

更多详情，请关注[Python 2.Docs]: C API Reference。