如何获得指向通用 PyObject* 中数据的指针？

Question

我正在尝试获取 PyObject* 中保存的数据的内存地址（具体来自 Python.h 3.8.2），以便我可以对缓冲区执行 memcpy。我只能弄清楚如何将数据从对象中复制出来，但只是获取指针却一无所获。假设我有这个对象data ...

PyObject* data = PyLong_FromLong(100L);

目前看来，将这些数据转移到缓冲区的唯一选择是将其复制出来，然后使用临时变量的地址执行 m​​emcpy ...

long temp = PyLong_AsLong(data);
memcpy(buffer, &temp, 8);

这已经完成了成千上万次，所以我认为如果我能够获取数据的内存地址并将其直接复制到我的缓冲区中会更快......

memcpy(buffer, data->address_to_data(), 8)

而不是将额外的副本复制到临时变量中。

有谁知道我是否/如何从 PyObject* 包装器中获取长值的内存地址？

感谢您的帮助！

Answer 1

这似乎是一个 XY 问题（即您认为您需要在 C 级别从一堆 Python 对象中提取数据，但实际上您会受益于拥有一个暴露所有的 Python 对象> 你的数据）。

Python int 可以存储（几乎）任意大的数字：

>>> 1000**1000  # creates a very big int

即它不会在内部存储为 C long。 Internally it is stored 是大小为 ob_size 的整数数组 (ob_digits)，格式有点奇怪，对你来说用处不大。但是，如果您真的想复制它，您可以将对象指针指向PyLongObject*，然后执行memcpy(&dest, my_int->ob_digit, sizeof(digit)*abs(my_int->ob_size));。我建议不要这样做，因为您很难使用这些数据。

显然，这只适用于您知道自己拥有 Python int 的情况。对于“通用PyObject*”这是行不通的，因为通用PyObject* 可以包含几乎任何数据。这包括需要所有权和/或引用计数的指针（这尤其适用于包含其他 PyObjects 的任何 PyObject）。

---

我认为您真正想要的是将数据存储在一个大型 C 整数数组中。这可以通过array.array、numpy.array 或其他各种类来完成。

在 C 级别，这些对象支持 the buffer protocol，它们将内部数组公开给 C，从而允许从 C 访问、复制、操作等您的每个值。

一些未经测试的快速说明性代码：

Py_Buffer view;
view.format = "l"; // request an array of longs
if (PyObject_GetBuffer(obj, &view, PyBUF_CONTIG | PyBUF_FORMAT | PyBUF_WRITABLE ) == -1) {
   // failed
   return NULL;
}

// you want to check that view.ndim == 1 (for a simple 1D array)
long* data = (long*)view.buf;
// At this point you can access data as a C array of length view.len

// When you've finished;
PyBuffer_Release(view);

Answer 2

有一个内部 CPython 函数可以执行您想要的操作，称为 _PyLong_AsByteArray。

它似乎从名为ob_digit 的字段中读取了所需的字节，但我没有完全了解整个函数。

Answer 3

这似乎是与数据结构抽象有关的设计问题。通常，希望给用户一个不透明的数据结构或指针。访问内部元素需要方法（或函数）调用。

来自https://docs.python.org/3/c-api/long.html，

PyObject* PyLong_FromLong(long v)

Return value: New reference.
Return a new PyLongObject object from v, or NULL on failure.

The current implementation keeps an array of integer objects for all integers between -5 and 256, when you create an int in that range you actually just get back a reference to the existing object.

该调用可能会进行到 PyLongObject 的内部转换，该转换可以是指向其内部对象的链接。如果你在 -5 到 256 之间传递，它将用它的内部对象替换你的整数。对于其他人，将创建一个新对象。即使您找到内部存储器位置，也不能保证行为会保持一致。

PyObject 似乎被设计成不透明的。照此处理。