Cython 无法导入和执行函数：存储临时 Python 引用的不安全 C 派生

Question

我是 Cython 的新手，只是想尝试一个简单的脚本。我无法从模块中导入函数并在另一个文件中使用它，但如果我在同一个文件中声明该函数，它就可以正常工作。这里可能是什么问题。我错过了什么吗？

这是sn-p的原始代码（test_cy.pyx）：

# test_cy.pyx

import json

cpdef char* say_hello():
  message = json.dumps({"message": "Hello world"})
  return message.encode()

cdef char* fn(int n):
  cdef char* hello = say_hello()
  return hello

def test():
  cdef char* n = fn(1000)
  print(n)

我可以运行它（编译后）：

>>> import test_cy
>>> test_cy.test()
b'Hello world'

但是，如果我将 say_hello 函数移动到另一个文件 (utils.pyx)：

# utils.pyx

import json

cpdef char* say_hello():
  message = json.dumps({"message": "Hello world"})
  return message.encode()

... 并将其导入到我原来的 test_cy.pyx 文件中，如下所示：

# test_cy.pyx

from utils import say_hello

cdef char* fn(int n):
  cdef char* hello = say_hello()
  return hello

def test():
  cdef char* n = fn(1000)
  print(n)

我无法编译它，因为我收到以下错误：

>>> python3 setup.py build_ext --inplace
...
Error compiling Cython file:
------------------------------------------------------------
...
from utils import say_hello

cdef char* fn(int n):
  cdef char* hello = say_hello()
      ^
------------------------------------------------------------

test_cy.pyx:4:7: Storing unsafe C derivative of temporary Python reference
Traceback (most recent call last):
  File "setup.py", line 11, in <module>
    sources=["utils.pyx"]
  File "/Users/asim/.pyenv/versions/3.6.9/lib/python3.6/site-packages/Cython/Build/Dependencies.py", line 1101, in cythonize
    cythonize_one(*args)
  File "/Users/asim/.pyenv/versions/3.6.9/lib/python3.6/site-packages/Cython/Build/Dependencies.py", line 1224, in cythonize_one
    raise CompileError(None, pyx_file)
Cython.Compiler.Errors.CompileError: test_cy.pyx

这是我的 setup.py 文件：

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize

setup(
  ext_modules = cythonize([
    Extension("test_cy",
              sources=["test_cy.pyx"]
    ),
    Extension("utils",
              sources=["utils.pyx"]
    )
  ])
)

请帮助我，像从另一个模块导入函数这样简单的事情不应该这么复杂。我可能会遗漏一些微不足道的东西。谢谢！

Answer 1

cpdef char* say_hello():
  message = json.dumps({"message": "Hello world"})
  return message.encode()

这是一场等待发生的灾难（尽管 Cython 似乎无法生成警告）。 char* 指向的数据由 message.encode() 的结果保存 - 一个临时 Python 对象，在创建后立即被销毁。因此您的char* 立即无效。

用 C 语言来思考这个问题：要返回 char*，某人必须拥有 char*，并且您应该确切地知道该所有者是谁。 没有一种简单、明智的方式来返回char*，而不负责分配/释放自己。除非您已准备好这样做并了解如何操作，否则我建议您从代码中删除所有 char* 并仅返回 Python 对象。

---

您遇到的错误具体是因为 Cython 使用 cimport 来了解 Cython 函数。

from utils cimport say_hello

没有cimport 它认为say_hello 只是一个普通的Python 函数返回一个普通的Python 对象。但是，即使进行了此更改，您的代码仍然无效 - 您只是将错误移到 Cython 看不到的地方。