【发布时间】:2011-02-09 11:13:17
【问题描述】:
我正在从 python 开发 C 扩展,但我遇到了一些段错误(在开发过程中是不可避免的......)。
我正在寻找一种方法来显示段错误发生在哪一行代码(这个想法就像跟踪每一行代码),我该怎么做?
【问题讨论】:
我正在从 python 开发 C 扩展,但我遇到了一些段错误(在开发过程中是不可避免的......)。
我正在寻找一种方法来显示段错误发生在哪一行代码(这个想法就像跟踪每一行代码),我该怎么做?
【问题讨论】:
如果你在linux上,在gdb下运行python
gdb python
(gdb) run /path/to/script.py
## wait for segfault ##
(gdb) backtrace
## stack trace of the c code
【讨论】:
gdb python core(或者任何核心文件被调用)。如果您在 OSX 上,核心转储(默认情况下不生成;请参阅 ulimit -c)存储在目录 /cores 中。
python -m unittest my.module.tests.mytest 这样的Python 单元测试时遇到段错误,那么-m 开关会混淆gdb。因此使用--args 选项调用:gdb --args python -m unittest my.module.tests.mytest
这是一种输出代码运行的每一行 Python 的文件名和行号的方法:
import sys
def trace(frame, event, arg):
print("%s, %s:%d" % (event, frame.f_code.co_filename, frame.f_lineno))
return trace
def test():
print("Line 8")
print("Line 9")
sys.settrace(trace)
test()
输出:
call, test.py:7
line, test.py:8
Line 8
line, test.py:9
Line 9
return, test.py:9
(当然,您可能希望将跟踪输出写入文件。)
【讨论】:
faulthandler 模块)——但即使你想使用跟踪,只需使用 Python 的内置跟踪模块 (python -m trace --trace test.py) -- 然而,这两种方法都不会在 C 代码中显示回溯。
来自 C 扩展的段错误通常是由于在创建对对象的新引用时没有增加引用计数的结果。这使得它们很难追踪,因为只有在从对象中删除最后一个引用之后才会发生段错误,即使这样也经常只有在分配其他对象时才会发生。
您没有说到目前为止您编写了多少 C 扩展代码,但如果您刚刚开始考虑是否可以使用 ctypes 或 Cython。 Ctypes 可能不够灵活,无法满足您的需求,但您应该能够使用 Cython 链接到几乎任何 C 库,并自动为您维护所有引用计数。
这并不总是足够的:如果您的 Python 对象和任何底层 C 对象具有不同的生命周期,您仍然会遇到问题,但它确实大大简化了事情。
【讨论】:
我来这里是为了寻找解决同一问题的方法,但其他答案都没有帮助我。有帮助的是faulthandler,您可以使用pip install 在Python 2.7 中安装它。
faulthandler 仅在 3.3 版中被引入 Python,该版本于 2012 年 9 月发布,这是在此处编写大多数其他答案之后。
【讨论】:
import faulthandler; faulthandler.enable()
gdb 有一些未记录的 python 扩展。
从 Python 源代码中获取 Tools/gdb/libpython.py(它不包含在正常安装中)。
把这个放在sys.path
然后:
# gdb /gps/python2.7_x64/bin/python coredump
...
Core was generated by `/usr/bin/python script.py'.
Program terminated with signal 11, Segmentation fault.
#0 call_function (oparg=<optimized out>, pp_stack=0x7f9084d15dc0) at Python/ceval.c:4037
...
(gdb) python
>import libpython
>
>end
(gdb) bt
#0 call_function (oparg=<optimized out>, pp_stack=0x7f9084d15dc0) at Python/ceval.c:4037
#1 PyEval_EvalFrameEx (f=f@entry=
Frame 0x7f9084d20ad0,
for file /usr/lib/python2.7/site-packages/librabbitmq/__init__.py, line 220,
in drain_events (self=<Connection(channels={1: <Channel(channel_id=1, connection=<...>, is_open=True, connect_timeout=4, _default_channel=<....(truncated), throwflag=throwflag@entry=0) at Python/ceval.c:2681
...
(gdb) py-list
218 else:
219 timeout = float(timeout)
>220 self._basic_recv(timeout)
221
222 def channel(self, channel_id=None):
如您所见,我们现在可以看到与 CPython 调用链对应的 Python 堆栈。
一些注意事项:
--with-python 编译
gdb 嵌入python(通过链接到libpython),它不会在子shell 中运行它。这意味着它可能不一定与$PATH 上的python 版本匹配。 gdb 链接到的任何匹配的 Python 源的任何版本下载 libpython.py。 sys.path 以匹配您正在调试的代码。 如果您无法将libpython.py 复制到sys.path,那么您可以将其位置添加到sys.path,如下所示:
(gdb) python
>import sys
>sys.path.append('/path/to/containing/dir/')
>import libpython
>
>end
这在python dev docs、the fedora wiki 和the python wiki 中记录得有些差
如果您有一个较旧的gdb 或者只是无法使其正常工作,那么 Python 源代码中还有一个 gdbinit,您可以将其复制到 ~/.gdbinit,它添加了一些类似的功能
【讨论】:
gdb --args python3 script.py,然后从 gdb-shell 执行 run 命令。脚本崩溃后,可以执行backtrace命令获取trace。
这里还有 3 种选择:
1:在启用faulthandler 的情况下执行脚本:
python3 -X faulthandler your_script.py
2:在调试模式下执行脚本 (pdb)
python3 -m pdb your_script.py
并使用continue 命令执行脚本。
gdb 工具提供的信息最多,但它们都没有打印我脚本中最后执行的行号。
3:我最终使用了pytest。为此,我将我的代码包装在一个前缀为 test_ 的函数中,并像这样执行脚本:
pytest your_script.py
【讨论】: