避免在 numba 中尝试 catch

Question

如果 Numba 不支持 try catch 语句，

解决方法是什么？

假设我正在解码一系列 json 对象，

for json_str in stream:
    obj = json.loads(json_str)

这有时可能是不正确的。

在标准python中，我写：

for json_str in stream:
    try:
        obj = json.loads(json_str)
        ...
        sys.stdout.write(...)
    except:
        sys.stderr.write(...)

但是，在我的 numba 代码中，我不能使用 try...except 构造。有没有办法解决这个问题？

比如某种“手动”捕获的错误信息？

Answer 1

据我了解，这在 numba 编译的函数中是不可能的。您可以考虑将 json 读取与这些数据解耦，编写一个新的 json 解析器，或者如果可能的话，预先清理您的输入。

Answer 2

Numba nopython-mode 不支持的一切可能不会（明显）比普通 Python 快，有时它甚至会更慢（更罕见的是它会慢得多）。从您的描述看来，您没有显示的是 numba 实际上可以优化的东西。所以我的建议是在你用jit装饰的函数中重构隐藏在...中的代码：

import numba as nb
import json

def main_func(stream):
    for json_str in stream:
        try:
            obj = json.loads(json_str)
            inner_func(obj)
            sys.stdout.write(...)
        except:
            sys.stderr.write(...)

@nb.jit
def inner_func(obj):
    ...

所以 numba 实际支持和优化的部分是在一个单独的函数中，所有其他的东西都是在没有被 numba 处理的外部函数中完成的。如果幸运的话（但由于 numba 不支持带有字典和字符串的 nopython 模式，这不太可能）numba 将在 nopython 模式下编译 inner_func 并为您提供更多的加速。

更一般地说：如果你的代码在你用@nb.njit 装饰它时编译它会非常快。如果它不使用@nb.njit 编译，而仅使用@nb.jit 编译，则您无法知道它是更快还是更慢，因为 numba 将使用对象模式和 nopython 模式的混合，所以有些部分会很快，其他部分会很慢。慢的部分不应该在 jitted 函数中（因为它们可能会阻止进一步的 numba 优化）。