递归Python超时

Question

我有一个脚本，它递归地分析链接中的 javascript，所以如果它找到一个 javascript，那么它会分析 javascript，如果它正在分析的 javascript 包含更多的 javascript，那么它会继续运行，依此类推。但是，我遇到了这个递归永远不会停止的问题，有没有办法为这个递归添加超时？

Answer 1

Python 有一个内置的递归限制，如果超过这个限制，将引发RuntimeError。默认情况下，它的堆栈限制为 1000。所以：

try:
    func_that_may_recurse_infinitely()   # i.e., your JavaScript crawler func
except RuntimeError as e:
    if "recursion" in str(e):
        print "stop all the downloadin'!"

如果您需要更深或更浅，您可以使用sys.setrecursionlimit() 修改初始递归限制。

但是，更好的方法可能是保留您已查看的项目的set()，并拒绝处理您已处理的任何项目。这可以防止您首先陷入递归情况。

Answer 2

我倾向于同意kindall。但是，如果您确实想限制递归的深度，则可以执行以下操作：

def foo(max_depth = 10, cur_depth=0):
    if cur_depth >= max_depth:
        return BASE_CASE

    else:
        return foo(max_depth, cur_depth+1)

Answer 3

一个快速而简单的解决方案是调用 time.time() 并进行比较。例如，假设您有一个简单的阶乘函数，如下所示：

def fact(i):
  if i == 0 or i == 1: return 1
  return i * fact(i-1)

如果你调用 fact(-1)，它会旋转一段时间，然后由于最大递归深度而引发 RuntimeError。

您可以像这样添加超时：

import time

def factWithTimeout(i, timeout):
  def fact(i, endtime):
    if time.time() > endtime:
      raise RuntimeError('Timeout')
    if i == 0 or i == 1: return 1
    return i * fact(i-1, endtime)
  return fact(i, time.time() + timeout)

现在，如果你调用factWithTimeout(-1, 0.0001)，它只会旋转大约 100us，然后因为超时而退出 RuntimeError。

显然，对于一个如此微不足道的函数，它会在一毫秒内达到递归限制，这并没有太大的不同，但对于一个更现实的函数，这将不是问题。

Answer 4

你可以这样做：

import time

start = time.time()
timeout_limit = 30   # 30 seconds, or some other number.

def foo():
    if time.time() > start + timeout_limit:
        return 0

    # insert code here.

    foo()

...如果你不想要全局变量，你可以试试这个：

class Foo(object):
    def __init__(self, timeout_limit):
        self.timeout_limit = timeout_limit

    def run(self, ...):
        self.start = time.time()
        self._run(...)

    def _run(self, ...):
        if time.time() > self.start + self.timeout_limit:
            return

        # insert code here.

        self._run(...)

...虽然这可能有点矫枉过正。