循环直到列表在Python中不为空

Question

我正在开发一个有两个类的网络抓取工具。一个获取数据，另一个类处理它。第一个类的最终结果是一个元素列表，例如results = [1, 2, 3, 4, 5, ...] 。问题是有时，由于服务器端错误，列表可能为空。如何循环遍历此过程以重新启动该过程，直到列表不为空？

我有点像这样解决了它。但我不确定这是有效还是好的做法。

class DataScrapper:
      def __init__(self):
         ...
      
      def getData(self):
         self.results = []
         while not self.results:
              ...
         return self.results

这是解决问题的pythonic方法吗？还有其他更有效的方法吗？非常感谢。

Answer 1

你的习语很简单，适用于大多数情况。

但是你必须记住两件事：

1. 您没有限制重试次数。如果服务器长时间宕机，你的脚本就会卡住。
2. 即使在停机期间，您也会继续生成请求。这可能会导致较大的客户端和服务器负载。我强烈建议使用指数退避策略。

在 google 中快速搜索找到了backoff 库，它允许您同时执行这两个操作：

@backoff.on_predicate(backoff.expo, lambda x: x == [], max_tries=10)
def getData(self):
     self.results = []
     ...
     return self.results

它检查返回值，如果它是一个空列表，则再次运行该函数，并增加延迟，直到达到 10 次尝试。