关于循环优化和速度的问题

Question

这是我的代码的要点：

while (int(price) > targetPrice):

    try:
        details = requests.get(url, headers=headers).text
        var1 = (int)(re.search('desired-string(\d+)', details).group(1))
        var2 = (int)(re.search('desired-string(\d+)', details).group(1))
        var3 = (int)(re.search('desired-string(\d+)', details).group(1))    
    except (AttributeError, ValueError):
        print('Error')

基本上，我有一个循环不断地获取网页并抓取所需的数据片段。我遇到的问题是我需要这个循环尽可能快地运行。循环迭代一次平均需要 0.33 秒，我想尽可能地降低这个数字。我获取的信息时常更改，一旦发生更改，我需要立即获取。

我发现需要这么长时间的原因是由于我提出的要求。当我只需要大约 5 行在 HTML 中的同一位置时，就会出现很多 HTML。有没有办法让请求获取 HTML 的特定行并忽略我不需要的所有内容？

提取的 HTML 来自此页面：https://www.roblox.com/catalog/6803405665/Gucci-Dionysus-Bag

多线程并不是我真正追求的，因为目标是尝试让循环尽可能快地迭代。据我所知和测试，多线程只允许循环异步运行，但每次迭代仍会以 0.33 秒的速度运行。

如果有的话，我认为这是一个优化问题。任何援助将不胜感激。如果需要任何进一步的信息，请告诉我，我会提供。

Answer 1

我会尝试的第一件事是使用 requests.Session 根据文档https://2.python-requests.org/en/master/user/advanced/#session-objects:

Session 对象允许您跨请求保留某些参数。它 > 还在 Session 实例发出的所有请求中保留 cookie，并且 > 将使用 urllib3 的连接池。因此，如果您向>同一主机发出多个请求，则底层 TCP 连接将被重用，这会导致 >显着提高性能（请参阅 HTTP 持久连接）。

在你的while循环之外实例化会话：

s = requests.Session()
while (int(price) > targetPrice):

    try:
        details = s.get(url, headers=headers).text
        var1 = (int)(re.search('desired-string(\d+)', details).group(1))
        var2 = (int)(re.search('desired-string(\d+)', details).group(1))
        var3 = (int)(re.search('desired-string(\d+)', details).group(1))    
    except (AttributeError, ValueError):
        print('Error')

如果这还不够，可能会转到异步请求https://pypi.org/project/aiohttp/