如何在不重复 ID 的情况下并行化 for 循环

Question

我对 Python 有点陌生。我正在对一个网站进行索引并从中获取值，但是由于要索引的页面大约为 100k，因此需要很长时间。我想知道如何加快速度。我读到多线程可能是冲突的/不适用于此，多处理将是最好的开始方式。

这是我的代码示例：

def main():
    for ID in range(1, 100000):
        requests.get("example.com/?id=" + str(ID))
        #do stuff/print html elements off of url.  

如果我这样做：

if __name__ == '__main__':
    for i in range(50):
        p = multiprocessing.Process(target=main)
        p.start()

它确实并行运行该函数，但我只希望每个进程抓取一个尚未被另一个进程抓取的 ID。如果我执行 p.join() 与没有多处理相比，它似乎根本没有提高速度，所以我不知道该怎么做。

Answer 1

这是一个基于concurrent.futures module.的示例

import concurrent.futures

# Retrieve a single page and report the URL and contents
def load_url(page_id, timeout):
   requests.get("example.com/?id=" + str(page_id))
   return do_stuff(request)  #do stuff on html elements off of url.  


# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, page_id, 60): page_id for page_id in range(1,100000)}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))