并行抓取数据帧/csv文件的最佳方法

Question

假设我有一个充满数据的数据框，一列包含不同的 url，我想在数据框的每个 url 的页面上抓取价格（非常大，超过 15k 行）。而且我希望这种抓取连续运行（当它到达网址的末尾时，它会一次又一次地开始）。每次抓取价格时都会更新数据框的最后一列（价格）。

这是一个玩具数据框的可视化示例：

Col 1 ... Col N  URL                             Price
XXXX  ... XXXXX  http://www.some-website1.com/   23,5$
XXXX  ... XXXXX  http://www.some-website2.com/   233,5$
XXXX  ... XXXXX  http://www.some-website3.com/   5$
XXXX  ... XXXXX  http://www.some-website4.com/   2$
.
.
.

我的问题是：知道我可以使用 request/selenium/bs4 实现解决方案，使用并行方法（多线程......）抓取这些 URL 的最有效方法是什么......（我可以学得很漂亮很多东西）所以我想要一个理论答案而不是一些代码行，但如果你有一个块要发送，不要犹豫:)

谢谢

Answer 1

您可以使用下一个示例来定期检查 URL。它使用itertools.cycle 和df.iterrows。然后在Pool.imap_unordered 中使用这个生成器来获取数据：

import requests
from time import sleep
from itertools import cycle
from bs4 import BeautifulSoup
from multiprocessing import Pool

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:92.0) Gecko/20100101 Firefox/92.0"
}


def get_data(tpl):
    idx, row = tpl

    r = requests.get(row["url"], headers=headers)
    soup = BeautifulSoup(r.content, "html.parser")

    sleep(1)

    return (
        idx,
        soup.find(class_="Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)").text,
    )


if __name__ == "__main__":

    c = cycle(df.iterrows())

    with Pool(processes=2) as p:
        for i, (idx, new_price) in enumerate(p.imap_unordered(get_data, c)):
            df.loc[idx, "Price"] = new_price

            # print the dataframe only every 10th iteration:
            if i % 10 == 0:
                print()
                print(df)
            else:
                print(".", end="")

打印：

...

                                     url   Price
0  https://finance.yahoo.com/quote/AAPL/  139.14
1  https://finance.yahoo.com/quote/INTC/   53.47
.........

...and so on

---

df 已使用：

                                     url
0  https://finance.yahoo.com/quote/AAPL/
1  https://finance.yahoo.com/quote/INTC/