如何使用多参数对 for 循环进行多处理

Question

我正在编写用于从 .aspx 网页抓取信息的废代码。我想检索数据库中的所有记录，但我没有记录索引的列表。我只知道索引是1到9000000之间的整数。因此，我正在考虑通过for循环对索引使用蛮力。

我想从每条记录中检索某些信息。所以，我使用 beautifulsoup 和 pandas.DataFrame 来存储我想要的信息。然后，我附加数据框以收集记录。

例如：

df_all = pandas.DataFrame(col= ['A', 'B', 'C'])
# id: Unique id of each record; df_all: the dataframe that stores the records
def func(id, df_all):
    """
    Use beautifulsoup to collect the info from the webpage
    """
    df_temp = pd.DataFrame([1,2,3], col= ['A', 'B', 'C'])
    df_all = df_all.append(df_temp, ignore_index= True)
    return df_all

我正在考虑使用多个 for 循环同时执行 func 函数。比如第一个客户端做1到22500000；第二个客户端执行 22500001 到 4500000；等等。然后我可以结合每个客户的结果。我尝试使用 ipyparallel、multiprocessing.pool 和 joblib。但是，我的函数结构似乎不适合并行处理。我应该如何修改我的结构以执行并行 for 循环任务？或者有没有更好的方法从数据库中获取数据？数据库中只有大约 29k+ 条记录。对从 1 到 90000000 的索引使用蛮力确实不是解决此问题的最佳方法。

Answer 1

好吧，这是一个肮脏的解决方案，但我认为它有效。

有一个字典映射 {owner name : process_id}

对于字母表中的每个字母，有你的程序：

• 在搜索页面上运行“所有者名称”搜索
• 将所有process_ids 保存在字典中
• 转到下一页结果，重复直到所有页面都已保存

要运行搜索并转到下一页，请发送 http POST。打开开发者工具，单击按钮，查看浏览器发送的内容，然后从 Python 发送相同的内容。

然后，一旦你有了所有的process_ids，你就可以遍历字典并很容易地访问每个记录页面。