Python-多处理守护进程答案

【问题标题】：Python- Multiprocessing DaemonPython-多处理守护进程
【发布时间】：2023-03-10 23:50:01
【问题描述】：

我正在创建一个多进程，它会创建一个 csv 文件。当我使用d.daemon = False 运行代码时，它运行良好，即它在同一文件夹中创建了一个文件。但是当使用d.daemon = True 编译和运行时，它不会，即不会创建文件。为什么会这样？

我的代码

我有一个 URL 的种子列表，我需要从中抓取数据。

for url in config.SEED_LIST:
    # starting a new process for each category.
    d = multiprocessing.Process(target=workers.scrape, args=())
    d.daemon = True
    d.start()


def scrape():
    import time
    time.sleep(5)
    # The above part of code takes some time to scrape a webpage, applying
    # some logic, which takes some time to execute, hence I've added a time
    # sleep of 5 secs. But when run with daemon = True, the file is not
    # created. Else it works fine.

    data = [[1, 2, 3, 4], [2224, 34, 34, 34, 34]]
    with open('1.csv', "wb") as f:
        writer = csv.writer(f)
        writer.writerows(data)

【问题讨论】：

你为什么使用守护进程？

标签： python multiprocessing

【解决方案1】：

根据multiprocess daemon documentation 通过设置d.daemon=True 当你的脚本结束它的工作将杀死所有子进程。这发生在他们可以开始写入之前，因此不会产生任何输出。

【讨论】：

【解决方案2】：

d.daemon = True表示父进程结束后子进程自动终止，防止出现孤儿进程。 join() 有帮助，只需在d.start() 之后添加d.join()，这样父进程就不会在子进程之前结束；相反，父进程会一直等到子进程结束。

【讨论】：