【发布时间】:2019-05-27 01:17:39
【问题描述】:
我正在解决一个问题,我必须将数据从 csv 文件写入集合。 例如:我有一个包含 20 个项目的 csv 文件。这些项目被添加到队列中。每次处理队列中的案例时,我都会将项目编号写入集合中。最后,我将集合转换为 csv 格式。这与 1 个虚拟工作者完美配合。但是,当我使用多个工作人员时,他们只会将他们正在处理的项目编号写入集合中,因此该集合没有其他虚拟工作人员处理的案例的项目编号。
有没有办法让多个工作人员共享一个集合,这样我就不必在将其转换为 csv 文件之前丢失任何信息。?基本上,我希望所有项目都放入一个集合中,而不管哪个工人在它上面工作。
提前致谢。如果您需要有关此问题的更多信息,请告诉我。
【问题讨论】:
-
听起来你应该重新设计你的设计,以更多地利用每个 CSV 项目的队列作为队列项目。然后,在单独的进程(设计为在单台机器上运行)中重新使用工作项来写出您要查找的文件。