来自不同脚本python的并发文件访问

Question

我有几个脚本。他们每个人都进行一些计算，并且完全独立于其他人。一旦这些计算完成，它们将被保存到磁盘并更新记录。

记录由一个类的实例维护，该实例将自身保存到磁盘中。我想在多个脚本中使用一个记录实例（例如，record_manager = RecordManager(file_on_disk)。然后是record_manager.update(...)）；但我现在不能这样做，因为在更新记录时，可能会同时对磁盘上的同一个文件进行写访问，从而导致数据丢失。所以我对每个脚本都有一个单独的记录管理器，然后我以后手动合并记录。

在解决并发写入访问问题的所有脚本中使用单个实例的最简单方法是什么？

我使用的是 macOS (High sierra) 和 linux (Ubuntu 16.04)。

谢谢！

Answer 1

要为此构建自定义解决方案，您可能需要编写一个简短的新排队模块。此排队模块将单独拥有对文件的写访问权，并从代码中的现有模块传递写操作。

队列逻辑和逻辑应该是一个非常简单的队列架构。

python 中可能还存在一些库来处理此问题，从而避免您编写自己的队列类。

最后，整个事情可能会/可以由您的操作系统以某种方式处理，而不依赖于 python。