两个进程写入一个文件，防止混合输出

Question

我想从两个进程中获取输出并将它们合并到一个文件中，例如：

proc1 >> output &
proc2 >> output &

问题是输出可能会在最终文件中混淆。 例如，如果第一个进程写道：

你好

第二个进程写道：

再见

结果可能是这样的：

喜鹊

但我希望它们位于单独的行中，例如（顺序不重要）：

再见

你好

所以我使用了flock来同步写入到文件的脚本如下：

exec 200>>output
while read line;
  flock -w 2 200
  do echo $line>>output
  flock -u 200
done

并运行如下进程：

proc1 | script &
proc2 | script &

现在的问题是性能显着下降。如果没有同步，每个进程可以以 4MB/秒的速度写入，但使用同步脚本的写入速度是 1MB/秒。

谁能帮助我如何合并两个进程的输出并防止混合输出？

编辑： 我意识到行长和标准缓冲区大小之间存在关系，如果每行的大小小于标准缓冲区大小，那么一切都很好，没有任何混合（至少在我的测试中）。所以我用 bufsize 命令运行了每个脚本：

bufsize -o10KB proc1 | script &
bufsize -o10KB proc2 | script &

现在我想确保这个解决方案是防弹的。我找不到缓冲区大小与现在发生的情况之间的任何关系！！！

Answer 1

现在我想确保这个解决方案是防弹的。我不能 找出缓冲区大小与现在发生的情况之间的任何关系！！！

对于完全缓冲的输出流，缓冲区大小决定了使用单个 write(2) 调用写入的数据量。对于行缓冲输出流，只要不超过缓冲区大小，就会使用单个 write(2) 调用写入一行。

如果文件被打开(2) O_APPEND，文件偏移量首先设置到文件末尾 在写作之前。文件偏移量的调整和写入 操作作为原子步骤执行。

另请参阅以下答案：

• Atomicity of write(2) to a local filesystem
• Understanding concurrent file writes from multiple processes