将文本从多个连接附加到单个文件的最可靠方法是什么

Question

我已经看到很多关于writing 文件的questions，但我想知道打开文本文件、附加一些数据然后在您要从以下位置写入时再次关闭它的最可靠方法是什么许多连接（即在并行计算情况下），并且不能保证每个连接何时要写入文件。

例如在下面的玩具示例中，它只使用了我桌面上的内核，它似乎工作正常，但我想知道如果写入时间变长并且写入的进程数，这种方法是否容易失败文件增加（尤其是在可能存在一些延迟的网络共享上）。

当可能有其他从属进程想要同时写入文件时，任何人都可以提出一种可靠、明确的方式来打开、写入然后关闭连接吗？

require(doParallel)
require(doRNG)

ncores <- 7
cl <- makeCluster( ncores , outfile = "" )
registerDoParallel( cl )

res <- foreach( j = 1:100 , .verbose = TRUE , .inorder= FALSE ) %dorng%{
    d <- matrix( rnorm( 1e3 , j ) , nrow = 1 )
    conn <- file( "~/output.txt" , open = "a" )
    write.table( d , conn , append = TRUE , col.names = FALSE )
    close( conn )
}

我正在寻找执行此操作的最佳方法，或者是否有最好的方法。也许 R 和 foreach 会自动处理我所说的写锁问题？

谢谢。

Answer 1

@didierc 提出的方法的一个变体是从组合函数编写矩阵：

conn <- file("~/output.txt", "w")
wtab <- function(conn, d) {
    write.table(d, conn, col.names=FALSE)
    conn
}

res <- foreach(j = 1:100, .init=conn, .combine='wtab') %dorng% {
    matrix( rnorm( 1e3 , j ) , nrow = 1 )
}

close(conn)

当与 doSNOW 和 doMPI 等并行后端一起使用时，这种技术特别有用，它们可以在将结果发送回主节点时即时调用组合函数。

Answer 2

foreach 包不提供文件锁定机制，以防止多个工作人员同时写入同一个文件。这样做的结果将取决于您的操作系统和文件系统。当使用分布式文件系统（如 NFS）时，我会特别担心结果。

相反，我会更改您打开输出文件的方式以包含工作人员的进程 ID：

conn <- file( sprintf("~/output_%d.txt" , Sys.getpid()) , open = "a" )

如果需要，您可以在 foreach 循环返回后连接文件。

当然，如果您使用多台机器，您可能有两个具有相同进程 ID 的工作人员，因此您也可以在文件名中包含主机名，例如使用 Sys.info()[['nodename']]。

Answer 3

您也许可以尝试类似的方法：

res <- foreach( j = 1:100 , .verbose = TRUE , .inorder= FALSE ) %dorng%{
    matrix( rnorm( 1e3 , j ) , nrow = 1 )
}

conn <- file("~/output.txt", open = "a")
apply(res, 1, function (x, output) {
    write.table( x , conn , append = TRUE , col.names = FALSE )
  }, conn)

close(conn)

来源：foreach row in a dataframe