有一些关于如何在 R 程序中为循环创建计数器的信息性帖子。但是，当使用带有“foreach()”的并行版本时，如何创建类似的函数呢？
【问题讨论】：
foreach 的示例，我认为值得一读:)
标签： r foreach progress-bar
编辑：在 doSNOW 包中添加 update 后，使用 %dopar% 时显示漂亮的进度条变得非常简单，并且它适用于 Linux、Windows 和 OS X
doSNOW 现在通过.options.snow 参数正式支持进度条。
library(doSNOW)
cl <- makeCluster(2)
registerDoSNOW(cl)
iterations <- 100
pb <- txtProgressBar(max = iterations, style = 3)
progress <- function(n) setTxtProgressBar(pb, n)
opts <- list(progress = progress)
result <- foreach(i = 1:iterations, .combine = rbind,
.options.snow = opts) %dopar%
{
s <- summary(rnorm(1e6))[3]
return(s)
}
close(pb)
stopCluster(cl)
如果您牢记迭代总数，另一种跟踪进度的方法是设置 .verbose = T，因为这将在控制台打印出哪些迭代已完成。
以前适用于 Linux 和 OS X 的解决方案
在 Ubuntu 14.04（64 位）和 OS X（El Capitan）上，如果在 makeCluster 函数中设置了 oufile = ""，即使使用 %dopar% 也会显示进度条。它似乎在 Windows 下不起作用。来自makeCluster的帮助：
outfile：将工作人员的 stdout 和 stderr 连接输出定向到何处。 "" 表示没有重定向（这可能只对本地机器上的工作人员有用）。默认为“/dev/null”（Windows 上为“nul:”）。
示例代码：
library(foreach)
library(doSNOW)
cl <- makeCluster(4, outfile="") # number of cores. Notice 'outfile'
registerDoSNOW(cl)
iterations <- 100
pb <- txtProgressBar(min = 1, max = iterations, style = 3)
result <- foreach(i = 1:iterations, .combine = rbind) %dopar%
{
s <- summary(rnorm(1e6))[3]
setTxtProgressBar(pb, i)
return(s)
}
close(pb)
stopCluster(cl)
This 是进度条的样子。这看起来有点奇怪，因为每个进度条都会打印一个新进度条，而且工作人员可能会滞后一点，这会导致进度条偶尔来回走动。
【讨论】：
cat 向tempfile 写一个换行符，然后计算换行符（我使用wc，因为我在 Linux 上，但还有其他适用于 Windows 的解决方案）并使用它来更新进度条。这具有单调递增的优点。缺点是你必须在每次迭代中读取一个文件——不确定这有多慢。
此代码是doRedis example 的修改版本，即使使用带有并行后端的%dopar%，也会生成进度条：
#Load Libraries
library(foreach)
library(utils)
library(iterators)
library(doParallel)
library(snow)
#Choose number of iterations
n <- 1000
#Progress combine function
f <- function(){
pb <- txtProgressBar(min=1, max=n-1,style=3)
count <- 0
function(...) {
count <<- count + length(list(...)) - 1
setTxtProgressBar(pb,count)
Sys.sleep(0.01)
flush.console()
c(...)
}
}
#Start a cluster
cl <- makeCluster(4, type='SOCK')
registerDoParallel(cl)
# Run the loop in parallel
k <- foreach(i = icount(n), .final=sum, .combine=f()) %dopar% {
log2(i)
}
head(k)
#Stop the cluster
stopCluster(cl)
你要提前知道迭代次数和组合函数。
【讨论】：
现在可以使用parallel 包来实现。在 OSX 10.11 上使用 R 3.2.3 进行测试，在 RStudio 中运行，使用 "PSOCK"-type 集群。
library(doParallel)
# default cluster type on my machine is "PSOCK", YMMV with other types
cl <- parallel::makeCluster(4, outfile = "")
registerDoParallel(cl)
n <- 10000
pb <- txtProgressBar(0, n, style = 2)
invisible(foreach(i = icount(n)) %dopar% {
setTxtProgressBar(pb, i)
})
stopCluster(cl)
奇怪的是，它只有在 style = 3 时才能正确显示。
【讨论】：
您也可以使用progress 包来使用它。
# loading parallel and doSNOW package and creating cluster ----------------
library(parallel)
library(doSNOW)
numCores<-detectCores()
cl <- makeCluster(numCores)
registerDoSNOW(cl)
# progress bar ------------------------------------------------------------
library(progress)
iterations <- 100 # used for the foreach loop
pb <- progress_bar$new(
format = "letter = :letter [:bar] :elapsed | eta: :eta",
total = iterations, # 100
width = 60)
progress_letter <- rep(LETTERS[1:10], 10) # token reported in progress bar
# allowing progress bar to be used in foreach -----------------------------
progress <- function(n){
pb$tick(tokens = list(letter = progress_letter[n]))
}
opts <- list(progress = progress)
# foreach loop ------------------------------------------------------------
library(foreach)
foreach(i = 1:iterations, .combine = rbind, .options.snow = opts) %dopar% {
summary(rnorm(1e6))[3]
}
stopCluster(cl)
【讨论】：
progress_bar 的帮助文件，您可以设置total=NA，尽管您不再获得进度条。我很乐意帮助您找出确定迭代次数的方法。
progress_letter 变量。
在循环之前使用Sys.time() 保存开始时间。循环遍历行或列或您知道总数的东西。然后，在循环内，您可以计算到目前为止运行的时间（请参阅difftime）、完成百分比、速度和估计剩余时间。每个进程都可以使用message 函数打印这些进度行。你会得到类似的输出
1/1000 complete @ 1 items/s, ETA: 00:00:45
2/1000 complete @ 1 items/s, ETA: 00:00:44
显然，循环顺序会极大地影响它的效果。不知道foreach，但使用multicore 的mclapply，使用mc.preschedule=FALSE 会得到很好的结果，这意味着项目会按照先前项目完成的顺序一个接一个地分配给进程。
【讨论】：
i)？
mclapply 时，使用 mc.preschedule=FALSE 时效果很好，有时会出错，但通常与默认值（通常更快）mc.preschedule=TRUE 足够接近。
此代码使用doMC 后端并使用R 中出色的progress 包实现跟踪并行化foreach 循环的进度条。它假定由numCores 指定的所有内核执行的工作量大致相同。
library(foreach)
library(doMC)
library(progress)
iterations <- 100
numCores <- 8
registerDoMC(cores=numCores)
pbTracker <- function(pb,i,numCores) {
if (i %% numCores == 0) {
pb$tick()
}
}
pb <- progress_bar$new(
format <- " progress [:bar] :percent eta: :eta",
total <- iterations / numCores, clear = FALSE, width= 60)
output = foreach(i=1:iterations) %dopar% {
pbTracker(pb,i,numCores)
Sys.sleep(1/20)
}
【讨论】：
registerDoMC(cores=numCores) 之后，当我在我的 Mac 上查看活动监视器时，我正在启动多个内核。给你一个想法，progress [====>-----------------------------] 15% eta: 12s，这就是我在此期间看到的。
以下代码将在 R 中为foreach 控制结构生成一个漂亮的进度条。它还可以通过将txtProgressBar 替换为所需的进度条对象来处理图形进度条。
# Gives us the foreach control structure.
library(foreach)
# Gives us the progress bar object.
library(utils)
# Some number of iterations to process.
n <- 10000
# Create the progress bar.
pb <- txtProgressBar(min = 1, max = n, style=3)
# The foreach loop we are monitoring. This foreach loop will log2 all
# the values from 1 to n and then sum the result.
k <- foreach(i = icount(n), .final=sum, .combine=c) %do% {
setTxtProgressBar(pb, i)
log2(i)
}
# Close the progress bar.
close(pb)
虽然上面的代码以最基本的形式回答了您的问题，但一个更好且更难回答的问题是，您是否可以创建一个 R 进度条来监控与 %dopar% 并行化的 foreach 语句的进度。不幸的是，我认为不可能以这种方式监控并行化 foreach 的进度，但我希望有人能证明我错了，因为这将是非常有用的功能。
【讨论】：