Windows 不支持 mc.cores > 1

Question

我是 R 编程新手，我有如下代码，我知道 windows 不支持多核但我不知道如何更改这部分代码。 有人可以在不使用 mc.cores 功能的情况下向我推荐一个等效代码吗？

rpl <- unlist( lapply( waydf$geometry$coordinates , nrow ) ) # row per line
 waydf <- waydf[ rpl > 1 , ]
ll <- parallel::mclapply( waydf$geometry$coordinates , st_linestring,
                         mc.cores =parallel::detectCores() - 1  )
outdf <- sf::st_sf(
line_geometry = sf::st_sfc( ll , crs = epsg ) ,
osm_id = waydf$id
)

Answer 1

如果您只想让这段代码不并行运行，您只需要告诉它使用 1 个内核，然后它会在后台使用 lapply。

ll <- parallel::mclapply(waydf$geometry$coordinates, st_linestring, mc.cores = 1)

或者只是将mclapply 换成lapply。

ll <- lapply(waydf$geometry$coordinates, st_linestring)

Answer 2

您必须澄清st_linestring 是什么或做什么，因为您试图将waydf$geometry$coordinates 的内容传递给它，但没有指定任何参数，例如st_linestring(waydf$geometry$coordinates[i])

在 Windows 中，您将使用 parLapply 而不是 mclapply。

# original
ll <- parallel::mclapply( waydf$geometry$coordinates , st_linestring,
                         mc.cores =parallel::detectCores() - 1  )

# replace the above with all of the below
library(parallel)
cl <- makeCluster(detectCores())
cl <- clusterEvalQ(cl, { library(sf) })  # you need to export packages as well
# cl <- clusterExport(cl, "st_linestring")  # each worker is a new environment, you will need to export variables/functions to
ll <- parallel::parLapply(cl, waydf$geometry$coordinates, function(i) st_linestring)    # if st_linestring takes arguments then st_linestring(x)
stopCluster(cl)

编辑由于st_linestring是来自sf包的函数，导出sf就足够了

第二次编辑

rpl <- unlist( lapply( waydf$geometry$coordinates , nrow ) ) # row per line
 waydf <- waydf[ rpl > 1 , ]

library(parallel)
cl <- makeCluster(detectCores())
cl <- clusterEvalQ(cl, { library(sf) })  # you need to export packages as well
# cl <- clusterExport(cl, "st_linestring")  # each worker is a new environment, you will need to export variables/functions to
ll <- parallel::parLapply(cl, waydf$geometry$coordinates, function(i) st_linestring)    # if st_linestring takes arguments then st_linestring(x)
stopCluster(cl)

outdf <- sf::st_sf(
line_geometry = sf::st_sfc( ll , crs = epsg ) ,
osm_id = waydf$id
)

Answer 3

问题是你在所有这些行中都做了cl <- ...；你不断地把那个变量重新定义为别的东西。您应该只分配一次cl，然后重复使用它。

library("parallel")
cl <- makeCluster(detectCores())
clusterEvalQ(cl, { library("sf") })
clusterExport(cl, "st_linestring")
res <- parallel::parLapply(cl, X = waydf$geometry$coordinates, 
                         fun = function(i) st_linestring)
stopCluster(cl)

您使用代码收到的消息Error in checkCluster(cl): not a valid cluster 是因为在您执行cl <- clusterEvalQ(cl, { library("sf") }) 之后，它不再是cluster 对象。