在并行包中的 R 的 par*apply 函数中使用 Rcpp 函数

Question

我试图了解在并行化环境中调用 Rcpp::sourceCpp() 背后发生了什么。最近，这在问题中得到了部分解决：Using Rcpp function in parLapply on Windows。

在这篇文章中，德克说，

“您需要在每个生成的进程中运行 sourceCpp() 调用，否则将它们获取您的代码。”

这是对提问者使用将 Rcpp 函数分发给工作进程的回应。提问者通过以下方式发送 Rcpp 函数：

clusterExport(cl = cl, varlist = "payoff")

我很困惑为什么这不起作用。我的想法是，这就是 clusterExport() 的目标。

Answer 1

这里的问题是，由于二进制文件如何链接到 R 的进程，编译后的代码不能“导出”到生成的进程而不嵌入到包中。

传统上，clusterExport() 语句允许将 R 特定代码分发给工作人员。

通过在 Rcpp 函数上使用 clusterExport()，您只会收到 R 声明，而不是 底层共享库。也就是说，Attributes.R 中给出的R CMD SHLIB 不与工人共享/导出给工人。因此，当随后调用 worker 上的 Rcpp 函数时，R 找不到正确的共享库。

取上一题的函数：

Rcpp::cppFunction("NumericVector payoff( double strike, NumericVector data) {
    return pmax(data - strike, 0);
}")

注意：我使用的是cppFunction() 而不是sourceCpp()，但结果是等效，因为cppFunction() calls sourceCpp() to create the function。

输入函数名：

payoff

使用共享库指针生成 R 声明。

function (strike, data) 
.Primitive(".Call")(<pointer: 0x1015ec130>, strike, data)

此共享库仅在编译该函数的进程上可用。

因此，为什么将编译后的代码嵌入包中然后分发包总是理想的选择。