如何对 SparkR 中数据帧的每一行执行一些第三方计算

Question

我有一个 R 数据框，我通过调用 createDataFrame 函数将其转换为 RDD。 RDD 有多个列，应该用于计算新列。 我需要通过 SparkR 调用 RQuantLib R 包的 AmericanOption 函数，并将返回值更新到同一数据帧的新列中。通常我们可以在其他编程语言中使用 foreach 执行此操作，但不知道如何在 SparkR 中执行此操作，因为 map 函数也丢失了，如文档中所述 https://spark.apache.org/docs/1.5.1/api/R/

Answer 1

一种方法是

1. 将RDD转化为RDDLoL，一个列表的列表，
2. SparkR:::parallelize RDDLoL 为 parallelRDD
3. 呼叫 res
4. 将 res 附加到原始数据框的新列。