如何在 SparkDataFrame 上使用 strsplit

Question

我在Azure Databricks 世界中迈出了第一步，因此我必须学习如何使用SparkR。

[我来自data.table]

虽然我已经阅读了很多文档，但我认为 SparkDataFrame 上有些东西让我无法理解。

要创建一个新列，我了解到我们可以执行以下操作：

sdf$new <- sdf$old * 0.5

但是如果我想使用一个基本功能，我得到一个错误，我不知道为什么：

sdf <- sql("select * from database.table")
sdf$new <- strsplit(sdf$old, "-")[1]

Error in strsplit((sdf$old), "-") : 
  non-character argument
Some(<code style = 'font-size:10p'> Error in strsplit((sdf$old), &quot;-&quot;): non-character argument </code>)

我错过了什么？

谢谢。

Answer 1

您需要使用在 Spark R API documentation 中找到的 Spark 特定函数，而不是 strsplit。具体来说，需要使用split_string函数，结合getItem函数（请注意需要指定L强制数字为整数）：

new_df <- withColumn(sdf, "new_id", getItem(split_string(sdf$old, ","), 0L))