【发布时间】：2015-08-10 07:11:11
【问题描述】：
在 R 中，我创建了两个数据集，我通过
将它们保存为 csv 文件liste <-write.csv(liste, file="/home/.../liste.csv", row.names=FALSE)
data <- write.csv(data, file="/home/.../data.csv", row.names=FALSE)
我现在想在 SparkR 中打开这些 csv 文件。所以我输入
liste <- read.df(sqlContext, "/home/.../liste.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")
data <- read.df(sqlContext, "/home/.../data.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")
事实证明，在 SparkR 中成功加载了一个数据集 'liste'，但是，由于某些奇怪的原因，无法加载 'data'。
'liste' 只是 R 中的数字向量，而 'data' 是我在 R 中加载并删除了 data.frame 的某些部分的 data.frame。 SparkR 给了我这个错误信息：
错误：returnStatus == 0 不是 TRUE
【问题讨论】：
-
数据集'liste'可以在sparkR中成功加载。在 R 中，'liste' 是一个向量 2,3,4,6,9,... 但 'data' 是我在 R 中加载并进行一些更改的 csv 文件。我将其保存为 csv 文件，然后尝试将其加载到 SparkR 中，但我无法做到。
-
我在 R 中加载的 csv 文件大约 2GB。我只是做了一些更改并将其保存为名为“数据”的新 csv 文件，但这个 csv 文件只有大约 33 KB，很小。我觉得这很奇怪。