如何将 CSV 数据转换为 LabelledPoint 格式？

Question

在此处提供的示例http://spark.apache.org/docs/latest/mllib-clustering.html#streaming-k-means 中，数据已经是 LabelledPoint 格式，但我有一个 csv 文件，其中包含单独的标签和特征列（它们都是文本）。

Answer 1

没有将 CSV 转换为 LabeledPoint 的直接方法。

这是我常用的代码：

val csv = sc.textFile("PATH/TO/CSVFILE")

val lPoint = csv.map { line =>
  val values = line.split(",").map(_.toDouble)
  val features = Vectors.dense(values.init)
  //Assuming that the label is always in the last column.
  val label = values.last
  LabeledPoint(label, features)
}