将 scala 数据帧转换为 rdd[(Long,Vector)]答案

【问题标题】：convert scala dataframe to rdd[(Long,Vector)]将 scala 数据帧转换为 rdd[(Long,Vector)]
【发布时间】：2020-03-11 14:58:04
【问题描述】：

我有一个包含两列 id 和一个 tfidfvector(org.apache.spark.mllib.linlag.Vector) 的数据框。

我想将其转换为rdd[(id,Vector)]，然后将其转换为坐标矩阵。

PS：由于限制，无法共享数据。

我试过 df.As[(Long,Vector)] 没用

【问题讨论】：

【解决方案1】：

您可以使用将数据框转换为RDD[Row]

rdd = df.rdd

之后你可以用 map 重构 RDD，例如

rdd = df.rdd.map(row => (row(1), row(2)))

【讨论】：