在scala中将Spark Dataframe转换为RDD

Question

我正在寻找更好的方法将 Dataframe 转换为 RDD。现在我正在将数据帧转换为集合并循环集合以准备 RDD。但我们知道循环不是好习惯。

   val randomProduct = scala.collection.mutable.MutableList[Product]()
   val results = hiveContext.sql("select id,value from  details");
   val collection = results.collect();    
   var i = 0;
   results.collect.foreach(t => {
       val product = new Product(collection(i)(0).asInstanceOf[Long], collection(i)(1).asInstanceOf[String]); 
       i = i+ 1;
       randomProduct += product 
   })

   randomProduct
   //returns RDD[Product]

请建议我将其设为适用于大量数据的标准且稳定的格式。

Answer 1

val results = hiveContext.sql("select id,value from  details");
results.rdd.map( row => new Product( row.getLong(0), row.getString(1) ) ) // RDD[Product]