如何从 RDD Spark Scala 中删除最后一行

Question

我想使用 .mapPartitionsWithIndex 函数从 RDD 中删除最后一行。

我试过下面的代码

val withoutFooter = rdd.mapPartitionsWithIndex { (idx, iter) =>     
     if (idx == noOfTotalPartitions) {
         iter.drop(size - 1)
     }
     else iter 
}

但无法得到正确的结果。

Answer 1

drop 将删除前 n 个元素并返回剩余的元素

在此处阅读更多信息https://stackoverflow.com/a/51792161/6556191

下面的代码对我有用

val rdd = sc.parallelize(Array(1,2,3,4,5,6,7,8,9),4)

val lastPartitionIndex = rdd.getNumPartitions - 1

rdd.mapPartitionsWithIndex { (idx, iter) => 
    var reti = iter
    if (idx == lastPartitionIndex) {
        var lastPart = iter.toArray
        reti = lastPart.slice(0, lastPart.length-1).toIterator
    }
    reti
}