如何在 Scala(spark) 中打印字符串或字符串 [Array]？

Question

我正在尝试对字符串中返回的值进行单元测试，但是当我尝试打印时，控制台给出了

MapPartitionsRDD[32]

我的代码如下：

更新：

val src = exact_bestmatch_src.filter(line => line.split(",")(0).toInt.equals(i))
val dest = exact_bestmatch_Dest.filter(line => line.split(",")(0).toInt.equals(i)).toArray()

 for (print1 <- src) {       
    var n1:String = src.toString()       
    var sourceArr: Array[String] = n1.split(",")


    for (print2 <- dest) {        
      var n2: String = dest.toString()

      for (i <- 0 until sourceArr.length) {          
        if (n1.split(",")(i).equals(n2.split(",")(i))) {


        }
      }

我也试过println(n1.mkstring())

我正在尝试比较 src 和 dest RDD 以找出两行之间的差异

Answer 1

如果您想将 RDD 中的每条记录打印为单独的行，您可以使用：

src.foreach(println)

这将在每条记录上运行println 函数，在持有它的执行器中（可能是几个不同的执行器）。如果这在使用 Spark 的“本地”模式的某些测试中运行，则只有一个“执行程序”，并且它与驱动程序的进程相同，所以这不是问题。

或者，如果您确实有多个执行程序（非本地模式）并且您想确保将 RDD 的元素打印到 driver 控制台，您可以首先collect 将 RDD 的元素放入本地集合中，然后打印它们：

src.collect().foreach(println)

注意，这假设 RDD 足够小，可以收集到单个机器的内存中。

在 RDD 上调用 toString 不会访问 RDD 的 data（因为它可能太大而无法在驱动程序机器的内存中作为字符串容纳），正如您观察到的那样，它只会打印 类型 RDD 及其 ID。

Answer 2

您没有列表或数组。您需要 collect() 一个 RDD 才能获得一个，或者您需要通过 foreach 对其进行迭代。

顺便说一句，在任何对象上调用println 已经为它调用了toString 方法。而且RDD没有mkString方法

Answer 3

在 src 上调用 toString 仅仅意味着你得到了一个可以是任何东西的字符串表示。对于 RDD，这不是 RDD 的内容（因为这需要将 RDD 的所有内容获取到驱动程序并立即打印出来）。

正如其他人提到的，为了打印 R​​DD 的内容，您需要首先将所有数据获取到驱动程序。

让我们考虑一下已经提出的简单解决方案：

src.collect().foreach(println)

第一部分 - collect 告诉 spark 获取 RDD 的所有内容并将其作为记录序列提供给驱动程序。 foreach 告诉 scala 遍历序列中的每条记录，并将其作为参数传递给 println 函数，该函数将打印它。您当然可以使用 mkstring 而不是 foreach 来获取单个字符串。