【发布时间】:2014-12-24 22:14:17
【问题描述】:
Hadoop 很容易使用.replace() 为例
String[] valArray = value.toString().replace("\N", "")
但它在 Spark 中不起作用,我在 Spark-shell 中编写 Scala,如下所示
val outFile=inFile.map(x=>x.replace("\N",""))
那么,如何处理呢?
【问题讨论】:
-
有什么问题?这在 spark 中应该可以正常工作。
-
它提醒“错误:值替换不是数组的成员[java.lang.String]”@lmm
-
出于某种原因,您的
x是Array[String]。你是怎么得到它的?如果你愿意,你可以.toString.replace它,但这可能不会让你得到你想要的(并且无论如何都会在java中给出错误的输出);你可能想做另一层map, `inFile.map(x => x.map(_.replace("\N",""))) -
@lmm 你能把它放在一个可以接受的答案中吗?
标签: scala hadoop apache-spark