【问题标题】:Adding Constant to RDD将常量添加到 RDD
【发布时间】:2015-03-04 22:21:29
【问题描述】:

我有一个非常愚蠢的问题,我知道 RDD 是不可变的,但是有什么方法可以将一列常量添加到 RDD 中?

更具体地说,我有一个 RDD[a:String, b:String] 的 RDD,我希望在它之后添加一列 1,以便我有一个 RDD[a:Stirng, b:String, c :诠释]。

原因是我想使用reduceByKey函数来处理这些字符串,一个任意的Int(将不断更新)将有助于该函数减少。

【问题讨论】:

    标签: scala apache-spark rdd


    【解决方案1】:

    Scala 中的解决方案是简单地使用 map

    rdd.map( t => (t._1, t._2, 1))
    

    或者

    rdd.map{ case (a, b) => (a, b, 1)}
    

    【讨论】:

    • 谢谢!明白了。谢谢!
    【解决方案2】:

    您可以使用map 函数轻松完成,这是 Python 中的示例:

    rdd.map(lambda (a,b): (a,b,1))
    

    【讨论】:

    • 太棒了!谢谢,我会尝试找到 scala 的语法!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-04-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-11-26
    相关资源
    最近更新 更多