【问题标题】:combining two RDDs by values in scala spark通过scala spark中的值组合两个RDD
【发布时间】:2016-09-21 06:13:16
【问题描述】:

我有两个 RDD。

rdd1 = (字符串,整数)

(a, 10)
(b, 15)
(c, 20)
(d, 20)
(e, 13)

rdd2 = (string, string)

(1, a)
(2, b)
(3, e)

当 rdd2 的某些值与 rdd1 的键相同时,如何像下面这样合并它们?有可能吗?

(1, 10)
(2, 15)
(3, 13)

【问题讨论】:

    标签: scala intellij-idea apache-spark


    【解决方案1】:

    试试:

    rdd1.join(rdd2.map(_.swap)).values
    

    【讨论】:

    • 它不工作。它说“无法解析符号连接”。你知道为什么吗?
    • 可能rdd1不是RDD。
    • 哦,对!我认为它不是 RDD,但具有与上述相同的格式。那你还有什么其他的合并建议吗?
    • 把它变成一个RDD? (sc.parallelize)
    猜你喜欢
    • 2015-10-18
    • 1970-01-01
    • 1970-01-01
    • 2015-01-10
    • 1970-01-01
    • 1970-01-01
    • 2016-09-07
    • 2018-12-31
    • 1970-01-01
    相关资源
    最近更新 更多