【问题标题】:python : reduce by key with if condition statement?python:使用if条件语句按键减少?
【发布时间】:2019-06-11 02:23:28
【问题描述】:
(K1, (v1, v2))
(K2, (v3, v4))
(K1, (v1, v5))
(K2, (v3, v6))

如果第一个值是我得到 (k1, (v1,v2+v5), (k2,(v3,v4+v6) 的 some 或 eque ),我如何总结键的值?

【问题讨论】:

    标签: pyspark rdd reduce


    【解决方案1】:

    IIUC,您需要更改reduce 之前的键,然后将您的值映射回所需的格式。

    您应该能够做到以下几点:

    new_rdd = rdd.map(lambda row: ((row[0], row[1][0]), row[1][1]))\
        .reduceByKey(sum).
        .map(lambda row: (row[0][0], (row[0][1], row[1])))
    

    【讨论】:

      猜你喜欢
      • 2016-02-28
      • 1970-01-01
      • 2021-01-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-06-06
      • 1970-01-01
      相关资源
      最近更新 更多