【问题标题】:How I create a PairRDD?如何创建 PairRDD?
【发布时间】:2019-03-21 09:08:16
【问题描述】:

我需要创建一个PairRDD (draft_ids),其中key 是项目的标识符,value 是使用split 方法获得的所有字段。我们有rdd 草稿

draft.take(3).foreach(println)

[Ljava.lang.String;@302bf7bb
[Ljava.lang.String;@3128929f
[Ljava.lang.String;@30037ad7

【问题讨论】:

标签: python scala apache-spark rdd


【解决方案1】:

你需要调用一个 mapToPair 函数,它返回一个 Tuple 例如在python中:

def myMap2pair(element):
    key = element.getKey()
    value = element.getValue()
    return key, value

draftKV = draft.map(myMap2pair)

【讨论】:

  • 你也可以使用 lambda ;)
猜你喜欢
  • 2021-12-29
  • 1970-01-01
  • 2022-07-29
  • 1970-01-01
  • 1970-01-01
  • 2015-06-07
  • 1970-01-01
  • 1970-01-01
  • 2015-01-15
相关资源
最近更新 更多