PySpark RDD 列表按分隔符拆分

Question

我对 Python 和 Spark 都非常陌生，我正在尝试通过分隔符删除 string 中的值。我有一个带有以下几行的 RDD。

我想删除“_”下划线之前的所有内容，仅将剩余值保留为字符串。我尝试在下面使用类似的东西但失败了。任何帮助都是极好的。谢谢你，如果我在菜鸟方面措辞不当，我深表歉意。

a.split('_')
File "<stdin>", line 1, in <module>
AttributeError: 'dict' object has no attribute 'split'

# Preferably Something Like This:
# Before
a = rdd.take(1)[1]
a
{u'bin1_11394071': 1, u'bin1_11052103': 1, u'bin1_11052101': 1}

# After
new_a.take(1)[1]
new_a
{u'11394071': 1, u'11052103': 1, u'11052101': 1}

Answer 1

使用您的输入重新创建 rdd，我有

rdd.take(2)
{u'bin1_11394071': 1, u'bin1_11052103': 1, u'bin1_11052101': 1}, {u'bin1_11847272': 1, u'bin1_999999': 1, u'None_11847272': 1}]

new_rdd = rdd.map(lambda x : {k.split('_')[1]:v for k,v in x.iteritems()})
new_rdd.take(2)
[{u'11394071': 1, u'11052101': 1, u'11052103': 1}, {u'999999': 1, u'11847272': 1}]

在这里，第二个 dict 值具有 'bin1_11847272' 、'None_11847272' 作为键。在我们拆分并只取数字部分之后，它们具有相同的值，并且字典不能有多次出现的键。这就是为什么在 new_rdd 中，我们只有 2 个值。你必须想出一个逻辑来处理这个。