无法将 pyspark 输出发送到本地文件系统中的文件

Question

我正在 spark（单节点，独立）上运行 pyspark 作业，并尝试将输出保存在本地文件系统的文本文件中。

input = sc.textFile(inputfilepath)
words = input.flatMap(lambda x: x.split())
wordCount = words.countByValue()

wordCount.saveAsTextFile("file:///home/username/output.txt")

我收到一个错误提示

AttributeError: 'collections.defaultdict' object has no attribute 'saveAsTextFile'

基本上，无论我添加到“wordCount”对象中的什么，例如 collect() 或 map()，它都会返回相同的错误。当输出到终端时（使用 for 循环），代码可以正常工作，但我不知道将输出发送到文件时缺少什么。

Answer 1

您调用的countByValue() method 正在返回一个字数字典。这只是一个标准的 Python 字典，没有任何可用的 Spark 方法。

您可以使用your favorite method将字典保存在本地。