如何在集群上保存文件

Question

我使用ssh 连接到集群，并使用

将程序发送到集群

spark-submit --master yarn myProgram.py

我想将结果保存在文本文件中，我尝试使用以下行：

counts.write.json("hdfs://home/myDir/text_file.txt")
counts.write.csv("hdfs://home/myDir/text_file.csv")

但是，它们都不起作用。程序结束，我在myDir 中找不到文本文件。你知道我该怎么做吗？

另外，有没有办法直接写入我的本地机器？

编辑：我发现home 目录不存在，所以现在我将结果保存为： counts.write.json("hdfs:///user/username/text_file.txt") 但这会创建一个名为text_file.txt 的目录，在里面我有很多文件，里面有部分结果。但我想要一个包含最终结果的文件。有什么想法可以做到这一点吗？

Answer 1

您可以从命令行将结果连接到一个文件中：

hadoop fs -cat hdfs:///user/username/text_file.txt/* > path/to/local/file.txt

这应该比使用coalesce 更快——根据我的经验，所有collect() 类型的操作都很慢，因为所有数据都通过主节点汇集。此外，如果您的数据超出主节点上的内存，您可能会遇到collect() 的麻烦。

然而，这种方法的一个潜在缺陷是您必须从先前的运行中显式删除文件（因为当前运行可能不会产生完全相同数量的文件）。每次运行都可能有一个标志来执行此操作，但我不确定。

删除：

hadoop fs -rm -r hdfs:///user/username/text_file.txt/*

Answer 2

要拥有一个唯一的文件（不是您想要的名称），您需要 .repartition(1),look here，通过管道传输到您的 RDD。 我想你的hdfs路径是错误的。在 Spark HDFS 中，文本文件是默认的，而在 Hadoop 中（默认情况下），根目录中没有主目录，除非您之前创建过它。 如果您想要一个 csv/txt 文件（带有此扩展名），那么编写它的唯一方法是不使用 RDD 或 DF 函数，而是使用 Python csv 和 io 的常用库，在您使用 .collect() 收集之后，您的 RDD在一个 martix 中（数据集不是很大）。

如果您想直接在文件系统（而不是 HDFS）上写入，请使用

counts.write.csv("file:///home/myDir/text_file.csv")

但这不会写入带有 csv 扩展名的单个文件。它将创建一个文件夹，其中包含数据集 n 个分区的 part-m-0000n。

Answer 3

由于计算是分布式的，Spark 会将结果保存在多个文件中。因此写作：

counts.write.csv("hdfs://home/myDir/text_file.csv")

表示将每个分区上的数据作为单独的文件保存在文件夹text_file.csv中。如果要将数据保存为单个文件，请先使用coalesce(1)：

counts.coalesce(1).write.csv("hdfs://home/myDir/text_file.csv")

这会将所有数据放在一个分区中，因此保存的文件数将为 1。但是，如果您有很多数据，这可能是个坏主意。如果数据非常小，则使用collect() 是一种替代方法。这会将所有数据作为数组放入驱动程序机器上，然后可以将其保存为单个文件。

Answer 4

你有什么错误吗？也许您可以检查您是否具有从该文件夹写入/读取的正确权限。

还认为 Spark 默认会创建一个名为 text_file.txt 的文件夹，其中包含一些文件，具体取决于您拥有的分区数量。

如果你想在本地机器上写，你可以用file:///home/myDir/text_file.txt指定路径。如果你使用像/user/hdfs/...这样的路径，默认情况下是写在HDFS中