如何以未压缩的文本格式将 Spark Dataframe 存储在配置单元中答案

【问题标题】：how to store Spark Dataframe in hive in uncompressed text format如何以未压缩的文本格式将 Spark Dataframe 存储在配置单元中
【发布时间】：2016-12-26 00:24:08
【问题描述】：

我正在尝试将数据框存储到外部配置单元表中。当我执行以下操作时：

 recordDF.write.option("path", "hdfs://quickstart.cloudera:8020/user/cloudera/hadoop/hive/warehouse/VerizonProduct").saveAsTable("productstoreHTable")

在应该存在表格的 hdfs 位置，我得到了这个：

-rw-r--r-- 3 cloudera cloudera 0 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/_SUCCESS

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00000-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy。镶木地板

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00001-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy。镶木地板

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00002-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy。镶木地板

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00003-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy。镶木地板

如何将其存储为未压缩的文本格式？

谢谢

【问题讨论】：

标签： hadoop apache-spark hive

【解决方案1】：

试试这个.option("fileFormat", "texfile")。看Specifying storage format for Hive tables

【讨论】：

【解决方案2】：

您可以添加format选项：

recordDF.write.option("path", "...").format("text").saveAsTable("...")

或

recordDF.write.option("path", "...").format("csv").saveAsTable("...")

【讨论】：

此解决方案不起作用：WARN hive.HiveExternalCatalog: Couldn't find corresponding Hive SerDe for data source provider text.

【解决方案3】：

上述 csv 格式的解决方案，抛出警告“找不到数据源提供程序 csv 的相应 Hive SerDe。”。该表不是以所需的方式创建的。一种解决方案是创建一个外部表，如下所示 sqlContext.sql("CREATE EXTERNAL TABLE test(col1 int,col2 string) STORED AS TEXTFILE LOCATION '/path/in/hdfs'") 。

然后 dataFrame.write.format("com.databricks.spark.csv").option("header", "true").save("/path/in/hdfs")

【讨论】：