如何使用 pyspark 使用 xlsx 文件作为输入创建 db 表答案

【问题标题】：How to create a db table using xlsx file as a input using pyspark如何使用 pyspark 使用 xlsx 文件作为输入创建 db 表
【发布时间】：2020-08-10 06:05:06
【问题描述】：

我需要使用 xlsx 文件作为输入来创建一个 db 表。我可以将以下代码用于 csv 文件并使用以下代码创建表格。但是有没有办法使用 xlsx 文件并创建一个 db 表。

info=spark.read.option("delimiter", ";").csv("/home/temp/data.csv", header=True)

info.show(4)

info.write.format("parquet").option("path", "/prj/db_info/database_external/mode").mode("overwrite").saveAsTable("db_info.coll_stud_data")

spark.sql("describe table db_info.coll_stud_data").show()

'''

【问题讨论】：

标签： pyspark hive apache-spark-sql hiveql pyspark-dataframes

【解决方案1】：

要在 spark 中处理 XLSX 文件，请使用来自 https://github.com/crealytics/spark-excel 的 spark-excel 包

使用 pyspark --packages com.crealytics:spark-excel_2.11:0.13.1 启动 pyspark 终端

info = spark.read
    .format("com.crealytics.spark.excel")
    .option("sheetName", "<sheetname>")
    .option("header", "true")
    .load("/home/temp/data.xlsx")

spark.sql("describe table db_info.coll_stud_data").show()

info.write.format("parquet").option("path", "/prj/db_info/database_external/mode").mode("overwrite").saveAsTable("db_info.coll_stud_data")

【讨论】：