如何从 Scala Spark 中的 Excel (xls,xlsx) 文件构造数据框？

Question

我有一个包含多个工作表的大型Excel(xlsx and xls) 文件，我需要将其转换为RDD 或Dataframe，以便以后可以将其加入其他dataframe。我正在考虑使用Apache POI 并将其另存为CSV，然后在dataframe 中读取csv。但是，如果有任何库或 API 可以在此过程中提供帮助，那将很容易。非常感谢任何帮助。

Answer 1

解决您的问题的方法是在您的项目中使用Spark Excel 依赖项。

Spark Excel 具有灵活的options 可供使用。

我已经测试了从excel 读取的以下代码并将其转换为dataframe 并且它运行完美

def readExcel(file: String): DataFrame = sqlContext.read
    .format("com.crealytics.spark.excel")
    .option("location", file)
    .option("useHeader", "true")
    .option("treatEmptyValuesAsNulls", "true")
    .option("inferSchema", "true")
    .option("addColorColumns", "False")
    .load()

val data = readExcel("path to your excel file")

data.show(false)

如果您的 Excel 工作表有多个工作表，您可以将 sheetname 指定为 option

.option("sheetName", "Sheet2")

希望对你有帮助

Answer 2

这里是 read 和 write 示例，用于读取和写入 excel 具有全套选项。..

来源spark-excel from crealytics

Scala API Spark 2.0+：

从 Excel 文件创建 DataFrame

    import org.apache.spark.sql._

val spark: SparkSession = ???
val df = spark.read
         .format("com.crealytics.spark.excel")
        .option("sheetName", "Daily") // Required
        .option("useHeader", "true") // Required
        .option("treatEmptyValuesAsNulls", "false") // Optional, default: true
        .option("inferSchema", "false") // Optional, default: false
        .option("addColorColumns", "true") // Optional, default: false
        .option("startColumn", 0) // Optional, default: 0
        .option("endColumn", 99) // Optional, default: Int.MaxValue
        .option("timestampFormat", "MM-dd-yyyy HH:mm:ss") // Optional, default: yyyy-mm-dd hh:mm:ss[.fffffffff]
        .option("maxRowsInMemory", 20) // Optional, default None. If set, uses a streaming reader which can help with big files
        .option("excerptSize", 10) // Optional, default: 10. If set and if schema inferred, number of rows to infer schema from
        .schema(myCustomSchema) // Optional, default: Either inferred schema, or all columns are Strings
        .load("Worktime.xlsx")

将 DataFrame 写入 Excel 文件

    df.write
      .format("com.crealytics.spark.excel")
      .option("sheetName", "Daily")
      .option("useHeader", "true")
      .option("dateFormat", "yy-mmm-d") // Optional, default: yy-m-d h:mm
      .option("timestampFormat", "mm-dd-yyyy hh:mm:ss") // Optional, default: yyyy-mm-dd hh:mm:ss.000
      .mode("overwrite")
      .save("Worktime2.xlsx")

注意：您也可以使用它们的名称来代替 sheet1 或 sheet2.. 在上面给出的示例中，Daily 是工作表名称。

• 如果你想从 spark shell 中使用它...

可以使用--packages 命令行选项将此包添加到 Spark。例如，在启动 spark shell 时包含它：

    $SPARK_HOME/bin/spark-shell --packages com.crealytics:spark-excel_2.11:0.13.1

• 需要添加依赖项（如果是 maven 等...）：

groupId: com.crealytics
artifactId: spark-excel_2.11
version: 0.13.1

---

Further reading : See my article (How to do Simple reporting with Excel sheets using Apache Spark, Scala ?) of how to write in to excel file after an aggregations in to many excel sheets

提示：这是非常有用的方法，尤其是对于写作 maven 测试用例，您可以在其中将带有示例数据的 excel 工作表放在 excel 中 src/main/resources 文件夹，您可以在单元测试用例（scala/java）中访问它们，这会从 excel 表中创建 DataFrame[s]...

• 您可以考虑的另一个选项是 spark-hadoopoffice-ds

HadoopOffice 库的 Spark 数据源。这个 Spark 数据源 假设至少 Spark 2.0.1。但是，HadoopOffice 库可以 也可以直接从 Spark 1.x 使用。目前这个数据源 支持以下格式的 HadoopOffice 库：

Excel 数据源格式：org.zuinnote.spark.office.Excel 正在加载和 保存旧 Excel (.xls) 和新 Excel (.xlsx) 此数据源是 在Spark-packages.org 和Maven Central 上可用。

Answer 3

或者，您可以使用 HadoopOffice 库 (https://github.com/ZuInnoTe/hadoopoffice/wiki)，它还支持加密的 Excel 文档和链接的工作簿，以及其他功能。当然也支持 Spark。

Answer 4

我用的是com.crealytics.spark.excel-0.11版本的jar，用spark-Java创建的，在scala中也是一样的，只需要将javaSparkContext改为SparkContext即可。

tempTable = new SQLContext(javaSparkContxt).read()
    .format("com.crealytics.spark.excel") 
    .option("sheetName", "sheet1")
    .option("useHeader", "false") // Required 
    .option("treatEmptyValuesAsNulls","false") // Optional, default: true 
    .option("inferSchema", "false") //Optional, default: false 
    .option("addColorColumns", "false") //Required
    .option("timestampFormat", "MM-dd-yyyy HH:mm:ss") // Optional, default: yyyy-mm-dd hh:mm:ss[.fffffffff] .schema(schema)
    .schema(schema)
    .load("hdfs://localhost:8020/user/tester/my.xlsx");

Answer 5

希望这会有所帮助。

val df_excel= spark.read.
                   format("com.crealytics.spark.excel").
                   option("useHeader", "true").
                   option("treatEmptyValuesAsNulls", "false").
                   option("inferSchema", "false"). 
                   option("addColorColumns", "false").load(file_path)

display(df_excel)