我想将模式（元数据）作为参数从 Spark 数据帧/数据集（数据帧名称作为参数）传递答案

【问题标题】：I want to pass schema (metadata) as an argument from Spark dataframe/dataset (dataframe name as an argument)我想将模式（元数据）作为参数从 Spark 数据帧/数据集（数据帧名称作为参数）传递
【发布时间】：2020-12-08 21:31:16
【问题描述】：

我想将架构（元数据）作为参数从 Spark 数据帧/数据集传递。

我正在使用 spark 2.x

代码：（示例）

//如下定义元数据。

val df_emp_metadata = StructType(
  List(
    StructField("emp_id", StringType,true),
    StructField("emp_hier_dt",DateType,true),
    StructField("dept_id",IntegerType,true)
  ))

  
val df_dept_metadata = StructType(
  List(
    StructField("dept_id", IntegerType,true),
    StructField("dept_name",StringType,true)
  ))

我想在执行 Spark-Submit 时将 df_emp_metadata/df_dept_metadata 作为参数传递，并将其作为以下模式中的变量传递。

val meta_Data = arg(0)  //(df_emp_metadata or df_dept_metadata from Spark-Submit)

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema($meta_Data)
    .load("data/source_file.csv")

Spark 不允许将数据框名称作为参数传递。

请建议在 Spark/Scala 编程中是否有其他替代方法。

【问题讨论】：

如果有任何值。

标签： scala dataframe apache-spark apache-spark-sql apache-spark-dataset

【解决方案1】：

简单的if-else 语句。您可以通过输入1 和2 来选择它。

val argument = arg(0)

val schema = if (argument == "1") df_emp_metadata else df_dept_metadata 

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema(schema)
    .load("data/source_file.csv")

【讨论】：