如何给 Json 模式文件以激发 1.6 以加载模式以激发 DataFrame

Question

您好，我正在尝试加载 CSV 文件来触发数据框。我正在使用 DataBricks CSV jar 来加载数据。我在 Json 文件中有数据架构，并希望将该架构应用于 DataFrame。

以下是我的 Json 架构文件：-

 {
  "type" : "struct",
  "doc": "This is sample",
  "fields" : [ {
    "name" : "Name",
    "type" : "string" ,
    "nullable" : "true" 
  }, {
    "name" : "Address1",
    "type" : "string",
    "nullable" : "true" 
  }, {
    "name" : "Address2",
    "type" : "string",
    "nullable" : "true" 
  }, {
    "name" : "City",
    "type" : "string",
    "nullable" : "true" 
  }]
}

Answer 1

以下代码可能对您有所帮助。

StructType tempSchema = new StructType(new StructField[]{
            new StructField("name", DataTypes.StringType, true, Metadata.empty()),
            new StructField("Address1", DataTypes.StringType, true, Metadata.empty()),
            new StructField("Address2", DataTypes.StringType, true, Metadata.empty()),
            new StructField("City", DataTypes.StringType, true, Metadata.empty())
        });

    Dataset<Row> resultDs = spark.createDataFrame(dataRows, tempSchema);