spark scala 读取配置文件

Question

我的 hdfs 中有一个配置文件，其中包含要从 json 文件中选择的列名

json 架构

  { 
    a:string
    b:int
    c struct
     {
       id: string
       count : integer
     }
  }


 Config.txt 
 "a","b","c.id"

在代码中

 val df = sqlcontext.read.json("jsonfile"
 val config_file = "Config.txt"
 val config = scala.io.Source.fromFile(config_file).mkString
 val df_contents=df.selectExpr(config)
 df_contents.printSchema()
 df_cust_att_contents.show()

我在 df.selectExpr(config) 中遇到错误。它不被认可。它的抛出错误。如何将配置文件中的列名传递给 selectExpr。请帮忙

Answer 1

selectExpr 每列需要一个参数。您正试图将所有列放在一个参数中。

试试：

df.selectExpr(config.replaceAll("\"", "").split(","): _*)