【发布时间】:2018-04-07 21:22:56
【问题描述】:
我在我的 Kafka 主题中嵌套了 JSON,我使用 spark 流式处理。
{“x”:{ “y”:“经典”, “z”:{ “100”:{ “用户”:0.0, “AA”:0, “BB”:0, “抄送”:2 } }
当我尝试 spark.sql(s"""select x.y.z.100.user from $tableInMemory """) 我知道了: org.apache.spark.sql.catalyst.parser.ParseException: 外部输入 '.100' 期望 {, '(', ',', '.',
但是,当我尝试不使用 spark sql 时: myDataFrame.select("x.y.z.100.user").show(false) 它正在工作。 有什么想法???
【问题讨论】:
标签: apache-spark apache-spark-sql