Scala以自定义格式解析字符串值序列

Question

我在 spark-scala 项目中有一个用例，我需要查询状态表并从表中获取每个状态的状态代码。 parquet 表中的状态码值填充如下：

state state_cd
GA    AGAHUI,AGAUTY,AGAERE
CA    BCAHRT,CCAYTU,CCARTE

现在在 spark-sql 查询中，我需要将 state_cd 值解析为

Where state = 'GA' and state_cd IN (${state_cd})

必须在下面填充持有者 state_cd 的地方

${state_cd} = 'AGAHUI','AGAUTY','AGAERE'

在 Spark-SQL 查询中如何推断它的示例：

Where state = 'GA' and state_cd IN ('AGAHUI','AGAUTY','AGAERE')
Where state = 'CA' and state_cd IN ('BCAHRT','CCAYTU','CCARTE')

有关如何实现 state_cd 的逻辑以将它们转换为的任何代码/建议片段 ('AGAHUI','AGAUTY','AGAERE') 来自 AGAHUI,AGAUTY,AGAERE 使用 Scala

Answer 1

怎么样，在split 和explode 的帮助下：

WHERE state = 'GA'
  AND state_cd IN (SELECT explode(split(state_cd, ',')) as state_cd
                     FROM states
                    WHERE state = 'GA')