Spark - 将 JSON 数组对象转换为连接字符串

Question

我怎样才能使我的 pyspark DF 成为可能？

来自这样的输入 json：

  {  "obj":[ 
          { 
             "a":"val1",
             "b":"val1"
          },
          { 
             "a":"val2",
             "b":"val2"
          }
          ]
 }

到这样的数据框：

+---+---+----+----------+----+

|     a    |     b    |

+---+---+----+----------+----+

|val1, val2|val1, val2|

+---+---+----+----------+----+

Answer 1

假设您的 JSON 文件的内容已经被解析为 Python 字典，并且假设只有一个“obj”键，您可以轻松地将您的数据结构转换为标准的 2D 列表，然后可以将其转换为您喜欢的任何数据框格式：

json = {"obj":[{"a":"val1","b":"val1"},{"a":"val2","b":"val2"}]}

dic = {}
for row in json['obj']:
  for key,val in row.items():
    if key in dic:
      dic[key].append(val)
    else:
      dic[key] = [val]

table = list(dic.items())

# result:
# [('a', ['val1', 'val2']), ('b', ['val1', 'val2'])]