使用 json_normalize 扁平化嵌套的 json答案

【问题标题】：Using json_normalize to flatten nested json使用 json_normalize 扁平化嵌套的 json
【发布时间】：2017-09-18 02:13:58
【问题描述】：

我正在尝试在 Python (Pandas) 中使用 json_normalize 来扁平化一个 json 文件，但作为一个菜鸟，我似乎总是以 KeyError 告终。

我想要实现的是一个包含游戏中所有玩法的 DataFrame。

我尝试了多种路径和前缀，但都没有成功。谷歌搜索了很多，但我仍然不够。

我想最终得到一个 DataFrame，例如：周期、时间、类型、player1、player2、xcord、ycord

import pandas as pd
import json

with open('PlayByPlay.json') as data_file:    
    data = json.load(data_file)

from pandas.io.json import json_normalize
records = json_normalize(data)

plays = records['data.game.plays.play'][0]
plays

会生成

{'aoi': [8470324, 8473449, 8475158, 8475215, 8477499, 8477933],
 'apb': [],
 'as': 0,
 'asog': 0,
 'desc': 'Zack Kassian hit Kyle Okposo',
 'eventid': 7,
 'formalEventId': 'EDM7',
 'hoi': [8471678, 8475178, 8475660, 8476454, 8476457, 8476472],
 'hpb': [],
 'hs': 0,
 'hsog': 0,
 'localtime': '5:12 PM',
 'p1name': 'Zack Kassian',
 'p2name': 'Kyle Okposo',
 'p3name': '',
 'period': 1,
 'pid': 8475178,
 'pid1': 8475178,
 'pid2': 8473449,
 'pid3': '',
 'playername': 'Zack Kassian',
 'strength': 701,
 'sweater': '44',
 'teamid': 22,
 'time': '00:28',
 'type': 'Hit',
 'xcoord': 22,
 'ycoord': 38}

json

     {'data': {'game': {'awayteamid': 7,
   'awayteamname': 'Buffalo Sabres',
   'awayteamnick': 'Sabres',
   'hometeamid': 22,
   'hometeamname': 'Edmonton Oilers',
   'hometeamnick': 'Oilers',
   'plays': {'play': [{'aoi': [8470324,
       8473449,
       8475158,
       8475215,
       8477499,
       8477933],
      'apb': [],
      'as': 0,
      'asog': 0,
      'desc': 'Zack Kassian hit Kyle Okposo',
      'eventid': 7,
      'formalEventId': 'EDM7',
      'hoi': [8471678, 8475178, 8475660, 8476454, 8476457, 8476472],
      'hpb': [],
      'hs': 0,
      'hsog': 0,
      'localtime': '5:12 PM',
      'p1name': 'Zack Kassian',
      'p2name': 'Kyle Okposo',
      'p3name': '',
      'period': 1,
      'pid': 8475178,
      'pid1': 8475178,
      'pid2': 8473449,
      'pid3': '',
      'playername': 'Zack Kassian',
      'strength': 701,
      'sweater': '44',
      'teamid': 22,
      'time': '00:28',
      'type': 'Hit',
      'xcoord': 22,
      'ycoord': 38},
     {'aoi': [8471742, 8475179, 8475215, 8475220, 8475235, 8475728],
      'apb': [],
      'as': 0,
      'asog': 0,
      'desc': 'Jesse Puljujarvi Tip-In saved by Robin Lehner',
      'eventid': 59,
      'formalEventId': 'EDM59',
      'hoi': [8473468, 8474034, 8475660, 8477498, 8477934, 8479344],
      'hpb': [],
      'hs': 0,
      'hsog': 1,
      'localtime': '5:13 PM',
      'p1name': 'Jesse Puljujarvi',
      'p2name': 'Robin Lehner',
      'p3name': '',
      'period': 1,
      'pid': 8479344,
      'pid1': 8479344,
      'pid2': 8475215,
      'pid3': '',
      'playername': 'Jesse Puljujarvi',
      'strength': 701,
      'sweater': '98',
      'teamid': 22,
      'time': '01:32',
      'type': 'Shot',
      'xcoord': 81,
      'ycoord': 3}]}},
  'refreshInterval': 0}}

【问题讨论】：

请显示您的代码和所需的输出。
...和一个有效的输入数据字典

标签： python json pandas normalize

【解决方案1】：

如果您只有一款游戏，这将创建您想要的数据框：

json_normalize(data['data']['game']['plays']['play'])

那么你只需要提取你感兴趣的列。

【讨论】：

如果有不止一款游戏，您需要更具体地确定您的目标。

【解决方案2】：

当结构变得复杂时，使用此 API 可能不直观。但关键是：json_normalize 将 JSON 字段提取到表中。

就我而言：我有一张桌子

----------
|  fact  |  // each row is a json object {'a':a, 'b':b....}
----------

rrrrr = []
for index, row in data.iterrows():
    r1 = json_normalize(row['fact'])
    rrrrr.append(r1)
rr1 = pd.concat(rrrrr)

【讨论】：