扁平化存储在 pandas 单元格中的 JSON 列表

Question

我有一个 pandas 数据框，其中一列包含存储为字符串的 JSON 列表，我无法尝试将其展平为列。

JSON 列如下所示

[{'id':'item1','xp':'27097','lvl':'26','items':[]},
{'id':'item2','xp':'40650','lvl':'26','items':[]},
{'id':'item3','xp':'33900','lvl':'26','items':['item1', 'item2', 'item3']}]

这里是DF的截图（不能放图片，声望不够）https://i.imgur.com/1YNgXWE.png

json_normalize 在这里不起作用，因为它是嵌套在 pandas 数据帧中的字符串

预期结果：

+-----------+-------+-----+-----+-----------------------------+
| player_id |  id   | xp  | lvl |            items            |
+-----------+-------+-----+-----+-----------------------------+
| id1       | item1 | 444 |  10 | []                          |
| id1       | item2 |  12 |  77 | []                          |
| id1       | item3 |  15 |  20 | ['item1', 'item2', 'item3'] |
+-----------+-------+-----+-----+-----------------------------+

对于每个 id，我想将此列表展平为列并获取列表 if 项及其参数。

以下代码适用于单个 JSON，不适用于列表：

df = (pd.DataFrame([ast.literal_eval(x)[0] for x in original_df.pop('items')])
         .add_prefix('items.'))

Answer 1

由于我们没有原始数据，我不得不重新创建它，并假设它会被格式化为这样。对此类对象执行pd.DataFrame(data) 会在您的图像中产生相同的数据。

但是，我正确地使用了pandas.io.json.json_normalize 并且它起作用了。我只是无法围绕meta_prefix 参数，如果我要求它应该剥离键的名称（'意思是，避免'id' 变成'items.id'）。但由于我无法使其工作，我只是创建了一个迭代列并正确重命名它们的函数。

EDIT ：由于items 键是str 而不是dict，我看到的唯一解决方案是将所有字符串转换为字典。前段时间我遇到了同样的问题，找不到其他解决方案。当时我对它进行了大量的基准测试，但总体来说还是相当快的。查看更新的代码。

import json
from pandas.io.json import json_normalize

data = [
    {
        'player_id' : 'id1',
        'items' : '{"id" : "item1", "xp" : "27097", "lvl" : "26", "items":[]}'
    },
    {
        'player_id' : 'id2',
        'items' : '{"id":"item2","xp":"40650","lvl":"26","items":[]}'
    },
    {
        'player_id' : 'id3',
        'items' : '{"id":"item3","xp":"33900","lvl":"26","items":["item1", "item2", "item3"]}'
    }
]

for idx in range(len(data)):
    data[idx]['items'] = json.loads(data[idx]['items'])

df = json_normalize(data, meta='items')
#  player_id items.id items.xp items.lvl            items.items
#0       id1    item1    27097        26                     []
#1       id2    item2    40650        26                     []
#2       id3    item3    33900        26  [item1, item2, item3]

prefix = 'items.'
df.columns = [col[len(prefix):] if col.startswith(prefix) else col for col in df.columns]

print(df)
#   player_id     id     xp lvl                  items
# 0       id1  item1  27097  26                     []
# 1       id2  item2  40650  26                     []
# 2       id3  item3  33900  26  [item1, item2, item3]

Answer 2

我在这里有答案。第 1 部分我重新创建数据，第 2 部分我回答问题

第 1 部分 - 创建数据集

In [1]:
import pandas as pd
row_1 = "[{'id':'item1','xp':'27097','lvl':'26','items':[]}]"
row_2 = "[{'id':'item2','xp':'40650','lvl':'12','items':[]}]"
row_3 = "[{'id':'item3','xp':'33900','lvl':'45','items':['item1', 'item2', 'item3']}]"

data = {"My Dict":[row_1, row_2, row_3]}
df = pd.DataFrame(data)
df

Out [1]:
    My Dict
0   [{'id':'item1','xp':'27097','lvl':'26','items'...
1   [{'id':'item2','xp':'40650','lvl':'12','items'...
2   [{'id':'item3','xp':'33900','lvl':'45','items'...

第 2 部分 - 将这一系列 Dict 转换为 Dataframe

In [2]:
from ast import literal_eval

my_list = df['My Dict'].tolist()

list_of_dict = []
## Get a list of dict instead of a list of list of dict 
for elem in my_list:
    my_dict = literal_eval(elem)[0]
    list_of_dict.append(my_dict)

## Turn this list of dict into 1 Dict
new_dict = {}
for item in list_of_dict:
    name = item.pop('id')
    new_dict[name] = item  



## Create a dataframe from this dict 
my_df = pd.DataFrame(new_dict).T.reset_index()
my_df

Out [2]:
    index      items                lvl     xp
0   item1   []                      26      27097
1   item2   []                      12      40650
2   item3   [item1, item2, item3]   45      33900