Dataframe 有一列是字典列表，我需要将它们解析为新列

Question

我有一个数据框，其中包含一个名为操作的列和一个字典列表。格式为 {source:int, action:string}，我需要将其解析为每个新列，但每个操作单元格中的记录数是可变的。

数据如下所示：

|Id  |action                                                     |
|1   |[{"E": 4, "action": "views"}, {"A": 58, "action": "views"}]|
|2   |[{"A": 74, "action": "clicks"}]                            |

我希望它看起来像这样：

|Id|Source|Value|Action|
|1 |E     |4    |views |
|1 |A     |58   |views |
|2 |A     |74   |clicks|

action 列中的字典数量最多可达 10 个

我已经尝试了一些类似pandas DataFrame: normalize one JSON column and merge with other columns的解决方案

但它告诉我第一个解决方案没有正确调用 DataFrame，并且 str 没有第二个解决方案的属性值。除此之外，它也不是我需要的解决方案，因为我需要重命名列源并将 A/E/etc 值放入其中。

Answer 1

我将使用unnesting

yourdf=unnesting(df,['action']).reset_index(drop=True)
s=pd.DataFrame(yourdf.action.tolist()).reset_index().melt(['action','index']).dropna().set_index('index')

yourdf=pd.concat([yourdf,s],axis = 1)
yourdf
                          action  ID  action variable  value
0    {'E': 4, 'action': 'views'}   1   views        E    4.0
1   {'A': 58, 'action': 'views'}   1   views        A   58.0
2  {'A': 74, 'action': 'clicks'}   2  clicks        A   74.0

---

def unnesting(df, explode):
    idx = df.index.repeat(df[explode[0]].str.len())
    df1 = pd.concat([
        pd.DataFrame({x: np.concatenate(df[x].values)}) for x in explode], axis=1)
    df1.index = idx

    return df1.join(df.drop(explode, 1), how='left')

Answer 2

我做了很长的路，但它应该给你你想要的输出。我只是在数据框的列中取消嵌套字典。这仅在字典仅采用您在示例数据框中显示的格式时才有效。

import pandas as pd

df = pd.DataFrame({'id': [1,2],
                   'action': [[{"E": 4, "action": "views"}, 
                               {"A": 58, "action": "views"}], 
                              [{"A": 74, "action": "clicks"}]]}
                 )

df_list = []
cols = ['id', 'source', 'value', 'action']
for x in df.index:
    for actions in df.loc[x, 'action']:
        row = []
        row.append(df.loc[x,'id'])
        for k,v in actions.items():
            if k == 'action':
                row.append(v)
            else:
                row.append(k)
                row.append(v)    
        df_list.append(row)
test = pd.DataFrame(df_list, columns=cols)

这给出了这个输出

   id source  value  action
0   1      E      4   views
1   1      A     58   views
2   2      A     74  clicks

Answer 3

只需使用列表理解重建您的 DataFrame 数据：

更新： 所以action 列是一个字符串 字段，而不是 Python 数据结构。您可以使用 json.loads 对其进行预处理，这在从字符串中解析数据结构方面不太容易出错。

import json

# original dataframe
df = pd.DataFrame([
        (1, '[{"E": 4, "action": "views"}, {"A": 58, "action": "views"}]') 
      , (2, '[{"A": 74, "action": "clicks"}]') 
    ], 
    columns=['Id', 'action']
)

# new dataframe
df_new = pd.DataFrame(
    [ (id, k, v, i['action']) for id,act in zip(df.Id, df.action.apply(json.loads))
                              for i in act
                              for k,v in i.items() if k != 'action' 
    ],
    columns=['Id', 'Source', 'Value', 'Action']
)

print(new_df)
#   Id Source  Value  Action
#0   1      E      4   views
#1   1      A     58   views
#2   2      A     74  clicks