将多嵌套字典值读入 Pandas 的列

Question

我有一些硬件可以将数据输出为嵌套字典。

data_out = {'unimportant_dict': [{'dateTime': '2019-12-01', 'value': '183'}], 'secondary_dict': {'sub_dict': [{'time': '00:00:00', 'value': 0}, {'time': '00:01:00', 'value': 0}, {'time': '00:02:00', 'value': 0}], 'datasetInterval': 1}}

我对“sub_dict”中的“值”数据感兴趣，我想将其读入 Pandas df，但我有多个文件要整理成一个数据帧。

我可以读取一个可以正常工作的文件

tempdict = data_out['secondary_dict']
testdf = pd.DataFrame(tempdict['sub_dict'])

这给了

       time        value
     0  00:00:00      0
     1  00:01:00      0
     2  00:02:00      0
     3  00:03:00      0
     4  00:04:00      0

现在我想添加第二个文件，但只添加值数据（因为时间戳总是相同的）。假设第二个文件具有与上述相同的结构，我的方法是错误的。

tempdict2 = data_out2['secondary_dict']['value']   
testdf['new data'] = tempdict2
TypeError: list indices must be integers or slices, not str

我认为这是因为它是一个很长的字典列表（我假设它是一个保留时间顺序的列表）。我以为我可以添加它，然后删除额外的时间列，但它将整个字典添加为单个列

          time  value                              fle2
   0  00:00:00      0  {'time': '00:00:00', 'value': 0}
   1  00:01:00      0  {'time': '00:01:00', 'value': 0}
   2  00:02:00      0  {'time': '00:02:00', 'value': 0}
   3  00:03:00      0  {'time': '00:03:00', 'value': 0}
   4  00:04:00      0  {'time': '00:04:00', 'value': 0}

在我写作时，我想知道将“值”值提取到列表中然后将其添加到 df 是否更容易？

我认为这不是 Capture python value from multi-nested dictionary 因为这仍然是一个列表作为单个字典，而这是一个列表中有很多字典。

任何帮助表示赞赏。

Answer 1

首先，将所有数据读入名为all_nested_dicts 的列表中。我假设您在所有文件中都有相同数量的记录，并且所有文件的 time 值都相同。如果没有这两个假设，下面的解决方案将不起作用，因为我只是通过连接它们来合并数据帧。

dfs = []
for i, nested_dict in enumerate(all_nested_dicts):
    df = pd.DataFrame(nested_dict['secondary_dict']['sub_dict']).rename(columns = {'value': f'value_{i}'})
    df.sort_values("time", inplace = True)
    # drop the `time` column from all subsequent files after sorting
    if i >= 1:
        df.drop("time", axis = 1, inplace = True)
    dfs.append(df)

final_df = pd.concat(dfs, axis = 1)