从 pandas 数据框中存在的嵌套 json 中检索 json 值

Question

我有 pandas 数据框，其中一列的条目采用嵌套 json 形式，如下所示

Date              ID              Request

12/01/2020        123            {"requestChannel":"amazon","userID":"123@abc.com","Context":"
                                 {\"ref_id\":[\"1-123456\"],\"type\":\"Apparels\","formJson":null,"additionalData":null},"additional":
                                 {"ref_id":"1-12345","last_saved":"order"}}

and thousands of rows like this in same format

我想根据“ID”只取出嵌套第二个json中的“类型”，如下所示：

Output

Date             ID        Request

12/01/2020       123       Apparels

我要做的是解析数据帧的请求列，因为 json 遍历整行并从第二个“上下文”json 中获取“类型”键并获取键类型

for name in range(data.shape[0]):
        output_json=data['Request'][name]
        json_data=json.loads(output_json)
        try:
            parse_json=json.loads(json_data['Request'])
            value_to_insert=''
            for json_key in parse_json:
                value_to_insert+=str(json_key + '--'+ str(parse_json[json_key])+', '+'\n')

但是我的代码并没有将数据框系列更改为正确的 json 格式，而且迭代整个行也需要很多时间。任何关于优化解决方案的想法将不胜感激

Answer 1

尽量避免循环。即使您正在循环使用 pandas 的 DataFrame.iterrows 来执行此操作。对于大多数情况下，提取或更新DataFrame.apply 是最好的。

如果请求列是字符串类型，那么你可以这样做

import json
data['Request'] = data['Request'].apply(lambda x: json.loads(x).get("Context",{}).get("type"))

如果您的请求列可以是None，那么您应该这样做

import json
data['Request'] = data['Request'].apply(lambda x: json.loads(x).get("Context",{}).get("type") if x else None)

编辑： 看起来你在Context 中有一个字符串，你必须解析多次

import json
data['Request'] = data['Request'].apply(lambda x: json.loads(json.loads(x).get("Context","{}")).get("type") if x else None)