使用 Pandas 在巨大的 CSV 中解析带有嵌套值的 JSON 列

Question

我有一个巨大的 CSV 文件（3.5GB 并且每天都在变大），其中包含正常值和一个名为“元数据”的列，其中包含嵌套的 JSON 值。我的脚本如下，目的只是将 JSON 列转换为每个键值对的普通列。我正在使用 Python3（Anaconda；Windows）。

import pandas as pd
import numpy as np
import csv
import datetime as dt

from pandas.io.json import json_normalize

for df in pd.read_csv("source.csv", engine='c', 
    dayfirst=True, 
    encoding='utf-8', 
    header=0,
    nrows=10,
    chunksize=2,
    converters={'Metadata':json.loads}):

    ## parsing code comes here

    with open("output.csv", 'a', encoding='utf-8') as ofile:
        df.to_csv(ofile, index=False, encoding='utf-8')

并且该列具有以下格式的 JSON：

{  
   "content_id":"xxxx",
   "parental":"F",
   "my_custom_data":{  
      "GroupId":"NA",
      "group":null,
      "userGuid":"xxxxxxxxxxxxxx",
      "deviceGuid":"xxxxxxxxxxxxx",
      "connType":"WIFI",
      "channelName":"VOD",
      "assetId":"xxxxxxxxxxxxx",
      "GroupName":"NA",
      "playType":"VOD",
      "appVersion":"2.1.0",
      "userEnvironmentContext":"",
      "vodEncode":"H.264",
      "language":"English"
   }
}

所需的输出是将上述所有键值对作为列。数据框将具有其他非 JSON 列，我需要添加从上述 JSON 解析的列。我尝试了json_normalize，但我不确定如何将json_normalize 应用到Series 对象，然后将其转换（或分解）为多个列。

Answer 1

直接在系列上使用json_normalize()，然后使用pandas.concat()将新数据框与现有数据框合并：

pd.concat([df, json_normalize(df['Metadata'])])

如果您不再需要包含 JSON 数据结构的旧列，可以添加 .drop('Metadata', axis=1)。

为my_custom_data 嵌套字典生成的列将以my_custom_data. 为前缀。如果嵌套字典 in 中的所有名称都是唯一的，则可以使用 DataFrame.rename() operation 删除该前缀：

json_normalize(df['Metadata']).rename(
    columns=lambda n: n[15:] if n.startswith('my_custom_data.') else n)

如果您使用其他方法将每个字典值转换为扁平结构（例如，使用flatten_json，那么您想使用Series.apply() 处理每个值，然后将每个结果字典作为pandas.Series() 返回对象：

def some_conversion_function(dictionary):
    result = something_that_processes_dictionary_into_a_flat_dict(dictionary)
    return pd.Series(something_that_processes_dictionary_into_a_flat_dict)

然后您可以将Series.apply() 调用的结果（这将是一个数据帧）连接回您的原始数据帧：

pd.concat([df, df['Metadata'].apply(some_conversion_function)])