优化 json.load() 以减少 Python 中的内存使用和时间

Question

我有 10K 个文件夹，每个文件夹有 200 个 JSON 格式文件中的 200 条记录。 尝试将所有记录编译成一个数据框，然后最终编译成 CSV（欢迎其他格式建议）

这是我的工作解决方案，仅用于数据框构建过程大约需要 8.3 小时。 （不转换成 CSV）

%%time
finalDf = pd.DataFrame()
rootdir ='/path/foldername'
all_files = Path(rootdir).rglob('*.json')
for filename in all_files:
    with open(filename, 'r+') as f:
        data = json.load(f)
        df = pd.json_normalize(data).drop(columns=[A]).rename(columns={'B': 'Date'})
        finalDf = finalDf.append(df, ignore_index=True)

任何优化这个并缩短时间的建议。

Answer 1

一个重要的问题来自O(n^2) 中执行的数据帧附加。事实上，对于每个新处理的 json 文件，finalDf 都会被完全复制！

这是在O(n)时间运行的修改版本：

%%time
finalDf = pd.DataFrame()
rootdir ='/path/foldername'
all_files = Path(rootdir).rglob('*.json')
allDf = []
for filename in all_files:
    with open(filename, 'r+') as f:
        data = json.load(f)
        df = pd.json_normalize(data).drop(columns=[A]).rename(columns={'B': 'Date'})
        allDf.append(df)
finalDf = pd.concat(allDf, ignore_index=True)

如果这还不够，可以使用 multiprocessing 模块并行执行 json 解析和 pandas 后处理。

Answer 2

如果目标只是写入 CSV，您可以使用多处理来并行化读取/反序列化/序列化步骤并使用锁定控制文件写入。使用 CSV，您不必将整个内容保存在内存中，只需将每个 DF 附加为其生成。如果您使用的是硬盘驱动器而不是 ssd，如果 CSV 位于不同的驱动器（不仅仅是分区）上，您也可能会得到提升。

import multiprocessing as mp
import json
import pandas as pd
from pathlib import Path
import os

def update_csv(args):
    lock, infile, outfile = args
    with open(infile) as f:
        data = json.load(f)
    df = pd.json_normalize(data).drop(columns=[A]).rename(columns={'B': 'Date'})
    with lock:
        with open(outfile, mode="a", newline="") as f:
            df.to_csv(f)

if __name__ == "__main__":
    rootdir ='/path/foldername'
    outfile = 'myoutput.csv'
    if os.path.exists(outfile):
        os.remove(outfile)
    all_files = [str(p) for p in Path(rootdir).rglob('*.json')]
    mgr = mp.Manager()
    lock = mgr.Lock()
    # pool sizing is a bit of a guess....
    with mp.Pool(mp.cpu_count()-1) as pool:
        result = pool.map(update_csv, [(lock, fn, outfile) for fn in all_files],
            chunksize=1)

就我个人而言，我更喜欢对这类事情使用文件系统锁定文件，但这取决于平台，并且您可能在某些文件系统类型上遇到问题（例如已安装的远程文件系统）。 multiprocessing.Manager 使用后台同步 - 我不确定它的 Lock 是否有效。但这里已经足够好了....这只是成本的一​​小部分。