使用 jq，如何根据对象属性的值将 JSON 对象流拆分为单独的文件？

Question

我有一个名为 input.json 的非常大的文件（20GB+ 压缩），其中包含如下 JSON 对象流：

{
    "timestamp": "12345",
    "name": "Some name",
    "type": "typea"
}
{
    "timestamp": "12345",
    "name": "Some name",
    "type": "typea"
}
{
    "timestamp": "12345",
    "name": "Some name",
    "type": "typeb"
}

我想根据它们的type 属性将该文件拆分为多个文件：typea.json、typeb.json 等，每个文件都包含它们自己的只有匹配类型属性的 json 对象流。

对于较小的文件，我已经设法解决了这个问题，但是对于这么大的文件，我的 AWS 实例内存不足。由于我希望降低内存使用量，我知道我需要使用 --stream，但我正在努力了解如何实现这一目标。

cat input.json | jq -c --stream 'select(.[0][0]=="type") | .[1]' 将返回每个类型属性的值，但我如何使用它来过滤对象？

任何帮助将不胜感激！

Answer 1

假设文件中的 JSON 对象相对较小（不超过几 MB），则不需要使用（相当复杂的）“--stream”命令行选项，主要是在输入是（或包括）单个巨大的 JSON 实体。

然而，仍有几个选择要做。主要的在Split a JSON file into separate files 进行了描述，这是一种多遍方法（N 或 (N+1) 次调用 jq，其中 N 是输出文件的数量），以及只涉及一次调用 jq 的方法，然后调用诸如awk 之类的程序来执行实际的文件分区。每种方法都有其优点和缺点，但是如果可以接受 N 次读取输入文件，那么第一种方法可能会更好。

要估计所需的总计算资源，最好测量运行jq empty input.json所使用的资源

（根据您的简短记录，听起来您遇到的内存问题主要是由于解压缩文件造成的。）

Answer 2

使用jq 拆分成以 NUL 分隔的（类型、文档）对流，并使用本机 bash（4.1 或更高版本）使用一组持久的文件描述符写入这些文档：

#!/usr/bin/env bash
case $BASH_VERSION in ''|[1-3].*|4.0*) echo "ERROR: Bash 4.1 needed" >&2; exit 1;; esac

declare -A output_fds=( )

while IFS= read -r -d '' type && IFS= read -r -d '' content; do
  if [[ ${output_fds[$type]} ]]; then  # already have a file handle for this output file?
    curr_fd=${output_fds[$type]}       # reuse it, then.
  else
    exec {curr_fd}>"$type.json"        # open a new output file...
    output_fds[$type]=$curr_fd         # and store its file descriptor for use.
  fi
  printf '%s\n' "$content" >&"$curr_fd"
done < <(jq -j '(.type) + "\u0000" + (. | tojson) + "\u0000"')

这永远不会一次将多于几条记录（诚然，每条记录可能有多个副本）读入内存，因此只要记录大小合理，它就可以处理任意大的文件。