使用 jq 从多个文件聚合 json 数组，按键分组

Question

我想将两个或多个文件聚合成一个 json，并在同一个键下聚合数组。

file1.json

{
  "shapes": [
    {
      "id": "1",
      "name": "circle"
    },
    {
      "id": "2",
      "name": "square"
    }
  ]
}

file2.json

{
  "shapes": [
    {
      "id": "3",
      "name": "triangle"
    }
  ]
}

预期结果：

{
  "shapes": [
    {
      "id": "1",
      "name": "circle"
    },
    {
      "id": "2",
      "name": "square"
    },
    {
      "id": "3",
      "name": "triangle"
    }
  ]
}

我可以使用以下 jq 命令来做到这一点：

jq -s '{shapes: map(.shapes)|add }' file*.json

但这需要我知道 shapes 属性并对其进行硬编码。有没有一种简单的方法可以在不显式使用键名的情况下获得相同的结果？

Answer 1

这是一个适用于每个顶级对象只有一个键的解决方案，它既高效又概念简单。它假定使用 -n 选项调用 jq。

reduce inputs as $in (null;
   ($in|keys_unsorted[0]) as $k | { ($k): (.[$k] + $in[$k]) })

或更紧凑：

reduce inputs as $in (null; ($in|keys_unsorted[0]) as $k | .[$k] += $in[$k] )

Answer 2

这里有一个解决方案，也解决了一个更普遍的问题：首先，它处理任意多个输入文件；其次，假设每个顶级键都是数组值的，它会为每个键形成键的“总和”。

通用函数：

  # the values at each key are assumed to be arrays
  def aggregate(stream): 
    reduce stream as $o ({}; 
      reduce ($o|keys_unsorted[]) as $k (.; 
        .[$k] += $o[$k] ));

为避免“啜饮”，我们将使用inputs：

aggregate(inputs)

因此调用必须使用 -n 命令行选项：

jq -n -f program.jq *.json

Answer 3

试试下面的代码。这可以处理任意数量的文件。所有输入都假定为 json 对象，其中所有值都作为数组。所有这样的数组都是在按键分组后聚合的。它输出一个对象，该对象具有与相应聚合数组关联的键。

jq -s 'map(to_entries)|add|group_by(.key)|
    map( { "key": (.[0].key), "value": (map(.value)|add)})|
    from_entries' file1.json file2.json

对于您的示例输入，这给出：

{
  "shapes": [
    {
      "id": "1",
      "name": "circle"
    },
    {
      "id": "2",
      "name": "square"
    },
    {
      "id": "3",
      "name": "triangle"
    }
  ]
}