如何通过 jq 合并来自多个文件的 JSON 数组并保留顺序

Question

我正在尝试设置 JSON 配置文件的层次结构，其中可以在多个级别覆盖默认值。每个文件都是一组键/值对。其中有许多是按功能按非字母顺序组织的。

我找到了一种方法来获得我想要的逻辑结果，但是它是按字母顺序排序的，并且由于预期参数的数量，用户很难清楚/快速地查看集合是否是什么他们想要在使用它之前。

有没有办法执行这种合并，替换匹配键上的值并保留顺序？

我有这些文件：

default.json：

[
  { "ParameterKey": "FirstStackName",  "ParameterValue": "Production-App-Database" },
  { "ParameterKey": "SecondStackName", "ParameterValue": "Production-Directory" },
  { "ParameterKey": "ThirdStackName",  "ParameterValue": "Production-VPC" },
  { "ParameterKey": "FourthStackName", "ParameterValue": "AMIFunctions" },
  { "ParameterKey": "FifthKeyName",    "ParameterValue": "administrator" },
  { "ParameterKey": "SixthUserName",   "ParameterValue": "admin" },
  { "ParameterKey": "SeventhPassword", "ParameterValue": "" }
]

环境.json：

[
  { "ParameterKey": "FirstStackName",  "ParameterValue": "Development-App-Database" },
  { "ParameterKey": "SecondStackName", "ParameterValue": "Development-Directory" },
  { "ParameterKey": "ThirdStackName",  "ParameterValue": "Development-VPC" },
  { "ParameterKey": "FifthKeyName",    "ParameterValue": "developer" }
] 

user.json:

[
  { "ParameterKey": "FifthKeyName",    "ParameterValue": "jdoe" }
] 

secure.json：

[
  { "ParameterKey": "SeventhPassword", "ParameterValue": "secretvalue" }
] 

如果我运行这个：

jq -s '.[3] + .[2] + .[1] + .[0] | unique_by(.ParameterKey)' default.json environment.json user.json secure.json

我得到了一些有用的东西：

[
  { 
    "ParameterKey": "FifthKeyName",
    "ParameterValue": "jdoe"
  },
  {
    "ParameterKey": "FirstStackName",
    "ParameterValue": "Development-App-Database"
  },
  {
    "ParameterKey": "FourthStackName",
    "ParameterValue": "AMIFunctions"
  },
  {
    "ParameterKey": "SecondStackName",
    "ParameterValue": "Development-Directory"
  },
  {
    "ParameterKey": "SeventhPassword",
    "ParameterValue": "secretvalue"
  },
  {
    "ParameterKey": "SixthUserName",
    "ParameterValue": "admin"
  },
  {
    "ParameterKey": "ThirdStackName",
    "ParameterValue": "Development-VPC"
  }
]

但是（想象一下 60 个参数）它不容易被扫描为正确的，而我想要的是：

[
  { "ParameterKey": "FirstStackName",  "ParameterValue": "Development-App-Database" },
  { "ParameterKey": "SecondStackName", "ParameterValue": "Development-Directory" },
  { "ParameterKey": "ThirdStackName",  "ParameterValue": "Development-VPC" },
  { "ParameterKey": "FourthStackName", "ParameterValue": "AMIFunctions" },
  { "ParameterKey": "FifthKeyName",    "ParameterValue": "jdoe" },
  { "ParameterKey": "SixthUserName",   "ParameterValue": "admin" },
  { "ParameterKey": "SeventhPassword", "ParameterValue": "secretvalue" }
] 

Answer 1

unique_by 需要排序，所以最简单的方法是使用INDEX（大写）：

[INDEX(inputs[]; .ParameterKey)[]]

我在这里使用了inputs 来避免 -s 选项的所有缺点，但请记住改用 -n 选项。

如果你的 jq 没有 INDEX，你可以使用这个 def:

def INDEX(s; f):
  reduce s as $x  (null; .[$x|f] = $x );

Answer 2

简单的做法是构建一个从键到值的映射（依次组合所有输入源），然后返回并重新处理default.json，应用生成的映射。

jq -n --slurpfile template default.json '
# generate an unordered key:value dictionary
([inputs | .[] | {(.ParameterKey): (.ParameterValue)}] | add) as $map |

# apply those pairs to the template to get its ordering
[ $template[0][] | {"ParameterKey": (.ParameterKey), "ParameterValue": ($map[.ParameterKey])} ]

' default.json environment.json user.json secure.json

...正确输出：

[
  {
    "ParameterKey": "FirstStackName",
    "ParameterValue": "Development-App-Database"
  },
  {
    "ParameterKey": "SecondStackName",
    "ParameterValue": "Development-Directory"
  },
  {
    "ParameterKey": "ThirdStackName",
    "ParameterValue": "Development-VPC"
  },
  {
    "ParameterKey": "FourthStackName",
    "ParameterValue": "AMIFunctions"
  },
  {
    "ParameterKey": "FifthKeyName",
    "ParameterValue": "jdoe"
  },
  {
    "ParameterKey": "SixthUserName",
    "ParameterValue": "admin"
  },
  {
    "ParameterKey": "SeventhPassword",
    "ParameterValue": "secretvalue"
  }
]

...保留default.json 的订单。

---

如果您坚持就这样使用空格，一种方法是通过以下管道输出上述内容：

#!/usr/bin/env bash
shopt -s extglob
pieces=( )
while read -r line; do
  case $line in
    "["|"]")       printf '%s\n' "$line";;
    *(' ')"}"?(,)) printf '%2s %-35s %s %2s\n' "${pieces[@]}" "$line"; pieces=( );;
    *)             pieces+=( "$line" )
  esac
done

以上注意只更改空格，并且不识别除换行符以外的任何分隔符；因此，其输出应始终在语义上与其输入相同。请参阅 https://ideone.com/EI0RuJ 作为此代码在实践中工作的演示，输出为：

[
 { "ParameterKey": "FirstStackName",   "ParameterValue": "Development-App-Database" },
 { "ParameterKey": "SecondStackName",  "ParameterValue": "Development-Directory" },
 { "ParameterKey": "ThirdStackName",   "ParameterValue": "Development-VPC" },
 { "ParameterKey": "FourthStackName",  "ParameterValue": "AMIFunctions" },
 { "ParameterKey": "FifthKeyName",     "ParameterValue": "jdoe" },
 { "ParameterKey": "SixthUserName",    "ParameterValue": "admin" },
 { "ParameterKey": "SeventhPassword",  "ParameterValue": "secretvalue"  }
]