如何使用 shell 管道更新 YAML 文件？

Question

我正在寻找一种简单的 UNIX 方法，用于将使用 shell 脚本获得的数据保存到 YAML 文件中，例如，我想使用 shell 管道将系统中已安装包（rpms、pypi）的列表保存在单个 YAML 文件中，类似：

rpm -qa |排序 | some-yaml-tool manifest.yaml system.packages

预期结果将是一个manifest.yaml 文件，如下所示：

system:
    packages:
        - xz-5.2.2-2.fc24.x86_64
        - xz-devel-5.2.2-2.fc24.x86_64

虽然我更喜欢 YAML，但我不会拒绝兼容 JSON 的解决方案。我真的很想找到一种方法来使用大多数发行版上可用的工具来做到这一点，而不是需要手动安装或从非官方 yum/deb 存储库安装的深奥。

如果工具很智能，它应该能够在文件和内部路径存在时创建它。

请注意，我必须从列表中删除 jq 工具，因为它确实是 not allow in-place editing。

Answer 1

将包名插入 YAML 文件

您根本不需要为您的预期用例提供就地编辑支持。注意 YAML 是 JSON 的超集，因此来自 jq 的所有输出也是有效的 YAML：

rpm -qa | sort | jq -Rn '{"system": {"packages": [inputs]}}'

会生成格式如下的输出文件：

{
  "system": {
    "packages": [
      "bar",
      "baz",
      "foo"
    ]
  }
}

...只通过一次。为了使这个 YAML 更加地道，您可以使用 PyYAML 库通过一个小型 Python shim 进行解析：

yaml_format() {
  python -c 'import sys, yaml; sys.stdout.write(yaml.dump(yaml.load(sys.stdin), default_flow_style=False))'
}
rpm -qa | sort | jq -Rn '{"system": {"packages": [inputs]}}' | yaml_format

...将生成表单的内容：

system:
  packages:
  - bar
  - baz
  - foo

---

就地更新 JSON 文件

假设您已经有一个 JSON 文件，其中的内容 您想要保留的清单。在这种情况下，明确提出的问题变得相关。一个安全的（尽管仅限 GNU）实现如下所示：

atomic_update() {
  # usage: atomic_update filename command arg1 arg2 ...
  local filename tempfile retval=0
  filename=$1; shift || return
  tempfile=$(mktemp -t -- "$filename.XXXXXX") || return
  if "$@" <"$filename" >"$tempfile"; then
    # Make a best-effort attempt to preserve permissions
    chown --reference="$filename" -- "$tempfile" &>/dev/null ||:
    chmod --reference="$filename" -- "$tempfile" &>/dev/null ||:
    mv -- "$tempfile" "$filename"
  else
    retval=$?
    rm -f -- "$tempfile"
  fi
  return "$retval"
}

rpm -qa | sort | atomic_update manifest.yml jq -Rn '.system.packages = [inputs]'

Answer 2

虽然我还没有完全可行的解决方案，但我认为我非常接近通过json npm 包找到一个。

echo "{}" > e.json
seq 3 | xargs -0 -I XXX json -I -f e.json -e 'this.numbers=XXX'
cat e.json

现在唯一缺少的部分是关于如何使其使用列表并合并到它而不是覆盖值。