努力用 jq 解析 JSON

Question

我已经阅读了所有与它相关的帖子，我玩了几个小时，但仍然无法掌握这个工具，如果我只是找到一个似乎正是我所需要的让它按照我的需要工作的方法...... 所以这是我的 JSON 示例：

{
    "res": "0",
    "main": {
        "All": [
      {
        "field1": "a",
        "field2": "aa",
        "field3": "aaa",
        "field4": "0",
        "active": "true",
        "id": "1"
      },
      {
        "field1": "b",
        "field2": "bb",
        "field3": "bbb",
        "field4": "0",
        "active": "false",
        "id": "2"
      },
      {
        "field1": "c",
        "field2": "cc",
        "field3": "ccc",
        "field4": "0",
        "active": "true",
        "id": "3"
      },
      {
        "field1": "d",
        "field2": "dd",
        "field3": "ddd",
        "field4": "0",
        "active": "true",
        "id": "4"
      }
        ]
    }

}

我想有选择地提取一些字段并得到这样的 csv 输出：

field1,field2,field3,id
a,aa,aaa,1
b,bb,bbb,2
c,cc,ccc,3
d,dd,ddd,4

请注意我跳过了一些字段，而且我对父数组等也不感兴趣。 提前非常感谢。

Answer 1

首先您的JSON 需要按以下方式修复：

{
  "main": {

  },
  "table": {
    "All": [
      {
        "field1": "a",
        "field2": "aa",
        "field3": "aaa",
        "field4": "0",
        "active": "true",
        "id": "1"
      },
      {
        "field1": "b",
        "field2": "bb",
        "field3": "bbb",
        "field4": "0",
        "active": "false",
        "id": "2"
      },
      {
        "field1": "c",
        "field2": "cc",
        "field3": "ccc",
        "field4": "0",
        "active": "true",
        "id": "3"
      },
      {
        "field1": "d",
        "field2": "dd",
        "field3": "ddd",
        "field4": "0",
        "active": "true",
        "id": "4"
      }

    ]
  },
  "res": "0"
}

第二次使用 jq 您可以执行以下操作以使用 column 生成表格输出：

{ echo Field1 Field2 Field3 ID ; cat data.json  | jq -r '.table.All[] | (.field1, .field2, .field3, .id)' | xargs -L4 } | column -t

输出：

Field1  Field2  Field3  ID
a       aa      aaa     1
b       bb      bbb     2
c       cc      ccc     3
d       dd      ddd     4

使用 sed：

echo "field1,field2,field3,id" ;cat data.json  | jq -r '.table.All[] | (.field1, .field2, .field3, .id)' | xargs -L4 | sed 's/ /,/g'

输出：

field1,field2,field3,id
a,aa,aaa,1
b,bb,bbb,2
c,cc,ccc,3
d,dd,ddd,4

更新：

在不使用 sed 或 xargs 的情况下，jq 能够将输出格式化为 csv，如下所示：

cat data.json  | jq -r '.table.All[] | [.field1, .field2, .field3, .id] | @csv'

输出：

"a","aa","aaa","1"
"b","bb","bbb","2"
"c","cc","ccc","3"
"d","dd","ddd","4"

感谢chepner，正如他在 cmets 中提到的，可以直接使用 jq 添加标题，如下所示：

jq -r '(([["field1", "field2", "field3", "id"]]) + [(.table.All[] | [.field1,.field2,.field3,.id])])[]|@csv' data.json 

输出：

"field1","field2","field3","id"
"a","aa","aaa","1"
"b","bb","bbb","2"
"c","cc","ccc","3"
"d","dd","ddd","4"

根据您在问题中提供的最后一个 JSON 数据，此命令应该可以正常工作：

jq -r '(([["field1", "field2", "field3", "id"]]) + [(.main.All[] | [.field1,.field2,.field3,.id])])[]|@csv' data.json

([["field1", "field2", "field3", "id"]]) : 命令的第一部分用于 csv 标头

(.main.All[] | [.field1,.field2,.field3,.id])]) ：因为main 是 您的 JSON 的父级，然后您可以使用 .main 选择它，这将 打印数组All 然后打印这个数组的内容你 必须将[] 添加到该数组的名称中，完整的命令将 是.main.All[]，它将打印多个字典，我们可以 通过将.main.All[] 的输出传送到 另一个带有我们想要的键的数组 [.field1,.field2,.field3,.id]

Answer 2

这是一个 only-jq 解决方案，只需要指定一次所需的键，例如在命令行上：

jq -r --argjson f '["field1", "field2", "field3", "id"]' '
  $f, (.table.All[] | [getpath( $f[]|[.])]) | @csv'

输出：

"field1","field2","field3","id"
"a","aa","aaa","1"
"b","bb","bbb","2"
"c","cc","ccc","3"
"d","dd","ddd","4"

引号丢失

避免引用字符串的一种方法是通过管道输入join(",")（或join(", ")）而不是@csv：

field1,field2,field3,id
a,aa,aaa,1
b,bb,bbb,2
c,cc,ccc,3
d,dd,ddd,4

当然，如果值包含逗号，这可能是不可接受的。一般来说，如果避免在字符串周围使用引号很重要，那么可以考虑使用@tsv。