jq过滤并选择多个条件和列

Question

我想将 Hadoop Yarn 作业历史文件解析为 csv/sql 格式以便轻松查询。

我从 .jhist 文件中提取了 AVRO 模式，使用 avro-tools-*.jar 将 avro 数据文件转换为 JSON 流，使用 jq 将流组合成单个 json，现在我需要提取某些字段来自某些单独的 jsons

[
  {
    "type": "AM_STARTED",
    "event": {
      "AMStarted": {
        "startTime": 1636039435822,
        "nodeManagerPort": 8041
      }
    }
  },
  {
    "type": "TASK_STARTED",
    "event": {
      "TaskStarted": {
        "taskid": "task_1351",
        "jobStatus": "Started"
      }
    }
  },
  {
    "type": "JOB_INITED",
    "event": {
      "JobInited": {
        "launchTime": 1636039438569,
        "totalMaps": 356,
        "totalReduces": 100
      }
    }
  },
  {
    "type": "JOB_FINISHED",
    "event": {
      "JobFinished": {
        "jobid": "job_1636039105678_0061",
        "finishTime": 1636043211181,
        "totalCounters": {
          "name": "TOTAL_COUNTERS",
          "groups": [
            {
              "name": "org.apache.hadoop.mapreduce.FileSystemCounter",
              "displayName": "File System Counters",
              "counts": [
                {
                  "name": "FILE_BYTES_READ",
                  "displayName": "FILE: Number of bytes read",
                  "value": 1156766568459
                },
                {
                  "name": "FILE_BYTES_WRITTEN",
                  "displayName": "FILE: Number of bytes written",
                  "value": 1720873364662
                },
                {
                  "name": "RANDOM_BYTES",
                  "displayName": "RANDOM: Bytes",
                  "value": 1720873311162
                }
                ]
            }
            ]
        }
      }
    }
  }
]

从类型 AM_STARTED 'json/index/row'，我想要 event.AMStarted.startTime
忽略 TASK_STARTED - 我不想要任何类型中有“TASK”的东西
从 JOB_INITED，我想要所有字段
从 JOB_FINISHED，我想要完成时间，以及 FILE_BYTES_READ 和 FILE_BYTES_WRITTEN 的值

我希望所有这些都用逗号分隔（也许是“引用”），所以我可以将它们加载到 csv 中，然后再加载到 sql 表中。

预期输出：

1636039435822、1636039438569、356、100、1636043211181、1156766568459、1720873364662

this 的语法是什么？

Answer 1

我会使用以下内容：

jq -r 'map(.event | (.AMStarted.startTime // .JobQueueChange.jobQueueName // .JobInited[])) | @csv'

map 将映射应用于输入数组的每个元素；我们访问他们的事件，然后尝试访问.AMStarted.startTime、.JobQueueChange.jobQueueName 或.JobInited，我们将其拆分为组件。 @csv 过滤器以您预期的格式输出结果数组。

请注意，这忽略了对象.type 上所需的过滤器，我认为这是可以的，因为.event 持有的对象同样具体。

你可以try it here。

Answer 2

这是原始问题的答案：

从类型 AM_STARTED 'json/index/row'，我想要 event.AMStarted.startTime
从类型 JOB_QUEUE_CHANGED，我想要 event.JobQueueChange.jobQueueName
从类型 JOB_INITED，我想要 event.JobInited.{launchTime, totalMaps, totalReduces}

jq --raw-output '
  map(
    select(.type == "AM_STARTED").event.AMStarted.startTime,
    select(.type == "JOB_QUEUE_CHANGED").event.JobQueueChange.jobQueueName,
    select(.type == "JOB_INITED").event.JobInited["launchTime", "totalMaps", "totalReduces"]
  )
| @csv'

试试here。

---

这是更新问题的答案：

从类型 AM_STARTED 'json/index/row'，我想要 event.AMStarted.startTime
忽略 TASK_STARTED - 我不想要任何类型中有“TASK”的东西
从 JOB_INITED，我想要所有字段
从 JOB_FINISHED，我想要完成时间，以及 FILE_BYTES_READ 和 FILE_BYTES_WRITTEN 的值

jq --raw-output '
  map(
    select(.type == "AM_STARTED").event.AMStarted.startTime,
    select(.type == "JOB_INITED").event.JobInited[],
    (
      select(.type == "JOB_FINISHED").event.JobFinished
      | .finishTime,
      (
        .totalCounters.groups[].counts[] | (
          select(.name == "FILE_BYTES_READ").value,
          select(.name == "FILE_BYTES_WRITTEN").value
        )
      )
    )
  )
  | @csv
' 

试试here。