JQ 数组溢出 CSV 列

Question

我需要提取 AWS 实例及其实例 ID 和公共 IP 的列表，并将其输出到 csv 格式的电子表格。

这是我正在使用的ORIGINAL JSON（外部 IP 信息已被隐藏）。

这是我正在使用的命令：

aws ec2 describe-instances --profile="$aws_account"  | jq -r '.Reservations[].Instances[] | [ .InstanceId,  .NetworkInterfaces[].PrivateIpAddresses[].Association.PublicIp // null] | @csv'

这行得通！但是如果有多个公共 IP，就会出现问题。

使用一个公共 ip，输出看起来不错：

AWS Instance ID    | Public IP
i-0e636f1d0f0009f78,18.xxx.xx.112

如果有多个公共 IP，输出会溢出 CSV 电子表格中的列：

   AWS Instance ID | Public IP     |Key Name    Owner     Instance State

   i-9a02a66b      ,54.xx.xx.201,52.x.xxxx.160,52.x.xx.175,34.xx.xx.31

我想知道如何使用 JQ 命令将逗号替换为空格（因此 csv 可以将它们放在同一列中）以及将空值替换为空格（对于没有公共 IP 的 aws 实例）。

我将省略创建额外列的代码，以便我们可以专注于公共 IP，这是最大的问题。

Answer 1

不要使用sed 删除引号。引号不仅重要，而且关键。

考虑以下示例：

jq -Rnr '[inputs] | @csv' <<EOF
first item
second item,has,commas
third item
EOF

该代码发出一行，实际上是一个有效的 3 单元 CSV：

"first item","second item,has,commas","third item"

看看作为数据的逗号如何在引号内，而作为语法的逗号在引号之外？这是 CSV 语法的一个关键元素。

---

只有当你去掉保护那些逗号的引号时，你才会得到：

first item,second item,has,commas,third item

...数据被解析为 5 个单元而不是 3 个。

---

要真正确保您的 IP 地址作为单个字段传递给 @csv，您可能需要提前加入它们；可能是这样的：

jq -r '
  .Reservations[].Instances[]
  | [ .InstanceId,
      ([.NetworkInterfaces[].PrivateIpAddresses[].Association.PublicIp // null
       ] | join(","))
    ] | @csv'

IP 之间仍然有逗号，但这些逗号将在引号内，因此被兼容的解析器视为字段内的数据 - 而不是两个字段之间的拆分。