需要帮忙！ - 无法使用 COPY 命令加载 JSON

Question

这里需要您的专业知识！

我正在尝试使用以下格式的复制命令将JSON 文件（由JSON 转储生成）加载到redshift，

[
{
    "cookieId": "cb2278", 
    "environment": "STAGE", 
    "errorMessages": [
        "70460"
    ]
}
,
{
    "cookieId": "cb2271", 
    "environment": "STG", 
    "errorMessages": [
        "70460"
    ]
}
]

我们遇到了错误 - “无效的 JSONPath 格式：成员不是对象。”

当我试图摆脱方括号 - [] 并删除 JSON dicts 之间的“，”逗号分隔符时，它加载得非常好。

{
    "cookieId": "cb2278", 
    "environment": "STAGE", 
    "errorMessages": [
        "70460"
    ]
}

{
    "cookieId": "cb2271", 
    "environment": "STG", 
    "errorMessages": [
        "70460"
    ]
}

但实际上大多数来自 API 的 JSON 文件都有这种格式。 我可以进行字符串替换或 reg ex 来摆脱 , 和 [] 但我想知道是否有更好的方法可以在不修改文件的情况下无缝加载到 redshift。

Answer 1

将 JSON 数组转换为数组元素流的一种方法是将前者通过管道传输到 jq '.[]'。输出被发送到标准输出。

如果 JSON 数组位于名为 input.json 的文件中，则以下命令将在标准输出上生成数组元素流：

$ jq ".[]" input.json

如果您希望以 jsonlines 格式输出，请使用 -c 开关（即jq -c ......）。

有关 jq 的更多信息，请参阅https://stedolan.github.io/jq