gcloud ai-platform predict 的非 json 输出。解析非 json 输出

Question

我正在使用gcloud ai-platform predict 调用端点并使用json-request 而不是json-response 获得如下预测

gcloud ai-platform predict --json-request instances.json

但是，响应不是json，并且无法进一步读取 hense，从而导致其他并发症。以下是回复。

VAL  HS
0.5  {'hs_1': [[-0.134501, -0.307326, -0.151994, -0.065352,  -0.14138]], 'hs_2' : [[-0.134501, -0.307326, -0.151994, -0.065352, 0.020759]]}

gcloud ai-platform predict 可以返回 json，或者可能以不同方式解析它。 ?

感谢您的帮助。

Answer 1

显然，您的输出是一个包含标题和两列的表格：分数和（据称）JSON 内容。您应该提取任何首选数据行的第二列（您的示例只有一个，但通常您可能会收到几个分数-JSON 对）。也许您的 API 已经提供了提取某个“状态”的功能，例如得分最高的那个。如果没有，一个简单的awk 或sed 脚本可以轻松完成这项工作。

然后，在拥有正确的 JSON（然后可以通过jq 查询）之前唯一剩下的问题是引用样式。您的输出使用 ' 而不是 "（'lstm_1' 而不是 "lstm_1"）包含字段名称。不幸的是，如果您可以期望接收到任意复杂的 JSON 数据（例如包含引号的字符串等），那么纠正瘦身并不是一件容易的事。但是，如果您的 JSON 总是像提供的示例中那样简单，那么对于 awk 或 sed 等工具来说，简单地将错误替换为正确的就变得容易了。

例如，在示例输出中使用sed 选择第二行（即第一个数据行），从头到尾删除所有内容，但不包括第一个左大括号（这标志着第二行的开始）列），进行上述替换并将结果通过管道传输到jq：

... | sed -n "2{s/^[^{]\+//;s/'/\"/g;p;q}" | jq .

{
  "lstm_1": [
    [
      -0.13450142741203308,
      -0.3073260486125946,
      -0.15199440717697144,
      -0.06535257399082184,
      -0.1413831114768982
    ]
  ],
  "lstm_2": [
    [
      -0.13450142741203308,
      -0.3073260486125946,
      -0.15199440717697144,
      -0.06535257399082184,
      0.02075939252972603
    ]
  ]
}

---

[编辑以反映comment]

如果您也想利用分数，请让jq 处理它。例如：

... | sed -n "2{s/'/\"/g;p;q}" | jq -s '{score:first,status:last}'

{
  "score": 0.548,
  "status": {
    "lstm_1": [
      [
        -0.13450142741203308,
        -0.3073260486125946,
        -0.15199440717697144,
        -0.06535257399082184,
        -0.1413831114768982
      ]
    ],
    "lstm_2": [
      [
        -0.13450142741203308,
        -0.3073260486125946,
        -0.15199440717697144,
        -0.06535257399082184,
        0.02075939252972603
      ]
    ]
  }
}

---

[编辑以反映 OP 的变化]

由于更改仅影响名称和值而不影响结构，因此迄今为止有效的方法仍然有效：

... | sed -n "2{s/'/\"/g;p;q}" | jq -s '{val:first,hs:last}'

{
  "val": 0.5,
  "hs": {
    "hs_1": [
      [
        -0.134501,
        -0.307326,
        -0.151994,
        -0.065352,
        -0.14138
      ]
    ],
    "hs_2": [
      [
        -0.134501,
        -0.307326,
        -0.151994,
        -0.065352,
        0.020759
      ]
    ]
  }
}