使用 jq 将带有换行符的文本文件转换为 json

Question

我已经看到很多使用 jq 将文本文件转换为 json 的示例，但我遇到了一些可能很明显的问题。我的输入文件格式如下：

key1: string1
key2: string1

key1: string3
key2: string3

我怎样才能把它翻译成：

[
  {"key1":"string1", "key2": "string2"},
  {"key1":"string3", "key2": "string4"}
]

我尝试将 inputs 与 jq 一起使用，类似于 jq -R -n -c '[inputs|split(":")|{(.[0]):.[1]}] | add'，但一旦文件中有换行符，它就会失败：

jq: error (at result.txt:8): Cannot use null (null) as object key.

谢谢

Answer 1

由于减少被广泛理解，这里有一个简单的基于reduce 的解决方案，它不需要在key:value 行组之间换行。也就是说，在构造数组时，一旦遇到前一个对象中出现的键，就会启动一个新对象。

< input.txt jq -nR '
  reduce (inputs
          | select(length > 0) 
          | capture("(?<k>^[^:]*): *(?<v>.*)") 
          | {(.k):.v}) as $in (null;
    if . == null then [$in] 
    elif (.[-1] | has($in|keys_unsorted[0])) then . + [$in] 
    else .[-1] += $in end)'

Answer 2

这是一个简洁但相当健壮的解决方案，它假设使用 -n 和 -R 选项调用 jq（例如，jq -nR ...）

[foreach (inputs, null) as $in (null;
  if ($in|length) == 0
  then .out = .object | .object = null
  else .object += ($in | capture("(?<k>^[^:]*): *(?<v>.*)") | {(.k):.v})
  | .out = null
  end;
  .out // empty) ]

这里，一个关键点（不是双关语）是使用capture 而不是split 或splits，以防值包含冒号。还要注意成语foreach (inputs,null) as ... 的使用。这可确保正确处理最后一个 key:value 输入。

Answer 3

这是一个非常好的减速器用例。

在其标准输入上运行您的文档，脚本：

#!/usr/bin/env jq -Rncf
# ...caveat: not all platforms support more than two words on the shebang
#            you may need to stop using env and pass a full path to your jq binary!

def input_line_to_object:
  "^(?<key>[^:]+): ?(?<value>.*)$" as $re |
  (capture($re) // ("line \(.) does not parse" | halt_error(1))) | {(.key):.value};

reduce (inputs, "") as $item (
  # Initializer. .[0] == current object; .[1] == list of objects already constructed
  [{}, []];
  # Handler. Run for each line, and the final "" at the end.
  if $item == "" then
    if .[0] == {} then
      . # no new object is actually ready; maybe we had two newlines in a row?
    else
      # between objects: append .[0] to .[1], and clear .[0]
      [{}, .[1]+[.[0]]]
    end
  else
    # new data in an existing object; add new datum to .[0], leave .[1] alone
    [.[0] + ($item | input_line_to_object), .[1]]
  end
) | .[1] # take the completed list in the .[1] position

...作为输出发射：

[{"key1":"string1","key2":"string1"},{"key1":"string3","key2":"string3"}]