在 bash 中将 CSV 转换为 JSON

Question

尝试将 CSV 文件转换为 JSON

这是两个示例行：

-21.3214077;55.4851413;Ruizia cordata
-21.3213078;55.4849803;Cossinia pinnata

我想得到类似的东西：

"occurrences": [
                 {
                "position": [-21.3214077, 55.4851413],
                "taxo": {
                    "espece": "Ruizia cordata"
                 },
                 ...
             }]

这是我的脚本：

    echo '"occurences": [ '

cat se.csv | while read -r line
  do
      IFS=';' read -r -a array <<< $line;
      echo -n -e '{ "position": [' ${array[0]}
      echo -n -e ',' ${array[1]} ']'
      echo -e ', "taxo": {"espece":"' ${array[2]} '"'
done
echo "]";

我得到了非常奇怪的结果：

   "occurences": [ 
 ""position": [ -21.3214077, 55.4851413 ], "taxo": {"espece":" Ruizia cordata
 ""position": [ -21.3213078, 55.4849803 ], "taxo": {"espece":" Cossinia pinnata

我的代码有什么问题？

Answer 1

适合这项工作的工具是jq。

jq -Rsn '
  {"occurrences":
    [inputs
     | . / "\n"
     | (.[] | select(length > 0) | . / ";") as $input
     | {"position": [$input[0], $input[1]], "taxo": {"espece": $input[2]}}]}
' <se.csv

根据您的输入发出：

{
  "occurences": [
    {
      "position": [
        "-21.3214077",
        "55.4851413"
      ],
      "taxo": {
        "espece": "Ruizia cordata"
      }
    },
    {
      "position": [
        "-21.3213078",
        "55.4849803"
      ],
      "taxo": {
        "espece": "Cossinia pinnata"
      }
    }
  ]
}

---

顺便说一句，您的原始脚本的错误较少的版本可能如下所示：

#!/usr/bin/env bash

items=( )
while IFS=';' read -r lat long pos _; do
  printf -v item '{ "position": [%s, %s], "taxo": {"espece": "%s"}}' "$lat" "$long" "$pos"
  items+=( "$item" )
done <se.csv

IFS=','
printf '{"occurrences": [%s]}\n' "${items[*]}"

注意：

• 绝对没有意义使用cat 管道进入循环（和good reasons not to）；因此，我们使用重定向 (<) 将文件直接作为循环的标准输入打开。
• read 可以传递目标变量列表；因此无需读入数组（或 首先 读入字符串，然后生成异端并将其读入数组）。最后的_ 确保丢弃额外的列（通过将它们放入名为_ 的虚拟变量中）而不是附加到pos。
• "${array[*]}" 通过将array 的元素与IFS 中的字符连接起来生成一个字符串；因此，我们可以使用它来确保逗号仅在需要时出现在输出中。
• printf 优先于 echo 使用，如 the specification for echo itself 的“应用使用”部分所述。
• 这仍然存在固有的错误，因为它通过字符串连接生成 JSON。不要使用它。

Answer 2

这是一个可以解决问题的 python 单行/脚本：

cat my.csv | python -c 'import csv, json, sys; print(json.dumps([dict(r) for r in csv.DictReader(sys.stdin)]))'

Answer 3

接受的答案使用jq 来解析输入。这可行，但 jq 不处理转义，即来自 Excel 或类似工具生成的 CSV 的输入引用如下：

foo,"bar,baz",gaz

将导致错误的输出，因为 jq 将看到 4 个字段，而不是 3 个。

一种选择是使用制表符分隔值而不是逗号（只要您的输入数据不包含制表符！），以及接受的答案。

另一种选择是组合您的工具，并为每个部分使用最佳工具：CSV 解析器用于读取输入并将其转换为 JSON，jq 用于将 JSON 转换为目标格式。

基于 python 的csvkit 将智能地解析 CSV，并附带一个工具csvjson，它可以更好地将 CSV 转换为 JSON。然后可以通过 jq 管道将 csvkit 的平面 JSON 输出转换为目标形式。

使用 OP 提供的数据，对于所需的输出，这很简单：

csvjson --no-header-row  |
  jq '.[] | {occurrences: [{ position: [.a, .b], taxo: {espece: .c}}]}'

请注意，csvjson 会自动将 ; 检测为分隔符，并且在输入中没有标题行，将 json 键分配为 a、b 和 c。

这同样适用于写入到 CSV 文件——csvkit 可以读取 JSON 数组或换行分隔的 JSON，并通过in2csv 智能输出 CSV。

Answer 4

这是一篇关于这个主题的文章：https://infiniteundo.com/post/99336704013/convert-csv-to-json-with-jq

它也使用 JQ，但使用 split() 和 map() 的方法有点不同。

jq --slurp --raw-input \
   'split("\n") | .[1:] | map(split(";")) |
      map({
         "position": [.[0], .[1]],
         "taxo": {
             "espece": .[2]
          }
      })' \
  input.csv > output.json

不过，它不处理分隔符转义。

Answer 5

John Kerl 的 Miller 工具内置了这个：

mlr --c2j --jlistwrap cat INPUT.csv > OUTPUT.json

Answer 6

一般来说，如果你的 jq 有 inputs 内置过滤器（自 jq 1.5 起可用），那么最好使用它而不是 -s 命令行选项。

无论如何，这里是使用inputs 的解决方案。此解决方案也是无变量的。

{"occurrences":
  [inputs
   | select(length > 0)
   | . / ";"
   | {"position": [.[0], .[1]], 
      "taxo": {"espece": .[2]}} ]}

SSV、CSV 等等

上面当然假设文件在每一行都有分号分隔的字段，并且没有与 CSV 文件相关的复杂性。

如果输入具有由单个字符严格分隔的字段，则 jq 处理它应该没有问题。否则，最好使用能够可靠地转换为 jq 可以直接处理的 TSV（制表符分隔值）格式的工具。

Answer 7

由于jq 解决方案不处理 CSV 转义、第一行的列名、注释掉的行和其他常见的 CSV “功能”，我扩展了 CSV Cruncher 工具以允许读取 CSV 并将其写入JSON。它不完全是“Bash”，但jq 也不是 :)

它主要是一个 CSV-as-SQL 处理应用程序，所以它不是完全微不足道的，但这里有诀窍：

./crunch -in myfile.csv -out output.csv --json -sql 'SELECT * FROM myfile'

它还允许输出为 每行的 JSON 对象 或 正确的 JSON 数组。请参阅文档。

它处于测试版质量，因此欢迎所有反馈或拉取请求。

Answer 8

为了完整起见，Xidel 和一些 XQuery 魔法也可以做到这一点：

xidel -s input.csv --xquery '
  {
    "occurrences":for $x in tokenize($raw,"\n") let $a:=tokenize($x,";") return {
      "position":[
        $a[1],
        $a[2]
      ],
      "taxo":{
        "espece":$a[3]
      }
    }
  }
'

{
  "occurrences": [
    {
      "position": ["-21.3214077", "55.4851413"],
      "taxo": {
        "espece": "Ruizia cordata"
      }
    },
    {
      "position": ["-21.3213078", "55.4849803"],
      "taxo": {
        "espece": "Cossinia pinnata"
      }
    }
  ]
}

Answer 9

如果你想发疯，你可以用 jq 写一个解析器。这是我的实现，它可以被认为是@csv 过滤器的逆。将其放入您的 .jq 文件中。

def do_if(pred; update):
    if pred then update else . end;
def _parse_delimited($_delim; $_quot; $_nl; $_skip):
    [($_delim, $_quot, $_nl, $_skip)|explode[]] as [$delim, $quot, $nl, $skip] |
    [0,1,2,3,4,5] as [$s_start,$s_next_value,$s_read_value,$s_read_quoted,$s_escape,$s_final] |
    def _append($arr; $value):
        $arr + [$value];
    def _do_start($c):
        if $c == $nl then
            [$s_start, null, null, _append(.[3]; [""])]
        elif $c == $delim then
            [$s_next_value, null, [""], .[3]]
        elif $c == $quot then
            [$s_read_quoted, [], [], .[3]]
        else
            [$s_read_value, [$c], [], .[3]]
        end;
    def _do_next_value($c):
        if $c == $nl then
            [$s_start, null, null, _append(.[3]; _append(.[2]; ""))]
        elif $c == $delim then
            [$s_next_value, null, _append(.[2]; ""), .[3]]
        elif $c == $quot then
            [$s_read_quoted, [], .[2], .[3]]
        else
            [$s_read_value, [$c], .[2], .[3]]
        end;
    def _do_read_value($c):
        if $c == $nl then
            [$s_start, null, null, _append(.[3]; _append(.[2]; .[1]|implode))]
        elif $c == $delim then
            [$s_next_value, null, _append(.[2]; .[1]|implode), .[3]]
        else
            [$s_read_value, _append(.[1]; $c), .[2], .[3]]
        end;
    def _do_read_quoted($c):
        if $c == $quot then
            [$s_escape, .[1], .[2], .[3]]
        else
            [$s_read_quoted, _append(.[1]; $c), .[2], .[3]]
        end;
    def _do_escape($c):
        if $c == $nl then
            [$s_start, null, null, _append(.[3]; _append(.[2]; .[1]|implode))]
        elif $c == $delim then
            [$s_next_value, null, _append(.[2]; .[1]|implode), .[3]]
        else
            [$s_read_quoted, _append(.[1]; $c), .[2], .[3]]
        end;
    def _do_final($c):
        .;
    def _do_finalize:
        if .[0] == $s_start then
            [$s_final, null, null, .[3]]
        elif .[0] == $s_next_value then
            [$s_final, null, null, _append(.[3]; [""])]
        elif .[0] == $s_read_value then
            [$s_final, null, null, _append(.[3]; _append(.[2]; .[1]|implode))]
        elif .[0] == $s_read_quoted then
            [$s_final, null, null, _append(.[3]; _append(.[2]; .[1]|implode))]
        elif .[0] == $s_escape then
            [$s_final, null, null, _append(.[3]; _append(.[2]; .[1]|implode))]
        else # .[0] == $s_final
            .
        end;
    reduce explode[] as $c (
        [$s_start,null,null,[]];
        do_if($c != $skip;
            if .[0] == $s_start then
                _do_start($c)
            elif .[0] == $s_next_value then
                _do_next_value($c)
            elif .[0] == $s_read_value then
                _do_read_value($c)
            elif .[0] == $s_read_quoted then
                _do_read_quoted($c)
            elif .[0] == $s_escape then
                _do_escape($c)
            else # .[0] == $s_final
                _do_final($c)
            end
        )
    )
    | _do_finalize[3][];
def parse_delimited($delim; $quot; $nl; $skip):
    _parse_delimited($delim; $quot; $nl; $skip);
def parse_delimited($delim; $quot; $nl):
    parse_delimited($delim; $quot; $nl; "\r");
def parse_delimited($delim; $quot):
    parse_delimited($delim; $quot; "\n");
def parse_delimited($delim):
    parse_delimited($delim; "\"");
def parse_csv:
    parse_delimited(",");

对于您的数据，您可能希望将分隔符更改为分号。

$ cat se.csv
-21.3214077;55.4851413;Ruizia cordata
-21.3213078;55.4849803;Cossinia pinnata
$ jq -R 'parse_delimited(";")' se.csv
[
  "-21.3214077",
  "55.4851413",
  "Ruizia cordata"
]
[
  "-21.3213078",
  "55.4849803",
  "Cossinia pinnata"
]

这适用于大多数输入一次解析一行，但如果您的数据有文字换行符，您将需要将整个文件作为字符串读取。

$ cat input.csv
Year,Make,Model,Description,Price
1997,Ford,E350,"ac, abs, moon",3000.00
1999,Chevy,"Venture ""Extended Edition""","",4900.00
1999,Chevy,"Venture ""Extended Edition, Very Large""",,5000.00
1996,Jeep,Grand Cherokee,"MUST SELL!
air, moon roof, loaded",4799.00
$ jq -Rs 'parse_csv' input.csv
[
  "Year",
  "Make",
  "Model",
  "Description",
  "Price"
]
[
  "1997",
  "Ford",
  "E350",
  "ac, abs, moon",
  "3000.00"
]
[
  "1999",
  "Chevy",
  "Venture \"Extended Edition\"",
  "",
  "4900.00"
]
[
  "1999",
  "Chevy",
  "Venture \"Extended Edition, Very Large\"",
  "",
  "5000.00"
]
[
  "1996",
  "Jeep",
  "Grand Cherokee",
  "MUST SELL!\nair, moon roof, loaded",
  "4799.00"
]

Answer 10

Jstaabs 答案的一个版本，它避免在打印之前将整个字典结构存储在内存中，以防 CSV 文件很大。

import csv, json, sys

for r in csv.DictReader(sys.stdin):
    print(dict(r))

请注意，这会输出 JSON 行格式，而不是完全 JSON。

这是一个输出正确 JSON 数组的版本，但代价是更长。

import csv, json, sys

sys.stdout.write('[')

first = True
for r in csv.DictReader(sys.stdin):
    if not first:
        sys.stdout.write(',')
    first = False
    json.dump(dict(r), sys.stdout)

sys.stdout.write(']')