如何在 Bash 脚本中解析 CSV？

Question

我正在尝试解析可能包含 100k+ 行的 CSV。这是我的标准：

1. 标识符的索引
2. 标识符值

我想检索 CSV 中在给定索引中具有给定值的所有行（以逗号分隔）。

有什么想法，特别考虑性能？

Answer 1

作为cut- 或awk 的替代方案，您可以使用专门的csvtool aka ocaml-csv：

$ csvtool -t ',' col "$index" - < csvfile | grep "$value"

根据文档，它处理转义、引用等。

Answer 2

观看这个 youtube 视频：BASH scripting lesson 10 working with CSV files

CSV 文件：

Bob Brown;Manager;16581;Main
Sally Seaforth;Director;4678;HOME

Bash 脚本：

#!/bin/bash
OLDIFS=$IFS
IFS=";"
while read user job uid location
 do

    echo -e "$user \
    ======================\n\
    Role :\t $job\n\
    ID :\t $uid\n\
    SITE :\t $location\n"
 done < $1
 IFS=$OLDIFS

输出：

Bob Brown     ======================
    Role :   Manager
    ID :     16581
    SITE :   Main

Sally Seaforth     ======================
    Role :   Director
    ID :     4678
    SITE :   HOME

Answer 3

第一个原型使用普通的旧 grep 和 cut：

grep "${VALUE}" inputfile.csv | cut -d, -f"${INDEX}"

如果速度足够快并且输出正确，那么你就完成了。

Answer 4

CSV 并不是那么简单。根据您拥有的数据的限制，您可能需要担心带引号的值（可能包含逗号和换行符）和转义引号。

因此，如果您的数据受到足够的限制，可以通过简单的逗号分割很好地逃脱，shell 脚本可以轻松做到这一点。另一方面，如果您需要“正确”解析 CSV，那么 bash 不会是我的首选。相反，我会考虑使用更高级别的脚本语言，例如带有csv.reader 的 Python。

Answer 5

在 CSV 文件中，每个字段以逗号分隔。问题是，一个字段本身可能有一个嵌入的逗号：

Name,Phone
"Woo, John",425-555-1212

您确实需要一个提供强大 CSV 支持的库包，而不是依赖于使用逗号作为字段分隔符。我知道像 Python 这样的脚本语言有这样的支持。但是，我对 Tcl 脚本语言很满意，所以我使用的是这种语言。这是一个简单的 Tcl 脚本，可以满足您的要求：

#!/usr/bin/env tclsh

package require csv 
package require Tclx

# Parse the command line parameters
lassign $argv fileName columnNumber expectedValue

# Subtract 1 from columnNumber because Tcl's list index starts with a
# zero instead of a one
incr columnNumber -1

for_file line $fileName {
    set columns [csv::split $line]
    set columnValue [lindex $columns $columnNumber]
    if {$columnValue == $expectedValue} {
        puts $line
    }   
}

将此脚本保存到名为 csv.tcl 的文件中并调用它：

$ tclsh csv.tcl filename indexNumber expectedValue

说明

脚本逐行读取 CSV 文件并将该行存储在变量 $line 中，然后将每一行拆分为列列表（变量 $columns）。接下来，它挑选出指定的列并将其分配给 $columnValue 变量。如果匹配，则打印出原始行。

Answer 6

使用awk：

export INDEX=2
export VALUE=bar

awk -F, '$'$INDEX' ~ /^'$VALUE'$/ {print}' inputfile.csv

编辑：根据Dennis Williamson's 出色的评论，这可以通过使用-v 开关定义awk 变量来更简洁（和安全）编写：

awk -F, -v index=$INDEX -v value=$VALUE '$index == value {print}' inputfile.csv

天啊...有变量和一切，awk 几乎是a real programming language...

Answer 7

对于数据不包含任何特殊字符的情况，Nate Kohl 和 ghostdog74 提出的解决方案很好。

如果数据在字段中包含逗号或换行符，awk 可能无法正确计算字段编号，您将得到不正确的结果。

在我编写的名为 csvquote 的程序（可在https://github.com/dbro/csvquote 获得）的帮助下，您仍然可以使用 awk：

csvquote inputfile.csv | awk -F, -v index=$INDEX -v value=$VALUE '$index == value {print}' | csvquote -u

这个程序在带引号的字段中查找特殊字符，并用不会混淆 awk 的非打印字符临时替换它们。然后在 awk 完成后恢复它们。

Answer 8

index=1
value=2
awk -F"," -v i=$index -v v=$value '$(i)==v' file

Answer 9

我一直在寻找一个优雅的解决方案，它支持引用并且不需要在我的 VMware vMA 设备上安装任何花哨的东西。原来这个简单的 python 脚本可以解决问题！ （我将脚本命名为 csv2tsv.py，因为它将 CSV 转换为制表符分隔值 - TSV）

#!/usr/bin/env python

import sys, csv

with sys.stdin as f:
    reader = csv.reader(f)
    for row in reader:
        for col in row:
            print col+'\t',
        print

制表符分隔的值可以使用 cut 命令轻松拆分（无需指定分隔符，制表符是默认值）。这是一个示例用法/输出：

> esxcli -h $VI_HOST --formatter=csv network vswitch standard list |csv2tsv.py|cut -f12
Uplinks
vmnic4,vmnic0,
vmnic5,vmnic1,
vmnic6,vmnic2,

在我的脚本中，我实际上将逐行解析 tsv 输出并使用 read 或 cut 来获取我需要的字段。

Answer 10

sed 或 awk 解决方案可能会更短，但这是 Perl 的解决方案：

perl -F/,/ -ane 'print if $F[<INDEX>] eq "<VALUE>"`

其中<INDEX> 从 0 开始（0 表示第一列，1 表示第二列，等等）

Answer 11

使用原始文本处理工具解析 CSV 将在许多类型的 CSV 输入上失败。

xsv 是一个可爱且快速 的工具，可以正确执行此操作。要在第三列中搜索所有包含字符串“foo”的记录：

cat file.csv | xsv search -s 3 foo