使用命令行工具基于唯一 ID 聚合 CSV 数据 [关闭]

Question

我想使用命令行工具（例如bash、sed、awk 等）将数据从一个 CSV 文件聚合到另一个文件中。每个文件中的每一行都以第 1 列中的唯一 ID 开头，如果目标中的一行与此 ID 匹配，则应替换该行，否则应附加该行。输入数据未排序，但结果的排序顺序无关紧要，因此如果有帮助，可以将文件作为脚本的一部分进行排序。

例如，给定aggregate.csv的当前状态：

1,olddata
3,olddata
2,olddata

还有文件new.csv：

4,newdata
2,changeddata
3,changeddata

我希望aggregate.csv 出现如下（按任何排序顺序）：

1,olddata
2,changeddata
3,changeddata
4,newdata

这些行可能包含大量列，因此一次替换一个单元格并不理想。 CSV 保证不包含带引号的换行符，因此逐行搜索和一次替换整行是一种有效的方法。

抱歉，如果这是重复的，但我找不到另一个完全使用这种 CSV 合并方法的问题。

我已尝试将答案调整为this question，但它需要首先通过逐行解析两个文件、排序、删除重复项和保存来生成所有 ID 的“模板文件” - 我希望有一个更简单的方法是可能的。

This question 在 sed 和 awk 中有答案，我也复制了这些答案，并管理了 regex-replacement 部分，但不是在不存在匹配项时向文件追加新行的方法。

谢谢！

Answer 1

假设：

• 替换整行
• 总文件大小约为 8-10 MB（因此可能不会出现任何内存不足问题）
• 字段 #1 在每个文件中都是唯一的
• 输出没有排序要求
• 输入不保证排序

一个awk解决方案：

awk -F"," '                      # input delimiter is comma ","

FNR==NR { a[$1]=$0 ; next }      # first file: store contents in array a[], using field #1 as index

        { if ( $1 in a )         # second file: if field #1 is an index in array a[] then
             { print a[$1]       # print the contents of said array entry and
               delete a[$1]      # remove entry from array
             }
          else                   # field #1 is not an index in array a[] so
             print $0            # print current line
        }

END     { for ( i in a )         # anything still in array a[] was not in second file so
              print a[i]         # print these entries
        }
' new.csv aggregate.csv          # order of input files is important !!!

这会产生：

1,olddata
3,changeddata
2,changeddata
4,newdata

注意：虽然输出似乎按字段 #1 排序，但这只是基于输入数据排序的巧合； awk 代码中没有任何内容明确生成此“有序”输出。

这将不会覆盖aggregate.csv 文件。虽然可以使用GNU awk-i inplace 选项覆盖aggregate.csv，但这需要更改处理以防止覆盖new.csv。最简单的解决方案可能是将此输出定向到一个新文件，然后 OP 可以决定是否应该使用所述新文件覆盖aggregate.csv。

Answer 2

使用任何 awk：

$ awk -F, '!seen[$1]++' new agg
4,newdata
2,changeddata
3,changeddata
1,olddata

或使用 GNU 排序 -s:

$ sort -ust, -k1,1 new agg
1,olddata
2,changeddata
3,changeddata
4,newdata