在 unix 上使用多个搜索条件搜索大型 CSV 文件

Question

我有几个大的 CSV 文件，我需要使用 1 到多个参数进行搜索，如果我找到一个匹配项，我需要将该行保存在另一个文件中。下面是一个成功运行但对 5gb 文件非常慢的 perl 代码示例。任何关于加快速度的建议将不胜感激。

#!/usr/bin/env perl
use Text::CSV_XS;

$numArgs = $#ARGV;

#First Parameter is the input file name
$Finput = $ARGV[0];
chomp($Finput);

#Second Parameter is the output file name
$Foutput = $ARGV[1];
chomp($Foutput);

# Open the Control file but quit if it doesn't exist
open(INPUT1, $Finput) or die "The Input File $Finput could not be found.\n";
open(OUTPUT1, ">$Foutput") or die "Cannot open output $Foutout file.\n";


my $csv = Text::CSV_XS->new();
open my $FH, "<", $Finput;

while (<$FH>) {
    $csv->parse($_);
    my @fields = $csv->fields;

    if ($fields[0] == 10000) {
        if ($fields[34] eq 'abcdef') {
            if ($fields[103] == 9999) {
                print OUTPUT1 "$_\n";
            }
        }
    }
}

Answer 1

我不知道你的数据或你的标准。

但如果我们可以使用上面给出的示例，那么我会在处理 CSV 之前尝试对这些行进行简单的测试。

例如（注意，我的 perl 很糟糕，这是为了示范，不正确）：

if (/.*10000.*abcdef.*9999.*/) {
    $csv->parse($_);
    if ($fields[0] = 10000) {
        ...
    }
}

基本上，您可以先进行一些更简单、更快速的检查，以更快地取消行的资格，然后再执行必要的额外处理来使它们合格。

很明显，如果匹配的行多于不匹配的行，或者简单限定条件的检查并不实用，那么这种技术将不起作用。

做对了，CSV 解析有点贵（事实上，假设单行 CSV 是单条记录，您在此处遇到错误，这可能适用于您的数据，但 CSV 实际上允许嵌入换行符，所以它不是可以对所有 CSV 进行的通用假设）。

所以，如果“一目了然”，该行无论如何都不匹配，则不必为解析它付出代价。

Answer 2

这是“成功”运行的代码吗？我觉得这很难相信。

if ($fields[0] = 10000) {
    if ($fields[34] = 'abcdef') {
        if ($fields[103] = 9999) {

这些不是相等性检查，而是赋值。所有这些 if 子句将始终返回 true。你可能想要的是== 和eq，而不是=。

您还在输入文件上打开了两个文件句柄，并以错误的方式使用了 CSV 模块。我不相信这些小错误会导致脚本太慢，但它会打印那个 5gb 文件中的所有记录。

这是您的脚本的修订版本。

use strict;
use warnings;
use Text::CSV;
use autodie;

my $Finput = $ARGV[0];
my $Foutput = $ARGV[1];

open my $FH, "<", $Finput;
open my $out, ">", $Foutput;

my $csv = Text::CSV->new();

while (my $row = $csv->getline($FH)) {
    my @fields = @$row;
    if ($fields[0] == 10000) {
        if ($fields[34] eq 'abcdef') {
            if ($fields[103] == 9999) {
                $csv->print($out, $row);
            }
        }
    }
}

autodie pragma 将为我们（和其他事情）检查来自open 的返回值。 use strict; use warnings; 会让我们的大脑受到的伤害更少。哦，我使用的是Text::CSV，而不是_XS 版本。

Answer 3

您想对每个文件使用 grep "{searchstring}" filename1.csv filename2.csv > savefile.txt。也许您想逐行阅读 filename.csv：

#!/bin/bash
exec 3<filename.csv
while read haystack <&3
do
  grep "{needle}" $haystack > result.txt 
done