删除文件中的重复条目 - 优化性能

Question

我每天需要扫描数十万个文件以从中删除重复条目。这些文件中的每一个都有数千条记录

示例输入文件

2019-10-04,3.9,3.29,5.85,6.15
2019-10-05,3.8,7.02,5.69,6.83
2019-10-05,3.8,8.02,8.69,1.83
2019-10-07,1.8,1.02,4.69,7.83

这是我为它编写的脚本，大约需要一个小时或更长时间才能完成。

脚本

#!/bin/bash

LOOKUP_DIR="/path/to/source_files"
CLEANEDUP_DIR="/path/to/cleaned_content"


remove_dup(){
    fname=${1}
    awk -F"," 'prev && ($1 != prev) {print seen[prev]} {seen[$1] = $0; prev = $1} END {print seen[$1]}' "${fname}" > "${CLEANEDUP_DIR}/${fname}"
}

cd ${LOOKUP_DIR}
for k in *.csv
do 
    remove_dup "${k}" &
done

wait

检查重复项的方法是查看第一个字段，如果该字段（在本例中为日期）有多个条目，则只需要保留包含此日期的最后一行，其余的则删除。

请问有没有办法优化我写的逻辑？

Answer 1

如果我理解您的问题并且您想从每个文件中删除任何重复的记录，则使用 awk 中的一对数组，第一个使用计数器作为索引，以便保持记录顺序存储连接的 5 个字段SUBSEP 存储的值。由SUBSEP 连接的5 个字段索引的第二个数组将记录保存为存储值。这允许在使用 index in array 测试之前简单检查这 5 个字段是否已被看到。

与其在remove_dup() 中编写脚本，不如编写一个从remove_dup() 调用的可执行awk 脚本。脚本可以是：

#!/usr/bin/awk -f

BEGIN { FS="," }

{ if ($1 SUBSEP $2 SUBSEP $3 SUBSEP $4 SUBSEP $5 in array)
    next
  order[++n] = $1 SUBSEP $2 SUBSEP $3 SUBSEP $4 SUBSEP $5
  array[$1,$2,$3,$4,$5] = $0
}

END {
  for (i=1; i<=n; i++)
    print array[order[i]]
}

（仅当连接字段不作为array 中的索引存在时才存储以上记录，确保删除所有重复项，保持第一次出现的顺序并丢弃所有其他项）

然后你可以修改你的脚本为：

#!/bin/bash

LOOKUP_DIR="/path/to/source_files"
CLEANEDUP_DIR="/path/to/cleaned_content"
AWKSCRIPT="/path/to/executable/awkscript"

remove_dup(){
    fname=${1}
    $AWKSCRIPT "${fname}" > "${CLEANEDUP_DIR}/${fname}"
}

cd ${LOOKUP_DIR}
for k in *.csv
do 
    remove_dup "${k}" &
done

wait

（注意添加了存储在变量AWKSCRIPT中的可执行文件awkscript的路径）

这应该做你所追求的。

Answer 2

试试：

tac thefile | sort -urst, -k1,1

---

优化性能

用一种编程语言重写它。不要使用进程 - 为每个文件使用线程。对于脚本，请使用 Python 或 Ruby。对于编译，请使用 C++ 或 C。编写过程只需不到一个小时，而且很可能比 fork()为每个文件创建一个新进程要快得多：

#include <map>
#include <future>
#include <iostream>
#include <fstream>
#include <algorithm>
#include <filesystem>
#include <ostream>
#include <vector>

std::string algo(const std::filesystem::path& file) {
    std::map<std::string, std::string> lines;
    std::ifstream ffile(file);
    std::string line;
    std::string field;
    size_t pos;
    while (std::getline(ffile, line)) {
        pos = 0;
        for (auto&& c : line) {
            if (c == ',') {
                break;
            }
            pos++;
        }
        field = line.substr(0, pos);
        lines.insert_or_assign(std::move(field), std::move(line));
    }
    std::ostringstream of;
    for (auto&& i : lines) {
        of << i.second << '\n';
    }
    return of.str();
}

int main(int argc, char *argv[]) {
    const std::filesystem::path p(argv[1]);
    std::vector<
        std::pair<
            std::string, std::future<std::string>
            >
        > results;
    if (std::filesystem::is_regular_file(p)) {
        std::cout << algo(p) << '\n';
    } else {
        for (auto&& f : std::filesystem::directory_iterator(p)) {
            if (f.is_regular_file()) {
                results.emplace_back(f.path(), std::async(algo, f.path()));
            }
        }
    }
    for (auto&& r : results) {
        std::cout
            << "=== " << r.first << " ===\n\n"
            << r.second.get() << '\n';
    }
}