大型文件去重

1.背景

面试的时候常常会被问到一个问题，大型的文件该怎样去重。写一个python脚本是效率非常差的策略。

这里讲下怎样用shell实现。

2.流程

（1）文件分割

用split函数对于文件分割。

split -l 10000 test.txt

-l是依照行分割，10000是每10000行分割成一份文件。分割完会在当前文件夹自己主动生成10000行一例的文件。

（2）去重

sort -u origin.txt -o output.txt

本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod]