如何打开大型 (10gb+) 文本文件并进行编辑答案

【问题标题】：How to open large (10gb+) Text files and edit them如何打开大型 (10gb+) 文本文件并进行编辑
【发布时间】：2017-09-06 20:48:05
【问题描述】：

我有超过 10gb 的 .txt 文件我应该打开这个文件并制作简单的版本： - 删除重复行 - 拆分此文件（如 5x2gb 文件）

我需要什么软件？ Windows 首选...但如果不可能的话，Linux 也可以很棒。谢谢！

【问题讨论】：

【解决方案1】：

    EmEditor

在 Windows 上，您可以安装一个名为“EmEditor”的应用程序。

此应用程序可以打开大文件。这是一个许可的应用程序，但您可以使用它一个月的试用期。进行更改并卸载。

我曾遇到过无法编辑大型 4GB .sql 文件的问题。这个工具编辑器是唯一可以完成工作的编辑器。

【讨论】：

【解决方案2】：

在 Windows 中不确定，但在 Linux 中，您可以使用 grep、awk 和 sed 的组合。尝试在 SO 中找到它们。您可以参考下面的查询。 Basic grep/sed/awk script to find duplicates.

【讨论】：

【解决方案3】：

您可以使用Vim 或Emacs 实现此目的

我建议使用 Vim，因为它包含 Git bash

你用 :q 退出 Vim 如果缓冲区发生变化，您可以退出而不保存 :q!

如果 Vim 不适合你，请检查 this 答案和 this 链接，也许这些链接中建议的编辑器更适合你。

【讨论】：

【解决方案4】：

我会推荐你使用010 editor。我编辑了 40GB 的文件。它就像一个魅力。

【讨论】：