在python中将字符串从一个非常长的文件写入另一个文件

Question

请不要因为我的菜鸟问题而斩首我。我在 stackoverflow 上查找了许多关于此主题的其他问题，但没有找到按预期工作的解决方案。

问题： 我有一个相当大的 txt 文件（大约 5 MB），我想通过 readlines() 或任何其他内置的字符串处理函数将其复制到一个新文件中。对于较小的文件，以下代码确实有效（此处仅示意性编码）：

f = open('C:/.../old.txt', 'r');
n = open('C:/.../new.txt', 'w');
for line in f:
    print(line, file=n);

但是，正如我在这里 (UnicodeDecodeError: 'charmap' codec can't encode character X at position Y: character maps to undefined) 发现的那样，Windows 的内部限制禁止它处理更大的文件。到目前为止，我想出的唯一解决方案如下：

f = open('C:/.../old.txt', 'r', encoding='utf8', errors='ignore');
n = open('C:/.../new.txt', 'a');
for line in f:
    print(line, file=sys.stderr) and append(line, file='C:/.../new.txt');   

f.close();
n.close();

但这不起作用。我确实得到了一个 new.txt 文件，但它是空的。那么，如何遍历一个长的 txt 文件并将每一行写入一个新的 txt 文件？有没有办法读取 sys.stderr 作为新文件的源（我实际上不知道这个 sys.stderr 是什么）？ 我知道这是一个菜鸟问题，但我不知道在哪里寻找答案了。

提前致谢！

Answer 1

文件不需要使用print()，只需write()即可：

with open('C:/.../old.txt', 'r') as f, open('C:/.../new.txt', 'w') as n:
    n.writelines(f)

但是，听起来您可能遇到了编码问题，因此请确保使用正确的编码打开这两个文件。如果您提供错误输出，也许可以提供更多帮助。

顺便说一句：Python 不使用; 作为行终止符，如果你想将它们放在同一行上，它可以用来分隔两条语句，但这通常被认为是错误的形式。

Answer 2

您可以像我的代码一样将标准输出设置为文件。 我用这个成功复制了 6MB 的文本文件。

import sys

bigoutput = open("bigcopy.txt", "w")
sys.stdout = bigoutput
with open("big.txt", "r") as biginput:
    for bigline in biginput.readlines():
        print(bigline.replace("\n", ""))
bigoutput.close()

Answer 3

为什么不直接使用shutil 模块并复制文件？

Answer 4

你可以试试这个对我有用的代码。

with open("file_path/../large_file.txt") as f:
    with open("file_path/../new_file", "wb") as new_f:
            new_f.writelines(f.readlines())
            new_f.close()
    f.close()