我需要编写一个 python 脚本来读取一个大的日志文件（1GB+），在每一行中提取 IP 地址，存储这些 IP，删除重复项，在另一个文件中找到与这些 IP 相关的主机名并将主机名重写为包含原始数据的新日志文件。
现在的问题是：处理内存、文件等的最佳方式是什么？我的意思是，我看到了两种方法：
tmp_IPS.txt，删除欺骗，在另一个文件（hostnames.txt）上逐行搜索这些IP，将结果写入tmp_IPS.txt，读取和重写原始日志文件。在这种情况下，我将处理更少的 IP（没有欺骗）。【问题讨论】：
我预见到这个典型的常见任务有 2 种可能的场景，所以我将非常简要地评论它们。
场景 1) 重用日志文件输入数据进行多个查询或从中创建一个或多个输出文件。
首先衡量使用 Python 内置块从整个文件中创建高效的内存数据结构需要多长时间，如果从整个日志文件中读取和创建一个简单的字典需要几秒钟的时间可能不值得浪费更多时间编写更复杂的解决方案。
上一步是不是非常昂贵的操作？如果是这种情况，并且您要经常重复使用输入数据，我可能会从中创建一个数据库（NoSQL 或关系，具体取决于处理类型）。如果您要经常使用日志文件数据，这种方式可能是值得的。
Scenario2)您只想处理一次输入数据并放弃脚本。
如果是这种情况，最简单的解决方案是从巨大的日志文件中提取非常少的数据子集，这样您就可以尽可能快地进行迭代。获得这些数据后，创建实现整个过程的整个脚本，一旦您确定脚本已经过测试并准备就绪，只需让它运行几秒钟（我可以将手指放在运行一个简单的像这样的脚本应该花费不到 1 分钟的时间）。
也就是说，您已经到了需要像这样处理和解析巨大的日志文件的地步，这表明您可能应该开始考虑以更有效的方式存储日志数据...例如，使用诸如kibana 或类似名称。
【讨论】：
在这种情况下处理大日志文件最有效的方法是逐行同时读取和写入，以避免将大文件加载到内存中。如果hostnames.txt 相对较小，您应该首先将IP 到主机名的映射文件hostnames.txt 加载到字典中；否则您应该考虑将映射存储在索引数据库中）
【讨论】：
您打算如何从temp_IPS.txt 中删除重复项？简单地避免在文件中插入重复的 IP 地址（并避免在内存中存储重复的 IP 地址）也许更有意义。
就 Python 文件 I/O 的速度而言，它可能取决于您使用的 Python 版本。假设您选择了 Python 3，则循环如下：
for line in file.readlines() :
# Code to deal with the string on each line
假设您的文件格式正确，可能会非常适合您的用例。
我建议以下策略：
有很多方法可以将 IP 地址存储在内存中，有些更节省空间，有些更节省时间。这取决于您使用的硬件以及一次需要读取多少数据。
【讨论】：
您应该阅读 hostnames.txt 并将 IP 映射到主机名
使用dict。
然后您应该读取batches 中的文件并使用dict.get() 检查主机名，即host = host_dict.get(ip, None)
我不知道你说的是什么意思
将主机名重写为包含原始数据的新日志文件
但是你可以open()一个文件非常简单地追加
with open('new_logfile', 'a') as logfile:
logfile.write(data_to_append)
【讨论】：