如何在 Python 中打开大型 twitter 文件（30GB+）？

Question

我想知道在 python 3 上打开使用 tweepy 流式传输的大型 Twitter 文件的正确脚本是什么。我已将以下文件用于较小的文件，但现在我的数据收集超过 30GB+，我遇到了内存错误：

with open('data.txt') as f:
    tweetStream = f.read().splitlines()

tweet = json.loads(tweetStream[0])
print(tweet['text'])
print(tweet['user']['screen_name'])

到目前为止，我一直无法在网上找到我需要的东西，因此非常感谢任何帮助。

Answer 1

不要尝试创建包含整个文件的对象。相反，由于每一行都包含一条推文，因此一次处理一行文件：

with open('data.txt') as f:
    for line in f:
        tweet = json.loads(line)
        print(tweet['text'])
        print(tweet['user']['screen_name'])

也许将相关的推文存储到另一个文件或数据库中，或者生成一个统计摘要。例如：

total = 0
about_badgers = 0
with open('data.txt') as f:
    for line in f:
        tweet = json.loads(line)
        total +=1
        if "badger" in tweet['text'].lower():
            about_badgers += 1

print("Of " + str(total) +", " + str(about_badgers) +" were about badgers.")

捕获与无法解析的行相关的错误，如下所示：

with open('data.txt') as f:
    for line in f:
        try:
            tweet = json.loads(line)
            print(tweet['text'])
         except json.decoder.JSONDecodeError:
            # Do something useful, like write the failing line to an error log
            pass

        print(tweet['user']['screen_name'])