如何提取@ASPCA 推特页面的所有推文和回复？答案

【问题标题】：How to extract all tweets and replies of @ASPCA twitter page?如何提取@ASPCA 推特页面的所有推文和回复？
【发布时间】：2021-01-22 07:11:05
【问题描述】：

我将提取所有推文和回复。我使用了以下代码，但它只提取了大约 3200 条推文。

import pandas as pd
import numpy as np
import tweepy 

consumer_key = "*"                
consumer_secret = "*"                   
access_token = "*"
access_token_secret = "*"

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth,wait_on_rate_limit=True)

username = 'ASPCA'

tweets = tweepy.Cursor(api.user_timeline, screen_name=username).items()
tweets_list = [[tweet.created_at, tweet.id, tweet.text, tweet.in_reply_to_status_id_str,         tweet.in_reply_to_screen_name, tweet.in_reply_to_user_id_str, tweet.user.id] for tweet in tweets]

该页面有近 34K 条推文。

感谢任何人的帮助

【问题讨论】：

标签： python web-scraping twitter web-crawler tweepy

【解决方案1】：

没错。 Twitter user_timeline API 最多可访问 3200 条推文。这是 API 的记录限制。

这里真的有两种选择：

要求帐户所有者下载他们的 Twitter 存档并为您提供数据访问权限（我认为在这种情况下这不是一个选项）
使用 Twitter 高级全存档搜索 API 搜索用户发送的所有推文。由于有如此多的推文，而且这个帐户已有十多年的历史，我预计这需要大量的请求，因此很遗憾，API 的免费沙盒层在这种情况下不太可能为您工作。

【讨论】：

谢谢。如果我刮了几次推文怎么办。那 3200 条记录每次都一样吗？
是的，没错。在时间线上“回溯”的限制是 3200 条推文。