推文的渐进式抓取答案

【问题标题】：Progressive Crawling of Tweets推文的渐进式抓取
【发布时间】：2020-03-24 20:42:02
【问题描述】：

在 Twitter API 中，如何对推文进行渐进式抓取？例如使用搜索 API：

$url = 'https://api.twitter.com/1.1/search/tweets.json';
$getfield = '?q='.urlencode("#thanksgiving").'&count=100'.'&tweet_mode=extended';

最大回报是 100 条推文。但是有超过 100 条推文，现在我如何指定获取接下来的 100 条推文？它是否取决于时间？意思是第一次返回最新的 100 条推文？

【问题讨论】：

标签： php twitter

【解决方案1】：

这不是标准搜索 API 提供的功能。

使用the Premium search API：

要请求下一个“页面”数据，您必须进行与原始查询完全相同的查询，包括查询、toDate 和 fromDate（如果使用），还包括设置为来自之前的回应。这可以与 GET 或 POST 请求一起使用。但是，在 GET 请求的情况下，“下一个”参数必须是 URL 编码的。您可以继续传递上一个查询中的“下一个”元素，直到您收到查询所涵盖时间段内的所有推文。当您收到不包含“下一页”元素的响应时，这意味着您已到达最后一页，并且在指定的查询和时间范围内没有其他可用数据。

由于您传递的是next 参数，因此新数据是否出现在您已处理的数据前面并不重要。

【讨论】：