使用地理位置过滤器使用 Twitter 流 API 提取旧推文答案

【问题标题】：Extracting Old Tweets using Twitter streaming API using Geo-Location Filter使用地理位置过滤器使用 Twitter 流 API 提取旧推文
【发布时间】：2018-05-06 08:33:17
【问题描述】：

我的目标是使用 python 为纽约市 ('locations':'-74,40,-73,41') 提取 2017 年 1 月整个月的旧推文。我可以使用以下代码获取实时流媒体推文：

    import json
    import pandas as pd
    import numpy as np
    from TwitterAPI import TwitterAPI

    #Set up the variables for the 'application'
    consumerkey = 'cfKguErYawo2WB7cfNtAT2lKl'
    consumersecret = 'my_consumer_secret'
    access_token_key = '2195434704-Wov69oF2iIBRgUjWJhD0KThqcLApYCJXqtbYI4K'
    access_token_secret = 'my_access_token_secret'

    #Setup the API key
    api = TwitterAPI(consumerkey,consumersecret,access_token_key,access_token_secret)

    # Breaking after extracting 10 live tweets from New York City

    r = api.request('statuses/filter', {'locations':'-74,40,-73,41'})
    for row,item in enumerate(r):
        print(row, item['text'])
        if row >= 10:
            break

但这不是我想要的。有人可以建议如何使用 Twitter 流 API 或 python 中的任何其他包来提取此位置过滤器的旧推文吗？谢谢！

【问题讨论】：

Tweet-ID 类似于时间位置。你能限制你的搜索只检索比给定 ID 更早的推文吗？我认为有一个max_id 论点。

标签： python python-requests twitter-streaming-api twitter-rest-api

【解决方案1】：

您可以使用 Twitter 的 REST API 完成您所要求的部分工作。下面是一个使用您用来进行流式传输的 TwitterAPI 包的示例。但是，当您搜索旧推文时，有一些限制。您只能获得大约一周的旧推文。此外，您必须提供搜索字符串（使用q 参数），无论您是否提供位置。您只会看到匹配字符串和位置的结果。流式传输时，您可以提供过滤器字符串或位置或两者兼而有之。在这种情况下，结果可以匹配字符串或位置，但不一定都匹配。

此代码将下载推文，直到您达到大约一周的限制。它通过发出连续的请求来做到这一点，这些请求是定时的，不会超过 Twitter 的速率限制。您可能还会发现 TwitterGeoPics 包很有用。

from TwitterAPI import TwitterAPI, TwitterRestPager

SEARCH_TERM = 'pizza'
GEOCODE = '40,74,10km'

CONSUMER_KEY = ''
CONSUMER_SECRET = ''
ACCESS_TOKEN_KEY = ''
ACCESS_TOKEN_SECRET = ''

api = TwitterAPI(CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN_KEY, ACCESS_TOKEN_SECRET)

pager = TwitterRestPager(api, 'search/tweets', {'q': SEARCH_TERM, 'geocode':GEOCODE})

for item in pager.get_iterator():
    print(item['text'] if 'text' in item else item)

【讨论】：

【解决方案2】：

现在，您无法使用 Twitter 的流 API 提取 30 天前的推文。 Twitter 已付款。

您可以使用 Twitter 高级 API 的搜索 30 天订阅计划提取过去 30 天的推文。

此外，只有在您批准 Twitter 的开发者帐户后，您才能购买 Twitter 高级订阅。

要获得批准，您可以查看此链接：https://developer.twitter.com/en/apply-for-access.html

如果你有一次性的需求，那我建议你使用第三方服务，比如TrackMyhashtag.com或者Tweetreach.com

【讨论】：