管理 Tweepy API 搜索

Question

如果这是对之前在其他地方回答的问题的严重重复，请原谅我，但我不知道如何使用 tweepy API 搜索功能。有没有关于如何使用api.search() 函数搜索推文的文档？

有什么方法可以控制返回的推文数量、结果类型等功能吗？

由于某种原因，结果似乎最大为 100。

我使用的代码sn-p如下

searched_tweets = self.api.search(q=query,rpp=100,count=1000)

Answer 1

您的代码有问题。基于GET search/tweets 的 Twitter 文档，

The number of tweets to return per page, up to a maximum of 100. Defaults to 15. This was   
formerly the "rpp" parameter in the old Search API.

你的代码应该是，

CONSUMER_KEY = '....'
CONSUMER_SECRET = '....'
ACCESS_KEY = '....'
ACCESS_SECRET = '....'

auth = tweepy.auth.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_KEY, ACCESS_SECRET)
api = tweepy.API(auth)
search_results = api.search(q="hello", count=100)

for i in search_results:
    # Do Whatever You need to print here

Answer 2

我最初基于Yuva Raj 的suggestion 制定了一个解决方案，以在GET search/tweets 中使用附加参数-max_id 参数与在每次迭代中返回的最后一条推文的id 结合使用循环还检查 TweepError 的出现。

但是，我发现使用tweepy.Cursor 解决问题的方法要简单得多（有关使用Cursor 的更多信息，请参阅tweepy Cursor tutorial）。

以下代码获取最近 1000 次提及 'python'。

import tweepy
# assuming twitter_authentication.py contains each of the 4 oauth elements (1 per line)
from twitter_authentication import API_KEY, API_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET

auth = tweepy.OAuthHandler(API_KEY, API_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)

api = tweepy.API(auth)

query = 'python'
max_tweets = 1000
searched_tweets = [status for status in tweepy.Cursor(api.search, q=query).items(max_tweets)]

更新：为了回应Andre Petre 对tweepy.Cursor 的潜在内存消耗问题的评论，我将包含我的原始解决方案，将上面用于计算searched_tweets 的单个语句列表理解替换为以下内容：

searched_tweets = []
last_id = -1
while len(searched_tweets) < max_tweets:
    count = max_tweets - len(searched_tweets)
    try:
        new_tweets = api.search(q=query, count=count, max_id=str(last_id - 1))
        if not new_tweets:
            break
        searched_tweets.extend(new_tweets)
        last_id = new_tweets[-1].id
    except tweepy.TweepError as e:
        # depending on TweepError.code, one may want to retry or wait
        # to keep things simple, we will give up on an error
        break

Answer 3

其他问题老了，API 变化很大。

简单的方法，用光标（见Cursor tutorial）。 Pages 返回一个元素列表（你可以限制它返回多少页。.pages(5) 只返回 5 页）：

for page in tweepy.Cursor(api.search, q='python', count=100, tweet_mode='extended').pages():
    # process status here
    process_page(page)

q 是查询，count 会为请求带来多少（100 是请求的最大值），tweet_mode='extended' 是有全文。 （没有这个文本将被截断为 140 个字符）更多信息here。 RT 被截断为已确认的jaycech3n。

如果你不想使用tweepy.Cursor，你需要指明max_id来带下一个chunk。 See 了解更多信息。

last_id = None
result = True
while result:
    result = api.search(q='python', count=100, tweet_mode='extended', max_id=last_id)
    process_result(result)
    # we subtract one to not have the same again.
    last_id = result[-1]._json['id'] - 1

Answer 4

您可以搜索带有特定字符串的推文，如下所示：

tweets = api.search('Artificial Intelligence', count=200)

Answer 5

我正在为包含特殊关键字或关键字列表的所有推文提取某个位置（在这里，印度周围）的推特数据。

import tweepy
import credentials    ## all my twitter API credentials are in this file, this should be in the same directory as is this script

## set API connection
auth = tweepy.OAuthHandler(credentials.consumer_key, 
                            credentials.consumer_secret)
auth.set_access_secret(credentials.access_token, 
                        credentials.access_secret)
    
api = tweepy.API(auth, wait_on_rate_limit=True)    # set wait_on_rate_limit =True; as twitter may block you from querying if it finds you exceeding some limits

search_words = ["#covid19", "2020", "lockdown"]

date_since = "2020-05-21"

tweets = tweepy.Cursor(api.search, =search_words,
                       geocode="20.5937,78.9629,3000km",
                       lang="en", since=date_since).items(10)
## the geocode is for India; format for geocode="lattitude,longitude,radius"
## radius should be in miles or km


for tweet in tweets:
    print("created_at: {}\nuser: {}\ntweet text: {}\ngeo_location: {}".
            format(tweet.created_at, tweet.user.screen_name, tweet.text, tweet.user.location))
    print("\n")
## tweet.user.location will give you the general location of the user and not the particular location for the tweet itself, as it turns out, most of the users do not share the exact location of the tweet

结果---- created_at: 2020-05-28 16:48:23 用户：XXXXXXXXX 推文文本：RT @Eatala_Rajender：关于特伦甘纳邦 #COVID19 阳性病例状态的媒体公告。 （日期：2020 年 5 月 28 日）

TelanganaFightsCorona

StayHom…

geo_location：印度海得拉巴