【发布时间】:2013-02-11 07:07:57
【问题描述】:
我编写了一个 Reddit 图片抓取工具,而 Reddit API 只允许我获取最新的 1000 张图片。有谁知道我是否可以支付额外费用来获得更多数据(进入数十万),或者免费解决这个问题?
【问题讨论】:
标签: python web-scraping reddit
我编写了一个 Reddit 图片抓取工具,而 Reddit API 只允许我获取最新的 1000 张图片。有谁知道我是否可以支付额外费用来获得更多数据(进入数十万),或者免费解决这个问题?
【问题讨论】:
标签: python web-scraping reddit
reddit API 只允许我查看最新的 1000 张图片
我假设您的意思是列表只能追溯到 1000 次提交。这是一个硬性限制,适用于除 http://www.reddit.com/new 之外的所有 reddit 列表(据我所知)。目前没有支付额外 API 访问费用的选项。但是,假设您遵守 reddit's API rules,您可以使用 http://www.reddit.com/new 列表返回任意位置,并简单地过滤掉您不关心的子版块的提交。
这是一个简单的PRAW 示例,它计算最近 10000 次提交中对一组子版块的提交次数(运行大约需要 200 秒)。
import praw
r = praw.Reddit('stackoverflow question test')
subs = set(['aww', 'funny'])
count = 0
for submission in r.get_new(limit=10000):
if submission.subreddit.display_name.lower() in subs:
count += 1
print(count)
【讨论】: