【问题标题】:How to fetch more than 1000 images with the Reddit API?如何使用 Reddit API 获取 1000 多张图片?
【发布时间】:2013-02-11 07:07:57
【问题描述】:

我编写了一个 Reddit 图片抓取工具,而 Reddit API 只允许我获取最新的 1000 张图片。有谁知道我是否可以支付额外费用来获得更多数据(进入数十万),或者免费解决这个问题?

【问题讨论】:

    标签: python web-scraping reddit


    【解决方案1】:

    reddit API 只允许我查看最新的 1000 张图片

    我假设您的意思是列表只能追溯到 1000 次提交。这是一个硬性限制,适用于除 http://www.reddit.com/new 之外的所有 reddit 列表(据我所知)。目前没有支付额外 API 访问费用的选项。但是,假设您遵守 reddit's API rules,您可以使用 http://www.reddit.com/new 列表返回任意位置,并简单地过滤掉您不关心的子版块的提交。

    这是一个简单的PRAW 示例,它计算最近 10000 次提交中对一组子版块的提交次数(运行大约需要 200 秒)。

    import praw
    r = praw.Reddit('stackoverflow question test')
    subs = set(['aww', 'funny'])
    
    count = 0
    for submission in r.get_new(limit=10000):
        if submission.subreddit.display_name.lower() in subs:
            count += 1
    print(count)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-02-09
      • 1970-01-01
      • 1970-01-01
      • 2017-04-06
      • 1970-01-01
      • 1970-01-01
      • 2015-02-09
      相关资源
      最近更新 更多