【问题标题】:Retrieve large amount of data from REST API GitHub从 REST API GitHub 检索大量数据
【发布时间】:2014-03-11 19:03:16
【问题描述】:

如何从 REST API GitHub 中检索大量数据?现在它只提供了来自 GitHub 时间线的少量 JSON 数据,在许多情况下仅限于 300 个事件。我需要更大的容量来完成我的硕士研究,并且我需要知道如何通过 REST API。

【问题讨论】:

  • 没错——事件时间线将为您提供最后 300 个事件。如果您需要更多,您可以考虑使用来自 (Unofficial) GitHub Archiveghtorrent 等项目的数据。

标签: github bigdata github-api


【解决方案1】:

github 的 api(以及大多数恕我直言的好 api)使用分页来减少自己和客户端的负载。您可以编写一个简单的脚本来一次浏览结果的所有“页面”,然后在本地合并您的结果。

更多信息在这里: http://developer.github.com/guides/traversing-with-pagination/

【讨论】:

  • 我想我会结合多个结果来获得一个大容量,但我必须发出大量请求才能达到这个容量,因为 API 的 per_page 参数有一个上限。谢谢Xero
猜你喜欢
  • 1970-01-01
  • 2021-09-08
  • 2013-10-08
  • 2016-01-26
  • 1970-01-01
  • 1970-01-01
  • 2022-08-17
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多