Github 抓取所有 javascript 文件答案

【问题标题】：Github scraping for all javascript filesGithub 抓取所有 javascript 文件
【发布时间】：2017-01-20 17:28:01
【问题描述】：

我需要使用 python 提取 github 上所有可用项目的所有可用 javascript 文件。我在 github 中查找了一个 API，我发现了这个： https://developer.github.com/v3/ 我不明白我必须发送什么样的请求以及如何编写 URL。如果可能的话，我宁愿不依赖另一个 3rd 方 API。请指导我正确的方向，任何帮助将不胜感激！

【问题讨论】：

这需要几周时间developer.github.com/v3/#rate-limiting
我可以使用不同的身份验证...即使需要时间我也必须这样做...有办法吗？而且我不明白如何编写 URL...我不熟悉 curl
您是否希望为单个组织/用户执行此操作；还是 GitHub 上的所有用户？
所有用户，越多越好...
投票结束，因为过于广泛，因为Please guide me 不是问题。

标签： python rest github web-scraping github-api

【解决方案1】：

要收集文件，您可以在 python 脚本中使用它：

import os 
os.system("curl -o https://github.com/file.js")

将 URL 替换为单个文件名，或者在您的情况下，将循环中的变量替换为从 repo 中获取所有文件。您需要为每个 org/user/repo/etc 重复此操作

Download remote files using curl

Running shell commands from python

【讨论】：

谢谢！！！！我会试试看....抱歉无法投票，我的声誉很低...