【发布时间】：2017-12-20 18:11:18
【问题描述】：
我想知道有多少招聘网站有这么多关于其他公司招聘信息的招聘信息/信息。例如，如果我要启动自己的工作搜索引擎，我将如何获得像 Indeed.com 这样的网站在我自己的数据库中的信息？一个网站 (jobmaps.us) 说它“由 Indeed 提供支持”，并且似乎遵循与 Indeed.com 相同的格式（所有其他求职网站也是如此）。我可以使用一些通用的求职模板吗？
提前致谢。
【问题讨论】：
【发布时间】：2017-12-20 18:11:18
【问题描述】：
一些服务提供了一个 API，允许您“联合”搜索（将它们中继到多个数据源，然后将所有结果收集在一起以显示在一个地方）。或者，有些提供了一种机制，允许您下载/检索数据，因此您可以将其加载到您自己的搜索索引中。
后一种方法通常更快，并且可以让您完全控制，但需要您维护搜索索引并跟踪远程系统上何时更新/添加/删除数据项。这并不总是微不足道的。
在任何一种情况下，某些 API 将是开放/免费的，而某些 API 需要注册和/或许可。大多数都会有速率限制。这完全取决于拥有数据的人。
可以模拟用户浏览网站、发送 HTTP 请求并分析来自网络服务器的响应。通过了解 HTML 的结构，可以提取（“抓取”）您需要的信息。
这种方法通常违反网站政策，可能会阻止您。如果您确实采用这种方法，请确保遵守任何 robots.txt 政策以避免被列入黑名单。
【讨论】：