使用搜索引擎获取 URL

Question

我正在构建一个列出某些产品并自动从列出的供应商的产品页面获取价格的门户。为了在供应商的网站上获取产品页面的 URL，我一直在使用 Google 搜索 API，它运行良好 - 第一个结果总是产品页面。但是，现在我收到错误消息，说 Google 已经从 API 中阻止了我的网站（实际上是我的开发机器的 IP），因为我一直在发出自动请求，例如抓取（唯一适用的项目）。

好吧，Google 可以跳崖，但是……产品门户通常如何获取 thewir 产品的 URL？我可以手动输入 URL，但如果供应商的网站以某种方式更改 URL 方案，这可能会成为问题。我显然需要一种自动化的方式来做到这一点。

我每天发出的请求不超过 50-60 个，所以我没有得到 Google 想要的东西。他们想要钱吗？

Answer 1

首先，他们希望您使用他们的一个 API，而不是直接抓取他们的网页。他们的自定义搜索 API 记录在 here。注册后，他们会给你一个 API 密钥。您可以通过请求获得 JSON 格式的结果

https://www.googleapis.com/customsearch/v1?q=SEARCH_TERMS&key=YOUR_KEY

其次，他们确实喜欢钱，但你可能没问题。您每天可以免费进行 100 次搜索；除此之外，您将被收取每千次搜索 5 美元的费用。