【问题标题】:How can i get the search result page source after searching in google and parse the url? [closed]在google中搜索并解析url后如何获取搜索结果页面源? [关闭]
【发布时间】:2012-05-01 05:24:36
【问题描述】:

如果我用关键字在谷歌搜索,我会得到很多结果。 我需要获取该结果的页面来源。 然后我需要解析它以获取实际的 url。 我该怎么做?

但如果我看到搜索结果页面的页面源,我发现它只是 javascript。

我需要来自这数千个结果的实际页面源和实际 url/链接。

我无法理解,(PHP) How to parse URLs in google search results?

【问题讨论】:

  • 违反了 Google 的 TOS - 即使有人知道(像我一样),我怀疑他是否愿意公开分享代码...
  • @BrianRoach,你能发布任何例子吗?
  • -1,因为问题本身是高度可搜索的,一旦提供了答案,找到一个例子就更简单了。请鼓励在提问之前先进行研究,并将每个答案作为提示,以帮助进行更多搜索。

标签: php python ruby


【解决方案1】:

试试这个:https://developers.google.com/custom-search/v1/overview。这是他们的自定义搜索 API。尽量使用公司提供的 API,而不是抓取他们的网页。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2013-01-30
  • 2020-03-19
  • 2010-12-05
  • 1970-01-01
  • 2020-06-19
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多