是否有任何 python 库来抓取搜索引擎（S）结果？答案

【问题标题】：Is there any python lib to scrape search engine(S) results?是否有任何 python 库来抓取搜索引擎（S）结果？
【发布时间】：2011-03-23 23:34:47
【问题描述】：

我正在寻找一个 python 库来从搜索引擎（google、yahoo、bing 等）中抓取结果。

有人知道一个用于多个搜索引擎吗？

【问题讨论】：

【解决方案1】：

Scrapy 是一个非常酷的抓取框架，但您将拥有代码/配置它以适用于您想要的网站。

【讨论】：

【解决方案2】：

编写它们并不难。我通常只使用php。查看 curl 以检索页面，然后查看 dom 对象和 dom xpath。您可以使用 xpath 选择所需的结果部分。

如果你安装了 firebug 和 firexpath，Xpath 就很简单了。我现在正在做一个位置检查器。相同的想法，但它根据关键字返回域的位置。

【讨论】：

【解决方案3】：

这里的所有答案都已弃用，如果您愿意，可以使用标准的 Google API，您可以在 24 小时内免费发出 1000 个请求。

你还能尝试什么：

但您最终会被阻止，因此最好使用 Google 支持的 API 或任何其他付费 API。

【讨论】：

【解决方案4】：

scraper，你可以刮bing，google，baida，yahoo.check link

【讨论】：