如何检索谷歌页面答案

【问题标题】：How to retrieve google pages如何检索谷歌页面
【发布时间】：2009-12-11 03:57:26
【问题描述】：

亲爱的，我现在正在使用网络工具

解析网页。

例如，我们可以解析 newyorktimes 主页，我们这样做：

在我们浏览器的地址栏中，它会很好地为我们解析。

但是，对于谷歌页面，它只是失败了。例如，如果我想解析谷歌新闻头版，比如：

我总是会收到 500 内部服务器错误。

我确定这与 google 网站有关，我想我们可能需要一些用于 google 的 API，有人知道如何为 google 页面解决这个问题吗？非常感谢。

【问题讨论】：

【解决方案1】：

根据 google.com robots.txt 文件，明确要求您不要抓取他们的内容。 Google 不为机器可读的搜索结果提供 API；他们希望通过小部件和嵌入策略来控制其内容的呈现。

【讨论】：