主流搜索引擎无法抓取 MVC 网站？答案

【问题标题】：MVC site is not crawlable by main stream search engines?主流搜索引擎无法抓取 MVC 网站？
【发布时间】：2011-06-23 13:21:52
【问题描述】：

它基于 MVC 3 + Razor，现在没有为站点创建 DNS，只有公共 IP。由于对 google 是否以及如何处理 IP 站点的蜘蛛缺乏了解，我们很头疼，发现我们无法在 google 中获得任何公共 IP 的搜索结果。有人坚持认为这是因为 MVC 3 无法被主流搜索引擎索引。坦率地说，这对我来说是个天大的笑话，谷歌怎么能处理 AJAX 网站但不能抓取 MVC 网站？我不敢相信。

现在我想解决并说服他们MVC 3与我们遇到的问题无关，并通过适当的方式解决这个问题。

我还发现，如果我们注册了公共 IP 站点，将来如果它指向 DNS，Google 会认为在 DNS 中爬取的相同内容的排名低于第一个来的站点 - 公共 IP。

顺便说一句，我尝试使用 Microsoft Search Server 来抓取我们的 MVC 站点，它运行良好。

有没有什么文章可以帮助我们，

使公共 IP 站点可在 google 中抓取。机器人可以帮助我们吗？
让团队相信 MVC 3 不是推动我们陷入困境的根本原因。

谢谢。

【问题讨论】：

标签： asp.net-mvc asp.net-mvc-3 seo web-crawler

【解决方案1】：

“有人坚持认为这是因为 MVC 3 无法被主流搜索引擎索引。坦率地说，这对我来说听起来是个天大的笑话……”

坦率地说，你是对的！这是一个天大的笑话！为确保 Google 抓取您的网站，您需要执行以下两项操作之一：

拥有来自其他流行网站的指向您网站的链接（即使它是公共 IP）。
或者
Tell Google to crawl your web site.

选项 #1 将导致您的网站最终被抓取（在某个未确定的时间点），选项 #2 将安排在不久的将来抓取您的网站。

MVC3 几乎与您的网站如何被抓取有关。假设您的 MVC3 项目中有一个静态 HTML 页面：

<html>
<head></head>
<body>
    Hello! This is my ENTIRE WEB SITE! And Google will see it the same way regardless if I have an MVC project or a static HTML page!
</body>
</html>

【讨论】：

感谢您的及时答复！我现在正在尝试这两种选择。希望我们能得到一些线索和结果来满足他们。
@Milla，请注意，您的网站可能需要一些时间才能被抓取和编入索引。因此，请给 Google 几天时间来抓取您的网站并将其编入索引，然后尝试搜索它。
是的，我明白，实际上，我记得我们的一个团队几天前尝试将 IP 站点添加到谷歌......但为什么它仍然不能......顺便说一句，我忘了说 IIS 日志表明它是由谷歌抓取的。但我们无法从 google 获取搜索结果。
@Milla 如果您正在搜索一个特定的搜索字词，并且希望确保 Google 已抓取您的网站，请在 google 中执行以下操作：search termsite:yourwebsite.com跨度>

【解决方案2】：

我还发现，如果我们注册了公共IP站点，将来如果是指向一个DNS，google会考虑在 DNS 中爬取的相同内容排名低于第一即将到来的站点 - 公共 IP。

这没有问题。时间到了，您可以使用HTTP 301 Moved Permanently 回复每个寻址 IP 的请求。将 Location 响应标头设置为您的新地址，Google 会识别出您已移动该网站。

因此，Google 会将所有收集的数据重新分配到新位置。然而，他们可能并且将会调整一些事情。但这就是谷歌推荐的方式...... (http://www.google.com/support/webmasters/bin/answer.py?answer=83105)

【讨论】：

【解决方案3】：

您好，我只是想根据自己的经验提供一些意见。在处理 Google Web Master Tools 中的 Google 爬虫（bot fetch）时，请确保主页（索引、默认或 mvc 主控制器，甚至全局 asax 和 basecontroller）在任何时候都不得返回 null价值观。这将使 google bot 返回错误而不是获取页面。

【讨论】：