放置 robots.txt 后，Google 何时会停止显示网站页面？答案

【问题标题】：When will Google stop showing a site's page after a robots.txt has been placed in it?放置 robots.txt 后，Google 何时会停止显示网站页面？
【发布时间】：2015-11-06 20:35:46
【问题描述】：

Google 将 www.example.com/myPage 显示为搜索结果。

我不希望这个/myPage 被谷歌索引，所以在页面中放置了一个robots.txt。

需要多长时间才能停止在 Google 中显示？
我知道人们仍然可以访问它，如果他们有 URL，但我的目的只是将它从谷歌的搜索结果中删除。

我对 SEO 的了解很少，我觉得答案可能会因网站流量和其他 SEO 相关因素而异，但一般来说，这需要多长时间？

【问题讨论】：

robots.txt 将停止抓取，而不是索引。查看网站管理员工具中的删除网址。或者使用 noindex 标签。
@user29671 这是不正确的。 robots.txt 足以防止索引。但是，当页面先前被编入索引时，Google 需要时间做出反应。在这种情况下，耐心为王。
@AlexisWilke 你错了。您可以在此处了解 robots.txt support.google.com/webmasters/answer/6062608?hl=en“您不应该使用 robots.txt 作为在 Google 搜索结果中隐藏您的网页的手段。这是因为，如果其他网页指向您的网页并带有描述性文字，您的网页可能在不访问页面的情况下仍会被索引。"
@user29671 好吧！我完蛋了！我的许多公共页面已经没有被索引，如果谷歌只是凭直觉索引页面......那个页面可能会被完全废话所覆盖。因此，如果 robots.txt 阻止访问并因此验证该页面首先值得编入索引，他们确实会这样做，我会感到惊讶。
观看此视频，它解释得很好youtube.com/watch?v=KBdEwpRQRD0“搜索结果中未抓取的网址”

标签： indexing seo web-crawler robots.txt

【解决方案1】：

抓取基于许多因素，例如 PageRank、页面链接以及抓取限制（例如 URL 中的参数数量）。许多因素都会影响各个网站的抓取频率。

抓取过程是算法的；计算机程序确定要抓取的站点、频率以及从每个站点获取的页面数量。他们不接受付款以更频繁地抓取网站。有关维护对爬虫友好的网站的提示，请访问网站站长指南。

我建议您使用 google 网站管理员工具进行 SEO，这将帮助您了解当 Google 上次抓取您的网站时，还有许多 SEO 选项可以帮助您更好地索引您的网站。网站管理员还有一个选项可以让 Google 再次抓取您的网站，告诉 Google 机器人在您网站上的内容发生变化时重新抓取您的网站。

This 链接可能会帮助您更好地理解。要了解网站管理员设置和功能的概述，请访问this 链接

【讨论】：

所以你的答案或多或少是“我们不知道”？我认为一种方法是查看 robots.txt 文件何时再次加载。此时，机器人拥有新信息，并且可以在短时间内“轻松”从其索引中删除某些页面。然而，这也不是即时的，但我想从那时起它会相当快。
robots,txt 不是从索引中删除页面的工具。将页面添加到 robots,txt 是不抓取的指令。这与不索引的指令不同。在这里了解它>support.google.com/webmasters/answer/6062608?hl=en