从搜索结果中隐藏上传的文件？答案

【问题标题】：Hide uploaded files from search results?从搜索结果中隐藏上传的文件？
【发布时间】：2012-09-05 02:40:12
【问题描述】：

运行 WordPress 的客户请求在其网站上开发以下功能。

他们希望在搜索结果中包含/排除通过 WordPress 媒体上传器上传的特定文件（通常是 PDF）。

我猜这可以使用 robots.txt 文件以某种方式完成，但我不知道从哪里开始。

有什么建议/想法吗？

【问题讨论】：

这是一个现有的客户。但是，是的，优秀的理论。坚持你所知道的，不要从事任何可能证明具有挑战性的工作。这是自我发展和提高技能的必经之路。
从事网络开发工作但不知道什么是 robots.txt，它是如何工作的，并且在您提出问题之前没有与谷歌进行任何研究，这表明您做错了工作。甚至没有接近挑战。你想证明你不是懒惰的“给我代码”的家伙 - 开始研究并向我们展示你甚至试图解决你的问题。除了在这里提问之外，您目前的努力是什么？
谁说我看不懂 robots.txt 文件？我面临的问题是在 WordPress 媒体上传器中设置一个选项，以在搜索结果中包含/排除上传的文件。过去 30 分钟我一直在谷歌搜索（未成功），这就是我在这里的原因。
"谁说我不懂 robots.txt 文件？" “我猜测这可以以某种方式使用 robots.txt 文件完成，但我不知道从哪里开始。”不管怎样，我已经说出了我的想法。让我们看看是否有人可以提供帮助
我不是在寻找要复制/粘贴的代码。我只是在寻找有关如何解决该问题的一般方向和/或想法。

标签： php wordpress robots.txt

【解决方案1】：

来自 Google 网站管理员开发者网站 https://developers.google.com/webmasters/control-crawl-index/docs/faq

robots.txt 文件中的更改会影响我的搜索结果需要多长时间？

首先，必须刷新robots.txt文件的缓存（我们一般缓存内容最多一天）。即使在发现更改之后，抓取和索引也是一个复杂的过程，有时对于单个 URL 可能需要相当长的时间，因此不可能给出准确的时间表。此外，请记住，即使您的 robots.txt 文件不允许访问某个网址，该网址仍可能在搜索结果中可见，尽管我们无法抓取该网址。如果您希望加快从 Google 中删除已屏蔽的网页，请通过 Google 网站管理员工具提交删除请求。

以下是来自 Google https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt 的 robots.txt 规范

如果您的文件语法正确，那么最好的答案就是等到 Google 更新您的新机器人文件。

【讨论】：

【解决方案2】：

我不确定如何在 WordPress 范围内执行此操作，但如果您希望排除特定文件类型，我建议您使用 X-Robots-Tag HTTP Header。对于通常需要使用 robots 标签的 PDF 和基于非 HTML 的文件类型，它特别有用。

您可以为所有特定的 FileType 请求添加标头，然后将值设置为 NOINDEX。这将阻止 PDF 包含在搜索结果中。

如果 URL 以文件类型或文件类型特有的内容结尾，您可以使用 robots.txt 文件。示例：Disallow: /*.pdf$ ...但我知道 URL 并非总是如此。

https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

【讨论】：