防止使用 htaccess 对 PDF 文件进行索引

Question

我在网站的不同文件夹中有大量 PDF 文件。我需要防止它们被 Google 使用 .htaccess 编入索引（因为 robots.txt 显然不会阻止在其他页面链接到文件时编入索引）。

但是，我尝试将以下内容添加到我的 .htaccess 文件中：

<Files ~ "\.pdf$">
Header append X-Robots-Tag "noindex, nofollow, noarchive, nosnippet"
</Files>

无济于事；谷歌搜索“site:mysite.com pdf”时，PDF 文件仍会显示，即使我已要求 Google 重新索引该网站。

我无法选择将文件托管在别处或使用登录系统保护它们；我真的很想简单地获取 htaccess 文件来完成这项工作。我错过了什么？

Answer 1

正如我在对另一个答案的评论中看到的那样，我明白 您正在寻找删除已由google 完成的索引文件/文件夹。如果您阻止任何人直接访问，您可以使用以下命令暂时禁止它。

首先，让我给你一个解决方法

之后我会告诉你你可以做什么，这需要更长的时间。

<Files "path/to/pdf/* ">  

    Order Allow,Deny
    Deny from all
    Require all denied
</Files>

这样，给定目录中的所有文件/文件夹将被禁止在 HTTP 方法中使用。这意味着您只能以编程方式访问它以发送附件或删除或其他内容，但用户将无法查看这些内容。

您可以在服务器端创建一个脚本，该脚本将在内部访问文件并使用解析而不是直接 URL 来显示文件。（假设数据现在很重要）。

示例

$contents = file_get_contents($filePath);
header('Content-Type: ' . mime_content_type($filePath));
header('Content-Length: ' . filesize($filePath));
echo $contents;

索引 vs 禁止（现在不需要）

防止索引基本上是防止这个文件夹/文件被谷歌机器人或搜索引擎机器人索引，任何直接访问的人仍然可以查看该文件。

在禁止的情况下，没有外部实体/用户/机器人能够看到/访问此文件/文件夹。

如果您最近禁止访问您的 pdf 文件夹，则在 Googlebot 再次访问您的网站并找到丢失的文件夹或您为该特定文件夹提及 noindex 之前，该文件夹可能仍然对 Google 可见。

您可以在https://support.google.com/webmasters/answer/48620?hl=en阅读更多关于爬虫率的信息

如果您仍希望删除这些内容，可以访问 Google 搜索控制台并提出相同要求。访问：https://www.google.com/webmasters/tools/googlebot-report?pli=1

Answer 2

只需将其粘贴到您的 htaccess 文件中，使用 set 而不是 append

<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>