阻止搜索引擎索引我的 api答案

【问题标题】：Prevent search engines from indexing my api阻止搜索引擎索引我的 api
【发布时间】：2019-04-01 21:17:25
【问题描述】：

我在 api.website.com 有我的 api，不需要身份验证。

我正在寻找一种方法来禁止 google 索引我的 api。

有办法吗？

我的机器人已经在 api.website.com/robots.txt 但这只会阻止谷歌抓取它。

User-agent: *
Disallow: /

通常的方法是删除 Disallow 并添加一个 noindex 元标记，但它是一个 API，因此没有元标记或任何东西。

还有其他方法吗？

【问题讨论】：

您可能更有机会在webmasters.stackexchange.com 上获得帮助。参见例如How to prevent a PDF file from being indexed by search engines? 或 Why do Google search results include pages disallowed in robots.txt?。虽然可能会在堆栈溢出时看到htaccess header for specific domain?。

标签： indexing seo meta google-console-developer

【解决方案1】：

似乎有一种方法可以在 api 调用上添加 noindex。

请看这里https://webmasters.stackexchange.com/questions/24569/why-do-google-search-results-include-pages-disallowed-in-robots-txt/24571#24571

在这两个页面上推荐的解决方案是向您不希望编入索引的页面添加一个 noindex 元标记。（X-Robots-Tag HTTP 标头也应该适用于非 HTML 页面。不过，我不确定它是否适用于重定向。）矛盾的是，这意味着您必须允许 Googlebot 抓取这些页面（或者通过删除它们完全来自 robots.txt，或者通过为 Googlebot 添加单独的、更宽松的规则集），否则它一开始就看不到元标记。

【讨论】：

【解决方案2】：

很奇怪，Google 忽略了您的 /robots.txt 文件。尝试将 index.html 文件放到 Web 根目录中，并在网页的 <head>...</head> 标记之间添加以下内容。

<meta name="robots" content="noindex, nofollow">

【讨论】：

我不认为 OP 是说 Google 忽略了 robots.txt。 OP 是说 robots.txt 可以防止抓取，但它不会阻止索引（这是正确的）。