如何防止蜘蛛/搜索引擎关注“报告为攻击性内容”链接

Question

我有一个 Rails 应用程序。在我的 cmets 部分，我在网站的某些（文章）页面上报告了攻击性内容的链接。我想通过搜索引擎获得文章而不是特定链接report as offensive content。

所以，简而言之，我的问题是 - 如何防止蜘蛛/搜索引擎跟踪我网站的“报告为攻击性内容”链接？

Answer 1

您可以使用robots.txt 文件指定哪些链接不让网络爬虫爬取。

在此处了解更多信息：

http://www.robotstxt.org/

这是一个例子。在您的应用程序的最顶层目录中创建一个robots.txt，以便您的 domain.com/robots.txt 可以访问它。

User-agent: *
Disallow: /offensive

这表示对于每个用户代理，请忽略 /offensive url。

Answer 2

我找到了一个答案

优点：- 很简单。就一行

<a href="mypage.html" rel="nofollow" />

但缺点：-

我们的测试表明，某些搜索引擎会抓取和索引 nofollow 链接。 nofollow 标签可能会降低链接提供的排名值，但它不能可靠地用于阻止搜索引擎跟踪链接。