如何请求某些页面元素不被索引

Question

基本上我想指定一个被搜索引擎忽略的元素。例如，如果我从学术角度引用色情内容，我不希望 Google 将我的网站列在色情搜索下，而是希望它为页面的其余部分编制索引。

这可能吗？我确信我遇到了一种将元数据包含到一个人的 html 中来实现这一点的方法。

我试图在网上找到这个，但没有成功。 我无法理解this page，因为我不知道是否因为它是一个草案规范，它不会被抓取机器人识别。

Answer 1

使用您网站根目录中的 robots.txt 文件。

User-agent: *
Disallow: /myreference_dir/
Disallow: /myreference_dir/myarticle.html

Wikipedia