我可以使用 NOINDEX 元标记存储页面吗？

Question

我正在做一个网络爬虫，现在我正在尝试关注 robots.txt 和元标记 NOINDEX 和 NOFOLLOW。

NOFOLLOW 说我不要点击页面中的链接，而是 NOINDEX?
我知道是不索引搜索的页面，但我不会做任何搜索，只将页面存储在数据库中。

如果我将NOINDEX 存储在数据库中，或者这仅适用于搜索，我会不尊重NOINDEX 标签？

Answer 1

没有特别的理由不存储它。只要您没有将其编入索引并在搜索结果中返回它。除非您将其作为搜索结果返回，否则您并没有不尊重 NOINDEX 的含义。