如何忽略我网站中的某些链接？

Question

我正在编写一个小型 php 脚本，并且我有一些这样的链接

*-phones-*.html

* 是我想禁止谷歌使用 robots.txt 索引这种链接的变量，有可能吗？

Answer 1

你没有拒绝任何事情。 robots.txt 只是为网络爬虫提供的一套指南，他们可以选择是否遵循它们。

粗鲁的爬虫当然应该被 IP 封禁。但是您无法避免网络爬虫可能会遇到该页面。无论如何，您可以将其添加到您的 robots.txt 中，Google 的网络爬虫可能会服从。