【发布时间】：2022-08-04 20:18:17
【问题描述】：
我一直在使用 ahrefs 来爬取我拥有的 Shopify 网站，但它一直在爬取例如国际 \".com/en-au\" 的部分。有谁知道如何防止它这样做，所以我可以让它爬取 \".com/\" 和内部页面。这只是因为我在免费计划中并且爬网一直在用完。谢谢
-
我从未听说过“Hrefs”。我听说过“ahrefs”。您能否提供您正在使用的工具的链接？
-
如果您不希望像 google 或 ahrefs 这样的爬虫抓取特定页面，那么您应该考虑修改您的
robots.txt文件。 -
非常感谢！抱歉，是的，“Hrefs”是一个错字！
标签： web-crawler