【问题标题】:Disallow group of folders using robots.txt禁止使用 robots.txt 的文件夹组
【发布时间】:2025-11-23 16:30:01
【问题描述】:

我需要在没有通知 robots.txt 的情况下禁止访问该文件夹。

就我而言,我有三个文件夹 /_private1/_private2/_private3

我需要知道如果我使用上述方法,我将保护我的文件夹免受 Google 和其他人的侵害。我该怎么做?

Disallow: /_*
Disallow: /_

【问题讨论】:

    标签: search-engine robots.txt


    【解决方案1】:

    禁止名称以下划线开头的任何目录或文件:

    User-agent: *
    Disallow: /_
    

    您应该知道,这并不能完全保证这些目录永远不会出现在任何搜索引擎上。它可以防止符合 robots.txt 的机器人(包括所有主要搜索引擎)抓取它们,但如果有人决定链接到它们,它们理论上仍然可以出现在搜索中。如果您确实需要将此信息保密,最佳做法是将其置于密码后面。

    【讨论】: