Robots.txt 正在阻止来自谷歌的 wordpress 网站

Question

不知何故，一个虚拟 robots.txt 阻止了网站 http://www.domda.se 进行谷歌搜索。我不希望这种情况发生。

该网站是用 Wordpress 制作的，并在完整性设置中对搜索引擎开放（当然；）

我试过了：

• 关闭再打开隐私设置/搜索引擎许可。

• 关闭所有插件。

• 将完全允许的 robots.txt 添加到根目录。

• 使用机器人插件编写 robots.txt 中应包含的内容

• 将主题更改为 211 并再次返回

• 使用 ftp 重置插件文件夹

现在我想知道是否有人可以帮助我，因为我的 php 知识太低了，这让我脸红。我现在想的是通过查看functions.php来解决问题。

在 wp-includes/functions.php 中做代码的机器人说：

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Disallow: $path/wp-includes/\n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

也许该代码完全没问题。而我添加一个真正的 robots.txt 会否决虚拟的，但我真的不知道该怎么做。

希望有人能帮忙。

Answer 1

我认为你需要先看看开场白是否完全正确。

您可以直接在网络浏览器中查看您的 robots.txt。

如果你访问http://www.domda.se/robots.txt，你会得到

用户代理：*

禁止：/wpsystem/wp-admin/

不允许：/wpsystem/wp-includes/

这会阻止所有机器人访问 wpsystem 文件。

它并未阻止 Google 访问主站点。

但是，Google 搜索 site:http://www.domda.se 确实会弹出

由于此站点的 robots.txt，无法获得此结果的描述 - 了解更多

由于您进行了许多更改，您似乎曾经有一个阻止 Google 的 robots.txt，而现在您没有。

robots.txt 的全部意义在于它是供网络爬虫使用的信息。这些定期检查站点，并且比其他站点更频繁地检查某些站点。您的网站可能要过一段时间才会被 Google 的机器人重新访问，并且还要再过一段时间，您的网站才会出现在 Google 搜索中。

您应该使用 Google 网站管理员工具（它是免费的）来更清楚地了解这个主题并帮助 Google。