子文件夹未被搜索引擎索引答案

【问题标题】：Sub-folders not being indexed by Search Engines子文件夹未被搜索引擎索引
【发布时间】：2014-11-20 09:10:25
【问题描述】：

今年年初，我注册了一个域并安装了 Joomla 和 Wordpress，以尝试不同的主题和功能。不到几天后，主域和子文件夹被谷歌索引如下：

大约两周前，我清理了所有东西并做了以下事情：

从那时起，只有主页 index.html 被谷歌索引，尽管它有指向“wiki”和“blog”的链接。 Wordpress 和 Dokuwiki 都有友好的 URL（感谢 .httacess）

如何让我的子文件夹被 Google 索引？注意：我没有子域。

更新 1：

网站：http://goo.gl/vVvyr9

【问题讨论】：

可能故障在 robots.txt 中？
查看robots.txt文件，看看页面源中是否有content="nofollow"之类的东西
我在当前设置中找不到任何 robots.txt....我也没有使用任何类似的 wordpress 插件。 joomla 文件夹中有一个，但在我清理后已从网站上删除
如果没有指向您网站的链接，您将很难知道。你检查了example.com/robots.txt 和example.com/portal/robots.txt？
@Howlin 谢谢...请更新 1 以获取网站链接...我刚刚再次检查...在任何文件夹或子文件夹中都没有 robots.txt。注意：子文件夹“portal”不再存在

【解决方案1】：

我列出了一些与您的问题相关的主题：

robots.txt

此文件指示搜索引擎爬虫不应索引哪些文件夹或文件。因此，请确保此处未列出您的子文件夹。更多信息：http://www.robotstxt.org/

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

nofollow & noindex

NoFollow 属性可以列在页眉或链接本身上。它告诉搜索引擎爬虫某些链接或整个页面不应该是索引。

<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>

<a href="signin.php" rel="nofollow">sign in</a>

站点地图

Sitemaps 是包含指向所有页面的位置链接的文件，使搜索引擎更容易索引它们。考虑在Google Webmaster Tools 中提交站点地图。

内容：

Google 为内容和网站管理员提供了一些很棒的 guidelines，请确保您尽可能地合规以最大限度地提高搜索可见性。

【讨论】：