【发布时间】：2009-09-21 07:47:50
【问题描述】：
机器人在 iframe 中爬行是否常见？他们是怎么做到的？他们是立即将其编入索引，还是只是“记住”该 URL，有时稍后再继续？
【问题讨论】：
【发布时间】：2009-09-21 07:47:50
【问题描述】：
如果在编入索引（即已抓取）HTML/XHTML 页面的某处有 href/src 链接，它将被编入索引。页面是否通过 iFrame 呈现给用户无关紧要。
【讨论】：
正如其他人指出的那样，iframe 很容易被抓取。不过，我想澄清的是，您的页面 不会因 iframed 内容而获得“信用”。因此，您的页面实际上不会被索引为包含内容 - 它只是爬虫索引 iframed 页面并直接链接到它的垫脚石。这对于了解 iframe 是否指向不在您的域中的内容非常重要，并且您希望利用 iframe 内容来提高您自己页面的可见性。从您的问题中不确定这是否是您的意图。
【讨论】：
-
是的，我知道，但很好。 SEO目前实际上并不重要。我们正在比较外页和内页的统计数据，我们想知道是否应该归咎于机器人。
我会这么想；我知道googlebot可以。
如果有疑问，您可以使用 robots.txt 和页脚中的一些额外链接来控制。例如，查看此页面底部的链接。
【讨论】：
-
最后一点毫无意义。你在说什么？
-
如果网站的一部分仅通过 iframe 链接，您可以在页面页脚之类的地方添加附加链接。另一方面，如果您不希望某个链接被编入索引，则使用 robots.txt 文件将其屏蔽。
一个 iframe 只包含一个 HTML 内容，就像任何其他 HTML 页面一样。
所以是的，引擎机器人会抓取它们。
您可能希望他们抓取它们，因为这可能就是您的内容所在的位置。
但是，您可能不希望用户直接在框架中访问您的网站。
因此您可能想要检测框架的缺失。因此，您将使用 javascript 来添加它们不存在的内容。
<script type="text/javascript">
if (top.frames.length==’0′) {
window.location.replace("Appropriate url with frames");
}
</script>
作为最后的评论，我建议您不要使用框架。强烈不推荐它们，因为它们绝对违反任何可访问性政策。
他们使您的网站在其主页中看不到任何内容。所以这显然对你的排名没有帮助。
如果你可以避免它们，就这样做（而且你总是可以）。
【讨论】：
-
我认为这不是真的。 iframe 不包含任何内容 (HTML)。它们就像机器人的链接。你可能有点误会了，你说的是框架，我说的是 iframe，但它们大多是相同的。无论如何，我们没有使用框架进行布局，它有点复杂，我们有充分的理由使用它们，相信我:-)