爬取网站和动态网址答案

【问题标题】：Crawling websites and dynamic urls爬取网站和动态网址
【发布时间】：2015-04-06 20:40:26
【问题描述】：

搜索引擎机器人会抓取我动态生成的网址吗？我的意思是 php 根据 url 中的 GET 变量生成的 html 页面。链接如下所示：

http://www.mywebsite.com/view.php?name=something
http://www.mywebsite.com/view.php?name=somethingelse
http://www.mywebsite.com/view.php?name=something

我尝试使用此处找到的测试爬虫来爬取我的网站：http://robhammond.co/tools/seo-crawler，但它只访问我的查看页面一次，标题中只有一个变量。

我网站上的大部分内容都是由数据库中的这些 GET 变量生成的，所以我真的希望搜索引擎能够抓取这些页面。

【问题讨论】：

我投票结束这个问题作为题外话，因为纯 SEO 问题与编程无关。它可能是Webmasters 的主题。

标签： php web seo web-crawler

【解决方案1】：

是的，搜索引擎会抓取这些页面，假设他们可以找到它们。最好的办法是简单地在您的网站上创建指向这些页面的链接，特别是可访问的，或者至少可以从主页遍历。

【讨论】：

【解决方案2】：

有些搜索引擎会，有些则不会。 Google for one 确实包含动态生成的页面：https://support.google.com/webmasters/answer/35769?hl=en

请务必检查您的 robots.txt 文件，以确保您不希望抓取工具看到的文件被阻止，并且您希望看到的文件 em> 想要索引没有被阻止。

此外，请确保您希望编入索引的所有页面都通过其他页面链接，您拥有站点地图，或者将各个 URL 提交给您希望将您的网站编入索引的搜索引擎。

【讨论】：