如何解决抓取问题

【问题标题】：How to fix the Crawl Issue如何解决抓取问题
【发布时间】：2015-04-22 06:19:16
【问题描述】：

当我在以下链接上的网站爬虫和 XML 站点地图生成器工具上测试我的网站时，我发现了外部错误 408： http://tools.seochat.com/tools/online-crawl-google-sitemap-generator/ 我的网站名称如：www.MyWebsite.com
在此错误状态下，它向我显示创建的链接，如 www.MyWebsite.comhttp/ 导致错误。我不明白这个链接是如何创建的。它是一个 Asp.net 网站，其中也有一个 wordpress 博客。 谁能帮我弄清楚它的解决方案吗？

非常感谢。

【问题讨论】：

    标签： asp.net wordpress dns seo web-crawler


    【解决方案1】：

    外部 408 错误通常是由您的网站超时引起的。您知道任何可能导致您的网站超时的原因吗？还要确保 Robot.txt 文件中没有对爬虫的限制。

    【讨论】：

    • @Philip 我认为网络错误导致超时。 DNS 服务器可能无法理解链接“www.MyWebsite.comhttp/”，这就是它超时的原因。我仍然无法理解这种类型的链接是从哪里创建的……你知道吗？在 robots.txt 文件中，我有以下内容：“用户代理：* 禁止：/faq.aspx 禁止：/contactUs.aspx 站点地图：MyWebsite.com/sitemap.xml”谢谢。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-11-15
    • 2011-01-04
    • 2012-03-22
    • 2021-12-22
    • 2017-10-04
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode