如果我使用 Apache 2，我应该如何使用 HTTP/0.9 处理蜘蛛/网络爬虫？答案

【问题标题】：How should I handle Spiders/Web Crawlers using HTTP/0.9 if I am using Apache 2?如果我使用 Apache 2，我应该如何使用 HTTP/0.9 处理蜘蛛/网络爬虫？
【发布时间】：2012-04-06 20:43:48
【问题描述】：

我使用 Apache 2 提供内容，而 Bing Bot 使用 HTTP/0.9 从我的服务器请求页面，该服务器不提供直接 IP 主机。

如果我不知道他们想要哪个主机，但仍需要他们为我的网站编制索引，我应该如何处理蜘蛛？

我目前返回 400 Bad Request，但让我担心我的网站不会被 Bing 或 Yahoo 编入索引。

谢谢

【问题讨论】：

标签： seo web-crawler apache2.2

【解决方案1】：

[已解决]：我一直在返回 400 Bad Request 并且 Bing/Yahoo 已经接受了提示。

【讨论】：