可查看页面上的 HTTP 标头 404答案

【问题标题】：HTTP Header 404 on a viewable page可查看页面上的 HTTP 标头 404
【发布时间】：2011-03-20 17:32:56
【问题描述】：

如果有人能帮我解决服务器问题，我将不胜感激。

我有一个提供 .php 页面的网站，当我说提供服务时，每个包含博客 sn-ps 的页面顶部都有一个 wordpress php inculde 标签。

这些页面以 .php 格式提供，它们在浏览器中呈现良好。但是，当您对它们进行爬网测试时，它们会显示 404？

我运行一个 Apache 服务器，我希望我已经正确设置。

任何想法将不胜感激。

提前感谢您的宝贵时间。

海丁

【问题讨论】：

【解决方案1】：

您是如何爬取页面的，请指定命令。

如果您使用 wget，请执行 wget -S http://sitename，以获取服务器标头。它可能有助于调试。

你有 http_proxy 环境变量设置吗？

【讨论】：