【发布时间】:2022-01-08 11:24:46
【问题描述】:
我正在使用 PHP 制作一个 SEO 项目,我需要在其中抓取网站的每个页面/目录。但为此,我必须知道或列出该网站的所有目录。可能吗? 我们可以用 PHP 做吗?
【问题讨论】:
标签: php
我正在使用 PHP 制作一个 SEO 项目,我需要在其中抓取网站的每个页面/目录。但为此,我必须知道或列出该网站的所有目录。可能吗? 我们可以用 PHP 做吗?
【问题讨论】:
标签: php
没有。 HTTP 无法让客户端(无论使用何种编程语言编写)请求目录列表。
这就是搜索引擎 crawl 链接并使用 sitemaps 的原因。
PHP 程序可以检查运行它的计算机的文件系统的目录结构,但即便如此,在一般情况下也不会给您提供一个很好的视图,因为大多数网站不仅仅是一堆提供的文件通过将 URL 直接映射到文件系统(例如,the Front Controller design pattern 很常见)。
【讨论】: