ASP.NET 获取网站的所有页面

Question

我想解析一些网站并获取当前域上所有页面的列表，例如：

sample.com/

sample.com/page1/

sample.com/page2.html

但我找不到示例，如何使用 C# 和 ASP.NET 构建此站点地图或树

我只找到了一个例子： http://www.codeproject.com/Articles/13486/A-Simple-Crawler-Using-C-Sockets

但我不明白，作者如何使用它

if(Directory.Exists(strUri) == true) { //some code DirectoryInfo dir = new DirectoryInfo(folderName); FileInfo[] fia = dir.GetFiles("*.txt"); }

当我使用此代码时，if 始终是false。当我只使用

GetFiles函数

我有例外：

不支持 URI 格式

谁有什么想法？

Answer 1

请记住，在 Web 环境中，您不能以这种方式读取文件，您需要使用

Server.MapPath(url)

要获取文件的物理地址，然后您可以执行您正在使用的循环。