我应该将实际的 .aspx 文件/路径放在 Robots.txt 或路由中吗？

Question

我正在开发一个 asp.net (4.0) 网络表单应用程序，并且正在为我的所有网址使用路由。 我不确定是否应该像这样在 robots.txt 中输入条目：

Disallow: /forum/editpost.aspx

（实际路径/文件名）

或者像这样：

Disallow: /forum/edit-post

我假设是后者，因为这是我所有页面在网络上的引用方式，但我认为检查起来更安全。

Answer 1

假设您从不通过物理路径引用页面并且不想通过物理路径引用页面（因为您正在使用路由），您不需要将物理页面放入 robots 文件中，因为爬虫会永远找不到他们。

因此，您只需要禁止路由路径。如果您担心自己不小心在网站某处的链接中使用了物理路径，我想您可以为了安全起见禁止物理页面（希望一次性使用）。

Answer 2

使用任何 Googlebot 等。将在他们索引页面时看到。 Robots.txt 不会在您的服务器端执行、解析或处理。