【发布时间】：2013-12-10 21:12:04
【问题描述】：
我想确保我的 robots.txt 文件设置正确，以禁止某个特定搜索引擎将网站编入索引：
User-agent: msnbot-media
Disallow: /
User-agent: *
Disallow:
这看起来好吗？
我想确保我的订单没有搞砸
我想禁止/禁止它们的原因是因为 msnbot 正在索引我们服务器上不存在且从未存在的一堆文件。结果是创建了大量的日志文件。
【问题讨论】：
-
互联网上有robot.txt检查器。这是一个frobee.com/robots-txt-check
-
这属于serverfault.com，在那里回答了服务器管理问题。 StackOverflow 用于处理软件开发和代码的编程问题。