如何告诉 Google 不要抓取一组网址

Question

如何阻止 google 抓取我的应用程序中的某些 url？

例如：我希望谷歌停止抓取所有以http://www.myhost-test.com/开头的网址

我应该在我的 robots.txt 中添加什么？

Answer 1

可以直接在这里找到答案：

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

但您似乎添加了“禁止”和您的网址。