MSN bot 将错误的参数附加到 URL答案

【问题标题】：MSN bot appending wrong parameters to URLsMSN bot 将错误的参数附加到 URL
【发布时间】：2011-03-15 12:37:43
【问题描述】：

在爬网时，MSN bot 会在其上附加一个字符串，从而导致爬网错误。

MSN 机器人附加的字符串 - "&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25"

MSN bot 生成的 URL 错误 - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25

这会阻止我网站上的 1000 个页面被 MSN 抓取，我该如何处理？

【问题讨论】：

【解决方案1】：

这是基本的 URL 操作，我在您的网站上没有看到任何棘手的问题（尽管 markup is full of errors），所以我怀疑这不是真正的 msnbot，而是一些伪装成 msnbot 的蹩脚的垃圾邮件/收割机。

【讨论】：