允许搜索引擎对文档进行索引，但只允许付费会员访问。可能的？答案

【问题标题】：Allow the search engines to index documents, but only allowed access to paid members. Possible?允许搜索引擎对文档进行索引，但只允许付费会员访问。可能的？
【发布时间】：2012-01-31 04:30:50
【问题描述】：

我正在创建一个网站，只有网站的付费会员才能使用管理员上传文档。但我想要的是搜索引擎抓取或索引文档，以便它出现在搜索引擎搜索结果中。文档包括 DOC、DOCX 和 PDF。

例如，我有一个包含以下文本的文档：“快速的棕色狐狸跳过了懒惰的狗”。现在有人谷歌的“棕狐”。假设我有排名，我希望结果出现在 Google 结果中。当用户点击它时，我希望用户登陆一个页面，而不是文档，其中有一个文本预览，其中包含成为成员以查看完整文档的链接。

我计划在上传文档时将页面上的文档预览保存到数据库中。所以它很容易看到和爬行。对于完整的文档，我只能允许抓取完整的文档。但我认为，如果我允许搜索引擎抓取，那么我也将授予用户访问权限。如果我使用 htaccess 来阻止直接访问文档，那么我也会关闭爬虫。

我也考虑过提取所有文档文本并将其放入数据库，但我在某处读到很难区分用户和蜘蛛，并且使用用户代理是一个坏主意，因为它很容易被欺骗.

所以我很困惑我应该如何去做。任何帮助将不胜感激。提前谢谢！

【问题讨论】：

标签： php seo web-crawler document

【解决方案1】：

不，不可能。任何用户都可以通过更改其 User-Agent 来伪装成搜索引擎。

您可以进行基于 IP 地址的限制或基于启发式的检测，但您可能会意外阻止爬虫。

也许您应该每天为用户提供一定数量的免费页面浏览量，或者考虑使用不同的获利方法。

【讨论】：

谢谢！免费的观点引起了我的注意。我会尝试这些方面的东西
如果用户从搜索引擎访问您的页面并期待他们在搜索引擎中找到的内容，如果该内容不再可用，他们肯定不会留在您的网站上，因为您已经完成了当天分配的页面浏览量。如果必须，请以这种方式保护您的内容，但我认为这对您来说不是一个可行的商业模式。

【解决方案2】：

最好的办法是允许对您的页面进行索引，包括相关内容 sn-ps，对公众可见。

不要试图通过向用户代理提供特定内容来欺骗搜索引擎。用户可以轻松解决这个问题，即使只是简单地使用搜索引擎功能进行缓存等等。专家交流因此而臭名昭著。这些花招不值得你花时间。

简而言之，对您的网页诚实。为所有人展示一些内容，如果必须的话，只允许拥有帐户的人访问完整内容。

【讨论】：

谢谢！这就是我已经计划好的，但现在我对此充满信心。