一些搜索网站如何在没有真实内容的情况下点击 google 上的所有搜索组合

Question

我刚刚在谷歌上进行了“15lbs in kg”的转换搜索，第一次点击是http://www.trueknowledge.com/q/what_is_15_kg_in_lbs

然后，我可以将 15 更改为任何数字，包括小数，并且我总是获得真正的知识，因为第一次点击可以直接链接到他们的网站以转换该数字。

我可以想象，您可以通过自动链接到每个页面上的下一个数字来相当容易地构建这样的东西，而且他们似乎也通过提供“像您这样的问题”链接来做到这一点。对于这个例子来说，这很容易，但我见过很多其他情况，您搜索任意内容只是为了点击另一个搜索页面，该页面为该确切的搜索短语提供了他们自己的糟糕搜索结果。

这只是基于通过猜测短语生成链接以提供给谷歌爬虫还是它是如何完成的？

我对创建这些网站的克隆不感兴趣，我真的很讨厌它们。我只是好奇它是如何制作的，以及谷歌是否试图以某种方式阻止它。对于他们提供良好结果的转换，我不介意，但是当我进入另一个搜索页面时，这真的很烦人。

Answer 1

实际上，“我可以将 15 更改为任何数字”这不是真的。例如。现在，如果您搜索“15lbs in kg”，则会给出http://wiki.answers.com/Q/How_much_is_15_lbs_in_kg 作为链接之一。但是，如果您尝试“15.713lbs in kg”，您不会在列表中看到 http://wiki.answers.com/Q/How_much_is_15_713_lbs_in_kg 或类似名称。如果你搜索“15.71349lbs in kg”，你什么也得不到（除了谷歌转换器的输出）。正如您所提到的，它并不是不理解小数 - http://www.trueknowledge.com/q/15.1_kg_in_lbs 是搜索“15.1lbs in kg”时的第一个链接。

免责声明：我不知道这些网站是做什么的以及他们是如何做到的，这只是我的看法。

这些必须以某种方式从用户查询中生成。可能最具生成性的是http://www.trueknowledge.com/ 上的搜索栏。当用户在那里搜索时，该网站可以自动生成链接，然后谷歌可以找到。如果你转到网站上的一些链接，例如http://www.trueknowledge.com/recent-activity，你可以看到页面上有很多问题，每个问题都有一个与你发布的内容相似的链接。这是 Google 找到它们的方式之一。 “15lbs in kg”可能是一个非常常见的查询，因此它可能已经被问过一百万次并且出现在一些问题中。

另外请注意，有问题页面，例如http://www.trueknowledge.com/new-questions/100。如果您从那里抓取（相信它，Google 拥有快速抓取工具 :)），您每页可以获得 100 个问题。截至目前的最后一页是http://www.trueknowledge.com/new-questions/94000 - 请注意，每次爬网有 94000 个链接，这种情况可能非常频繁地发生在这种类型的网站上。

当然还有许多其他可能的技术：

• 有些网站会为您提供免费的工具栏来安装。您通过该工具栏执行的每个查询都在该网站的手中结束，
• 有些网站会自行抓取，就像 Google 一样，
• 您可以使用referrer（请参阅How does a website highlight search terms you used in the search engine?）来获取登陆您网站的用户执行的查询，
• 您提到的预生成是明确使用的 - 像 trueknowledge.com 这样的网站在推出之前必须拥有庞大的基础，他们可能通过预生成数据来增强基础，例如通过使用世界各地的字典或城镇列表。

当今互联网上的信息量如此之大，以至于生成像 trueknowledge.com 那样的链接可能并不难。这些人面临的困难部分在另一边 - 快速搜索并获得有意义的结果。