如何访问随机网站？ - Python

Question

如何生成随机但有效的网站链接，无论语言如何。实际上，它生成的网站语言越多样化越好。

我一直在使用其他人的网页上的脚本，我怎么能不依赖这些随机的站点转发脚本并自己制作？。我一直在这样做：

import webbrowser
from random import choice
random_page_generator = ['http://www.randomwebsite.com/cgi-bin/random.pl',
                         'http://www.uroulette.com/visit']
webbrowser.open(choice(random_page_generator), new=2)

Answer 1

其他答案建议构建大型 URL 数据库，我过去使用过另一种方法并在此处记录：

http://41j.com/blog/2011/10/find-a-random-webserver-using-libcurl/

创建一个随机 IP 地址，然后尝试从该地址的 80 端口抓取一个站点。这种方法对于现代虚拟托管站点并不完美，当然只能获取首页，但它可以是获取随机站点的一种简单有效的方法。上面链接的代码是C，但它应该可以很容易地从python调用，或者该方法可以很容易地适应python。

Answer 2

我一直是在别人的网页上使用别人的脚本来做的，我怎么能不依赖这些随机的站点转发脚本并自己制作呢？

有两种方法可以做到这一点：

• 创建您自己的spider，收集大量网站，然后从中挑选。
• 访问一些预先存在的网站集合，并从该集合中进行选择。例如，DMOZ/ODP 让您download their entire database；* Google 曾经有一个自定义的随机站点 URL；** 等等。

没有其他方法可以解决（除了随机生成和测试任意字符的有效字符串，这将是一个非常糟糕的主意）。

为自己构建一个网络蜘蛛可能是一个有趣的项目。像Scrapy 这样的链接驱动的抓取库可以为您完成很多繁重的工作，让您编写自己关心的部分。

---

* 请注意，与 Google 或 Yahoo 之类的数据库相比，ODP 是一个非常小的数据库，因为它主要是人工编辑的重要网站集合，而不是自动生成的任何人在网络上发布的所有内容的集合。

** Google 的随机网站功能是由受欢迎程度和您自己的搜索历史共同推动的。但是，通过向它提供一个空的搜索历史记录，您可以删除等式的这一部分。不管怎样，我认为它已经不存在了。

Answer 3

概念解释，而不是代码解释。

他们的脚本可能非常庞大和全面。如果它是一个随机的网站选择器，他们有一个巨大的，巨大的网站列表逐行，而脚本只会选择一个。如果它是一个随机 URLgenerator，它可能会生成一串字母（例如“asljasldjkns”），将其插入http:// 和.com 之间，尝试查看它是否是一个有效的 URL，然后如果是，则向您发送该 URL。

最简单的设计自己的方法可能是要求看看他们的，尽管我不确定你会在那里取得成功。

作为程序员最好的方法就是简单地破译 URL 语言的本质。练习构建字符串并对其进行测试，或者自己编译一个 巨大 的数据库。

作为一种混合，您可以尝试构建两个东西。一个脚本，当您离开时，它会搜索/测试 URL 并将它们添加到数据库中。另一个脚本从该数据库中随机选择一行发送给您。第一个跑得越久，第二个就越好。

编辑：做 Abarnert 关于蜘蛛的事情，这比我的回答要好得多。