每篇维基百科文章的受欢迎程度

Question

我想在我的数据库中存储所有 en.wikipedia 文章的列表。对于每篇文章，我想存储 pageid、标题和流行度。我曾考虑使用（上个月的）观看次数作为流行度的衡量标准，但如果这不可能，我可以想象去做其他事情（也许使用修订次数）。我知道http://dumps.wikimedia.org/enwiki/latest/ 并且我可以从那里获得完整的文章列表（当前计数 36508337）。但是，我找不到一个聪明的方法来获取每篇文章的观看次数。

// 更新、编辑、... 建议的副本对我没有帮助，因为 a) 我正在寻找一个受欢迎程度的衡量标准。其他问题的答案只是表明无法获取页面的观察者数量，这对我来说很好。 b) 那里没有给出每个页面的页面浏览量（或任何其他指标）的答案。

Answer 1

好的，我终于完成了。这是我所做的：

我找到了http://dumps.wikimedia.org/other/pagecounts-ez/，它提供每月的页面浏览量。这似乎很有希望，但他们没有提到 pageid，所以我正在做的是从http://dumps.wikimedia.org/enwiki/latest/ 获取所有文章的列表，创建一个映射名称-> pageid，然后解析 pagecount 转储。这大约需要 30 分钟，以下是一些统计数据：

1. 页数文件中 68% 的文章在最新转储中不存在。这可能是由于一些用户链接，例如 Misfits_(TV_series) 而其他链接到 Misfits_(tv_series) 甚至是 Misfits_%28TV_series%29 之类的东西......我没有理会这些，因为我的程序已经花费了足够长的时间运行。

2. 前 3 个页面是：

   2.1。头版浏览量为 6.39 亿次（上个月）

   2.2。恶意软件的浏览量为 850 万次

   2.3。 Falcon 9 v1.1 浏览量达 470 万次（酷！）

3. 我为具有一定查看次数的页面数做了一个直方图，这里是：

4. 我还绘制了当我忽略低于特定查看次数的所有文章时我必须处理的页数。这里是：