获取所有ios应用程序的全局列表[重复]

Question

我想对苹果应用商店做一些全球统计。一个瓶颈是至少获取所有当前活动应用程序的 ID（这 9 位数字）。有谁知道获取iOS应用商店中当前活动应用的所有ID的完整列表的方法。更好的是特定类别的所有ID（例如“教育”）。

我尝试了几种方法，但没有一个是可靠的。

http://iphoneapplicationlist.com/apps/ipad/ 有一个应用程序列表，但该列表在 2012 年 11 月停止。Apple 还在https://itunes.apple.com/us/genre/ios-education/id6017?mt=8 提供了一个搜索列表，但这个列表结果不完整。 （如果我将它与其他列表进行比较，则缺少 8000 多个应用程序，尤其是我自己的 :-)）。

所以我的问题是：如果自己可以做一些 php 和 javascript 编程，是否有一种获取所有应用程序的所有应用程序 ID 的好方法。

Answer 1

我找不到获取所有移动应用程序的方法，但 iTunes 站点地图文件似乎包含最近更新的应用程序列表。 （我不确定站点地图文件中包含哪些应用程序——一旦解决，我会更新这个答案。）

获取此列表：

1. 爬取https://itunes.apple.com/robots.txt。这是它的样子：

2. 抓取那些站点地图文件。它们引用了更多的站点地图文件，这些文件引用了更多的站点地图文件等。一些站点地图是 XML 格式，一些是 gzip 压缩的 XML 格式，还有一些是 JSON 格式。排除名称中包含 itunes_music 的任何站点地图，因为这些站点地图不包含应用程序。

   有大约 12,500 个站点地图感兴趣。以每秒 4 个站点地图的速度，您可以在一小时内下载站点地图。

3. 站点地图包含loc 元素和xhtml:link[href][rel=alternate] 元素。解析 XML，并获取这些值。

4. 解析每个 URL 以获取区域设置/国家/地区代码和 ID。

我以这种方式发现了 719,344 个 ID。