如何使用 Import.io 抓取多个页面答案

【问题标题】：How to scrape multiple pages with Import.io如何使用 Import.io 抓取多个页面
【发布时间】：2015-07-30 07:23:03
【问题描述】：

我正在尝试从站点 http://www.cityoflondon.gov.uk/events/ 抓取事件列表，但是当使用 import.io 抓取它时，我只能提取第一页。

如何一次提取所有页面？

【问题讨论】：

我在 Udemy 上找到了这门课程，它确实帮助我理解 Import.io，尤其是在第 3 课中，他详细解释了 Crawler。

【解决方案1】：

您可以使用此站点提取数据，使用爬虫或使用批量提取。上面的网站使用了一种非常简单的分页形式：

http://www.cityoflondon.gov.uk/events/Pages/default.aspx    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=13    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=49    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=25    
http://www.cityoflondon.gov.uk/events/Pages/default.aspx?start1=37

这是我为上述 URL 创建的数据集，其中应包含所有相关信息。

319aebad-88ea-4053-a649-2087011ce041

如果您对个别网站有其他疑问，请联系 support@import.io

谢谢！梅格

【讨论】：

乐于助人！如果您将来需要其他任何东西，请联系支持人员。