【问题标题】:Scrape data from new site by following link通过以下链接从新站点刮取数据
【发布时间】:2020-10-11 22:19:45
【问题描述】:

我想知道是否有任何示例或建议的解决方案可以使用 BeautifulSoup 来抓取网站上的数据,这些数据可以通过单击主页上的超链接来访问。

非常感谢!!

【问题讨论】:

  • 欢迎来到 Stack Overflow!分享您的研究对每个人都有帮助。告诉我们您尝试了什么以及为什么它不能满足您的需求。这表明您已经花时间尝试帮助自己,它使我们免于重复明显的答案,最重要的是它可以帮助您获得更具体和相关的答案!另见:How to Ask

标签: python web-scraping beautifulsoup hyperlink jupyter-notebook


【解决方案1】:

当然。您可以检查元素以获取链接然后抓取它吗?这也可以通过编程方式完成。

【讨论】:

  • 我运行了一个循环并获得了主网页上的所有超链接,存储在一个链接中,但我无法将它们传递给 requests.get() 函数,因为它需要我传递一个字符串 (我不知道为什么,因为我列表中的元素都是字符串)
  • 网址没有存储为字符串?只需使用str(thing_to_string) 进行投射
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-05-19
  • 1970-01-01
  • 2021-08-17
相关资源
最近更新 更多