我的内核卡在处理简单代码（网络抓取）答案

【问题标题】：My kernel is stuck processing simple code (web-scraping)我的内核卡在处理简单代码（网络抓取）
【发布时间】：2021-04-08 23:15:17
【问题描述】：

我正在尝试使用 beautifulsoup 进行一些非常简单的网络抓取，并且我正在使用 requests.get 命令从网站获取 HTML 数据。但是，在这个给定的网站上，我的内核似乎无法处理该请求，并且我的内核卡住了。有没有人遇到过这种情况并找到了解决方案？

我只是在尝试以下方法：

r = requests.get('http://www.nasdaqomxnordic.com/etp/leverage-certifikat/info?Instrument=CSE192562')

【问题讨论】：

内核卡住是什么意思？，你能发布错误吗？

标签： python web-scraping beautifulsoup python-requests

【解决方案1】：

问题是，这个网站需要加载一些headers，你可以在请求中传入

作为

>>>requests.get('http://www.nasdaqomxnordic.com/etp/leverage-certifikat/info?Instrument=CSE192562', headers={"User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36"})
<Response [200]>

【讨论】：