【问题标题】:Crawler code run successfully locally in PyCharm, but have error in Notebook爬虫代码在 PyCharm 本地成功运行,但在 Notebook 中出现错误
【发布时间】:2020-01-04 07:23:48
【问题描述】:

刚开始学习爬虫,正在练习requests.get(),喜欢

requests.get(url, headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
    })

对于在本地Pycharm中成功运行的相同代码,如果我在Kaggle Notebook中运行,会出现如下错误信息。

错误信息:

HTTPConnectionPool(host='movie.douban.com', port=80): Max retries exceeded with url: /top250/ (Caused by NewConnectionError(': 无法建立新连接: [Errno -3] 临时失败在名称解析中',))

谁能告诉我这是为什么,以及如何解决它?非常感谢!

【问题讨论】:

  • 当你说你在Kaggle Notebook 运行它时,你的意思是你在同一台机器上运行它还是通过某种Web GUI 运行它?
  • 是的,它是通过免费的 GPU 笔记本实现的,例如:kaggle.com/notebooks。问题已修复 - 这是因为我们需要手动打开该笔记本中的“互联网连接”。谢谢!

标签: python web-crawler kaggle


【解决方案1】:

Kaggle Notebooks 不允许互联网连接,除非你激活它。

您必须登录并在右侧菜单中设置启用互联网。

这个过程在另一个问题kaggle kernels: urllib.request.urlopen not working for any url中描述

【讨论】:

    猜你喜欢
    • 2021-09-13
    • 1970-01-01
    • 2021-11-03
    • 2020-12-28
    • 2021-11-25
    • 2013-04-14
    • 2020-09-07
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多