【问题标题】:In python2.7, why urllib2 cant read the whole pagepython2.7中,为什么urllib2不能读取整个页面
【发布时间】:2025-12-06 23:30:01
【问题描述】:

我试图获取用户的关注者姓名。

我发现程序只读取了网格中的前 12 个用户,而完全忽略了其余的:

【问题讨论】:

  • 是否所有的 HTML 都是可见的?还是其中一些是通过用户输入动态附加到 DOM 的?
  • 您将永远无法使用三行代码抓取 Pinterest、Facebook、Twitter 或 Google 等网站(一旦您到达那里就会被禁止)。相反,看看它的API

标签: python urllib2


【解决方案1】:

我检查了该链接,只有在您向下滚动页面时才会加载关注者...您需要使用 urllib 以外的其他工具来抓取所有数据。也许试试这个:https://github.com/jmcarp/robobrowser

【讨论】: