<Web Scraping>元素在 HTML 中不可见？

Question

我正在尝试编写一个 python 网络爬虫，它需要一个潘多拉帐户并从中获取所有站点。

但是，这些电台不会立即全部显示出来，我需要单击“全部显示”按钮才能查看所有电台。而且，即使我点击全部显示后，源代码也保持不变！

我的问题是显示这些看似不可见的额外元素的 html 在哪里？

示例）

如果你去http://www.pandora.com/people/nenadbach#tbl_stations_table,all （#tbl_stations_table,all 使所有电台都显示出来；这是“显示所有”按钮带你去的地方）

查看源，The Girl From Ipanema Radio 之后的电台没有存储在直接源中

感谢您的帮助！

Answer 1

如果您从 Firebug（如果您使用 Firefox）或 Inspector（如果您使用 Safari 或 Chrome）查看源代码，则可以看到数据在那里。它很可能是通过 ajax (JavaScript) 引入的。

你要么需要一个理解 JavaScript 的爬虫，要么找到它的 http ajax 调用并自己调用它们。您可能正在寻找的电话是：

http://www.pandora.com/favorites/profile_tablerows_station.vm?webname=nenadbach&countRowsOnBrowser=10&countRowsNeeded=25

请注意，这很可能是使用 cookie 来检测您的身份以及要显示的列表。