我希望解析来自here 的表格内容。但是，该表继续分成多个页面。我的问题是我无法解析从page 2 开始的页面，因为url 地址没有变化。如何找到存储其他页面的url 地址？我正在使用lxml 和requests。
【问题讨论】：
selenium 来启动浏览器，这样您就可以让javascript 动态加载页面
标签： javascript python ajax web-scraping lxml
如果您打开 Chrome DevTools 并单击分页控件上的“2”，您将看到脚本请求获取页面“2”的日期：
POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2
使用表单数据：
__RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2
Rank:-1
Type:-1
Nature:-1
SubNature:-1
cmdAum:1
Period:1Year
ShortingOrder:DESC
hdHeaderId:1Year
您可以在页面上的元素中找到 __RequestVerificationToken 的值：
<input name="__RequestVerificationToken"...
请求的响应是纯 HTML。
我猜，如果你提出这样的请求，你会解析所有的日期。
希望，这会有所帮助。
【讨论】：