在 scrapy shell 中呈现 JS 内容的 FormRequest

Question

我正在尝试使用以下表单数据从 page 中抓取内容：

我需要将County: 设置为乔治王子的并将DateOfFilingFrom 设置为01-01-2000，所以我执行以下操作：

% scrapy shell
In [1]: from scrapy.http import FormRequest                                                                                                                                          

In [2]: request = FormRequest(url='https://registers.maryland.gov/RowNetWeb/Estates/frmEstateSearch2.aspx', formdata={'DateOfFilingFrom': '01-01-2000', 'County:': "Prince George's"})                             

In [3]: response                                                                                                                                                                     

In [4]:    

但它不起作用（响应为无）另外，下一页看起来像下面动态加载的，我需要知道如何能够通过以下检查访问下面显示的每个链接（就我知道这可以使用Splash 完成，但是，我不确定如何在FormRequest 中组合SplashRequest 并在scrapy shell 中完成所有操作以进行测试。我需要知道我在做什么错误以及如何呈现下一页（由FormRequest 产生的页面如下所示）

Answer 1

您发送的请求缺少几个字段，这可能是您没有收到回复的原因。您填写的字段也与他们在请求中期望的字段不对应。解决这个问题的一个好方法是使用 scrapy 的 from_response (doc)，它可以根据表单中的信息为您填充一些字段。

对于这个网站，以下内容对我有用（使用scrapy shell）：

>>> url = "https://registers.maryland.gov/RowNetWeb/Estates/frmEstateSearch2.aspx"
>>> fetch(url)
>>> from scrapy import FormRequest
>>> req = FormRequest.from_response(
...             response,
...             formxpath="//form[@id='form1']", # specify the form on the current page
...             formdata={
...               'cboCountyId': '16',  # the county you select is converted to a number
...               'DateOfFilingFrom': '01-01-2001',
...               'cboPartyType': 'Decedent',
...               'cmdSearch': 'Search'
...             },
...             clickdata={'type': 'submit'},
...       )
>>> fetch(req)