Scrapy 无法按 ID 选择

Question

我正在尝试抓取学校项目的数据，但由于某种原因，我无法弄清楚如何从该页面上的表格中获取数据。我正在scrapy shell中测试，只是没有得到任何数据。这就是我正在尝试的方法

scrapy shell https://www.psacard.com/pop/baseball-cards/1911/turkey-red-cabinets-t3-t9/51453

table = response.xpath('//*[@id="DataTables_Table_0"]/table/tbody')

这是返回[]

我已经尝试过整个表格类以及这样的

table = response.xpath('//*[@class="clear interior-result-table pop-grid items psa table-striped dataTable no-footer dtr-inline"]')

并得到相同的[] 响应

我很难过。有什么想法吗？

Answer 1

您需要的所有数据都在另一个请求中。例如，您可以在 Chrome 的开发人员工具中找到它。检查https://www.psacard.com/Pop/GetItemTable?headingID=51453&categoryID=20003&isPSADNA=false&pf=0&_=1555080293549。即使是对该链接的常见 GET 请求也会为您提供表格行。