Scrapy Selector CSS不返回子节点答案

【问题标题】：Scrapy Selector CSS not returning child nodesScrapy Selector CSS不返回子节点
【发布时间】：2017-09-21 19:49:00
【问题描述】：

我正在使用 Scrapy 和 Splash 来抓取 AJAX 网页。

这是页面 HTML 的简化版本：

<html>
    <head>
        <title>Title here</title>
    </head>
    <body>
        <select class="Gy(t)" data-reactid="5">
            <option selected="" value="1506038400" data-reactid="6">Item 0</option>
            <option value="200" data-reactid="7">Item 1</option>
            <option value="123" data-reactid="8">Item 2</option>
            <option value="800" data-reactid="9">Item 3</option>
            <option value="600" data-reactid="10">Item 4</option>
            <option value="240" data-reactid="11">Item 5</option>
            <option value="768" data-reactid="12">Item 6</option>
            <option value="132" data-reactid="13">Item 7</option>
            <option value="632" data-reactid="14">Item 8</option>
            <option value="418" data-reactid="15">Item 9</option>
            <option value="290" data-reactid="16">Item 10</option>
            <option value="748" data-reactid="17">Item 11, 2018</option>
            <option value="154" data-reactid="18">Item 12</option>
            <option value="579" data-reactid="19">Item 13</option>
        </select>
    </body>
</htnl>

当单击/选择一个选项时，浏览器中会运行 javascript，这会导致加载一个新页面。

我想模仿用户点击一个选项来加载一个新页面。

这就是我想要使用 Scrapy 和 Splah 做的事情：

选择select HTML 元素（及其option 子节点）
遍历每个选项并“单击”它们。

这是我选择 select 元素的代码：

我的代码

>>> response.css('select.Gy\(t\)')
[<Selector xpath="descendant-or-self::select[@class and contains(concat(' ', normalize-space(@class), ' '), ' Gy(t) ')]" data='<select class="Gy(t)" data-reactid="5">\n'>]
>>>

可以看出，元素为空，不包含子元素！

我做错了什么？如何选择 select 元素及其子元素？

一旦我选择了select 元素，我想遍历它的所有子元素并单击它们。如何单击（选择）一个选项？

【问题讨论】：

标签： css web-scraping scrapy scrapy-splash

【解决方案1】：

你试过这样吗？

response.css('select option[data-reactid]')
response.css("select[class=Gy\(t\)] option[data-reactid]")

两者中的任何一个都应该工作。

【讨论】：