使用 python beautifusoap 抓取数据列表标签

Question

我试图抓取一个 DATALIST 标记，其中有很多选项。我想将这些选项作为列表抓取。

当我使用 soup.findAll() 时，它会将所有选项存储在一个盒子中，这不允许我迭代和查找值。以下是我试图抓取的代码。

 <datalist id="brands">
        <option id="7638" value="Ashok Leyland">
        </option>
        <option id="3960" value="Aston Martin">
        </option>
        <option id="205" value="Audi">
        </option>
        <option id="207" value="BMW">
        </option>
        <option id="206" value="Bentley">
        </option>
        <option id="7648" value="Bugatti">
        </option>
        <option id="7652" value="Caterham">
        </option>
        <option id="212" value="Hindustan Motors">
        </option>
        <option id="54157" value="Jeep">
        </option>
       </datalist>

ctr=soup.findAll('datalist',{'id':'brands'})

ctr 只有一个包含完整代码的元素。我不知道如何从选项中获取所有值的列表。当我尝试使用 for 循环时，它只运行第一个。

Answer 1

您可以使用 CSS 选择器 #brands option[value] -> 这将选择带有 value= 属性的所有 <option> 标记，这些标记位于带有 id="brands" 的标记下：

data = ''' <datalist id="brands">
        <option id="7638" value="Ashok Leyland">
        </option>
        <option id="3960" value="Aston Martin">
        </option>
        <option id="205" value="Audi">
        </option>
        <option id="207" value="BMW">
        </option>
        <option id="206" value="Bentley">
        </option>
        <option id="7648" value="Bugatti">
        </option>
        <option id="7652" value="Caterham">
        </option>
        <option id="212" value="Hindustan Motors">
        </option>
        <option id="54157" value="Jeep">
        </option>
       </datalist>'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(data, 'lxml')

out = [option['value'] for option in soup.select('#brands option[value]')]

print(out)

打印：

['Ashok Leyland', 'Aston Martin', 'Audi', 'BMW', 'Bentley', 'Bugatti', 'Caterham', 'Hindustan Motors', 'Jeep']

进一步阅读：

CSS Selector Reference