Scrapy：由于 HTML 文本中的搜索字符而选择特定单词

Question

我有以下 HTML 脚本，我在其中搜索特定单词。

<tbody>
            <tr>
                <th>Berufsbezeichnung:</th>
                <td class="gray">ExampleName</td>
            </tr>
                        <tr>
                <th>Anrede:</th>
                <td class="gray">Herrn</td>
            </tr>
                        <tr>
                <th>Name:</th>
                <td class="gray">ExampleLastName</td>
            </tr>
                        <tr>
                <th>Vorname:</th>
                <td class="gray">ExampleSurname</td>
            </tr>
            …
</tbody>

我想要不同的变量“Berufsbezeichnung”、“Anrede”、...必须用正确的内容填充。在相同的数据集中，例如缺少“Berufsbezeichnung”，所以这个变量必须留空。

我尝试了一个搜索内容的scrapy脚本，但它不起作用：

soup = BeautifulSoup(response.css('table').extract()[0],'lxml')

for elem in soup.findAll('tr'):
    for eleme in elem.findAll('th'):
        if eleme.get_text()=='Berufsbezeichnung:':
            Berufsbezeichnung = elem.css('td.gray::text')
        if eleme.get_text()=='Anrede:':
            Anrede = elem.css('td.gray::text')
        ...

有人有想法或者更简单的方法吗？

非常感谢！

Answer 1

试试这个：

search_by_header = '//th[contains(., "{}")]/following-sibling::td/text()'.format
Berufsbezeichnung = response..xpath(search_by_header("Berufsbezeichnung")).extract_first()
Anrede = response.xpath(search_by_header("Anrede")).extract_first()

Answer 2

正如@eLRuLL 评论中所指出的，我不明白你为什么使用BeautifulSoup，因为scrapy 已经有powerful tool available。

对于你的情况，我建议你简单地使用xpath:

extracted_values = {} # Store the extracted values in a dictionnary

# Iterate on the tr node containted in the table node
for tr_selector in response.selector.xpath('//table//tr'):
     th_text = tr_selector.xpath('./th/text()').extract_first()

     if th_text: # The th node contain text, read the text from the td node
        extracted_values[th_text] = tr_selector.xpath('./td/text()').extract_first()