如何从 HTML 页面但从元素本身提取或抓取数据

Question

目前我使用 lxml 来解析 html 文档以从 HTML 元素中获取数据 但是有一个新的挑战，有一个数据作为评分存储在 HTML 元素中

https://i.stack.imgur.com/bwGle.png

<p data-rating="3">
                                <span class="glyphicon glyphicon-star xh-highlight"></span>
                                <span class="glyphicon glyphicon-star xh-highlight"></span>
                                <span class="glyphicon glyphicon-star xh-highlight"></span>
                            </p>

在标签之间提取文本很容易，但在标签内没有想法。 你有什么建议？

挑战我要提取“3” 网址：https://webscraper.io/test-sites/e-commerce/allinone/computers/laptops

兄弟， 加布里埃尔。

Answer 1

如果我正确理解了您的问题和 cmets，则以下内容应提取该页面中的所有评分：

import lxml.html
import requests

BASE_URL = "https://webscraper.io/test-sites/e-commerce/allinone/computers/laptops"

html = requests.get(BASE_URL)
root = lxml.html.fromstring(html.text)
targets = root.xpath('//p[./span[@class]]/@data-rating')

例如：

targets[0]

输出

3

Answer 2

试试下面的脚本：

from bs4 import BeautifulSoup
import requests

BASE_URL = "https://webscraper.io/test-sites/e-commerce/allinone/computers/laptops"

html = requests.get(BASE_URL).text
soup = BeautifulSoup(html, "html.parser")
for tag in soup.find_all("div", {"class":"ratings"}):
    # get all child from the tags
    for h in tag.children:
        # convert to string data type
        s = h.encode('utf-8').decode("utf-8") 

        # find the tag with data-rating and get text after the keyword
        m = re.search('(?<=data-rating=)(.*)', s)

        # check if not None
        if m:
            #print the text after data-rating and remove last char
            print(m.group()[:-1])