lxml 中子元素文本值的 XPath

Question

首先，这样的事情有可能吗？

我一直在尝试通过使用网页中存在的“子元素文本值”来生成 Xpath 表达式。尝试在 Python 中使用 lxml（etree、html、getpath）、ElementTree 模块来执行此操作。但我不知道如何为网页中存在的值生成 Xpath 表达式。我完全了解 python 中的 Scrapy 框架，但这是不同的。

下面是我不完整的代码..

import urllib2, re
from lxml import etree

def wgetUrl(target):
    try:
        req = urllib2.Request(target)
        req.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.3 Gecko/2008092417 Firefox/3.0.3')
        response = urllib2.urlopen(req)
        outtxt = response.read()
        response.close()
    except:
        return ''
    return outtxt


newUrl = 'http://www.iupui.edu/~webtrain/tutorials/tables.html' # homepage

dt = wgetUrl(newUrl)
parser = etree.HTMLParser()
tree   = etree.fromstring(dt, parser)

根据lxml documentation，他们正在手动创建元素树，但是我如何使用我读取和解析的 html 数据（在我的示例变量tree 或data）来访问子元素。 或者更重要的是，如果可能的话，子元素的文本值。

假设在上面的示例网页中，我想搜索表“Supplies and Expenses”并通过该值动态生成Xpath表达式 - Supplies and Expenses

有没有办法这样做！！！最终目标，我想实现的是读取网页并为网页中存在的子元素文本值生成Xpath。

Answer 1

根据部分文本值查找所有元素：

"//*[contains(text(), 'some_value')]"

例如，如果你有这个：

<div id="somediv">
    <span>Something is here</span>
    <a href="#">Click here</a>
</div>

你可以像这样找到所有包含单词“here”的子元素：

"//div[@id='somediv']//*[contains(text(), 'here')]"

或者，例如，您可以查找所有包含单词“Something”的 sub-div span 元素：

"//div[@id='somediv']//span[contains(text(), 'Something')]"

至于在lxml中解析这个：

from lxml import etree
outtxt = response.read()
root = etree.fromstring(outtxt)
root.xpath("my_xpath_expression")

更新：

要获取元素的完整 XPath 表达式，请使用 ElementTree.getPath() 方法，如下所示：

tree = etree.ElementTree(root)
# this will print XPath of all
# elements in 'root'
for e in root.iter():
    print tree.getpath(e)