Scrapy - 字符串中的递增数字

Question

再一次，我似乎在这个问题上有一堵砖墙，我希望有人能不费吹灰之力地回答它。

下面是一个示例代码：

def parse_page(self,response):
    hxs = HtmlXPathSelector(response)

    item = response.meta['item']
    item["Details_H1"] = hxs.select('//*[@id="ctl09_p_ctl17_ctl04_ctl01_ctl00_dlProps"]/tr[1]/td[1]/text()').extract()
    return item

似乎Details_H1 中的@id 可能会改变。例如。对于一个页面，它可以是@id="ctl08_p_ctl17_ctl04_ctl01_ctl00_dlProps，对于下一页，它是随机的@id="ctl09_p_ctl17_ctl04_ctl01_ctl00_dlProps。

我想实现一个等效的do until 循环，以便代码循环遍历以 1 为增量的数字，直到 XPath 产生的值非零。因此，例如我可以设置 i=108 并且每次 i=i+1 直到hxs.select('//*[@id="ctl09_p_ctl17_ctl04_ctl01_ctl00_dlProps"]/tr[1]/td[1]/text()').extract() []

我将如何实现这一点？

非常感谢您的帮助和贡献

编辑 1

TNT 解决了以下问题。代码应为：

def parse_page(self,response):
    hxs = HtmlXPathSelector(response)

    item = response.meta['item']
    item["Details_H1"] = hxs.select('//*[contains(@id, "_p_ctl17_ctl04_ctl01_ctl00_dlProps")]/tr[1]/td[1]/text()').extract()
    return item

Answer 1

“自然”的 XPATH 方式是更概括您的 xpath 表达式：

xp = '//*[contains(@id, "_p_ctl17_ctl04_ctl01_ctl00_dlProps")]/tr[1]/td[1]/text()'
item["Details_H1"] = hxs.select(xp).extract()

但我在黑暗中摸索。您的 xpath 表达式可能最好以 //table 或 //tbody 之类的开头

在任何情况下，“一直做到”都是丑陋的。

Answer 2

你可以试试这个

i = 108
while True:
    item = response.meta['item']
    xpath = '//*[@id="ct%d_p_ctl17_ctl04_ctl01_ctl00_dlProps"]/tr[1]/td[1]/text()' %i
    item["Details_H1"] = hxs.select(xpath).extract()
    if not item["Details_H1"]:
        break
    i += 1
    yield item