web_crawler 中的 Itertools 给出错误的三元组

Question

我编写了一些代码来解析来自 craigslist 的名称、链接和价格。当我打印结果时，这些被作为列表刮掉了。我尝试像下面粘贴的代码一样获得解决方法，但是它给出了错误的三元组，特别是当一个值为 none 时，它​​会从另一个三元组中获取下一个可用值，依此类推。因此，在这种情况下它是没有用的。希望我对如何完成这项工作有任何建议，无论是 Itertools 还是任何其他方法。

import requests
from lxml import html
from itertools import zip_longest

Page_link="http://bangalore.craigslist.co.in/search/rea?s=120"
def parsing_craigslist(url):
    response = requests.get(url)
    tree = html.fromstring(response.text)
    title = tree.xpath("//p[@class='result-info']//a[contains(concat(' ', @class, ' '), ' result-title ')]/text()")
    link = tree.xpath("//p[@class='result-info']//a[contains(concat(' ', @class, ' '), ' result-title ')]/@href")
    price = tree.xpath("//p[@class='result-info']//span[@class='result-price']/text()")
    for i,j,k in zip_longest(title,link,price,fillvalue=None):
        print(i,j,k)

parsing_craigslist(Page_link)

Answer 1

我倾向于避免在尝试使用zip 匹配来自两个xpath 查询的集合时可能出现的困难，方法是先进行深度优先搜索，然后检查每个条目，如下所示。

import requests
from lxml import html

page = requests.get('http://bangalore.craigslist.co.in/search/rea?s=120').text
tree = html.fromstring(page)
rows = tree.xpath('.//li[@class="result-row"]')
for n, row in enumerate(rows):
    price = row.xpath('.//a/span/text()')[0][1:]
    link = row.xpath('.//p/a')[0]
    title = link.text
    url = link.attrib['href']
    print ('--->', title)
    print (price, ':', url)