请在 lxml 中帮助我

Question

我在使用 lxml 进行抓取时遇到了一些问题 我刚刚编写了一个运行良好的代码，但我有两个问题

1. 我希望姓名和地址在同一行，每个条目都应该在不同的行中

   name1,adress1
   name2,adress2
   

我不需要数据中的任何方括号

1. 我必须输入 500 个代码，所以我想从外部文本/csv 文件中导入它 请帮我看看我该怎么做

---

import lxml.html as lh

from selenium import webdriver

browser = webdriver.Firefox()

from lxml import html


for cod in ("35211","36116","36542"):

     browser.get('http://kmbsapps.konicaminolta.us/wheretobuy/main_search.jspx?productCategory=Office+Systems&sl_zip='+cod)

     content = browser.page_source

     tree = lh.fromstring(content)

     name=tree.xpath('//tr/td/span[@class="largecol"]/text()')

     adress=tre.xpath('//tr/td/span[@class="smallcol"]/text()')


     print(name,adress)

Answer 1

您不需要使用lxml，selenium 确实提供了find_elements_by_xpath。

使用zip 匹配姓名和地址。

打开文本文件并迭代获取行；使用str.strip获取验证码。

---

from selenium import webdriver

browser = webdriver.Firefox()
url = 'http://kmbsapps.konicaminolta.us/wheretobuy/main_search.jspx?productCategory=Office+Systems&sl_zip='

with open('1.txt') as f:
    for line in f:
        cod = line.strip()
        browser.get(url+cod)
        name = browser.find_elements_by_xpath('//tr/td/span[@class="largecol"]')
        address = browser.find_elements_by_xpath('//tr/td/span[@class="smallcol"]')
        name = [n for n in name if n.text.strip()]  # Remove empty names
        for n, a in zip(name, address):
            print(n.text, a.text)

如果你想要的不受javascript影响，你可以只使用lxml。

import lxml.html

url = 'http://kmbsapps.konicaminolta.us/wheretobuy/main_search.jspx?productCategory=Office+Systems&sl_zip='

with open('1.txt') as f:
    for line in f:
        cod = line.strip()
        tree = lxml.html.parse(url+cod)
        name = tree.xpath('//tr/td/span[@class="largecol"]/text()')
        address = tree.xpath('//tr/td/span[@class="smallcol"]/text()')
        name = [n for n in name if n.strip()]
        for n, a in zip(name, address):
            print(n, a)