Selenium 通过类名两个参数查找元素

Question

如何在不重复输出的情况下按类名查找元素？我有两个班级要刮hdrlnk 和results-price。我写的代码是这样的：

x = driver.find_elements_by_class_name(['hdrlnk','result-price'])

它给了我一些错误。我尝试了另一个代码，这里是：

x = driver.find_elements_by_class_name('hdrlnk'),
y = driver.find_elements_by_class_name('result-price')
for xs in x:
    for ys in y:
        print(xs.text + ys.text)   

但是我得到了这样的结果

sony 5 disc cd changer$40
sony 5 disc cd changer$70
sony 5 disc cd changer$70
sony 5 disc cd changer$190
sony 5 disc cd changer$190
sony 5 disc cd changer$190
sony 5 disc cd changer$190
sony 5 disc cd changer$10

我试图抓取的 HTML 结构部分

<p class="result-info">
    <span class="icon icon-star" role="button" title="save this post in your favorites list">
        <span class="screen-reader-text">favorite this post</span>
    </span>
    <time class="result-date" datetime="2019-11-07 18:20" title="Thu 07 Nov 06:20:56 PM">Nov  7</time>
    <a href="https://vancouver.craigslist.org/rch/ele/d/chandeliers/7015824686.html" data-id="7015824686" class="result-title hdrlnk">CHANDELIERS</a>
    <span class="result-meta">
        <span class="result-price">$800</span>
        <span class="result-hood"> (Richmond)</span>
        <span class="result-tags">
            <span class="pictag">pic</span>
        </span>
        <span class="banish icon icon-trash" role="button">
            <span class="screen-reader-text">hide this posting</span>
        </span>
        <span class="unbanish icon icon-trash red" role="button" aria-hidden="true"></span>
        <a href="#" class="restore-link">
            <span class="restore-narrow-text">restore</span>
            <span class="restore-wide-text">restore this posting</span>
        </a>
    </span>
</p>

第一个元素是重复的，但我得到了第二个元素的正确值。如何更正此错误？

Answer 1

.find_elements_by_class_name() 只需要一个类名。我建议使用 CSS 选择器来完成这项工作，例如.hdrlnk .result-price。代码看起来像

prices = driver.find_elements_by_css_selector('.hdrlnk .result-price')

这会打印所有价格。如果您还需要标签，则必须编写更多代码。

for heading in driver.find_elements_by_css_selector('.hdrlnk'):
    print(heading.text)
    for price in heading.find_elements_by_xpath('./following::span[@class="result-price"]'):
        print('  ' + price.text)

有关查找元素的所有选项，请参阅 the docs。

CSS 选择器参考：
W3C reference
Selenium Tips: CSS Selectors
Taming Advanced CSS Selectors

Answer 2

我认为您不需要nested loop，尝试按对象长度进行迭代，使用len 方法：

x = driver.find_elements_by_class_name('hdrlnk'),
#y = driver.find_elements_by_class_name('result-price')
y = driver.find_elements_by_xpath('//p[@class="result-info"]/span[@class="result-meta"]//span[@class="result-price"]')

print(len(x))
print(len(y))

for i in range(len(x)) :
    print(x[i].text + y[i].text)

更新

实际上我只是想像你想将成员x 与成员y 结合起来，它看起来像这样：

x[0] with y[0]
x[1] with y[1]
etc....

所以我确定您在 x 和 y 之间有相同的号码。由于这个原因，我认为，我只需要x 来代表loop（虽然，你也可以使用y 代替）。

如果要将它们都包含在loop 中，可以使用zip。请从这个帖子中的其他答案中学习。

对于xpath，您可以在此处查看：Locator Strategies

通过从检查元素复制xpath，它将为您提供绝对路径。我不推荐它，因为它很容易改变。

请看这个帖子：Absolute vs Relative Xpath

Answer 3

看起来您的元素的类 hdrlnk 和 result-price 成对出现。所以你需要与zip()并行迭代列表：

xs = driver.find_elements_by_class_name('hdrlnk'),
ys = driver.find_elements_by_class_name('result-price')
for x, y in zip(xs, ys):
    print(x.text, y.text)

这假定两个列表包含相同数量的元素，并且顺序正确，因此它们与zip() 正确匹配。通过遍历父 <p> 元素直接从 HTML 解析它们可能更安全：

ps = driver.find_elements_by_class_name('result-info')
for p in ps:
    x = p.find_element_by_class_name('hdrlnk'),
    y = p.find_element_by_class_name('result-price')
    print(x.text, y.text)

Answer 4

如果您的用例是使用find_elements_by _classname()，更好的方法是为visibility_of_all_elements_located() 引入WebDriverWait，您可以使用以下Locator Strategies 之一：

• 使用CLASS_NAME：

  items = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CLASS_NAME, "hdrlnk")))
  prices = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CLASS_NAME, "result-price")))
  for i,j in zip(items, prices):
      print(i.text + j.text)
  

但是，规范的方法是使用以下任一方法：

• CSS_SELECTOR:

  items = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "p.result-info a.hdrlnk")))
  prices = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "p.result-info span.result-meta>span.result-price")))
  for i,j in zip(items, prices):
      print(i.text + j.text)
  

• XPATH:

  items = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.XPATH, "//p[@class='result-info']//a[contains(@class, 'hdrlnk')]")))
  items = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.XPATH, "//p[@class='result-info']//span[@class='result-meta']/span[@class='result-price']")))
  for i,j in zip(items, prices):
      print(i.text + j.text)
  

• 注意：您必须添加以下导入：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC