无法摆脱输出中的大量空白行

Question

我在 python 中结合 selenium 编写了一个脚本，以从网页获取一些信息。要访问内容，必须单击较大表格中每个名称旁边的+ 符号。单击那些+ 符号完成后，将显示与每个名称相关的所有表格。我的脚本可以非常有效地做到这一点。但是，下一步是解析这些表格数据。这就是我陷入混乱内容的地方。每个表的数据正在被解析，但大量空白行突然出现。

我怎样才能踢掉那些空白行并继续只解析那些表格数据？

link to that site

这是我的脚本：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "replace with above link"

def get_info(driver,link):
    driver.get(link)
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,"table.tableagmark img[style^='cursor:']"))):
        items.location
        items.click()
        wait.until(EC.invisibility_of_element_located((By.CSS_SELECTOR,"table[style='font-size:16px;']")))
    fetch_table()

def fetch_table():
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "table[style='font-size:16px;'] tr"))):
        data = [item.text for item in items.find_elements_by_css_selector("td")]
        print(data)

if __name__ == '__main__':
    driver = webdriver.Chrome()
    wait = WebDriverWait(driver,10)
    try:
        get_info(driver,url)
    finally:
        driver.quit()

这是输出的样子（每个表格内容之前和之后）：

['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
[]
['Achanta', 'Apr 16 2018 11:24AM']
['Addanki', 'Apr 13 2018 6:00PM']
['Adoni', 'Apr 18 2018 12:17PM']

Answer 1

假设data 包含您的表，您可以使用any 过滤掉 空行

non_empty = [row for row in data if any(row)]

如果row 的至少一个元素不为空，则此处any 返回True

Answer 2

如果您只是询问如何现在打印出全空结果，您可以编写一个过滤它们的循环。假设每一行都是一个 data 值……

最简单的方法是在any 中使用带有隐式布尔过滤器的隐式循环：

if any(data):
    print(data)

如果data 不为空，并且data 的至少一个元素为真，则any(data) 对于序列data 为真。空字符串是假的，非空字符串是真的。所以，这正是你想要的：它跳过了 [] 和 ['', '']，但不是像 ['Achanta', 'Apr 16 2018 11:24AM'] 这样的东西。

但如果你很难理解它，最好更明确一点：

for value in data:
    if value:
        print(data)
        break

Answer 3

您可以通过某种过滤跳过处理空文本节点，并且只需使用正确的选择器即可节省大量时间：

def get_info(driver,link):
    driver.get(link)
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "img[src='../images/plus.png']"))):
        items.click()
    fetch_table()

def fetch_table():
    for items in wait.until(EC.presence_of_all_elements_located((By.XPATH, "//td/table//tr[not(th)]"))):
        data = [item.text for item in items.find_elements_by_css_selector("td")]
        print(data)