在 Python 中解析 HTML 表格 - 单击单元格中的链接

Question

我正在尝试解析 HTML 表格并单独单击第三列中的每个超链接（其中显示 href="javascript:showPayCheck）。有大量帖子显示如何解析表格，但我不能找不到任何看起来像我正在使用的表格：

<div class="screen-group-content">        
    <div class="checkview-checks">
        <table cellpadding="2px" class="asureTable" cellspacing="0px" style="border-collapse: collapse;">
            <tbody><tr class="trHeader">
                <td style="font-weight: bold;">Payment Date</td>
                <td style="font-weight: bold;">Payment Type</td>
                <td style="font-weight: bold;">Check/ACH</td>
                <td style="font-weight: bold;">View $</td>
            </tr>
                    <tr>
                        <td style="cursor: default;">01/18/2019</td>
                        <td style="cursor: default;">Regular Check</td>
                        <td style="cursor: default;">ACH</td>
                        <td style="cursor: default;"><a href="javascript:showPayCheck(589, 3106, 'REG', 'D');" title="View Check Detail">$3,023.10</a></td>
                    </tr>

                    <tr>
                        <td style="cursor: default;">01/04/2019</td>
                        <td style="cursor: default;">Regular Check</td>
                        <td style="cursor: default;">ACH</td>
                        <td style="cursor: default;"><a href="javascript:showPayCheck(588, 3106, 'REG', 'D');" title="View Check Detail">$3,141.80</a></td>
                    </tr>
        </tbody></table>
        </div>
</div>

我尝试过使用 BeautifulSoup：

import BeautifulSoup as bSoup
soup = bSoup(driver.page_source, "html.parser")
td_list = soup.findAll('td')
for td in td_list:
    print(td.text)

我已经尝试过 Selenium：

elems = driver.find_elements_by_name("td")
for elem in elems:
    print(elem.text)
    elem.click()

我什么都得不到。表的 XPath 是：

//*[@id="form1"]/div[3]/div/div/table 

我已经尝试通过 XPath 获取表格：

table=driver.find_element_by_xpath('//*[@id="form1"]/div[3]/div/div/table')
for elem in table:
    print(elem.text)

但我得到了错误：

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="form1"]/div[3]/div/div/table"}

我做错了什么？

----编辑 抱歉，我不太擅长 HTML。这是元素在层次结构中的位置，它在 iFrame 中吗？

Answer 1

您的 xpath 可以更具体，建议您使用增量方法，首先尝试：

driver.find_element_by_xpath('//*[@id="form1"]//div[@class="screen-group-content"]')

如果上面返回True

driver.find_element_by_xpath('//*[@id="form1"]//div[@class="screen-group-content"]//table[@class="asureTable"]')

如果上面也是真的；那么你可以通过上面 Xpath 的索引来获取行和数据。 此外，请检查您的帖子中附加的 HTML sn-p 的上层结构中的任何帧。

Answer 2

表格位于 iFrame 中。你必须选择它。继this之后，我将代码编辑如下：

wait = WebDriverWait(driver, 10)
wait.until(eConds.frame_to_be_available_and_switch_to_it((wdBy.CSS_SELECTOR, "iframe[id='hr2oScreen']:nth-of-type(1)")))
for table in wait.until(eConds.presence_of_all_elements_located((wdBy.CSS_SELECTOR, "table tr")))[1:]:
    data = [item.text for item in table.find_elements_by_css_selector("th,td")]
    print(data)

感谢 Pooja 为我提供有关如何确定文本不存在的指示。

Answer 3

您是否尝试过使用正则表达式？

使用 硒：

import re
from selenium import webdriver

#n = webdriver.Firefox() or n.webdriver.Chrome()
n.get_url( your_url )

html_source_code = str(n.page_source)
# Using a regular expression
# The element that you want to fetch/collect
#    will be inside of the 'values' variable
values = re.findall( r'title=\"View Check Detail\"\>(.+)\</td>', html_source_code )

更新：如果内容在 iframe 内，使用 selenium + Chrome 驱动程序您可以这样做：

from selenium import webdriver
from selenium.webdriver.chrome import options

o = options.Options()
o.headless = True

n = webdriver.Chrome(options=o)
n.get_url( your_url )
links = n.find_elements_by_tag_name("iframe")
outer = [ e.get_attribute("src") for e in links]

# In the best case outer will be a list o strings,
# each outer's element contain the values of the src attribute. 
# Compute the correct element inside of outer

n.get_url(correct_outer_element) 
# This will make a 'new' html code.
# Create a new xpath and fetch the data!