如何解决 Web Crawler 中的表计数器（Selenium 和 Webdriver）答案

【问题标题】：How to solve table counter in Web Crawler (Selenium and Webdriver)如何解决 Web Crawler 中的表计数器（Selenium 和 Webdriver）
【发布时间】：2020-03-24 10:48:01
【问题描述】：

我对网络爬虫有一些疑问。我需要爬取hkgolden网站。

我使用 Selenium 和 Webdriver (Chromedriver) 来完成这个网络爬虫。

现在，我要数下表的个数：

https://forumd.hkgolden.com/topics.aspx?type=BW&page=1

我使用 Selenium 和 Webdriver (Chromedriver) 来完成这个网络爬虫。

因此，我需要写一些关于计数器的代码。我看了this video关于网络爬表：

我知道他们的方法可以解决问题，他们使用 len() 来计算它，但我习惯了我的网站和我的代码。我数不过来。我收到以下错误：

Traceback (most recent call last):


File ".\hkgolden.py", line 42, in <module>
    cols = len(driver.find_element_by_xpath("/html/body/form/div[5]/div/div/div[2]/div[2]/div[2]/div/table/tbody/tr[4]/td")) #count number of columns
TypeError: object of type 'WebElement' has no len()

现在，我只能写一个绝对值来完成这个爬虫。我该如何继续？

【问题讨论】：

标签： python selenium html-table web-crawler selenium-chromedriver

【解决方案1】：

对于列表，您可以使用.find_elements 而不是.find_element，因此您可以获得大小。

cols = len(driver.find_elements_by_xpath("/html/body/form/div[5]/div/div/div[2]/div[2]/div[2]/div/table/tbody/tr[4]/td")) #count number of columns

【讨论】：