漂亮的汤不解析嵌套表数据

Question

我有一个嵌套表结构。我正在使用下面的代码来解析数据。

for row in table.find_all("tr")[1:][:-1]:
    for td in row.find_all("td")[1:]:
        dataset = td.get_text()

这里的问题是当有嵌套表时，比如在我的情况下，<td></td> 内部有表，所以在最初解析后再次解析这些表，因为我使用的是 find_all(tr) 和 find_all(td)。那么如何避免解析已经解析的嵌套表呢？

输入：

<table>
<tr>
   <td>1</td><td>2</td>
</tr>
<tr>
   <td>3</td><td>4</td>
</tr>
<tr>
  <td>5 
    <table><tr><td>11</td><td>22</td></tr></table>
      6
  </td>
</tr>
</table>

预期输出：

1  2
3  4
5  
11 22
6

但我得到的是：

1 2
3 4
5
11 22
11 22
6

即再次解析内表。

规格：
beautifulsoup4==4.6.3

应保留数据顺序，内容可以是任何内容，包括任何字母数字字符。

Answer 1

使用 bs4 和 re 的组合，你可能会实现你想要的。

我使用的是 bs4 4.6.3

from bs4 import BeautifulSoup as bs
import re

html = '''
<table>
<tr>
   <td>1</td><td>2</td>
</tr>
<tr>
   <td>3</td><td>4</td>
</tr>
<tr>
  <td>5 
    <table><tr><td>11</td><td>22</td></tr></table>
      6
  </td>
</tr>
</table>'''

soup = bs(html, 'lxml')

ans = []

for x in soup.findAll('td'):
    if x.findAll('td'):
        for y in re.split('<table>.*</table>', str(x)):
            ans += re.findall('\d+', y)
    else:
        ans.append(x.text)
print(ans)

对于每个td，我们测试这是否是一个巢td。如果是这样，我们在桌子上拆分并获取所有内容并与每个数字匹配一个正则表达式。

注意这仅适用于两个深度级别，但适用于任何深度

Answer 2

我已尝试使用 findChilden() 方法以及如何设法产生输出。我不确定这在任何其他情况下是否会对您有所帮助。

from bs4 import BeautifulSoup
data='''<table>
<tr>
   <td>1</td><td>2</td>
</tr>
<tr>
   <td>3</td><td>4</td>
</tr>
<tr>
  <td>5 
    <table><tr><td>11</td><td>22</td></tr></table>
      6
  </td>
</tr>
</table>'''


soup=BeautifulSoup(data,'html.parser')

for child in soup.find('table').findChildren("tr" , recursive=False):
  tdlist = []
  if child.find('table'):
     for td in child.findChildren("td", recursive=False):
         print(td.next_element.strip())
         for td1 in td.findChildren("table", recursive=False):
             for child1 in td1.findChildren("tr", recursive=False):
                 for child2 in child1.findChildren("td", recursive=False):
                     tdlist.append(child2.text)
                 print(' '.join(tdlist))
                 print(child2.next_element.next_element.strip())
  else:

     for td in child.findChildren("td" , recursive=False):
         tdlist.append(td.text)
     print(' '.join(tdlist))

输出：

1 2
3 4
5
11 22
6

---

为解释而编辑

第 1 步：

在表内使用findChilden()时，首先返回3条记录。

for child in soup.find('table').findChildren("tr", recursive=False):
    print(child)

输出：

<tr>
<td>1</td><td>2</td>
</tr>
<tr>
<td>3</td><td>4</td>
</tr>
<tr>
<td>5 
        <table><tr><td>11</td><td>22</td></tr></table>
          6
      </td>
</tr>

---

第 2 步：

检查任何孩子是否有标签<table>并进行一些操作。

 if child.find('table'):

---

第 3 步：

按照步骤1，使用findChilden()获取<td>标签。

一旦您获得<td>，请按照步骤 1 再次获得孩子。

---

第 4 步：

for td in child.findChildren("td", recursive=False)            
      print(td.next_element.strip())

下一个元素将返回标签的第一个文本，因此在这种情况下它将返回值 5。

---

第 5 步

for td in child.findChildren("td", recursive=False):
             print(td.next_element.strip())
             for td1 in td.findChildren("table", recursive=False):
                 for child1 in td1.findChildren("tr", recursive=False):
                     for child2 in child1.findChildren("td", recursive=False):
                         tdlist.append(child2.text)
                     print(' '.join(tdlist))
                     print(child2.next_element.next_element.strip())

如果您在这里看到，我只是递归地执行第 1 步。是的，我再次使用 child2.next_element.next_element 在 </table> 标记之后获取 6 的值。

Answer 3

您可以检查另一个table 是否存在于td 标记中，如果存在则直接跳过该td，否则将其用作常规td。

for row in table.find_all("tr")[1:][:-1]:
    for td in row.find_all("td")[1:]:
        if td.find('table'):  # check if td has nested table
            continue
        dataset = td.get_text()

Answer 4

在您的示例中，对于 bs4 4.7.1，我使用 :has :not 来排除带有子表的循环行

from bs4 import BeautifulSoup as bs

html = '''
<table>
    <tr>
        <td>1</td>
        <td>2</td>
    </tr>
    <tr>
        <td>3</td>
        <td>4</td>
    </tr>
    <tr>
        <td>
            <table>
                <tr>
                    <td>11</td>
                    <td>22</td>
                </tr>
            </table>
        </td>
    </tr>
</table>'''

soup = bs(html, 'lxml')
for tr in soup.select('tr:not(:has(table))'):
    print([td.text for td in tr.select('td')])