无法从某个 LI 元素中抓取文本

Question

我正在抓取这个URL。

我必须抓取页面的主要内容，例如 Room Features 和 Internet Access

这是我的代码：

 for h3s in Column:  # Suppose this is div.RightColumn 
    for index,test in enumerate(h3s.select("h3")):
        print("Feature title: "+str(test.text))
        for v in h3s.select("ul")[index]:
            print(v.string.strip())

此代码会抓取所有 <li> 的内容，但在抓取 Internet Access 时 我明白了

AttributeError: 'NoneType' object has no attribute 'strip'

因为 Internet Access 标题下的 <li>s 数据包含在双引号内，例如 "Wired High Speed Internet Access..."

我尝试将print(v.string.strip()) 替换为print(v)，结果为<li>Wired High...</li>

我也尝试过使用print(v.text)，但它也不起作用

相关部分如下所示：

<h3>Internet Access</h3>
<ul>
    <li>Wired High Speed Internet Access in All Guest Rooms
     <span class="fee">
        25 USD per day
     </span>
  </li> 
 </ul>

Answer 1

BeautifulSoup 元素只有一个 .string 值，如果该字符串是元素中的唯一的孩子。你的<li> 标签有一个<span> 元素和一个文本。

使用.text 属性代替将所有字符串提取为一个：

print(v.text.strip())

或使用element.get_text() method：

print(v.get_text().strip())

它还需要一个方便的strip 标志来删除多余的空格：

print(v.get_text(' ', strip=True))

第一个参数是用于将各种字符串连接在一起的分隔符；我在这里用了一个空格。

演示：

>>> from bs4 import BeautifulSoup
>>> sample = '''\
... <h3>Internet Access</h3>
... <ul>
...     <li>Wired High Speed Internet Access in All Guest Rooms
...      <span class="fee">
...         25 USD per day
...      </span>
...   </li> 
...  </ul>
... '''
>>> soup = BeautifulSoup(sample)
>>> soup.li
<li>Wired High Speed Internet Access in All Guest Rooms
     <span class="fee">
        25 USD per day
     </span>
</li>
>>> soup.li.string
>>> soup.li.text
u'Wired High Speed Internet Access in All Guest Rooms\n     \n        25 USD per day\n     \n'
>>> soup.li.get_text(' ', strip=True)
u'Wired High Speed Internet Access in All Guest Rooms 25 USD per day'

一定要在元素上调用它：

for index, test in enumerate(h3s.select("h3")):
    print("Feature title: ", test.text)
    ul = h3s.select("ul")[index]
    print(ul.get_text(' ', strip=True))

您可以在此处使用find_next_sibling() 函数，而不是索引到.select()：

for header in h3s.select("h3"):
    print("Feature title: ", header.text)
    ul = header.find_next_sibling("ul")
    print(ul.get_text(' ', strip=True))

演示：

>>> for header in h3s.select("h3"):
...     print("Feature title: ", header.text)
...     ul = header.find_next_sibling("ul")
...     print(ul.get_text(' ', strip=True))
... 
Feature title: Room Features
Non-Smoking Room Connecting Rooms Available Private Terrace Sea View Room Suites Available Private Balcony Bay View Room Honeymoon Suite Starwood Preferred Guest Room Room with Sitting Area
Feature title: Internet Access
Wired High Speed Internet Access in All Guest Rooms 25 USD per day