为什么 bs4 返回标签，然后是一个空列表到这个 find_all() 方法？

Question

看着US Census QFD，我正试图按县抢占比赛百分比。我正在构建的循环超出了我的问题范围，这与此代码有关：

url = 'http://quickfacts.census.gov/qfd/states/48/48507.html'
#last county in TX; for some reason the qfd #'s counties w/ only odd numbers
page = urllib2.urlopen(url)
soup = BeautifulSoup(page)

c_black_alone = soup.find_all("td", attrs={'headers':'rp9'})[0] #c = county %
s_black_alone = soup.find_all("td", attrs={'headers':'rp9'})[1] #s = state %

它抓取 html 元素，包括其标签，而不仅仅是其中的文本：

c_black_alone, s_black_alone

(<td align="right" headers="rp9 p1" valign="bottom">96.9%<sup></sup></td>,
 <td align="right" headers="rp9 p2" valign="bottom">80.3%<sup></sup></td>)

在 ^ 上面，我只想要元素内的 %...

还有，为什么

test_black = soup.find_all("td", text = "Black")

不返回与上面相同的元素（或其文本），而是返回一个空的 bs4 ResultSet 对象？ （编辑：我一直在关注文档，所以我希望这个问题看起来不会太模糊......）

Answer 1

要从这些匹配中获取文本，请使用.text 获取所有包含的文本：

>>> soup.find_all("td", attrs={'headers':'rp9'})[0].text
u'96.9%'
>>> soup.find_all("td", attrs={'headers':'rp9'})[1].text
u'80.3%'

您的 text 搜索不匹配任何内容，原因有两个：

1. 文字字符串只匹配 整个 包含的文本，而不是部分匹配。它仅适用于以<td>Black</td> 作为sole 内容的元素。
2. 它将使用.string property，但仅当文本是给定元素的only 子元素时才设置该属性。如果存在其他元素，则搜索将完全失败。

解决这个问题的方法是使用 lambda；它将传递整个元素，您可以验证每个元素：

soup.find_all(lambda e: e.name == 'td' and 'Black' in e.text)

演示：

>>> soup.find_all(lambda e: e.name == 'td' and 'Black' in e.text)
[<td id="rp10" valign="top">Black or African American alone, percent, 2013 (a)  <!-- RHI225213 --> </td>, <td id="re6" valign="top">Black-owned firms, percent, 2007  <!-- SBO315207 --> </td>]

这两个匹配项在 <td> 元素中都有注释，从而使使用 text 匹配项的搜索无效。