使用 Python 和 BeautifulSoup 基于属性解析“a”标签

Question

使用这段 html：

    <td align="left">
     <a class="playerLink" href="http://bbroto.baseball.cbssports.com/players/playerpage/2000032">
      Russell, Addison
     </a>
     SS OAK  - Won at $0
     <br>
      <a class="playerLink" href="http://bbroto.baseball.cbssports.com/players/playerpage/556425">
       Vargas, Jason
      </a>
      SP LAA
      <span title="Angels interested in bringing back Jason Vargas">
       <a class="playerLink" href="http://bbroto.baseball.cbssports.com/players/playerpage/556425" subtab="Update">
        <img border="0" height="10" src="http://sports.cbsimg.net/images/news-note-recent.gif" width="10"/>
       </a>
      </span>
      - Dropped
     </br>
    </td>

我只想显示没有 subtab = "Update" 的块。但我无法弄清楚如何使用 BeautifulSoup 在 Python 循环中引用子选项卡。这是我尝试过的：

        soup = BeautifulSoup(html)
        pl = soup.findAll('a',{'class': 'playerLink'})
        for a in pl:
            if a.subtab == "Update":
                print "UPDATE"
            else:
                print "Player Name: " + a.text

我也尝试在 findAll 部分引用子类型：

        pl = soup.findAll('a',{'class': 'playerLink'}, {'subtype':0})

这些方法都不起作用。我的问题是，在所有情况下，该类都是“playerLink”，因此该子类型是我可以区分它的唯一方法。我对 BS 很陌生，所以我不太擅长处理标签和属性。在第二个示例中，如果我只想要 subtype=Update 可能会起作用，但我想要每个不存在子类型的标签。

Answer 1

a.attrs 将<a> 的属性作为字典返回。您可以使用'subtab' not in a.attrs 来检查<a> 标签是否没有subtab 属性：

from bs4 import BeautifulSoup, SoupStrainer # pip install beautifulsoup4

player_links = SoupStrainer('a', 'playerLink')
soup = BeautifulSoup(html, parse_only=player_links)
names = [a.get_text().strip()
         for a in soup.find_all(player_links) if 'subtab' not in a.attrs]
print(names)
# -> ['Russell, Addison', 'Vargas, Jason']

我找不到在the documentation 中提到它的位置，但似乎指定subtab=False 也可以排除任何具有subtab 属性的标签：

from bs4 import BeautifulSoup, SoupStrainer # pip install beautifulsoup4

player_links = SoupStrainer('a', 'playerLink', subtab=False)
soup = BeautifulSoup(html, parse_only=player_links)
names = [a.get_text().strip()
         for a in soup.find_all(player_links)]
print(names)

如果找到的标签 (player_links) 没有嵌套，那么您可以省略 .find_all(player_links) 调用：

from bs4 import BeautifulSoup, SoupStrainer # pip install beautifulsoup4

player_links = SoupStrainer('a', 'playerLink', subtab=False)
soup = BeautifulSoup(html, parse_only=player_links)
names = [a.get_text().strip() for a in soup]
print(names)

Answer 2

您可以使用getattr() 函数来检查元素是否具有属性：

from bs4 import BeautifulSoup
import sys

soup = BeautifulSoup(open(sys.argv[1], 'r'), 'html')

for a in soup.find_all('a', attrs={'class': 'playerLink'}):
    #if getattr(a, 'subtab'): continue
    if a.get('subtab'): continue
    print(a.get_text("", strip=True))

像这样运行它：

python3 script.py htmlfile

它产生：

Russell, Addison
Vargas, Jason

Answer 3

一个简单但不是特别优雅的解决方案就是在每个元素中搜索字符串“subtab”：

for a in pl:
    if 'subtab' in a.prettify():
        print "UPDATE"
    else:
        print "Player Name: " + a.text

Answer 4

弄乱了 attrs 函数，我发现这是可行的：

if str(a.attrs).find('subtab') > 0

这可能不是最干净的方法，但它确实有效。

Answer 5

你可以试试这个：

containers = page_soup.findAll("a", {"class":"playerLink"})
for container in containers:
      url = ("<a href='%s'>%s</a>" %(container.get("href"), container.a))