美丽的汤和框架，iframe 提取物

Question

我正在尝试学习 python 和 BS4，我正在尝试从使用 BS4 的页面中提取一些 frames 和 iframes，如下所示：

#...snip...
soup_f = soup("frame")
if soup_f is not None:
    for frame in soup_f:
        try:
            t_iFrames_src.append(force_text(soup.frame.extract().get("src"), encoding='utf-8', strings_only=False, errors='strict'))
        except (AttributeError, UnicodeEncodeError):
            pass
        try:
            t_full_frame.append(force_text(soup.frame.extract(), encoding='utf-8', strings_only=False, errors='strict'))
        except (AttributeError, UnicodeEncodeError):
            pass
else:
    pass

问题是，当第一个 try..except 运行时，它会得到有效的结果（通过填充 t_iFrames_src），但由于某些奇怪的原因，第二个 try...except 没有给我任何结果。即t_full_frame 为空

所以，当我像这样翻转它们时：

#...snip...
soup_f = soup("frame")
if soup_f is not None:
    for frame in soup_f:
        try:
            t_full_frame.append(force_text(soup.frame.extract(), encoding='utf-8', strings_only=False, errors='strict'))
        except (AttributeError, UnicodeEncodeError):
            pass
        try:
            t_iFrames_src.append(force_text(soup.frame.extract().get("src"), encoding='utf-8', strings_only=False, errors='strict'))
        except (AttributeError, UnicodeEncodeError):
            pass
else:
    pass

现在，t_full_frame 有结果，但 t_iFrames_src 是空的。我很困惑为什么会这样 :(

可能这是非常愚蠢的事情，但我无法弄清楚出了什么问题！ 如果有人能指出我正确的方向，我将不胜感激。

Answer 1

当您调用 soup.tag.extract() 时，BeautifulSoup 删除并从汤中返回 tag 的第一个实例。请注意以下几点：

from bs4 import BeautifulSoup

soup = BeautifulSoup('''
<frame src='foo'>Spam</frame>
<frame src='bar'>Eggs</frame>
''')
print(soup)

soup.frame.extract()
print(soup)

这给出了以下输出：

<frame src="foo">Spam</frame>
<frame src="bar">Eggs</frame>


<frame src="bar">Eggs</frame>

我猜这不是您想要的行为 - 第一个 try 块将 frame 从汤中踢出，因此第二个 try 块无法使用它。您可能希望保持汤完整，在这种情况下，您不应该使用.extract()。将您对soup.frame.extract() 的调用替换为仅引用frame（for 循环中的变量）。

也就是说，改变这些行：

t_iFrames_src.append(force_text(soup.frame.extract().get("src"), encoding='utf-8', strings_only=False, errors='strict'))
t_full_frame.append(force_text(soup.frame.extract(), encoding='utf-8', strings_only=False, errors='strict'))

到这些行：

t_iFrames_src.append(force_text(frame.get("src"), encoding='utf-8', strings_only=False, errors='strict'))
                                ^^^^^
t_full_frame.append(force_text(frame, encoding='utf-8', strings_only=False, errors='strict'))
                               ^^^^^