如何将 bs4.element.ResultSet 转换为字符串？ Python

Question

我有一个简单的代码，例如：

    p = soup.find_all("p")
    paragraphs = []

    for x in p:
        paragraphs.append(str(x))

我正在尝试转换从 xml 获得的列表并将其转换为字符串。我想保留它的原始标签，这样我就可以重用一些文本，这就是我这样附加它的原因。但是该列表包含超过 6000 个观察值，因此由于 str:

而发生递归错误

“RuntimeError: 调用 Python 对象时超出最大递归深度”

我读到您可以更改最大递归，但这样做并不明智。我的下一个想法是将转换为字符串分成 500 个批次，但我确信必须有更好的方法来做到这一点。有人有什么建议吗？

Answer 1

我认为问题在于BeautifulsSoup 对象p 未构建iteratiely，因此在您可以完成构建p = soup.find_all('p') 之前达到method call limit。请注意，RecursionError 在构建 soup.prettify() 时同样会抛出。

对于我的解决方案，我使用了re 模块来收集所有<p>...</p> 标签（参见下面的代码）。我的最终结果是len(p) = 5571。此计数低于您的计数，因为正则表达式条件与二进制图形数据中的任何文本都不匹配。

import re
import urllib
from urllib.request import Request, urlopen

url = 'https://www.sec.gov/Archives/edgar/data/1547063/000119312513465948/0001193125-13-465948.txt'

response = urllib.request.urlopen(url).read()
p = re.findall('<P((.|\s)+?)</P>', str(response)) #(pattern, string)

paragraphs = []
for x in p:
    paragraphs.append(str(x))

Answer 2

这里的问题可能是the document底部的一些二进制图形数据包含<P的字符序列，Beautiful Soup正试图将其修复为实际的HTML标签。我还没有设法查明哪个文本导致“超出递归深度”错误，但它就在那里。对我来说是p[6053]，但是由于您似乎对文件进行了一些修改（或者您可能对 Beautiful Soup 使用了不同的解析器），我想这对您来说会有所不同。

假设您不需要文档底部的二进制数据来从 actual <p> 标签中提取您需要的任何内容，试试这个：

# boot out the last `<document>`, which contains the binary data
soup.find_all('document')[-1].extract()

p = soup.find_all('p')
paragraphs = []
for x in p:
    paragraphs.append(str(x))