Python BeautifulSoup 输出异常的间距和字符

Question

我是 python 新手。

我正在尝试使用 BeautifulSoup 解析来自网站的数据，我之前已经成功使用过 BeautifulSoup。然而，对于这个特定的网站，返回的数据在每个字符之间都有空格，并且还有很多“&gt”字符。

奇怪的是，如果复制页面源并将其添加到我的本地 apache 实例并向我的本地副本发出请求，那么输出是完美的。我应该提到我的本地和网站之间的区别：

1. 我的本地不使用 https
2. 我的本地不需要身份验证，但是网站确实需要 Active Directory 身份验证，而我使用 requests_ntlm

import requests
from requests_ntlm import HttpNtlmAuth
from bs4 import BeautifulSoup

r = requests.get("http://WEBSITE/CONTEXT/",auth=HttpNtlmAuth('DOMAIN\USER','PASS'))
content = r.text
soup = BeautifulSoup(content, 'lxml')
print(soup)

Answer 1

看起来本地服务器返回使用 UTF-8 编码的内容，而主网站使用 UTF-16。这表明主网站配置不正确。但是，可以使用代码解决此问题。

Python 将请求默认编码为 UTF-8。 （我相信）这是基于响应头的。该请求有一个名为apparent_encoding 的方法，它读取流并使用chardet 检测正确的编码。但是，除非指定，否则不会消耗明显的编码。

因此，通过设置 r.encoding = r.apparent_encoding，请求应该在两个环境中正确下载文本。

代码应该类似于：

r = requests.get("http://WEBSITE/CONTEXT/",auth=HttpNtlmAuth('DOMAIN\USER','PASS'))
r.encoding = r.apparent_encoding # Override the default encoding
content = r.text
r.raise_for_status() # Always check for server errors before consuming the data.
soup = BeautifulSoup(content, 'lxml') 
print(soup.prettify()) # Should match print(content) (minus indentation)