python - 尝试抓取网页时出现 SSL 错误

Question

我正在尝试使用 Python 抓取此网页： https://fftoolbox.scoutfantasysports.com/football/rankings/PrintVersion.php

我一直在使用 requests 包。我可以通过设置verify=False 来“解决”这个问题，但是我读到这并不安全。在其他线程中，人们说将requests.get() 函数指向相关证书的文件路径。我从浏览器中导出了证书，然后尝试了，但没有运气。这个

requests.get('https://fftoolbox.scoutfantasysports.com/football/rankings/PrintVersion.php',verify='C:/Users/ericb/Desktop/fftoolboxscoutfantasysportscom.crt')

仍然出现 SSL 错误

SSLError: HTTPSConnectionPool(host='fftoolbox.scoutfantasysports.com', port=443): Max retries exceeded with url: /football/rankings/PrintVersion.php (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",),))

还有这个

requests.get('https://fftoolbox.scoutfantasysports.com/football/rankings/PrintVersion.php',cert='C:/Users/ericb/Desktop/fftoolboxscoutfantasysportscom.crt')

产量

Error: [('PEM routines', 'PEM_read_bio', 'no start line'), ('SSL routines', 'SSL_CTX_use_PrivateKey_file', 'PEM lib')]

我以前做过大量的网络抓取，但直到现在我才不得不处理证书。我怎样才能解决这个问题？我还应该注意，我想将我的最终 Python 脚本和它使用的任何文件放到公共 GitHub 存储库中。但我不想做任何会危及我安全的事情，比如上传密钥或其他事情。

Answer 1

服务器配置错误，它没有发送它需要发送的中间证书。 看到这个报告：https://www.ssllabs.com/ssltest/analyze.html?d=fftoolbox.scoutfantasysports.com&hideResults=on

提供的证书 1 个（1776 字节）

链问题不完整

或https://sslanalyzer.comodoca.com/?url=fftoolbox.scoutfantasysports.com

受微软信任？否（无法获得本地颁发者证书）不受信任

受到 Mozilla 的信任？否（无法获得本地颁发者证书）不受信任

openssl s_client -connect fftoolbox.scoutfantasysports.com:443 -showcerts 可以看到：

Certificate chain
 0 s:/OU=Domain Control Validated/CN=fftoolbox.scoutfantasysports.com
   i:/C=US/ST=Arizona/L=Scottsdale/O=GoDaddy.com, Inc./OU=http://certs.godaddy.com/repository//CN=Go Daddy Secure Certificate Authority - G2

并且应该将网络服务器配置为发送/C=US/ST=Arizona/L=Scottsdale/O=GoDaddy.com, Inc./OU=http://certs.godaddy.com/repository//CN=Go Daddy Secure Certificate Authority - G2 中间证书，但它没有。

因此，您可以联系网站并告诉他们配置错误。正如第二个链接所示，您不会是唯一受此影响的人。

或者，您可以在本地将缺少的证书添加为完全受信任的证书，但这会降低您的安全性。您也可以在本地下载丢失的证书（不是网站的，中介的），并在您的requests.get调用中添加verify=/path/to/certificate。