如何查找网站上使用的身份验证

Question

我一直在阅读有关 beautifulSoup、http 标头、身份验证、cookie 和有关机械化的内容。

我正在尝试用 python 抓取我最喜欢的艺术网站。就像我找到了一个刮板的越轨艺术。现在我正在尝试登录，但我尝试的基本身份验证代码示例不起作用。

那么问题来了，我如何找出网站使用的身份验证类型，以便我知道我正在尝试以正确的方式登录？当他们试图阻止机器人时，包括有效的用户代理之类的东西。

忍受我的无知，因为我是 HTTP、python 和抓取的新手。

Answer 1

您感兴趣的任何网站都不太可能使用基本身份验证。您将需要一个像 mechanize 这样管理 cookie 的库，并且您需要将登录信息提交到站点的登录页面。