在代理后面使用 MechanicalSoup

Question

我正在尝试在 Windows 上使用 MechanicalSoup 在 Python 中构建一个简单的 webbot。不幸的是，我坐在（公司强制执行的）代理后面。我找不到为 MechanicalSoup 提供代理的方法。有这样的选择吗？如果没有，我的替代方案是什么？

编辑：按照 Eytan 的提示，我在代码中添加了 proxies 和 verify，这让我更进一步，但我仍然无法提交表单：

import mechanicalsoup

proxies = {
    'https': 'my.https.proxy:8080',
    'http':  'my.http.proxy:8080'
}
url = 'https://stackoverflow.com/'
browser = mechanicalsoup.StatefulBrowser()
front_page = browser.open(url, proxies=proxies, verify=False)
form = browser.select_form('form[action="/search"]')
form.print_summary()
form["q"] = "MechanicalSoup"
form.print_summary()
browser.submit(form, url=url)

代码挂在最后一行，submit不接受proxies作为参数。

Answer 1

似乎必须在会话级别指定代理。那么browser.open 不需要它们，并且提交表单也可以：

import mechanicalsoup

proxies = {
    'https': 'my.https.proxy:8080',
    'http':  'my.http.proxy:8080'
}
url = 'https://stackoverflow.com/'
browser = mechanicalsoup.StatefulBrowser()
browser.session.proxies = proxies   # THIS IS THE SOLUTION!
front_page = browser.open(url, verify=False)
form = browser.select_form('form[action="/search"]')
form["q"] = "MechanicalSoup"
result = browser.submit(form, url=url)
result.status_code

返回 200（即“OK”）。

Answer 2

根据他们的文档，这应该有效：

browser.get(url, proxies=proxy)

尝试将“代理”参数传递给您的请求。