如何使用 urllib 跟踪重定向？答案

【问题标题】：How to follow a redirect with urllib?如何使用 urllib 跟踪重定向？
【发布时间】：2013-04-15 23:32:55
【问题描述】：

我正在 Python 3 中创建一个脚本，它访问如下页面：

example.com/daora/zz.asp?x=qqrzzt

使用 urllib.request.urlopen("example.com/daora/zz.asp?x=qqrzzt")，但是这段代码只给了我相同的页面（example.com/daora/zz.asp?x= qqrzzt) 并在浏览器上重定向到如下页面：

example.com/egg.aspx

我可以做些什么来检索

example.com/egg.aspx

而不是

example.com/daora/zz.asp?x=qqrzzt

我认为这是相关代码，这是来自“example.com/daora/zz.asp?x=qqrzzt”的代码：

<head>

<script language="JavaScript">

<!--
    function Submit()

    {
        document.formzz.submit();
    }
-->
</script>

</head>

<body bgcolor="#FFFFFF" leftmargin="0" topmargin="0" marginwidth="0" marginheight="0" onLoad="javascript:Submit();">

<form name="formZZ" method="post" action="http://example.com/egg.aspx">

<input type="hidden" name="token" value="UFASGFJKASGDJFGAJS">

</form>

【问题讨论】：

首先，为什么要同时标记urllib2 和python-3.x？ 3.x 中没有urllib2，所以……这两者中哪一个是错误的？

标签： python redirect python-3.x urllib2 urllib

【解决方案1】：

urllib.request 自动跟随重定向；你不需要做任何事情。

这里的问题是没有重定向可遵循。网页一加载就使用 Javascript 伪造表单提交。 urllib 只是获取页面；它没有实现浏览器 DOM 并运行 Javascript 代码。

根据您需要的脚本的通用性，最简单的解决方案可能是一些 hacky。例如，如果您只是想爬取 500 个结构相似但细节不同的页面，只需找到第一个 form 的 action 并导航到该位置。

另外，如果获取页面和处理它们是两个不同的步骤，您可能希望使用超级简单的 Javascript/Greasemonkey 编写一个获取器（在浏览器中运行，因此它已经有了一个有效的 DOM 实现等）和一个单独的 Python 处理脚本（它只在最终获取/生成的 HTML 页面上运行）。

如果您需要完全通用，最简单的解决方案可能是使用selenium 浏览器自动化框架。（或者，也许是 PyWin32 或 PyObjC 直接自动化 IE 或 Webkit。）

如果您想要最好的解决方案，并且拥有无限的资源……编写您自己的 DOM 实现并连接您最喜欢的 Javascript 解释器（可能是 spidermonkey 或 v8）。这只是编写新浏览器的 2/3 工作量。（并且您可能会找到可以帮助您完成 80% 的工作的部分。例如，如果您愿意使用 Jython 而不是 CPython 作为您的 Python 解释器，HtmlUnit 非常巧妙。）

【讨论】：