会话 cookie 不与 JSoup 保持一致

Question

我一直在创建一个登录并抓取网站的 Android 应用。不幸的是，我遇到了 JSoup 和持久会话 cookie 的问题。

每当我尝试发出 POST 请求时，网站都会抱怨会话已过期。我已将问题的原因隔离到JSESSIONID cookie（因为在尝试登录时在浏览器上删除它会产生相同的结果）。但是，即使我使用.cookies() 方法包含所有以前的cookie，网站仍然会抱怨会话已过期。

我想知道我是否犯了任何明显的错误，导致我的应用无法正常维护会话。

到目前为止我的代码的相关部分（注意：我在这个项目中使用 Kotlin）：

val url = "omitted here"
val username = "user"
val password = "hunter2"

val initial = Jsoup.connect(url)
            .method(Connection.Method.GET).execute()

val cookies = initial.cookies()

val login = Jsoup.connect(url)
            .userAgent("Mozilla")
            .data("login_name", username)
            .data("password", password)
            .cookies(cookies)
            .post()

任何帮助将不胜感激！

Answer 1

假设 cookie 是由服务器设置而不是稍后通过 JavaScript 设置的，您的代码看起来是正确的。假设没有丢失代码，cookie 应该进入第二个请求。可能是您误解了站点的工作方式以及它如何使用 cookie，并且可能在登录之前它没有分配有效的 cookie，并且总是抱怨任何未登录的 cookie 上的“会话已过期”。也许根本不是代码错误，而是逻辑问题。

但如果您不考虑以下因素，您的完整代码也可能出错：

您需要记住，Jsoup 库仅在特定请求从服务器接收到 Set-Cookie 标头时才返回请求的 cookie。它确实不返回“所有已知的cookies”列表。因此，您必须维护一个映射，该映射是每个 cookie 响应的持续累积。

将response.cookies() 方法视为实际上是response.newCookiesAddedFromThisRequest()。代码模式是：

val cookies = mutableMapOf<String, String>()

val initialResponse = Jsoup.connect("http://www.whatarecookies.com/cookietest.asp")
    .method(Connection.Method.GET)
    .cookies(cookies)
    .execute()
cookies.putAll(initialResponse.cookies())

val secondResponse = Jsoup.connect("http://www.whatarecookies.com/cookietest.asp")
    .method(Connection.Method.GET)
    .cookies(cookies)
    .execute()
cookies.putAll(secondResponse.cookies()) 

// `cookies` now contains all cookies added accumulatively

在此代码中，每次将返回的新 cookie 添加到托管的 cookie 映射中，并且每次请求都会发送所有 cookie 的总数。

另请注意： Jsoup 不会按标题顺序处理 cookie，因此有时会为 cookie 设置错误的值。有时它也可能会在意外情况下将 cookie 值保留为 null。您应该检查 known cookie issues 的 Jsoup。另一种方法是使用OkHttp 之类的东西来检索文档，然后使用Jsoup 对其进行解析。 Jsoup 不像 HTML 解析和操作那样关注 HTTP 协议。