如何绕过网站重定向屏幕？

Question

我尝试通过网页抓取来下载网页内容，但主要问题是我无法绕过网站重定向。例如，当我尝试登录网站并提交登录表单时。我看到等待页面和等待页面。

但在等待页面后在浏览器中我重定向到个人资料页面

我下载了goutte 并创建了我的脚本，但是在提交表单中我遇到了问题，因为当我提交不法行为者密码或用户名时，我会看到不正确的密码，但是当我输入正确的用户名和密码时，我会看到等待重定向的图像

第一次编辑

根据更新响应我的代码是

<?php

require_once  'vendor/autoload.php';


use Goutte\Client;

$client = new Client();

$url = 'https://egghead.io/users/sign_in';
$username = 'xxxx';
$password = 'xxxx';

$crawler = $client->request('GET', $url, [
    'allow_redirects' => true
]);

$form = $crawler->selectButton('Sign In')->form();

$crawler = $client->submit($form, array('user[email]' => $username, 'user[password]' => $password));

$crawler->filter('body')->each(function ($node){
    print $node->html();
});

Answer 1

Goutte 会自动跟随重定向，除非您告诉它不要这样做。您可以使用 allow_redirects 请求选项自定义重定向行为。

• 设置为 true 以启用最大数量为 5 的正常重定向 重定向。这是默认设置。
• 设置为 false 以禁用重定向。
• 传递一个包含“max”键的关联数组来指定 最大重定向数，并可选择提供“严格”键 指定是否使用严格的符合 RFC 的重定向的值 （意味着使用 POST 请求重定向 POST 请求与做什么 大多数浏览器都会使用 GET 请求重定向 POST 请求）。

参考： http://docs.guzzlephp.org/en/latest/quickstart.html#redirects

更新：

$crawler = $client->request('GET', 'http://egghead.io', [
    'allow_redirects' => true
]);
$crawler = $client->click($crawler->selectLink('Sign in')->link());
$form = $crawler->selectButton('Sign in')->form();
$crawler = $client->submit($form, array('login' => 'fabpot', 'password' => 'xxxxxx'));
$crawler->filter('.flash-error')->each(function ($node) {
    print $node->text()."\n";
});