如何使用 Lua 处理表单填写飞溅答案

【问题标题】：How to handle form fill in splash using Lua如何使用 Lua 处理表单填写飞溅
【发布时间】：2020-08-15 05:09:28
【问题描述】：

我正在尝试使用 splash 和 lua 作为脚本登录网页 (http://quotes.toscrape.com/login)。但是，我无法登录网站。

script = """

        function find_search_input(inputs)
            if #inputs == 1 then
                return inputs[1]
            else
                return inputs
            end
        end


        function find_input(forms)
            local potential = {}
            for _, form in ipairs(forms) do
                local inputs = form.node:querySelectorAll('input:not([type="hidden"])')
                if #inputs ~= 0 then
                    local input = find_search_input(inputs)
                    if input then
                        return form, input
                    end
                    potential[#potential + 1] = {input=inputs, form=form}
                end
            end
            return potential[1].form, potential[1].input
            end

        function main(splash)
            local url = splash.args.url
            assert(splash:go(url))
            assert(splash:wait(10))

            splash:set_viewport_full()

            local forms = splash:select_all('form')
            local form, input = find_input(forms)
            input['username'] = 'foobar'
            input['password'] = 'foobar'

            assert(splash:wait(0))
            assert(form:submit())

            return {
                html = splash:html()

            }


          end
        """
headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'
        }
        yield SplashRequest('http://quotes.toscrape.com/login', self.parse, endpoint='execute', args={
            'lua_source': script,
            'wait': 5
        }, splash_headers=headers, headers=headers)

表格是

<form action="/login" method="post" accept-charset="utf-8">
        <input type="hidden" name="csrf_token" value="BJNFrtYLDnpzITvSyQWOXhqCwKbscUEkGReiVjlZfogxAdumaPHM">
        <div class="row">
            <div class="form-group col-xs-3">
                <label for="username">Username</label>
                <input type="text" class="form-control" id="username" name="username">
            </div>
        </div>
        <div class="row">
            <div class="form-group col-xs-3">
                <label for="username">Password</label>
                <input type="password" class="form-control" id="password" name="password">
            </div>
        </div>
        <input type="submit" value="Login" class="btn btn-primary">

    </form>

我的要求是根据输入类型以表单形式获取输入。假设在登录表单中，如果我们获得电子邮件或文本的输入类型，那么我们会将我们的用户名设置为它的值。同样，如果字段类型是密码，那么我们会将密码作为它的值。如果它包含一些隐藏字段，例如 csrf_tokem，那么我们将从表单中获取它的值，并将其传递给它。

input['type = email || type = text'] = 'our_user_name'
input['type = password'] = 'our_passwords'
input['type = hidden']= 'value_extracted from the form'

我希望这些可能是一些简单的事情。但我无法在 lu 中实施，因为我没有这方面的经验。无论如何，提前感谢您帮助我解决这个问题。

【问题讨论】：

@Anthony E 你能调查一下吗
@kmike 你能帮帮我吗
@Mikhail Korobov 你能调查一下吗

标签： python lua scrapy-splash splash-js-render

【解决方案1】：

我是 lua 的新手，感谢您的提问。我只是在阅读这个问题时得到了灵感。如果您太忙而无法解决问题，该同伴的脚本应该会有所帮助。

function main(splash)
    splash:set_viewport_size(1366, 768)
    splash:set_user_agent('Splash bot')
    assert(splash:go("http://quotes.toscrape.com/login"))
    assert(splash:wait(0.5))
  
    local form = splash: select('form')
    local values = {
        username = 'foobar',
        password = 'foobar',
    }
    assert(form:fill(values))
    assert(form:submit())
    splash:wait(5)
    return {
        png = splash:png(),
    }
end

【讨论】：