使用 Scrapy Spiders 无需下载即可处理图像

Question

我正在尝试使用 Scrapy Spider 解决问题（来自 HackThisSite 的编程问题）：

(1) 我必须登录一个网站，提供用户名和密码（已经完成）

(2) 之后，我必须访问具有给定 URL 的图像（该图像只有登录用户才能访问）

(3) 然后，不用把图片保存在硬盘里，我只好在一种缓冲区中读取它的信息

(4) 并且函数的结果会填写一个表格并将数据发送到网站服务器（我已经知道怎么做这一步了）

所以，我可以继续提问：是否有可能（使用蜘蛛）读取只有登录用户才能访问的图像并在蜘蛛代码中处理它？

我尝试研究不同的方法，使用项目管道不是一个好方法（我不想下载文件）。

我已有的代码是：

class ProgrammingQuestion2(Spider):

    name = 'p2'
    start_urls = ['https://www.hackthissite.org/']

    def parse(self, response):

        formdata_hts = {'username': <MY_USER_NAME>,
                'password': <MY_PASSWORD>,
                'btn_submit': 'Login'}

        return FormRequest.from_response(response,
                formdata=formdata_hts, callback=self.redirect_to_page)

    def redirect_to_page(self, response):

        yield Request(url='https://www.hackthissite.org/missions/prog/2/',
                callback=self.solve_question_2)

    def solve_question_2(self, response):

        open_in_browser(response)
        img_url = 'https://www.hackthissite.org/missions/prog/2/PNG'
        # What can I do here?

我希望使用 Scrapy 功能解决这个问题，否则需要重新登录网站（发送表单数据）。

Answer 1

您可以发出抓取请求以抓取图像，然后回调到其他端点：

def parse_page(self, response):
    img_url = 'https://www.hackthissite.org/missions/prog/2/PNG'
    yield Request(img_url, callback=self.parse_image)

def parse_image(self, response):
    image_bytes = response.body
    form_data = form_from_image(image_bytes)
    # make form request