有没有像scrapy中的# spliter这样的东西？

Question

我正在刮https://www.patelco.org/search-results#stq=&stp=1，我想刮所有的页面，我对scrapy有一个基本的了解，这是我正在使用的代码：

import scrapy
import json

class PatelcospiderSpider(scrapy.Spider):
    name = 'patelcospider'
    start_urls = ['https://www.patelco.org/search-results''#stq=&stp=1']
    def parse(self, response):
        columns = {
            "question": [],
            "answer": []
        }
        QUESTION_ANSWER_SELECTOR = ".st-ui-result"
        QUESTION_SELECTOR = ".st-ui-type-heading ::text"
        ANSWER_SELECTOR = ".st-ui-type-detail ::text"
        questions_answers = response.css(QUESTION_ANSWER_SELECTOR)
        for question_answer in questions_answers:
            question = question_answer.css(QUESTION_SELECTOR).getall()
            question = " ".join(question).strip()
            answer = question_answer.css(ANSWER_SELECTOR).getall()
            answer = " ".join(answer).strip()
            columns["question"].append(question)
            columns["answer"].append(answer)
            columns["link"].append(response.url)
        return columns

在执行时它没有返回任何值。这是相关的输出：

2020-08-28 20:39:48 [scrapy.core.engine] 信息：蜘蛛打开

2020-08-28 20:39:48 [scrapy.extensions.logstats] 信息：已爬取 0 页 （以 0 页/分钟），抓取 0 项（以 0 项/分钟）

2020-08-28 20:39:48 [scrapy.extensions.telnet] 信息：Telnet 控制台 在 127.0.0.1:6023 上收听

2020-08-28 20:39:55 [scrapy.core.engine] 调试：已爬网 (200) https://www.patelco.org/search-results#stq=&stp=1>（推荐人：无）

2020-08-28 20:39:56 [scrapy.core.scraper] 调试：从 https://www.patelco.org/search-results>

{'问题'：[]，'答案'：[]}

2020-08-28 20:39:56 [scrapy.core.engine] 信息：关闭蜘蛛 （完）

我认为问题在于 Scrapy 正在抓取 https://www.patelco.org/search-results，它实际上没有任何东西可以返回。我做了很多搜索，但我不知道如何解决它。

提前致谢。

Answer 1

这是因为页面是由 javascript 加载的。您可以在 chrome 开发工具中自行检查。

检查页面 --> 面板右侧的三个点 --> 更多工具 --> 设置 --> 调试器 -> 禁用 javascript。

您可以使用两种方法来抓取动态内容。动态内容是指 javascript 使用 HTTP 请求来获取数据并将其显示在网页上。许多现代网站以这种方式显示信息。这在抓取时提出了挑战。

1. 重新设计 HTTP 请求
2. 使用浏览器自动化

第一个永远是首选，看看网站是否有你可以使用的 API 端点。它快速、高效且可扩展。与浏览器自动化不同，这是最后的手段，或者如果功能太复杂且没有可用的 API。它很慢，对网站 HTML 的更改很脆弱，而且扩展性不强。

幸运的是，有一个 API 端点可以解决这个问题。我怎么知道这个？再次使用 chrome 开发工具。

检查页面 --> 网络工具 --> XHR

XHR 代表 XML HTTP 请求，任何涉及 API 始终执行的服务器的操作，请求都进入开发工具的这一部分。

你可以看到'search.json'

我们可以将此请求复制到将 cURL 命令转换为 python 的网站（curl.trillworks.com）

这是网站转换的代码。它提供了一种将请求转换为 python 字典等的有用方法......

import requests


data = {
  'q': '',
  'page': '1'
}

response = requests.post('https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json', data=data)
response.json()

现在，如果您复制请求，您还将获得标头，并且值得尝试处理该请求。有些请求只需要一个简单的 HTTP get 请求，不需要任何标头、数据、参数、cookies。其他人将需要更多。这里我们只需要在data参数中指定页码即可。

输出

{'record_count': 10,
 'records': {'page': [{'url': 'https://www.patelco.org/',
    'sections': ['You can count on us',
     'Better rates, more savings and all about YOU.',
     'Our community',
     'Join us',
     'What are your dreams and goals?',
     'Lower my debt',
     'Build my savings',
     'Purchase a home',
     'Plan for the future',
     'Manage my retirement',
     "Who we've helped",
     'UPGRADE MY HOME',
     'SUPERIOR SERVICE',
     'APPLY FOR A LOAN'],
    'title': 'Serving San Francisco Bay Area, Santa Rosa & Sacramento - Patelco Credit Union', ..... 

那里有很多信息，但我们可以用它来做一个简单的scrapy请求来做同样的事情。

Scrapy 的代码示例

def start_urls(self):
    url = 'https://search-api.swiftype.com/api/v1/public/installs/Ty14DuZryzPDG_wzbyzh/search.json'
    data = {
      'q': '',
      'page': '1'
    }
    yield scrapy.Request(url=url, meta={'data':data}, callback=self.parse)
def parse(self,response):
    response.json()

注意meta 参数是一种确保请求也包含我们想要随 HTTP 请求发送的数据的方法。没有它，您将无法获得所需的正确 JSON 对象。

这里response.json() 会将JSON 对象转换为python 字典。由于您在显示的字典中出现嵌套，我倾向于使用 requests 包来考虑我想要在 scrapy 中编码之前显示的数据。

作为一个例子

response.json()['records']['page'][0]['title']

对应输出

'Serving San Francisco Bay Area, Santa Rosa & Sacramento - Patelco Credit Union'

当您将 JSON 对象转换为字典时，通常会有很多嵌套，这就是为什么我首先使用 requests 包来解决它。页面嵌套在response.json()['records']['page']之后

然后您需要考虑使用生成字典或最好使用项目来存储您想要的数据。如果您不确定，请查阅 scrapy 文档。

您还可以更改数据参数以请求更多页面以获取更多数据，但我会先考虑如何自己执行此操作。如果您遇到困难，很乐意提供帮助。