Scrapy Request GET url，如何在url中添加关键字？答案

【问题标题】：Scrapy Request GET url, How can I add keyword in url?Scrapy Request GET url，如何在url中添加关键字？
【发布时间】：2019-07-16 12:32:59
【问题描述】：

我有这个网址 www.example.com。我需要在scrapy Request方法中发送这个url，我怎样才能做到这一点？ url_final = https://www.example.com/sch/i.html?_from=R40&_trksid=m570.l1313&_nkw=MYSEARCHKEY&_sacat=0

url = 'httpss://www.example.com/'
MYSEARCHKEY = 'MYSEARCHKEY'
yield Request(url_final, callback=self.parse_new)

【问题讨论】：

Add params to given URL in Python的可能重复

标签： python callback request scrapy-spider

【解决方案1】：

您可以使用 python 库进行 urlencoding 来创建最终 URL。

from urllib.parse import urlencode
params={'_from':'R40',
        '_trksid':'m570.l1313',
        '_nkw':'MYSEARCHKEY',
        '_sacat':0}
base_url=' https://www.example.com/sch/i.html'
final_url= '{}?{}'.format(base_url,urlencode(params))

【讨论】：