【发布时间】：2017-08-25 15:17:42
【问题描述】：
【问题讨论】：
-
可能是网站加载了AJAX/JS调用的数据，你应该知道AJAX/JS调用后加载的数据不包含在原始响应中。
标签： python scrapy scrapy-spider
【发布时间】：2017-08-25 15:17:42
【问题描述】：
问题在于allowed_domains 蜘蛛属性。您当前的设置不允许您按照日志 (DEBUG: Filtered offsite request to ...) 跟踪对 jobview.monster.ca 的请求。稍微松散地设置该属性：
allowed_domains = ['monster.ca']
【讨论】：
-
很好，虽然它不能与“monster.ca”一起使用，因为新页面以“jobview.montser.ca”开头，所以我删除了允许的域。它奏效了。再次感谢