在scrapy中使用硒

Question

我正在尝试从网站http://southasiaterrorism.trfetzer.com/districts/17497-IND-Nandurbar.html 上抓取所有记录的事件表。 我正在使用scrapy spider，但由于它是动态加载的，因此无法获取该表。 我试图使用 selenium，但没有结果，我得到了相同的静态 html 页面，但没有加载表格。 任何帮助将不胜感激。

Answer 1

正如@Stack 所提到的，内容不是动态加载的，它是在<script> 标签内的页面中。你可以试试这样的：

page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)
for tr in soup.find_all('tr')[2:]:
    tds = tr.find_all('td')
    print (tds)

来自this question。

注意：此代码未经测试。