Python：Javascript呈现的网页不解析答案

【问题标题】：Python: Javascript rendered webpage not parsingPython：Javascript呈现的网页不解析
【发布时间】：2017-03-17 01:50:32
【问题描述】：

我想解析下面url中的信息。我想解析“交易历史”和“未平仓头寸”中的交易名称、策略描述和交易。当我解析页面时，我没有得到这些数据。我是解析 javascript 呈现的网页的新手，所以我希望能解释一下为什么我的下面的代码不起作用。

import bs4 as bs
import urllib
import dryscrape
import sys
import time

url = 'https://www.zulutrade.com/trader/314062/trading'

sess = dryscrape.Session()
sess.visit(url)
time.sleep(10)
sauce = sess.body()
soup = bs.BeautifulSoup(sauce, 'lxml')

谢谢！

【问题讨论】：

标签： javascript parsing web-scraping web-crawler dryscrape

【解决方案1】：

您在代码中的链接不允许您获取任何内容，因为您应该使用的原始网址是我在下面粘贴的那个。您尝试使用的那个会自动重定向到我在这里提到的那个。

https://www.zulutrade.com/zulutrade-client/traders/api/providers/314062/tradeHistory?

从该页面的表中抓取json数据如下：

import requests
r = requests.get('https://www.zulutrade.com/zulutrade-client/traders/api/providers/314062/tradeHistory?')
j = r.json()
items = j['content']
for item in items:
    print(item['currency'],item['pips'],item['tradeType'],item['transactionCurrency'],item['id'])

【讨论】：