如何使用 Beautifulsoup 抓取使用 JavaScript 的网站？

Question

<div class="details">
                    <h2 class="title"><a href="{{=it.url}}">{{=it.title}}</a></h2>
                    <div class="author">
                        <span class="avatar">
                            <a href="{{=it.userProfileUrl}}"><img src="{{=it.userAvatarUrl}}" alt="{{=it.displayName}}" /></a>
                        </span>
                        <span class="name">By <a href="{{=it.userProfileUrl}}">{{=it.displayName}}</a></span>
                    </div>
                    <div class="meta-data">
                        <div class="fd-rating">
                            <div class="five-star">
                                <span class="fd-rating-percent" style="width:{{=it.percentRating}};"></span>
                            </div>
                            <span>({{=it.ratingCount}})</span>
                        </div>
                        <div class="cook-time"><i class='icon-fdc-clock'></i> {{=it.totalTime}}</div>
                    </div>

上面给出的是我试图抓取的网站代码的一部分。我想获取 =it.url 中的值。我试图获取href的所有值，尝试搜索变量it.url的初始化。他们都回了一个空元组。有没有办法我可以获取 url 值？任何建议都会有很大的帮助。

使用此Link 获取完整代码。

Answer 1

通过使用 selenium 和 PhantomJS 解决了这个问题，我使用以下代码获取处理后的 HTML 代码

from selenium import webdriver
driver = webdriver.PhantomJS() 
driver.get(url)
time.sleep(5)
result=driver.page_source