VBA 抓取生成的不在 HTML 源文件中的内容

Question

我制作了一个 VBA 代码来从网页上抓取一些产品价格。

我可以让它适用于我想要的所有网站，除了一个。在这个特定的网站上，价格没有显示在页面的 HTML 代码中，但据我搜索网络了解，它们是由 JavaScript 在本地生成的。

我怎样才能获取这些价格？

我正在使用这种方法获取页面源，然后我解析响应文本以获取我需要的信息，例如产品名称和链接，但我无法获取价格：

Set xhr = New MSXML2.XMLHTTP60

        adresa = "http://www.elefant.ro/carti/natura"
        With xhr

            .Open "GET", adresa, False
            .send

            If .readyState = 4 And .Status = 200 Then
                Set doc = New MSHTML.HTMLDocument
                corp = .responseText
            Else
                Cells(i, 2) = "error"
            End If
        End With

这是我得到的页面的 HTML 代码的一部分，价格应该是：

<div class="js_PriceContainer" style="display: none">
            <div>
                <div class="product_old_price js_oldPrice">
                    <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html"><span class="js_basePrice"></span> lei</a>
                </div>

                <div class="product_discount js_ProductDiscount">
                    <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html">(<span class="js_discount"></span>%)</a>
                </div>
            </div>

            <!-- <div class="promo_bf">
                                            <div class="product_old_price"></div>
                        <div class="product_discount"></div>
                                    </div> -->

            <div style="clear:both"></div>
            <div class="product_final_price js_FinalPriceContainer">
                <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html">
                    <span class="js_finalPrice js_promoNonBf"></span>
                    <span class="js_finalPrice js_promoBf"></span>
                </a>
            </div>
        </div>

请帮忙！ 谢谢！

Answer 1

在您的项目中导入QT WebKit，并使用webkit 的强大功能在抓取之前呈现网页。 This guide 解释了如何在 LXML scraper 中实现 webkit。