在c#asp.net中执行javascript后抓取网页

Question

我需要为所有链接抓取网页，以便稍后访问它们以查找并记录设置 cookie 的位置。这是针对要求用户使用设置的 cookie 形成的新英国立法，我决定尝试自动化其中的一些过程以节省一些时间。

我的问题是我的公司网站使用大量 javascript 来呈现页面和内容，这意味着当我检索页面时（目前使用 html 敏捷包），它们主要包含大量 javascript 并且缺少许多链接在完全渲染时显示。我将它作为一个域上的 asp 应用程序托管，并传入 url 以抓取和访问网站页面上的所有链接。

有没有一种方法可以让我执行 javascript，以便呈现页面并且我可以获得所有链接？

Answer 1

您可以使用 Web 浏览器控件制作 Windows 窗体。您可以设置 URL 并在页面加载时设置回调事件。它将呈现页面，包括 javascript，然后您可以访问 DOM（我认为是通过 WebBrowser.Document）。

Answer 2

我不明白你的问题。当它是您的公司网站时，您不需要抓取页面。你已经有了代码。只需查看您的代码库，看看是否创建了 cookie 以及其中存储了什么。