C# 下载具有正确显示所需内容的网站

Question

以下场景：我们已经开发了大约 400 个个人网站，目前正在尝试构建我们的产品组合。由于多种原因，我们希望显示该指数，以便我们可以将其放在我们的投资组合中。首先想到的是以编程方式对每个站点进行屏幕截图。我们公司的负责人立即揭穿了它，因为他们想现场展示它。 iframe 显然不是替代方案。所以我们必须下载索引。可能只有正确显示所需的样式和图像。

我不确定如何开始这样做。

你们有什么想法吗？

Answer 1

CodedUI（和 Selenium）的底层技术使用网络爬虫来隔离网页的特定有用部分。我建议使用该底层库来抓取实时运行的网页，并提取构成页面结构的任何图像和 div。

然后您可以将它们作为静态 HTML 发出，以使页面快照适合站点索引。

这样做意味着您将使用与测试自动化相同的技术，但您可以从 HTML 中提取有用的结构并将其作为页面快照发出，而不是运行测试。您必须标记 HTML 的“有用”部分，以使爬虫仅提取您认为应该编入索引的项目（即，如果 HTML5 则包含 data- 属性）。这可能需要大量工作 - 因此，如果您只需要每个页面的屏幕截图，只需使用 Selenium 或 CodedUI 来抓取您的网站并捕获屏幕图像。