导航到 URL 并从锚标记中获取 href 属性？

Question

我有一个比方说... 10000 个 URL 的列表。标记的结构相同，但某些 DOM 元素的属性对于 URL 是唯一的。

有没有一种方法可以使用 JavaScript 来：

• 导航到一个 URL？
• 抓取一个 DOM 元素（在我的例子中，拉取特定锚标记的 href attr）？

只是在寻找正确方向的推动力。如果存在这样的情况，我打算编写一个循环来遍历所有 10000 个 URL 和 DoSomething()。

Answer 1

我建议使用 Node.js：查看像 Cheerio 这样的 Node 模块，以抓取您的 URL 并查看它们的 DOM 元素。应该是一个比较简单的脚本。

Answer 2

成功！我能够在 C# 控制台应用程序中使用 WebClient 类和 IHTMLDocument2 接口到达那里。

WebClient Class Reference

IHTMLDocument2 Interface Reference