从网站抓取和提取内容

Question

我想从电子商务网站（例如 www.ebay.com）中提取数据。我要提取的一些信息是：产品名称、描述、价格、详细描述、图片链接、卖家信息。

webclient 类中有 DownloadString(string URL) 方法，使用它我可以获取 HTML 页面的源代码，但我想提取所有产品的信息（例如，我想要电子部分下所有产品的产品信息） , 那么我该如何实现呢？

我是否需要每次都更改 URL，或者有什么方法可以抓取完整的网站？

Answer 1

您应该不抓取他们的网站，而是使用他们的WebService API