在特定网站上创建搜索引擎并收集特定信息答案

【问题标题】：Create a search engine on specific sites and gather specific info在特定网站上创建搜索引擎并收集特定信息
【发布时间】：2014-05-19 00:54:09
【问题描述】：

我需要创建一个搜索引擎，通过网站列表抓取并在那里搜索查询，这些网站都以各种格式和结构返回一些数据，我需要从以下位置收集特定信息（以独特的结构）所有这些网站。

有没有一种方法可以使用现有引擎（例如 Google 自定义搜索引擎）来做到这一点？还是我更好地创建自己的一个？如果是的话，我应该采取什么第一步来学习如何有效地索引和搜索这些网站，而不是用无用的垃圾填满我的服务器。

总而言之，除了在这些网站的搜索框中搜索一个查询外，我还需要适当地处理每个网站的结果，并将其放在一个联合结构中。所有结果都将被解析并提取到 4-6 个字段中（当然，除非 Google CSE 有办法做到这一点。

【问题讨论】：

【解决方案1】：

Google CSE 为标准 Google 网络搜索提供了一些接口。您可以控制用户界面和搜索参数，但无法控制索引，也无法直接访问索引数据。

您可能对 GAE 提供的 Google Search API 更感兴趣。它们完全不同：它们是搜索服务，您可以在其中提供数据并控制索引。

【讨论】：

感谢您的回复。我目前正在使用Google Custom Search API for .NET。我需要在大约 5 个网站上进行搜索，这些网站确实包含数百万条记录，但不是我需要覆盖整个网络，是否可以选择制作自己的搜索引擎？
当然——这就是他们希望您使用 CSE 的方式：在他们的控制面板中创建一个 CSE，并列出 5 个网站。并且可以选择说您只想要这 5 个，还是整个网络，但强调这 5 个。我认为 CSE 非常好，但请注意，如果您的查询量很高，它会非常昂贵。
您认为广告会支付费用吗？我的意思是很多用户=很多请求=很多广告点击，不是吗？此外，您没有回答我的最后一个问题，如果建立我自己的这些网站索引看起来像一个相关选项（它在 5 到 20 个网站之间，但每个网站都有数百万条记录）。
您无法使用 CSE 构建自己的索引，也无法使用其他搜索 API，因为您使用的是 dotNet。不，广告不会为此付费 - 看这里：stackoverflow.com/a/22494400/150016

【解决方案2】：

在 2018 年 12 月，我们可以使用 google CSE 定义一组网站，从中我们可以执行我们的请求。 google CSE 提供多达 2000 个要包含的网站资源，总共提供多达 5000 个资源。

一个简单的比较：

总结一下。这取决于你真正需要它的哪一面。

【讨论】：