【发布时间】:2022-01-12 15:14:31
【问题描述】:
我们有许多不同的文档站点,我想在所有这些站点中搜索关键字。我该怎么做?
我已经考虑过实现一个简单的网络爬虫,但这似乎是一个非常丑陋的解决方案。
另一种方法可能是使用 Elasticsearch 并以某种方式将其指向不同的文档存储库。
有更好的建议吗?
【问题讨论】:
标签: search documentation
我们有许多不同的文档站点,我想在所有这些站点中搜索关键字。我该怎么做?
我已经考虑过实现一个简单的网络爬虫,但这似乎是一个非常丑陋的解决方案。
另一种方法可能是使用 Elasticsearch 并以某种方式将其指向不同的文档存储库。
有更好的建议吗?
【问题讨论】:
标签: search documentation
Algolia 是我能想到的绝对最佳解决方案。当然还有 Typesense 和 Meilisearch。
Algolia 专门用于像您这样的情况,因此它甚至带有爬虫。
https://www.algolia.com/products/search-and-discovery/crawler/
https://www.algolia.com/
https://typesense.org/
https://www.meilisearch.com/
这是一个比较它们的有趣页面(可能有点偏向于 Typesense)
https://typesense.org/typesense-vs-algolia-vs-elasticsearch-vs-meilisearch/
以下是一些使用 Algolia Search 的示例网站
https://developers.cloudflare.com/
https://getbootstrap.com/docs/5.1/getting-started/introduction/
https://reactjs.org/
https://hn.algolia.com/
如果你个人只是想搜索一个关键字,只要它们被谷歌索引,你总是可以用site:{domain} "keyword"格式搜索
【讨论】:
您可以查看 Meilisearch 以了解您的用例。 Meilisearch 是一个基于 Rust 的开源搜索引擎。
Meilisearch 附带一个文档抓取工具 (https://github.com/meilisearch/docs-scraper),可以抓取内容然后将其编入索引。
在使用它时,您需要在刮板工具的配置文件中定义要搜索的确切内容。然后您就可以使用 Docker 运行该工具了。
【讨论】: