【问题标题】：I started web crawling using Storm Crawler but I do not know where crawled results go to? Im not using Solr or Elastic Search我开始使用 Storm Crawler 进行网络爬取，但我不知道爬取的结果去哪里了？我没有使用 Solr 或 Elastic Search
【发布时间】：2023-01-19 01:47:26
【问题描述】：
Storm Crawler 开始抓取数据，但我似乎找不到数据的存储位置 我需要将这些数据保存到数据库中，以便我可以将数据连接到远程服务器并为其编制索引。 Storm 爬虫似乎主要关注 Solr 和 Elastic 集成！！！我只想将其数据存储到数据库中，这样我就可以使用任何站点搜索解决方案，如 Typesense、flex search 和任何其他站点搜索软件。
我对网络抓取非常陌生，所以我只是安装了运行所需的软件。
【问题讨论】：
标签：
indexing
stormcrawler
【解决方案1】：
SC 不专注于 SOLR 或 ES。例如有一个SQL module。
至于“爬到哪里去了”，要看你的拓扑是干什么的。也许尝试解释什么螺栓正在运行等......