需要最好的数据库来处理海量数据[关闭]

Question

我的情况如下。

每天我都会从不同的在线商店和内容提供商（例如 CNET 数据源）获得 256 GB 的产品信息。 这些信息可以是 CSV、XML 和 TXT 文件。文件将被解析并存储到 MongoDB 中。 稍后的信息将被转换为可搜索并索引到 Elasticsearch 中。

所有 256 GB 的信息每天都没有不同。大部分 70% 的信息将是相同的，并且价格、尺寸、名称等很少的字段会经常更改。 我正在使用 PHP 处理文件。

我的问题是

1. 解析海量数据
2. 映射数据库中的字段（例如标题不是所有在线商店的标题。它们会将字段名称作为短标题或其他名称）
3. 每天都在增加 GB 的信息。如何存储所有和处理。 （可能是 Bigdata 但不知道如何使用）
4. 利用海量数据快速搜索信息。

请为我推荐合适的数据库来解决这个问题。

Answer 1

1. 解析海量数据 - Spark 是满足您需求的最快分布式解决方案，认为您拥有 70% 的相同数据只是为了比较其副本，无论如何您都必须对其进行处理，在这里您也可以进行映射。

2. 数据存储，如果您在这里进行任何聚合，我建议使用 HBase/Impala，如果每一行产品对您很重要，请使用 cassandra

3. 对于搜索来说，没有什么比 lucene 更快的了，所以使用 Solr 或 Elasticsearch 任何你认为合适的东西，两者都很好。