查询大量csv文件的工具

Question

我们有大量的 csv 文件，文件/目录按日期和其他几个因素进行分区。例如，文件可能被命名为 /data/AAA/date/BBB.csv

有数千个文件，其中一些大小在 GB 范围内。总数据大小以 TB 为单位。

它们只会被附加到并且通常是批量的，因此写入性能并不那么重要。我们不想将它加载到另一个系统中，因为我们运行的几个重要进程依赖于能够快速流式传输文件，这些文件是用 c++ 编写的。

我正在寻找允许直接从数据中查询数据的类似 sql 的工具/库。我已经开始研究 hive、spark 和其他大数据工具，但不清楚它们是否可以直接从源访问分区数据，在我们的例子中是通过 nfs。

理想情况下，我们可以通过给出列的描述以及分区信息来定义表。此外，文件被压缩，因此处理压缩将是理想的。

他们的开源工具可以做到这一点吗？我见过一个名为 Pivotal 的产品，它声称可以做到这一点，但我们更愿意为开源分布式查询系统的数据编写自己的驱动程序。

任何线索将不胜感激。

Answer 1

Spark 可以是一个解决方案。它是在内存中的分布式处理引擎。数据可以加载到集群中多个节点的内存中，并且可以在内存中进行处理。您不需要将数据复制到另一个系统。

以下是您的案例的步骤：

1. 构建多节点spark集群
2. 将 NFS 挂载到其中一个节点上
3. 然后你要以RDD的形式将数据临时加载到内存中并开始处理

它提供

1. 支持 scala、python、java 等编程语言
2. 支持 SQL 上下文和数据帧。您可以定义数据结构并开始使用 SQL 查询进行访问
3. 支持多种压缩算法

限制

1. 数据必须装入内存才能由 Spark 处理
2. 您需要使用数据框来定义数据结构，之后您可以使用嵌入在 scala、python、java 等编程语言中的 sql 查询数据
3. RDBMS 中的传统 SQL 与 Spark 等分布式系统中的 SQL 之间存在细微差别。您需要了解这些。

使用 hive，您需要将数据复制到 HDFS。由于您不想将数据复制到另一个系统，hive 可能不是解决方案。