Java中的大数据处理答案

【问题标题】：Big Data Processing In JavaJava中的大数据处理
【发布时间】：2017-12-18 12:09:59
【问题描述】：

我正在做一个项目，我收到大约 10 个文件，每个文件大小为 200GB。我的项目要求是从每个文件中提取数据并与其他文件进行连接并提取数据。

例如，我有文件 1.txt，其中有帐户 ID，我有文件 2.txt，其中有帐户 ID 和帐户名称。根据第一个文件中的帐户 ID，我需要从第二个文件中提取数据。

这样我需要对 10 个文件中的每一个执行操作并创建最终输出文件。

我目前正在 Java 中执行此操作，这确实需要时间。大约需要 4 到 5 个小时。

我可以通过任何改变来提高我的表现吗？是否有任何技术或工具或框架可以与 java 集成并提高我的性能？

我使用了以下方法。

1) Apache Drill- 我正在执行连接查询结果：Drill 抛出 Drillbit 异常，因为文件太大。

2) Apache Beam - 我正在使用并行处理对文件进行连接。结果：它在按功能分组时给了我内存不足异常。

我正在从 hadoop 中读取这些数据。

【问题讨论】：

【解决方案1】：

我建议使用 Hadoop 和 Spark，因为 Spark 使用比 Map Reduce 更快的内存模型。也许这两个链接会对您有所帮助：

【讨论】：

Drill 也使用内存模型来处理 hadoop 数据
@cricket_007 OP 在我的回答之后添加了一些附加信息（包括钻孔和梁信息）。所以我不知道他用的是什么工具。那为什么要对我投反对票？？？
我的错。 “我建议 Spark”+some links is not entirely an answer。它也没有表明正在使用 MapReduce。那个“Java 进程”可能已经是 Spark。
@cricket_007 好的。我明白你的意思。但我认为，我不应该投反对票。我只是不想从某些链接中复制信息。原始帖子完全不同。无论如何，这取决于你。
如果您更新答案以包含一些根据问题中给出的条件连接两个数据帧的 Spark 代码，我会回复。