Apache Spark：使用结构化数据好不好答案

【问题标题】：Apache Spark : Is it good to use structured dataApache Spark：使用结构化数据好不好
【发布时间】：2017-01-11 19:03:57
【问题描述】：

一个查询，我在 Mysql 中有两个更大的表 A（40 GB）和 B（70 GB），我经常需要从两个表中加入。我不在查询中使用连接，因为它从不返回结果。请考虑所有表都已编入索引。

我从表 A 中获取数据，而不是使用该数据，我在表 B 中以块的形式找到匹配的记录。我进一步处理这个加入的数据。整个过程需要时间，取决于我做了多少处理。

我知道 Spark 也可以用于分布式计算。

问题 1：如果我将这些数据放到 HDFS 中，然后通过集群中的 5 个节点通过 apache spark 处理它可以给我更快的结果吗？我认为答案是肯定的。

问题 2：将结构化数据（从 MySql）更改为 HDFS 是否是一种好方法？

【问题讨论】：

更好的结果是什么意思？快点？另外，非结构化数据是什么意思？
Spark可以通过JDBC驱动连接MySQL，为什么需要导出到HDFS？
导出到 HDFS 仍然会产生结构化数据，无论您是放入 Hive 还是仅放入 CSV 文件
我需要表A和表B数据几个用例。对每个用例都使用 mysql 是不可取的。因此，如果我将这些数据放到 HDFS 中，它的加载速度会比 mysql 快，因此计划每天只将其提取到 HDFS 一次。

【解决方案1】：

我会得到更快的结果吗？

它取决于！

您看到distributed-computing 仅在处理bigdata 时才有意义。如果数据不够大，那么通信成本和作业调度将主导执行时间，导致执行时间比串行执行慢！

当然，如果您可以使用多台机器/节点，这将对您的应用程序产生很好的影响，因为如上所述，您的数据对于 MySQL 来说并没有那么大。

因此，如果您的机器无法自行解决这些问题，那么以您的机器作为主机设置集群，并将虚拟机作为从机根本不会提供任何加速，事实上它会，很可能，要慢一点！

我必须将我的 MySQL 数据放到 HDFS 吗？

不是真的！

您可以通过 jbdc 格式使用mySqlContext，如下所述：How to work with MySQL and Apache Spark?

【讨论】：

【解决方案2】：

150 个演出对于 MySQL 来说并不算多。如果您的计算机无法处理加入，Spark 将无法帮助您。您可以将数据上传到 google bigtable 或 amazon 关系数据存储并试用。否则，您可以通过连接两个表来创建表 #3。确保您要加入的列已编入索引。

【讨论】：

【解决方案3】：

这取决于你想做什么。

是的，Spark 非常擅长处理结构化数据，请阅读 DataFrames。您可以对数据编写 SQL 查询，这些查询将被优化并转换为 RDD 调用。

但这很大程度上取决于你在做什么。

来自网站的实时查询，即更新订单、更新客户 -> 抱歉，我认为 Spark 将是开销。使用索引优化 MySQL 应该足够了。对于实时缓存，请查看网格，例如 Oracle Coherence、GridGain/Apache Ignite、Hazelcast。
报告和分析，包括在某个时间窗口内的批处理、流式分析和临时分析 -> Spark 非常棒，可以加快您的工作。
用于分析服务的 ETL -> 同样，Spark 将是加速工作的绝佳工具。一家公司（对不起，我不能公开告诉你名字）为他的客户编写了 ETL 流程，而不是使用旧工具 6 小时，现在 ETL 持续时间是 15 分钟。只是从数据库中批量读取，一些准备，转换，分组并放入仓库数据库。但是，客户必须为集群和维护工具付费。在这种情况下，与他们可以赚取的潜在收入相比，这笔费用非常低。

Spark 可以从 MySQL 读取数据。但是，如果您只是进行批量分析，我建议您每天在 HDFS 上转储数据。它将减少查询次数并减少 MySQL 数据库的负载。

【讨论】：