Spark 数据帧：它是用来触发 sql 还是触发流式传输？

【问题标题】：Spark dataframes: does it come in to spark sql or spark streaming?Spark 数据帧：它是用来触发 sql 还是触发流式传输？
【发布时间】：2017-06-29 06:02:26
【问题描述】：

Spark 数据帧的概念是否包含在 Spark SQL 或 Spark Streaming 中。传统上，数据帧似乎属于 Spark SQL。但，如果错了，请纠正我，数据框似乎也能够处理实时数据，所以我回答了这个问题。

【问题讨论】：

标签： apache-spark dataframe apache-spark-sql spark-streaming

【解决方案1】：

Spark 数据帧 适用于 spark 批处理 和 spark 流处理。 Spark 数据帧本质上是分布式和不可变的，所以你不能改变它，只能从现有的数据帧创建一个新的em>s。您可以在Spark SQL, DataFrames and Datasets Guide了解更多信息

而且，spark sql 是一个概念，我们在其中编写查询就像在 mysql 等传统数据库中一样。 spark streaming 是一个概念，其中 spark api 被定义为处理流数据。所以我的观点是它们是不同的概念。您可以在 spark 中区分 批处理 和 流处理。

【讨论】：